[心得] 新店板各年月文章分類統計

作者: zp01 (zp01)   2022-05-21 19:23:03
之前板上曾經有交易文是否刪除的討論
我看了討論內容後,就一直在思考,是否能取得一些統計數字,來客觀的看待這件事
只憑大家每個人各自的印象來討論這件事,總覺得不夠客觀
如果能取得資料,我就能用最簡單的excel 大概分析一下板上文章的各分類分佈情形
但我一直找不到哪邊可以匯出這板上的標題資料,也沒找到可用的資料匯出工具程式
所以一直沒做這事
這兩天疫情正在高峰,放假不敢出門,想起之前家裡小朋友在學校學了python
一直搞不清楚學生學這做什麼用,印象中只在網路上看過有學生講自己用python寫爬蟲,
我想既然這東西可以讓學生拿來爬網掃資料,也許我也做得到
反正今天閒著也是閒著,就找了個教學網站來學一下,由Visual Studio Code
安裝開始做起。我花了一點時間,了解這東西語法怎麼用。看完兩三個章節
我發現這東西不難,網路上能參考的網站很多,只是有的細節講不清楚
試改了兩三個範例程式後 我大概知道 變數如何宣告、 for loop、讀寫檔的寫法
就開始試著參考網路上的文章,寫了一個簡單的爬標題程式
掃出這個板上所有文章的 標題、作者、日期 再利用標題分類,用excel來分析
結果如圖
https://www.upload.ee/image/14159996/st_count.jpg
可以看出交易類文章和一般討論文章的消長
有興趣的人可以在這裡抓excel的統計
https://www.upload.ee/files/14160033/ptt_HT_20220521.7z.html
現有44234篇文章中,最大的幾類總數統計如下
[問題] 10353
[交易]+[徵求]+[贈送]+[買賣] 19880 (9885+4805+4664+526)
[閒聊] 2452
[新聞] 1074
[心得] 834
[食記] 667
[板務] 422
我稱這些[交易]+[徵求]+[贈送]+[買賣] 為「類交易」文不到一半,但也近了
以前的「類交易」文比例小很多,顯而易見是後來才變多的
依年月來看 2014以後 交易文逐漸取代其它文章 約在2015年到2016年交叉
在2016年以後,就再也不回頭了(中間在2016年11月是唯一的一個例外)
從開板始到現在曾發表文章的共10325人
今年2022年到現在5/21只有462人發表文章 共780篇
但扣掉交易類、贈送類的文只剩255篇,等於今年現存的的67%文內容在買賣、贈送
、介紹自己要交易的物品。
462人中 有162人在版上只有交易或贈送文 沒有一般討論文
還好今年有換板主的議題出現,否則只會更慘
有沒有人想知道其它的統計的?
今年到現在5.21 如果排除掉「類交易文」有發文章的人 共計136人
今年發非「類交易文」的前11名id是:
godofsex(32) samok(20) gjiiiiii(11) KSJ(7) Ccsteeker(7)
ufotime(7) rainnawind(6) dressingfr(5) hateOnas(4) Geiwoyujie(4) aner(4)
這是程式碼 只有大約六十行左右 第一次寫python 環境語法都不熟 所以有一半是註解
https://www.upload.ee/files/14161858/get_ptt_HsinTien.py.html

Links booklink

Contact Us: admin [ a t ] ucptt.com