打這篇文的時間點應該變前天了
這幾天由於valender的539事件，政檢板蠻多討論現行板規的文章
接著 4/23 韓總自爆聲明一發，政黑瞬間破4000人
我原本只是想說，這裡頭應該很多1450連板規都不看
大概最常犯的就，五篇超貼 / 新聞三篇超貼 / 心得不滿40字 / 重複五推
在這裡面最容易用程式檢閱的，當然是五篇超貼
只是因為刪文也算，必須去 ALLPOST 看
而 ALLPOST 的文章只留七天，所以當然只能翻七天的文
原本我是使用 PTTLibrary
這個雖然功能強大，但有兩個缺點
(1) 因為是登入 PTT 而不是用 web 板
會因為奇怪的原因被 block 斷線
(其實很正常 一直瘋狂抓文不ban掉才怪XD)
(2) 所有資訊都是閱讀內文而來的
特別是文章列表那行，沒有辦法讀取
(當然理論上大概可以，可是他沒寫這個功能我又不會弄)
如果在政黑把文章刪掉了，ALLPOST的標題會留著，但內文會消失
所以實際上只能看到總共發幾篇文
內文原本寫什麼是不知道的，除非有人每分鐘備份一次
所以只好被迫使用其他版本，這次使用 CrawlerTutorial
(1) 因為是用 web 板，一次解決以上兩個缺點
但是我目前只會讀取文章列表就是了XD
(2) 這個版本有很明確的缺點，Error管控完全不做。Error管控大致分兩種
一種是輸入就知道會炸要說，一種是跑到一半出錯要說怎麼錯的
所以例如 Test 板只有 400 多篇文章，指定爬個 500 篇一定會炸
結果他仍然跑下去，然後跳出不知道在供三小的 Error
不過試一試總會變好的，只能靠自己閃 Error
另外 web 板有一些 BBS 沒有的功能，當然就無法
沒關係，這次只要管五篇超貼就好了
=========================== 廢話講夠多了 =============================
這次是從4/24晚上八點左右，開始爬 ALLPOST 全板，爬到4/18為止
由於投機閃避 Error + 刪文是每日凌晨五點
4/24 和 4/18 都不是完整的一天，不過應該足夠了
策略是把將近十萬篇標題都爬一遍，儲存政黑的文章標題
(web板不能先搜尋，不然政黑文不到六千，但用BBS又會被block，QQ)
我中途跑去吃飯，又忘記測量時間，不知道跑多久，大概兩三小時吧
接著抓出超貼五篇的文章，程式摸了半小時，一秒就跑完了幹XD
然後以下是結果
↓ web缺點之一，沒有文章編號
+ 4/24 kapasky R: [轉錄] 郭台銘參選未知會韓 … (HatePolitics)
+ 4/24 kapasky □ [黑特] 堂堂準第一夫人 130萬… (HatePolitics)
+ 4/24 kapasky □ [黑特] 突然都沒有民調了 不… (HatePolitics)
+ 4/24 kapasky R: [新聞] 快訊／國民黨中常會定… (HatePolitics)
+ 4/24 kapasky □ [黑特] 搞成這樣韓自己要付哪… (HatePolitics)
+ 4/24 kapasky R: [討論] 老實說 不覺得韓的下次…(HatePolitics)
+ 4/24 kapasky □ [黑特] 麻煩你教我如何繞跑又… (HatePolitics)
+ 4/24 wishcrystal □ [黑特] 草包脫黨的後果是? (HatePolitics)
+ 4/24 wishcrystal □ [轉錄] 韓導最新電影作品 (HatePolitics)
+ 4/24 wishcrystal □ [轉錄] 郭台銘參選未知會韓 … (HatePolitics)
+ 4/24 wishcrystal □ [黑特] 所以 那個427活動呢？ (HatePolitics)
+ 4/24 wishcrystal □ [轉錄] 分享陳冠廷臉書 (HatePolitics)
+ 4/24 wishcrystal □ [轉錄] 韓國瑜五點聲明 挾韓粉…(HatePolitics)
+ 4/24 wishcrystal □ [新聞] 柯文哲：北市236校9月… (HatePolitics)
+ 4/24 wishcrystal □ [新聞] 台中花博慘賠13億今落… (HatePolitics)
+ 4/24 wishcrystal □ [轉錄] 【館長】金剛直播(2019…(HatePolitics)
+ 4/24 sendtony6 R: [討論] 有沒有人現在有點同情… (HatePolitics)
+ 4/24 sendtony6 R: [討論] 我高雄人，我挺韓國瑜 (HatePolitics)
+ 4/24 sendtony6 □ [討論] 盧媽 vs. 嘴砲魚 (HatePolitics)
+ 4/24 sendtony6 R: [討論] 回過頭來看 高雄燈會48…(HatePolitics)
+ 4/24 sendtony6 R: [討論] 統一其實對台灣是件好… (HatePolitics)
+ 4/24 sendtony6 R: [討論] 想支持核電 韓倒了現在…(HatePolitics)
+ 4/24 sendtony6 R: [討論] 請問為什麼蔡英文的支… (HatePolitics)
+ 4/24 sendtony6 R: [黑特] 韓導確定GG了 (HatePolitics)
+ 4/24 sendtony6 R: [討論] 北漂青年們回高雄工作… (HatePolitics)
+ 4/24 nawabonga R: [討論] 我還是不懂 選前挺韓 … (HatePolitics)
+ 4/24 nawabonga □ [黑特] 國民黨真是一團大亂鬥… (HatePolitics)
+ 4/24 nawabonga □ [黑特] 願意承擔，不計較榮辱… (HatePolitics)
+ 4/24 nawabonga R: [討論] 教你怎麼識破韓國瑜的… (HatePolitics)
+ 4/24 nawabonga □ [新聞] 親韓人士：提密室協商 …(HatePolitics)
+ 4/24 nawabonga □ [討論] 韓粉今後的走向? (HatePolitics)
+ 4/24 nawabonga R: [討論] 柯文哲邊緣化! (HatePolitics)
+ 4/23 BleedWang R: [討論] 韓國瑜幹麼害怕初選? (HatePolitics)
+ 4/23 BleedWang □ [討論] 憨導下一次的議會備詢 (HatePolitics)
+ 4/23 BleedWang R: [討論] 韓目前的致命傷 (HatePolitics)
+ 4/23 BleedWang R: [黑特] 高雄市長夫人 (HatePolitics)
+ 4/23 BleedWang □ [舊聞] 看到韓國瑜被酸言酸語 …(HatePolitics)
+ 4/23 BleedWang □ [討論] 高雄市長做不好 槍斃韓…(HatePolitics)
+ 4/23 BleedWang □ [討論] 外省仔僑胞 (HatePolitics)
+ 4/23 BleedWang □ [討論] 最後應該是帶職選 (HatePolitics)
+ 4/23 cafupupu □ [討論] 韓導也懂棄保? (HatePolitics)
+ 4/23 cafupupu □ [討論] 不要初選只要徵召? (HatePolitics)
+ 4/23 cafupupu □ [討論] 媽祖顯靈了? (HatePolitics)
+ 4/23 cafupupu R: [討論] 韓國瑜聲明全文 (HatePolitics)
+ 4/23 cafupupu □ [討論] 更噁心的話將會出來 (HatePolitics)
+ 4/23 cafupupu □ [討論] 姬芭 (HatePolitics)
+ 4/23 cafupupu □ [討論] 卡你媽的卡韓 (HatePolitics)
+ 4/23 cafupupu R: [黑特] 韓民調高？大家都用小… (HatePolitics)
+ 4/23 cafupupu □ [討論] 高雄不能被當肉便器 (HatePolitics)
+ 4/23 cafupupu □ [討論] 誰是誰的人質? (HatePolitics)
+ 4/23 WeiKitten □ [Live] 關鍵時刻 04/23 (HatePolitics)
+ 4/23 WeiKitten □ [討論] 蔡正元FB