[問題] 關於爬網頁的新手問題 edl2000 PTT批踢踢實業坊

[問題] 關於爬網頁的新手問題

作者: edl2000 (Eduardo) 2019-10-02 17:38:17

看了一些網路上的教學之後開始練習抓資料
PTT跟yahoo有固定的html 格式的可以抓到了
不過巴哈姆特的排行榜卻很奇怪
https://forum.gamer.com.tw/?page=1&c=21
我看他的資料都在 Javascript裡面
這樣要怎麼處理...有沒有可以指點一下 >_<"
謝謝

作者: dododavid006 (朔雪) 2019-10-02 21:34:00

我之前有用過一種作法是把資料從 js 找出來然後加上一段轉成 json 的 code 再整個拿去給 nodejs 跑跑完有就 json 了不過這樣其實挺麻煩的就有

作者: vi000246 (Vi) 2019-10-03 09:12:00

用regex把整段js存起來再找能直譯js的lib

作者: edl2000 (Eduardo) 2019-10-03 09:21:00

好的,謝謝兩位,來試試看

作者: frank910138 (frank) 2019-10-03 18:49:00

去看js 內容有辦法抓出來改寫成python?

作者: TitanEric (泰坦) 2019-10-03 19:47:00

花時間改寫不如丟給nodejs跑比較快

作者: Falldog (Yo) 2019-10-10 22:17:00

不就直接call他的api就好了嗎!?https://forum.gamer.com.tw/ajax/rank.php?c=21&page=1

作者: edl2000 (Eduardo) 2019-10-14 18:26:00

看到了，感謝指點，已經成功爬回來寫入檔案

繼續閱讀

[問題] 爬蟲新手問題Tungod [問題] jupyter python不能存檔新增檔案superpaden [問題] 為什麼break不出來PoPonn [問題] 用array去計算離差平方和與離差和乘積gohard Re: [問題] 超級新手python 算成績問題Archi821 [問題] 超級新手python 算成績問題Archi821 [問題] 請問如何將程式碼列印出來（有格式的）nicha115 [問題] 請問關於迴圈的問題nanami [閒聊] 女巫獵人random一直跑Trun?gogogo123 [問題] CNN圖片辨識，貼標籤問題asa121