[問題] 請教某些網站如何抓取爬蟲 zxcv4982543 PTT批踢踢實業坊

[問題] 請教某些網站如何抓取爬蟲

作者: zxcv4982543 (zxcv4982543) 2018-04-21 18:20:13

如題
小弟是程式初學者最近在學爬蟲
已經有抓學測研究所那種交叉查榜的資料(單一網頁)
目前想抓LOL的對戰紀錄網頁
https://matchhistory.tw.leagueoflegends.com/zh/#page/landing-page
但這網頁除了是用滾輪式網頁外
裡面的每一筆對戰紀錄
雖然左鍵點擊就能進去
但右鍵或是
F12(chrome)找不到網頁相關的url(網頁包含每一場對戰代碼也找不到QQ)
https://imgur.com/caFBDK9
現在目前已經會模擬瀏覽器下拉
但就是網址的取得部分有困難
想請問各位大大
有什麼關鍵字或方法能交交我QQ

作者: st9760916 (st9760916) 2018-04-21 19:07:00

為啥要爬桶神的＝＝

作者: jn8029 (宅男8029) 2018-04-21 19:36:00

selenium get_elements_by_css_selector click

作者: vi000246 (Vi) 2018-04-21 21:36:00

你開F12 然後捲到最下面網頁會載入更舊的對戰紀錄觀察一下call了什麼網址你直接複製那網址貼上會得到所有對戰紀錄的jsonjson裡的gameid 就是match-details網址後面接的數字就能找到你要的頁面了

作者: coeric ( ) 2018-04-23 10:25:00

給一樓，這要給人家推一下阿 XDDDD有個目的來學爬蟲，這樣才有動力會快阿.....

繼續閱讀

[問題] 搜尋格多條件搜尋問題MAXCAI [問題] 無法用cmd開啟檔案wen12305 [問題] pymongo問題kennykobe [問題] matplotlib 3d移動spines到中心點znmkhxrw [閒聊] Python新手作品分享wdc5907 [問題] 爬蟲資料存入db 並製作成apirelievezaoc [問題] np.zeros memory erroryowantl [問題] 關於requests與beautifulsoup安裝問題Kamehame [問題] Cannot load mkl_intel_thread.dll問題jenny33377 [問題] Profiling 包含tensorflow跟CUDA的.pyMorphee