1. PTT
  2. Python

[問題] 爬蟲網頁

作者: piyieen (Nightshift24)   2018-06-11 17:26:38
小的是剛學python的新手
想請教一下
如果要一次爬很多網頁收集成資料庫的話
讀取網頁的code
是用for迴圈的方式嗎
還是有什麼比較常用的方法
謝謝
作者: neil987 (R5大小姐-EX人品崩壞)   2018-06-11 17:37:00
YT有很多教學 先從簡單的開始
作者: Jyery (文帝)   2018-06-11 23:33:00
先學會逛github stackoverflow
作者: zo6596001 (超帥肥宅)   2018-06-12 01:28:00
除了迴圈還能怎麼做...我是把要爬的網頁做成一個list，然後for each 一個一個慢慢抓。另一個不是動態網頁，則是直接改url的編號，一個一個抓我寫過2個爬蟲，一個抓即時價格，一個載圖圖。
作者: kobe8112 (小B)   2018-06-12 08:43:00
yield
作者: handsomeLin (DoGLin)   2018-06-13 19:58:00
用while loop阿然後DFS or BFS爬
繼續閱讀
[問題]生成mnist8Mkimi391[問題] tensorflow 問題jjba310[問題] 輸入法開發（PIME）shihs[問題] Run Datacamp課程裡面的code出現錯誤訊息AmigoSafin[問題] 請問psychopy如何做到對抗平衡?midorime[問題] python int()以及//問題SuperBu[問題] 超級新手python 問題polo12988[問題] Django-cronjob的問題anivia0428[問題] keras model問題znmkhxrw[問題] MicroPython 資料庫應用josh851229

Links booklink

Contact Us: admin [ a t ] ucptt.com