[問題] 想請問更換ip的問題 a20913126 PTT批踢踢實業坊

[問題] 想請問更換ip的問題

作者: a20913126 (TangTang) 2016-12-08 17:33:47

最近在練習用python寫爬蟲
但是在大量爬取時出現ProxyError
主要就是因為超過Max retries exceeded 該網頁
所以我想在爬取時定時更換ip
但公司電腦又不能使用safeIP
不知道有沒有其他方法能在爬取資料時renew IP
懇請各位大大指教
或是給我關鍵字讓我自己估狗學習
謝謝

作者: uranusjr (â†é€™äººæ˜¯è¶…ç´šç¬¨è›‹) 2016-12-08 17:56:00

用公司電腦就低調點慢慢爬, 不然被抓還可以告你偷電

作者: shadowjohn (轉角遇到愛) 2016-12-08 18:08:00

先收集proxy、socket5、可以穿x-forward-proxy不然你換再多ip應該也...

作者: ajaxbaby (Ajax) 2016-12-09 09:28:00

也很想知道+1 ...想知道有無方法能更換proxy, 免費付費都好頻率數分鐘一次也可以目前知道透過browser可以

作者: aweimeow (喵喵喵喵ヽ( ・∀・)ノ) 2016-12-09 14:54:00

改 X-forward-for Header 不知道有沒有用 XD

作者: Nt1 (用功點吧!) 2016-12-15 02:09:00

架tor, 不過效能會下降

繼續閱讀

[問題] django 免費雲端主機？frank910138 [問題] python 編碼問題soul810707 [問題]執行.py 時指定不同的config.ini檔cerebellum Re: [問題] 透過python做個雲端辨識系統ncuyes [問題] 正規表達式 TXT抓取數字a79621234 [問題] CONDA下有兩個python 核心notebookxakg [問題] Encoding of binary dataaMaa [問題] 請問有人在使用kaldi嗎?t104368109 [問題] Python Phantomjs 點擊aa12twtwaa [問題]輸出json時中文亂碼soul810707