[閒聊] 請問有人用過免費Proxy寫爬蟲嗎? philipwen PTT批踢踢實業坊

[閒聊] 請問有人用過免費Proxy寫爬蟲嗎?

作者: philipwen (匈牙利=Hungary) 2019-07-19 14:21:29

http://tinyw.in/lOA8
附上網址
最近再用BeautifulSoup寫爬蟲，但老問題就是遇到防火牆規則
相同IP重複挖取被擋下來了就想說用跳板來抓
看到這一篇是抓可以用的免費Proxy來抓
Code分成兩大部分第一部分就是一個小爬蟲去爬免費Proxy
不知道有沒有人玩過這個呢? 分享給大家

作者: philipwen (匈牙利=Hungary) 2019-07-19 14:37:00

問一下有沒有人死在proxies=Next(proxy_pool)呢

作者: shadowjohn (轉角遇到愛) 2019-07-19 21:43:00

先把proxy4free列表裡的刷一次看哪些能用~

作者: s860134 (s860134) 2019-07-20 00:24:00

就一個 for 迴圈和一個 get 去檢查能不能用...

作者: ptl1129 (怪客) 2019-07-21 10:32:00

proxybroker

繼續閱讀

[問題] post內容中，多個相同的值ericerix [資訊] 每天新聞資訊網站整理IAMPF 如何同時把多個資料匯入模型，並同時運算?qaz992030 [問題] 如何讀取sql檔sun569 Re: [問題] 集合 set 問題Hsins [問題] 集合 set 問題h0304 [問題] 程式可運行但有一些橘色波浪線oo855050 [問題] openpyxl處理大型xlsx檔案的問題blacknate [重新開機已解決] 如何debug module in pycharmsshc [問題] PIL安裝失敗(成功囉^^)spong