[問題] 爬蟲部署到Heroku後請求失敗

作者: gene50814 (genechen)   2022-08-18 23:10:23
各位大大好
小弟有一個爬印度證交所(https://www.nseindia.com/) 網站的需求。
在local端寫好執行都沒問題,但部署到heroku之後連單純的requests get都沒辦法。
請求送出之後不是會return失敗的status code,而是會執行非常久都不會結束
之前在local端測試的時候是如果沒有加user-agent會發生這種問題,但部署到heroku上
的程式是有加的
想請教如果要能在heroku上正常運行可以怎麼調整? 不知道會不會是跟國家有關? hero
ku上的國家似乎只有US跟EU。會是需要調整user-agent嗎?
請大大們指點迷津了 感謝
作者: gene50814 (genechen)   2022-08-19 10:16:00
看起來就是網站把雲端server都擋掉了 似乎無解
作者: shihs (shih)   2022-08-24 20:16:00
很多網站都會擋 heroku 發出的 request

Links booklink

Contact Us: admin [ a t ] ucptt.com