[問題] 爬蟲遇到一個不能用的網址

作者: s4028600 (佑)   2019-11-13 10:01:30
這兩個網址都能在瀏覽器中觀看
res=requests.get("http://www.dm5.com/manhua-gaoda-turn-a/")
print(res.text)
這個網址能跑出我要的資料
但是
res=requests.get("http://www.dm5.com/manhua-gaoda-origin/")
print(res.text)
這個卻會出現訪問頁面不存在的問題
搞不懂問題出在哪裡
試過用User-Agent來模擬瀏覽器
不過還是一樣訪問頁面不存在
明明瀏覽器是正常的...
作者: coeric ( )   2019-11-13 10:45:00
因為它檢查的不是User-Agent阿.....
作者: s4028600 (佑)   2019-11-13 10:53:00
呃 那要怎麽辦 我連他檢查什麼都不知道
作者: hoho8 (hoho)   2019-11-13 13:03:00
試了一下,以為是cookies中的 「isAdult=1」在搞鬼結果不是,將headers試到剩下最後一句就能讀了'Accept-Language': 'zh-TW,zh;q=0.9,en-US;q=0.8,en;....'為什麼是這句?!,真奇怪 @@
作者: coeric ( )   2019-11-13 13:26:00
樓上 XDDDDD
作者: vi000246 (Vi)   2019-11-13 13:31:00
真奇怪 明明一樣的網頁 一個正常 另一個不能讀
作者: hoho8 (hoho)   2019-11-13 13:41:00
因為一個有18禁,可是keypoint卻又不是cookie isAdult上
作者: s4028600 (佑)   2019-11-13 14:00:00
什麼意思? 有誰解釋一下嗎?行了...但這句是什麼意思 為什麼會說為什麼是這句?原來是在f12裡面的東西 所以是偽裝不夠徹底的原因 因為只聽說偽裝瀏覽器就好了...
作者: s860134 (s860134)   2019-11-13 19:44:00
該送啥就送啥 最好跟瀏覽器一致

Links booklink

Contact Us: admin [ a t ] ucptt.com