[問題] requests aspx 爬蟲 coeric PTT批踢踢實業坊

[問題] requests aspx 爬蟲

作者: coeric ( ) 2017-05-22 13:52:12

http://codepad.org/nSKzySk4
遇到__VIEWSTATE 與__EVENTVALIDATION 的阻擋
因此我的方式是先用get取得__VIEWSTATE 與__EVENTVALIDATION
抓取這兩個值後，利用post 再request一次
可是卻取不回回應，似乎被擋了？
然則，在開發人員模式中 Headers的Form Data中的VIEWSTATE 與EVENTVALIDATION
不管我怎麼重整，就是不會變
但用python去取得這兩個值，卻時時在變動為何？
補充：
使用過Session 似乎一樣無法
http://codepad.org/WLXoNk55

作者: coeric ( ) 2017-05-22 14:03:00

加過sess 好像也沒用?

作者: leo850611 (Victorique) 2017-05-22 14:14:00

get那次要和post使用同個session

作者: zerof (貓橘毛發呆雕像) 2017-05-22 15:21:00

要照順序 post應該說要照 "手動選" 的順序 post, 後端會檢查 viewstate

作者: coeric ( ) 2017-05-22 16:11:00

挖塞.....感謝樓上上了一課...還有這樣的....中間還有藏了一post.....

作者: HenryLiKing (HenryLiKing) 2017-05-22 17:08:00

不好意思我還是不太懂什麼叫做手動選的順序耶

作者: coeric ( ) 2017-05-22 17:26:00

在選區域時，就已經偷偷送出一次post了再選縣市時最後的資訊才真正吐出來...

作者: HenryLiKing (HenryLiKing) 2017-05-22 18:19:00

喔喔喔喔！原來是這個意思!

作者: zerof (貓橘毛發呆雕像) 2017-05-22 18:28:00

QQ 賺了 200p (咦

作者: coeric ( ) 2017-05-22 21:17:00

我一開始以為，是全選好區域跟縣市，才送出post的

繼續閱讀

階層性structure的問題morisontw [問題] sphere() 畫圖無法顯示問題greenmi [問題] ttk Combobox能否知道選擇第幾項?neil987 [閒聊] 想徵一張Taiwan Pycon的門票QQ (板上那張是已售出)snaketsai [問題] jupyter notebook 終止問題pinechuball [閒聊] 售 pycon 票券 (售完)shi359 [問題] celery會重複執行任務?kagari [問題] notepad++執行閃退uglykidjoe Re: [問題] 利用迴圈方式，將每一筆資料存入陣列fischcheng [問題] 利用迴圈方式，將每一筆資料存入陣列popo14777