[問題] 爬蟲 csrf 怎麼獲得?

作者: a199111222 (oyeh)   2021-07-20 19:21:54
網頁為以下
https://www.barchart.com/stocks/quotes/AMD/put-call-ratios
Cookies內的xsrf-token每天都會變
不知道有沒有辦法用python抓出來
試了以下方法都失敗
1. 從網頁內直接找是不是有藏token的數值,但沒有
2. 直接不帶cookies直接抓網頁,並拿回傳的cookies,還是失敗
暫時不考慮用python的網頁去抓(太多資料應該會抓不完)
不知道有沒有人處理過類似的問題
謝謝
作者: ckc1ark (偽物)   2021-07-20 20:35:00
在put-call-ratios response的set-cookie找看看
作者: a199111222 (oyeh)   2021-07-20 23:54:00
請問c大有沒有清楚一點的說明,菜雞不是很懂...
作者: ckc1ark (偽物)   2021-07-21 02:33:00
https://reqbin.com/c-uzaayddu 看headers的部分是藏在response header不是在body
作者: a199111222 (oyeh)   2021-07-21 10:29:00
https://i.imgur.com/FVlUNns.jpg如果用get 去這網頁確實會得到後來request的csrf,不過我把這網頁的curl轉換成python語法後,回應的headers和圖片上的不一樣...,如果很複雜可以站內我,酬勞可成功了,原來curl等於不同使用者,所以回應的header也會不一樣,把回應的再拿去post拿到的資料是正確的,謝謝c大
作者: aidansky0989 (alta)   2021-07-21 12:38:00
Form表單元素看一下通常會有

Links booklink

Contact Us: admin [ a t ] ucptt.com