[問題] 使用requests post爬蟲問題

作者: liwenhuang (雜)   2016-09-01 00:23:28
大家好
最近在爬鉅亨網買賣超排名的資料時遇到一點問題
(網址: http://www.cnyes.com/twstock/a_QFII9.aspx)
我的目的是要抓集中市場以及店頭市場某一天的資料
使用以下的方法來request資料
market = ["TSE", "OTC"]
session_html = requests.session()
header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"}
formdata_market = {"__VIEWSTATE":viewstate,
"__VIEWSTATEGENERATOR":viewstategenerator,
"__EVENTVALIDATION":eventvalidation,
"ctl00$ContentPlaceHolder1$D1":market[0],
"ctl00$ContentPlaceHolder1$D3":"2016-08-29"}
html_market = session_html.post(url, headers = header, data = formdata_market)
對於集中市場的資料在抓取上沒有問題
但是當要抓取店頭市場某一天的資料時, 卻只能抓到當天的資料(選單上的第一個日期)
請問這個問題有什麼方法可以解決呢
謝謝各位
作者: hoho8 (hoho)   2016-09-01 06:16:00
更改參數日期再重新request?
作者: liwenhuang (雜)   2016-09-01 09:49:00
似乎是只要改了市場參數到OTC後,日期不管改哪一天都會回傳選單上第一天的資料..

Links booklink

Contact Us: admin [ a t ] ucptt.com