[問題] 關於Node.js superagent的redirects

作者: dwadefans (wade)   2015-11-08 17:18:00
目前使用Node.js向Google的搜尋服務撈資料
發現取得資料後會轉址(redirect)到另外一個網頁
我使用superagent取得資料後的sres物件內
會有redirects的array包著三個網址
其中一個網址裡面的網頁資料就是我要取得的東西
不過問題是response的html不是該網址內的html
我想要取得的是該網址的html後,再用cheerio來分析
我想過一個方法,就是爬兩次網頁
爬完第一次網頁後回傳該網址,再利用該網址爬第二次
不過問題是得等待回傳設定聆聽者,不曉得這個方法好不好
還是說npm的superagent或是request等套件有辦法幫我自動導向最後的網頁畫面
(像是使用Browser瀏覽會自動切換一樣)
麻煩各位了謝謝 :D
作者: dwadefans (wade)   2015-11-08 17:20:00
才剛說完我似乎找到類似的了 https://goo.gl/FhGdqo\https://goo.gl/T52CjF

Links booklink

Contact Us: admin [ a t ] ucptt.com