[問題] 如何parse有infinite scroll的頁面?

作者: alich (阿力取)   2014-04-30 22:58:15
最近用node在parse一些網頁,
可是不知道該如何處理有infinite scroll的頁面阿QQ
現在應該有兩個問題:
(1) 要trigger scroll,讓更多的資料顯示出來;那就是要send一個ajax request
給要parse的那個頁面吧,可是... 該怎麼做?
(2) infinite scroll後來被trigger出來的資料可以在f12的DOM tree裡面找到,
可是parser抓到的html是來自 右鍵 -> 檢視原始碼阿,
這樣就算我可以trigger scroll還是沒辦法抓到更多資料ˊˋ
有沒有方法可以抓到f12裡面的DOM tree ?
想請問各位大師有甚麼建議~~ 謝謝~~~
作者: danny8376 (釣到一隻猴子@_@)   2014-05-01 00:56:00
非通解就是對該網站研究他的ajax資料通解請自己弄出JS解釋器(然後你就變Google了)
作者: Fantasywind   2014-05-01 01:52:00
phantomjs
作者: Rplus (R+) (9527)   2014-05-01 07:19:00
phantomjs XDD

Links booklink

Contact Us: admin [ a t ] ucptt.com