[問題] 用JS做網路爬蟲是否可行? peace9527 PTT批踢踢實業坊

[問題] 用JS做網路爬蟲是否可行?

作者: peace9527 (謝謝你9527) 2016-02-17 17:47:48

本來一直都是用python在做網路爬蟲
但因為公司有新需求
想要直接在網頁上按按鈕就能抓下需要的資料
因此我想到了google 插件可以滿足這種UX
而google插件只能用JS寫所以我就重拾JS的懷抱
玩了一整天後
目前覺得JS應該可以做網路爬蟲
只是不知道是否好做呢?
像Python有好用的BS4 selenium等等做網路爬蟲很方便很輕鬆
目前我只知道jquery的 querySelectorAll function
想知道還有沒有其他更好用的網路爬蟲function呢?
感謝各位大神的解答!

作者: shadowjohn (轉角遇到愛) 2016-02-21 23:46:00

node-webkit也ok啊...也沒跨域的問題ajax亂衝iframe也可以亂穿~自加code :D

作者: rarex (╰(〒皿〒)╯) 2016-02-17 21:25:00

node.js有很多這種資源呀可以往這方面去找找看

作者: rayway30419 (RayWay) 2016-02-18 00:46:00

nodejs + spider/crawler一大堆

作者: BigTounge (舌頭) 2016-02-19 02:26:00

nide cheerionode打錯

作者: Peruheru (還在想) 2016-02-19 13:20:00

原PO想問的是前端JS吧?不然後端爬蟲用什麼語言哪有差網頁端JS的話，跨網域的抓取有滿多限制的

作者: honestyer (誠實可靠小郎君) 2016-03-04 16:59:00

nodejs 滿足你的需求

作者: nightspirit (鞭策自己社清流夜靈) 2016-03-06 19:10:00

前端爬跨網域太麻煩, 後端爬可用phantom.js

作者: pleasewait (Somebody) 2016-05-16 12:35:00

cheerio 棒棒

繼續閱讀

[問題] 新手想問一下觀念的問題p134030772 [問題] 練習環境yshihyu Re: [問題] 請問Exception相關問題(ashx 搭配jQuery)brocker [問題] nodejs 課程或推薦者dianwu [問題] jQuery有MS精靈的Plugn in 嗎？hammert [問題] json.js跟jquery.blockUI衝突?lovejoe7010 [問題] jquery的ul li click問題lovejoe7010 [問題] struts radiobox點不到lotoyoko [問題] 如何disable Chrome Address Baru9423504 [問題] 請問es6 class的一些寫法問題qas612820704