[問題] WSJ網站上的資料抓取 areyo PTT批踢踢實業坊

[問題] WSJ網站上的資料抓取

作者: areyo (沒有名字的怪物) 2016-11-25 16:00:58

各位午安
想請教如何抓取wsj.com上面某檔股票的歷史資料
例如Nikkei 225
http://quotes.wsj.com/index/JP/XTKS/NIK/advanced-chart
目前僅會'手抓'，利用Chrome + F12去抓取JSON數據
https://dl.dropboxusercontent.com/u/14347169/wsj.png
想請教版上高手，這要怎麼抓取呢??
謝謝

作者: gozule (好冷啊~~) 2016-11-25 21:33:00

用scrapy抓完後再parse

作者: areyo (沒有名字的怪物) 2016-11-26 08:12:00

scrapy該如何抓?? 謝謝如果用urllib, request能否抓取呢??

作者: Neisseria (Neisseria) 2016-11-26 09:35:00

用 urllib 要自行處理細節，用 scrapy 就省下這些工夫如果不會用 scrapy，可以用 requests 函式庫這些函式庫/框架都有網站，可以上去看一下相關說明

作者: s860134 (s860134) 2016-11-26 16:51:00

老實說你的問題應該是怎麼爬那個網站吧

作者: areyo (沒有名字的怪物) 2016-11-26 16:54:00

是想爬該網站某檔股票的歷史股價

作者: s860134 (s860134) 2016-11-26 16:55:00

header 抄一抄，解析一下那些 url parameter的規律像是你要爬多檔股票你要知道股票清單在哪或是名稱規律

繼續閱讀

[問題] matplotlib圖片切換coolching [問題] statsmodels.tsa.johansen模塊安裝ss546418 Re: [問題] python版本與gurobi、conda的問題gozule [問題] python版本與gurobi、conda的問題xakg [問題] django靜態文件設置honesty1997 [問題] fabric範例TpBp Fw: [問題] python OrderedDic傳往前端sean72 [問題] 關於pandas讀取csv檔問題?processior [問題] IDLE中使用pandas的問題Zan666 Re: [問題] List of List初始化Conjuror