[問題] AJAX網路爬蟲

作者: stanleychao   2019-05-31 22:57:30
之前都是用scrapy搭配selenium爬蟲,不過遇到動態網頁就會慢很多
最近爬文得知可以用AJAX方式去把所需要資料讀出來,不過無法跟網路教學一樣讀出json格式
以下是我要資料流程
EX:
import requests
import json
url = 'https://fb.oddsportal.com/feed/match/1-6-E5R55yD8-3-1-yj4d1.dat'
response = requests.get(url)
response.text
問題就如下打response.text時會出現以下,而不是像chrome工具顯示後面還有一大串json
"globals.jsonpCallback('/feed/match/1-6-E5R55yD8-3-1-yj4d1.dat', {'e':'404'});"
請問這是為什麼呢?
謝謝
作者: q79236 (昕翔)   2019-06-01 01:19:00
試試看把header設定的跟google chrome一樣看看
作者: a11780922 (蘿蔔特務)   2019-06-01 20:03:00
header 要給參數
作者: utdsml (阿邊肥)   2019-06-11 11:58:00
scrapy可以用splash處理AJAX

Links booklink

Contact Us: admin [ a t ] ucptt.com