[問題]Selenium沒辦法爬 MOMO購物網

作者: a6409tw (爆蠑螈)   2018-12-08 21:51:50
各位大大好
如題小弟發現MOMO購物網有使用JS渲染
所以我使用Selenium Chromedriver的Headless方式去抓取
商品品名、價格、商品網址
可是不管用什麼方式
都沒辦法爬下來Q
以下是我的Code
from selenium import webdriver
from bs4 import BeautifulSoup
options = webdriver.ChromeOptions()
options.add_argument('headless')
driver = webdriver.Chrome(executable_path =
r'/Users/syu/Downloads/chromedriver',chrome_options=options)
driver.get('https://www.momoshop.com.tw/search/searchShop.jsp?keyword=adidas')
ps = driver.page_source
ps = driver.page_source
soup = BeautifulSoup(ps,'lxml')
接下來嘗試用
items = driver.find_elements_by_css_selector('.prdName')
items = driver.find_elements_by_class_name('prdName')
items = soup.findAll('p',{'class':'prdName'})
怎麼抓都抓不到任何東西
已經試了一整天
也爬了很多文
但都還是找不到原因Q
真的麻煩各位大大了QQ
作者: TakiDog (多奇狗)   2018-12-09 11:51:00
你有看過他網頁載入的順序嗎 一定要selenium的話寫一下time.sleep吧 先把抓到的html導出,看好標籤再找requests 直接對這處理吧host../ajax/ajaxTool.jsp
作者: v86861062 (數字人:3)   2018-12-09 12:47:00
為什麼前面兩行是proName? 應該是用prdName吧 :)
作者: TakiDog (多奇狗)   2018-12-09 18:16:00
F12看一下 post過去就可以拿到資料了

Links booklink

Contact Us: admin [ a t ] ucptt.com