[問題] 爬資訊無法爬全部

作者: garlic774 (蒜頭)   2021-10-02 13:44:25
各位30cm D罩杯水水 大大午安,可以請教以下哪裡寫錯嗎? 只爬到前3個資訊
in
!pip install Selenium
from selenium import webdriver
browser = webdriver.Chrome(executable_path='./chromedriver.exe')
browser.get("https://shopee.tw/shop/10228173/search?page=0&sortBy=ctime")
source = browser.page_source
import time
import requests
from bs4 import BeautifulSoup
soup = BeautifulSoup(source)
links = []
for b in soup.find_all(class_="shop-search-result-view__item col-xs-2-4"):
links.append(b.a['href'])
links
products =[]
for b in links[:3]:
link = f'https://shopee.tw/{b}'
browser.get(link)
time.sleep(5)
soup = BeautifulSoup(browser.page_source)
soup
product = {}
product['商品名稱'] = soup.find('div',class_="attM6y").span.text
product['價錢'] = soup.find('div',class_="Ybrg9j").text
products.append(product)
products
out:
{'商品名稱': '明基 雙鋼印 幸福物語4D醫療口罩 (太空灰) 10入 (單片裝 台灣製 立體
口罩 魚型口罩 韓國KF94) 專品藥局',
'價錢': '$199'},
{'商品名稱': '明基 雙鋼印 幸福物語4D醫療口罩 (靜謐藍) 10入 (單片裝 台灣製 立
體口罩 魚型口罩 韓國KF94) 專品藥局',
'價錢': '$199'},
{'商品名稱': '明基 雙鋼印 幸福物語4D醫療口罩 (仙蹤綠) 10入 (單片裝 台灣製 立
體口罩 魚型口罩 韓國KF94) 專品藥局',
'價錢': '$199'}]
請問哪邊還可以修正呢? 目的是想要爬取改頁面所有商品的商品名稱以及價錢的資訊,
謝謝各位
作者: lycantrope (阿寬)   2021-10-02 14:36:00
看不懂,你寫for b in links[:3]: 不就只能爬3個?
作者: yuuyuuhuu (微微)   2021-10-02 14:45:00
同上 你只抓到links的前三個 當然只有三個資訊
作者: garlic774 (蒜頭)   2021-10-02 14:48:00
orz 明白了 XDDD 謝謝
作者: g919233 (Jia)   2021-10-03 06:03:00
順便說不使用瀏覽器的方式:https://blog.jiatool.com/posts/shopee_spider/
作者: garlic774 (蒜頭)   2021-10-03 19:13:00
謝謝 長了好多知識!!!
作者: oxalip   2021-10-16 20:23:00
ce c c

Links booklink

Contact Us: admin [ a t ] ucptt.com