[問題] BeautifulSoup連線問題 philipwen PTT批踢踢實業坊

[問題] BeautifulSoup連線問題

作者: philipwen (匈牙利=Hungary) 2019-07-01 13:33:52

Hi各位強者大大，小弟Python外加IT新手，最近嘗試用BeautifulSoup抓取博客來書店資料(ISBN和分類)，目前已經寫好一個相對完整的程式但遇到一個問題。
我在程式加了一個判斷式判斷如果某Class存在才會繼續抓取資料。但執行後發現有時候明明網頁有資料的卻不會去抓取。我試著把連線參數調整後抓的到，但因為要抓8萬筆資料不可能讓參數放得太寬。
請問如果像這樣的狀況我該怎麼辦呢?
附上程式碼請各位強者大大參考
https://tinyurl.com/y3yvqshf

作者: kenduest (小州) 2019-07-01 13:59:00

買多台 cloud 有不同 ip 分散連線抓取

作者: rexyeah (ccccccc) 2019-07-01 15:33:00

不先檢查status_code嗎？

繼續閱讀

[問題] 請問python有這功能的模塊嗎?daniem1314 [問題] 新手學習容易忘記Haruna1998 Re: [問題] 新手assign to operator的問題yeuan [問題] powershell還是python？NightStick [問題] Jupyter notebook nbextensionsmartin7887 [問題] Matplotlib module新版問題Dmix [問題] 學習破解驗證碼?daniem1314 [問題] 新手assign to operator的問題superpaden [問題] 使用python上傳檔案swwy1661 [問題] matplotlib.pyplot 的y軸數字太長treefrog