[問題] 爬蟲突然掛掉

作者: loser113 (洨大魯蛇ㄍ)   2021-02-04 09:30:07
工具:
python 3.8
selenium
webdriver.Chrome()
情況:
開多個 console 爬同個網站不同頁面
今天早上看發現有些掛掉 幾乎都是同個時間 但有些還是繼續爬
程式碼都依樣 頁面不同
錯誤地方都不太一樣
driver.refresh() 比較多
錯誤原因
NoSuchWindowException: no such window: window was already closed
(Session info: chrome=87.0.4280.141)
嘗試輸入指令
driver
Out[23]: <selenium.webdriver.chrome.webdriver.WebDriver
(session="98fcf588b7cc41cca659c46b9e35424b")>
driver.window_handles
Out[26]: []
driver.page_source
NoSuchWindowException: no such window: target window already closed
from unknown error: web view not found
(Session info: chrome=87.0.4280.141)
找不到頭緒怎麼解
打 driver 仍然有訊信
但是執行一些動作就錯誤
因為有些其他程式還在執行 沒有中斷
想問看有沒有寫法可以避免
作者: stillcolor (鬼艾倫)   2021-02-04 10:08:00
是不是因為fail就關閉browser啦?資訊有點少欸~
作者: loser113 (洨大魯蛇ㄍ)   2021-02-04 10:28:00
Chrome 跟頁面都在頁面是空白
作者: taipoo (要成功要積極)   2021-02-04 12:00:00
你是不是觸發網頁的反爬蟲機制,且你爬的是什麼網頁呢?
作者: vi000246 (Vi)   2021-02-04 13:24:00
我猜是樓上講的吧 過一天再試試看
作者: stillcolor (鬼艾倫)   2021-02-04 14:21:00
頁面都空白的話,應該不是selenium的問題吧直覺也是4F講的那樣
作者: liton (歐吉桑留學生)   2021-02-04 14:26:00
找個免費的爬蟲軟體批量爬看看會不會被擋
作者: loser113 (洨大魯蛇ㄍ)   2021-02-04 14:46:00
反爬就不得而知 像 google 還有要你選圖因為同個網站 前一個月沒有這種問題 這個月多放個幾個帳號去爬 目前找到解法是多寫個sleep在動作
作者: liton (歐吉桑留學生)   2021-02-04 16:42:00
網站三不五時改個頁面就能搞死你了
作者: koshi0413 (Koshi)   2021-02-04 21:04:00
你一次多隻爬同一個網頁,是不是IP被偵測到
作者: fiorentino (眠)   2021-02-04 21:53:00
有可能你爬的那個網頁內容就是不存在你打開瀏覽器直接貼上那個網址就知道是不是這個原因
作者: chickengod (雞大俠)   2021-02-05 02:30:00
https://stackoverflow.com/questions/61683881/有人提到可能是網頁開了新視窗 然後關了原本的導致handle指向一個已經關閉的視窗解法有可能是這個https://stackoverflow.com/questions/51775122指向一個新的視窗 忽略以下exceptionNoSuchWindowException, NoSuchElementException
作者: taipoo (要成功要積極)   2021-02-05 04:36:00
樓上說得也很有可能會發生的
作者: stillcolor (鬼艾倫)   2021-02-05 14:25:00
話說你空白網頁,有帶入url嗎?
作者: loser113 (洨大魯蛇ㄍ)   2021-02-05 14:46:00
有 就是要爬的那頁網址
作者: stillcolor (鬼艾倫)   2021-02-05 16:53:00
會不會是browser memory leak就被砍掉了?我好像碰過

Links booklink

Contact Us: admin [ a t ] ucptt.com