[問題] selenium有時會突然卡很久

作者: Federer5566 (費德勒5566)   2021-12-22 19:08:03
各位前輩好
最近剛開始試著用python去跑一些工作
大致上就是代替我在公司的某個網站上進行一些重複性操作
google看最多人推薦的似乎是selenium
所以就用selenium + vs code寫了一支程式
跑起來大致上都還順暢,但有時會卡卡的
譬如跑100個迴圈,可能其中80個都很順但會有20個迴圈卡很久
卡的地方都是在執行某個javascript之後(網站用一堆javascript)
要把driver轉進我目標框架的這一行(網站有好幾層框架)
也就是driver.switch_to.frame()這個函式,大約會卡個十幾秒
卡關的時候,目測網頁元件都早已載入完成了,但程式就是不會往下繼續跑
有開WINDOWS的工作管理員來看,cpu跟記憶體都沒有超載
瀏覽器(CHROME)也沒有占用特別多資源
很頭大...
不知道各位前輩有沒有處理過的經驗?
作者: TakiDog (多奇狗)   2021-12-22 19:29:00
不要用selenium 除非requests解決不了
作者: Federer5566 (費德勒5566)   2021-12-22 20:32:00
撠绗뢍韏瘀벌œ飛python嚗繮ꮋ鸺equest銋蔃泾?隢鲳閏request銋蔃泾猟ꆆ嗉ㄐ栋髠镼踹鞎?請問request也能抓框架裡的東西嗎?
作者: TakiDog (多奇狗)   2021-12-22 20:58:00
建議了解網路封包(http) 還有了解瀏覽器渲染一定都抓的到資料
作者: g919233 (Jia)   2021-12-22 23:13:00
同樓上,requests抓的到,只是看網站的防爬蟲做的怎樣
作者: niceguy (niceguy)   2021-12-23 08:10:00
可以用requests-html,渲染後再解析
作者: single4565 (leekdumpling韭菜水餃)   2021-12-23 17:19:00
你是寫整合測試嗎?還是只是為了爬蟲?

Links booklink

Contact Us: admin [ a t ] ucptt.com