我遇到一個網站，一進入就會prompt，提醒需要輸入帳密，
我可以用selenium連上 https://username:[email protected]，
並取得我想要爬取的資料
但selenium實在太慢了，所以我想回歸原本使用requests+lxml，
卻無法使用 https://username:[email protected] 的方式登入，
會一直引發ConnectionError(err, request=request)
我想試著用requests.get(url,auth=(username,password))
也一樣會引發ConnectionError
想請問像這類的網站是否可直接利用requests登入？
謝謝

當然可以

因為沒有具體範例 無法給建議

瞭解，謝謝

一個網站.....到底哪一個網站 這是請鬼拿藥單嗎？

這大概basic auth才會出現的連線方式，我也回當然可以，也不算資訊不足啦

用 selenium 發的請求是會帶瀏覽器 header 跟 cookie 或有些表單需要的 csrf token等等 所以可以成功 建議你可以觀察登入時帶了哪些參數 以及開f12看登入方式是走 post back 還是 jwt或其他 都了解清楚後再想辦法用 request模擬另外登入通常是用 HTTP POST 不是 GET