[問題] Pyhton 爬蟲frame看不到 試過Selenium

作者: ncueBenson (nuceBenson29)   2017-10-29 20:34:31
大家好,第一次碰爬蟲
要到某學校幫學生抓取成績資料,但該學校的網站設計我透過
request,seleium都看不到frame的部份(輸入帳密,還有成績表格部份設計方式一樣)
會有隱私問題就不提供帳密(請見諒),僅以相同設計方式的登入頁面解說
學校網址登入網址
https://khweb.ischool.com.tw/?dn=wfjh.kh.edu.tw#wfjh.kh.edu.tw
以下是code
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://khweb.ischool.com.tw/?dn=wfjh.kh.edu.tw#wfjh.kh.edu.tw')
print(driver.page_source)
跑出來的結果沒有框架的原始碼,連frame什麼的都沒有
請問大神們 我是不是搞錯什麼?
或是提點我有什麼方向該去查的~
謝謝
作者: neil987 (R5大小姐-EX人品崩壞)   2017-10-29 20:36:00
你有沒有帳密可以測試 有的話直接丟一次 看開發工具看他把哪些資料 送到啥網頁像這樣 https://i.imgur.com/THkotup.png不是 不管他form怎處理 到最後一定有個網頁收資料上面那張圖就是我按登入之後 他送的資料跟目標網頁也就是說auth.ischool.com.tw/service/basicauth.php這個就是他收登入資料的網址 送的資料圖上有我沒有帳密沒辦法幫你測 反正登入這塊這步看起來是沒錯的
作者: coeric ( )   2017-10-29 21:24:00
樓上的意思是 先去Response 看看到底是顯示在哪個頁面吧?
作者: vi000246 (Vi)   2017-10-29 21:54:00
看起來是透過basicauth.php判斷帳密是否正確 再呼叫登入動作 你再研究看看網頁下一步會做什麼
作者: ncueBenson (nuceBenson29)   2017-10-29 21:58:00
好的我明天下班後試試 我習慣十點就寢~~謝謝三位大大
作者: f496328mm (為什麼會流淚)   2017-10-30 12:11:00
seleium基本上應該無敵吧!很難遇到看不到的
作者: zerof (貓橘毛發呆雕像)   2017-10-30 13:43:00
switch_to.frame
作者: ncueBenson (nuceBenson29)   2017-11-03 12:47:00
有透過frame登入了 可是driver抓到的資料好像是還沒登入的網頁

Links booklink

Contact Us: admin [ a t ] ucptt.com