[問題] 如何爬蟲會每日更新網站?

作者: starlin2 (重新開始生活)   2018-01-08 14:18:01
不好意思爬蟲初學,
目前想要爬法拍屋查詢,
http://aomp.judicial.gov.tw/abbs/wkw/WHD2A00.jsp
我目前可以找到他查詢出來TABLE的網址,並用GET去取得資料秀出來~
目前程式查詢的是宜蘭縣頭城鎮的法拍屋
import pandas
dfs = pandas.read_html("http://aomp.judicial.gov.tw/abbs/wkw/WHD2A03.jsp?
CB9A40A9FDA4E10666512BC4C2A180D2=C13752ECCB9567ECF0193DDCAFF6EF5A&hsimun=
%A9y%C4%F5%BF%A4&ctmd=%C0Y%AB%B0%C2%ED&saledate1=&saledate2=&crmyy=&crmid=
&crmno=&dpt=&minprice1=&minprice2=&saleno=&area1=&area2=&registeno=&checkyn=
all&emptyyn=all&rrange=%A4%A3%A4%C0&comm_yn=&owner1=&order=odcrm&courtX=
ILD&proptypeX=C52&saletypeX=1&query_typeX=db")
currency = dfs[0]
currency = currency.ix[5:,4:6]
currency.columns = [u'',u'',u'']
print (currency)
執行後可以成功得到頭城鎮的拍賣資料....
5 房屋地址/樓層面積 總拍賣底價(元)
6 宜蘭縣頭城鎮忠孝新村68號 4 坪 x 4分之1 建物拍賣底價:....
7 宜蘭縣頭城鎮忠孝新村68號 16 坪 x 4分之1 建物拍賣底價:....
8 宜蘭縣頭城鎮協天路653號4樓 22 坪 x 全部 建物拍賣底價: ....
9 宜蘭縣頭城鎮頭濱路2段146號 89 坪 x 100000分之16667 建物拍賣底價
10 宜蘭縣頭城鎮福成路210號 44 坪 x 100000分之12500 建物拍賣底價:
11 NaN NaN NaN
不過他的這個連結每天按下查詢都會不一樣,這樣的話我要怎麼去爬他的資料呢?
作者: Sunal (SSSSSSSSSSSSSSSSSSSSSSS)   2018-01-08 14:19:00
爬出來的放data到資料庫 比對update or create
作者: coeric ( )   2018-01-08 14:31:00
看到這篇...突然想到我該做的事 還沒完成.....目前一直都是刷掉抓最新的 歷史的還沒去爬...提醒我了
作者: blc (Anemos)   2018-01-08 18:54:00
從不會變的網址開始抓
作者: coeric ( )   2018-01-09 07:55:00
有API可以用阿...別傻傻的去爬
作者: yimean (溫柔殺手)   2018-01-09 10:03:00
請問要如何取得API?
作者: coeric ( )   2018-01-09 13:43:00
opendata
作者: vi000246 (Vi)   2018-01-10 23:17:00
用字號當key 重覆的不抓

Links booklink

Contact Us: admin [ a t ] ucptt.com