[問題] 如何判斷網頁是否有更新?

作者: james732 (好人超)   2015-06-05 01:14:07
我目前在寫個app
用jsoup從店家網頁把商品、價格抓下來
http://www.landtop.com.tw/products.php?types=1
抓資料與分析已經完成了,接下來我想做的是:
偵測這次抓到的網頁,與上次抓到的網頁是否有分別 (店家是否有更新網頁)
1.如果有分別,就抓出哪些手機是新上架、降價、漲價等
2.如果沒有分別,那就什麼都不做
不過問題就是,上次抓到的資料,我應該要怎麼儲存下來、存成什麼型式
才能跟這次抓到的資料做比較、分析呢?
我最困擾的是,不知道要怎麼判斷「店家是否有更新網頁」
這樣就會變成
1.第一次開app,抓到某手機價格為20000,判斷為「新上架」
(店家更新網頁)
2.第二次開app,抓到同手機價格變為19000,判斷為「降價」
3.立刻第三次開app,抓到同手機價格變為19000,判斷為「不變」
但事實上第二次與第三次開啟時,店家並沒有更新網頁
所以第三次開app時,應直接取得第二次開啟的判斷結果,得到「降價」才對
請問這種需求,應該要怎麼做比較好呢?謝謝
作者: A4P8T6X9 (殘廢的名偵探)   2015-06-05 09:43:00
想辦法存時間,商品名稱,日期
作者: blackZ2   2015-06-05 10:31:00
沒有分別之後,再判斷資料取得日期,超過多久,就判斷不變另外我覺得不應該以開啟app作為更新判斷的時間點一秒前開啟app為「新上架」 下秒開啟app為「不變」個人認為應該為周間為判斷點*以
作者: ckvir (ckvir)   2015-06-05 10:44:00
我建議是額外架設一台server 去抓, 然後存 db, app 再去你db 抓資料,或是 server gcm 推送app, 不然你用 app 定時抓會很耗電
作者: LaPass (LaPass)   2015-06-05 12:57:00
商品有沒有絕對的id? 最好用id作判斷
作者: Fnd (紅塵自有千千愁)   2015-06-07 00:18:00
推上面用server抓,抓完寫個function比對,有變動就push,然後寫支api,當resume或start的時候去call api更新app資料?開啟就檢查就存成兩個檔案去比對?
作者: wuliou (wuliou)   2015-06-07 11:09:00
另外用server抓簡單多啦 何必用手機做這種事

Links booklink

Contact Us: admin [ a t ] ucptt.com