[問題] Rselenium網頁爬蟲迴圈問題

作者: bearching (Pandora`s Box)   2019-01-29 15:18:37
[軟體熟悉度]:
入門(寫過其他程式,只是對語法不熟悉)
[問題敘述]:
===
02/11/2019補上更詳細的問題敘述供參考
我目前想做的事情是在一個資料庫上爬資料,
資料庫是用網頁呈現的,我的需求是複製搜尋資料庫之後的結果,
該搜尋結果一頁只會呈現35筆的資料,
所以如果搜尋結果總共20000筆的話我就會手動複製到天荒地老,
故打算用爬蟲的方式複製資料,再轉成excel可以讀取的檔案,之後再進行下一步分析
coding卡住的地方是我原本想要一筆資料就設定為一個變數,
35筆資料就有35個變數
locka與celestialgod的建議是,R的概念不是這樣子的(也幸好不是,後來想想這樣子抓
資料會很恐怖)
應該是設定一個list函數,再把資料儲存到這個函數裡面
我後來使用的是vector函數,然後把資料儲存進去,
再輸出為csv檔:
a <-vector()
#中間複製資料的code略過
at <- matrix(a)
write.csv(at, file ="abc.csv")
======
我想要寫的內容是,宣告jump.page當作網頁的頁碼(從第2頁開始)
每頁有0~34行的內容,我用xpath定位這總共35行,
value是paste0(value ="//span[@id='tr_",m,"']"))
然後整個網頁頁面是從第2頁到第10頁
一樣是用xpath定位網頁上面的頁碼,value是
paste0(value ="//a[text()='",jump.page,"']"))
我想要問的事情是
1.take_m的這個宣告變數,我想要把m用迴圈的數字代換,但目前就是跳出"take_m"
這個變數而已,
這個目的想要的是把複製的文字記錄在同一個變數(或是vector?)裡面,
再print來看
2.我使用paste0()做這件事情,目前好像時好時壞,有時候會認不得我寫的東西,
有時候又可以,請問有沒有版友跟我發生一樣的事情呢? 感謝
[程式範例]:
jump.page <- 2
while(jump.page <= 10){
for(m in 0:34) {
take_m <- remDr$findElement(using = "xpath", paste0(value =
"//span[@id='tr_",m,"']"))
take_m$getElementText()
}
web.link <- remDr$findElement(using = "xpath", paste0(value =
"//a[text()='",jump.page,"']"))
web.link$clickElement()
jump.page <- jump.page + 1
}
[關鍵字]:
爬蟲 Rselenium 迴圈
作者: locka (locka)   2019-01-29 17:39:00
建議提供可以重現問題的程式碼。不過我覺得原po可以練習使用*apply系列函數來寫迴圈。如果我沒理解錯的話,你現在卡住的地方是在於想跑35次迴圈產生35個 take_m 變數,方便你查看每次的內容;可是R的邏輯在這裡不太像一般的程式語言,舉例來說如果你用result<- lapply(…)來做的話,回傳值會是一個長度35的list,list中每個element就是每次的結果,這樣只要用 result[index] 的方式就可讀每次的結果了,根本不需要設35個變數。
作者: celestialgod (天)   2019-01-30 16:47:00
是不是用apply是無所謂,但是沒有可以重現問題的程式碼 實在無法幫忙....啊啊 原來原po要產生task_1, ...這樣的變數? 原po請考慮用list存下task的資料

Links booklink

Contact Us: admin [ a t ] ucptt.com