[問題] Rvest 網路爬蟲問題

作者: iambakr (123)   2019-12-18 01:42:10
程式諮詢(我想用R 做某件事情,但是我不知道要怎麼用R 寫出來)
[軟體熟悉度]:
新手(沒寫過程式,R 是我的第一次)
[問題敘述]:
爬網頁上的產品名稱, 價格, 連結,以及每個產品連結網頁裡面的六個規格種類
然後合併成一個 13x9 的 data frame
但目前我有碰到以下幾個問題,想請前輩幫忙
Q1: 產品價格可以成功爬到,可是價格中間的空格都無法去掉,只留下數字部分。看了一
下網頁原始碼價格有包含 &nbsp這段,想請問要如何單獨提出裡面的數字?
Q2: 我用for 迴圈可以爬到13個各別網頁裡面的六個規格,想請問要如何爬出規格然後變
成 13x6 的資料然後跟其他爬到的資料合併成一個 data frame?
Q3: 承上,我有嘗試抓 html_table的方式,但跑出來就只有list()。請問我的寫法是哪
邊出了問題?
謝謝各位
[程式範例]:
https://ideone.com/QsX80K
[環境敘述]:
R version 3.6.2 (2019-12-12)
Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows 7 x64 (build 7601) Service Pack 1
[關鍵字]: Rvest, for loop, html_table
作者: xiangying (xiangying)   2019-12-18 03:25:00
1.用gsub將空格替換掉2看起來用rbind就做的到?
作者: iambakr (123)   2019-12-18 22:37:00
Q1沒辦法直接將空格換掉,看起來是空格但裡面其實還包含其他網頁原始碼 "&nbsp"Q2我有跑出來13個結果,但好像會一個接一個取代,以至於我看長度都只有6個...
作者: andrew43 (討厭有好心推文後刪文者)   2019-12-18 22:39:00
還是建議把實際的HTML檔拿出來討論。
作者: iambakr (123)   2019-12-18 23:11:00
價格部分的原始碼再這裡 https://imgur.com/VwuBXeS網站短連結 https://bit.ly/2EHme4R
作者: andrew43 (討厭有好心推文後刪文者)   2019-12-18 23:43:00
1.用gsub吧。x <- "123&nbsp;456"; gsub("&nbsp;","",x)更正,gsub("\u00A0", "", x) 就可以了2. for之前先建好data frame,在for loop中把各項資料存入data frame中,而不是每次取值後就沒事了。data frame每列為產品,欄可以是網址、spec等等東西。所以你應該從頭改寫,所有東西都存在一個data frame中而而不是各自獨立的變數,這樣整理起來會方便很多。https://ideone.com/VVRCnW&nbsp是HTML的特殊符號,而R得到後對應Unicode就是你看到的。網址相同不一定內容相同,不同時間去爬的關係把我相信你已經有辦法處理其他內容中的nbsp了。
作者: iambakr (123)   2019-12-20 00:06:00
感謝Andrew大!後來有照你的方法成功去除&nbsp了!請問有一段你的代碼是gsub("\u00A0", "", .) 最後一個點代表什麼意思呢? 是正則嗎? 另外如果要爬多網頁,網址規則是結尾=數字倍數方式,這樣邏輯上是爬完第一頁後,再用迴圈跑剩下頁數然後一樣丟進 data frame嗎? 謝謝
作者: andrew43 (討厭有好心推文後刪文者)   2019-12-20 10:02:00
那個點是pipe後代表先前的回傳值你說的扒多個網頁我不了解意思,可以開新的討論問。
作者: iambakr (123)   2019-12-24 00:45:00
感謝Andrew大! 我再研究一下,真的不行再po文請教大家

Links booklink

Contact Us: admin [ a t ] ucptt.com