[問題] 補遺失值 mice 包 太慢

作者: f496328mm (為什麼會流淚)   2016-12-18 00:31:58
文章分類提示:
- 問題: 當你想要問問題時,請使用這個類別。
建議先利用 google 爬文,如輸入
「想查詢的關鍵字 site:www.ptt.cc/*/R_Language/」。
[問題類型]:
程式諮詢(我想用R 做某件事情,但是我不知道要怎麼用R 寫出來)
[軟體熟悉度]:
入門(寫過其他程式,只是對語法不熟悉)
[問題敘述]:
請問有沒有其他的packages
補遺失值的方法,mice雖然可以,但是太慢了,
我的data,length (row*col) 有100萬個數字,
(4w 個 row,26 個 col)
missing value 有1.1萬筆,
要跑 3min
[程式範例]:
library(mice)
x=rnorm(100)
x[sample(100,20)]=NA
x=matrix(x,ncol=5)
x
complete( mice( x ) )
[關鍵字]:
mice , missing value
作者: cywhale (cywhale)   2016-12-18 00:47:00
data.table(x); for(j in colnames(dt)) {set(dt, j=j,value=ifelse(is.na(dt[[j]]),0,dt[[j]]))}
作者: clansoda (小笨)   2016-12-18 11:04:00
要先觀察缺失值是隨機缺失還是某些因素缺失如果是外來因素導致缺失,用rough的方法反而是增加noise對你的預測反而是種危害,與其增加noise不如移除這些足的訊號
作者: cywhale (cywhale)   2016-12-18 14:40:00
好像搞錯意思sorry,所以要補內插?你想補內插的方式為何?
作者: clansoda (小笨)   2016-12-18 14:41:00
mlr也有可以inputation的用途,不妨試試
作者: Wush978 (拒看低質媒體)   2016-12-19 11:08:00
mice是column based 的填補missing value嘛?有辦法做切割後用平行運算來跑嘛?
作者: clansoda (小笨)   2016-12-19 21:09:00
mice package的作者有一個manual有介紹 我忘了在哪

Links booklink

Contact Us: admin [ a t ] ucptt.com