Re: [問題] 資料整理

作者: celestialgod (天)   2015-07-27 10:54:35
※ 引述《Udyr (Udyr)》之銘言:
: [問題類型]:
: 程式諮詢(我想用R 做某件事情,但是我不知道要怎麼用R 寫出來)
: [軟體熟悉度]:
: 請把以下不需要的部份刪除
: 入門(寫過其他程式,只是對語法不熟悉)
: [問題敘述]:
: 資料形式為list
: $`875523`
: [1] "A" "B" "E" "C" "D" "G"
: $`881823`
: [1] "B" "D" "F" "E"
: 想將資料整理為以下格式
: A B C D E F G
: 875523 1 1 1 1 1 0 1
: 881823 0 1 0 0 1 1 0
A_list = list(LETTERS[c(1,2,5,3,4,7)], LETTERS[c(2,4,6,5)])
names(A_list) = c("875523", "881823")
all_levels = sort(unique(unlist(A_list)))
out = sapply(A_list, function(x) {
tmp = rep(0, length(all_levels))
tmp[match(x, all_levels)] = 1
tmp
})
out = t(out)
colnames(out) = all_levels
out
## A B C D E F G
## 875523 1 1 1 1 1 0 1
## 881823 0 1 0 1 1 1 0
## 如果A, B, C, ...不是只有一個,sapply內部要做更改
out = sapply(A_list, function(x) {
x2 = tapply(rep(1,length(x)), x, sum)
tmp = rep(0, length(all_levels))
tmp[match(names(x2), all_levels)] = x2
tmp
})
## method 2 (可以查看前面的資料整理套件介紹的系列文)
library(reshape2)
library(data.table)
library(plyr)
library(dplyr)
library(magrittr)
A_list = list(LETTERS[c(1,2,5,3,4,7)], LETTERS[c(2,4,6,5)])
names(A_list) = c("875523", "881823")
DT = llply(1:length(A_list), function(i){
data.table(id = names(A_list)[i], level = A_list[[i]])
}) %>% bind_rows
DT %>% dcast(id ~ level)
## id A B C D E F G
## 1 875523 1 1 1 1 1 0 1
## 2 881823 0 1 0 1 1 1 0
## use sparse matrix
library(Matrix)
A_list = list(LETTERS[c(1,2,5,3,4,7)], LETTERS[c(2,4,6,5)])
names(A_list) = c("875523", "881823")
all_levels = sort(unique(unlist(A_list)))
j_index = lapply(A_list, match, table = all_levels)
i_index = lapply(1:length(out), function(x) rep(x, length(out[[x]])))
i_index = as.integer(unlist(i_index)-1)
j_index = as.integer(unlist(j_index)-1)
out = new("dgTMatrix", i = i_index, j = j_index,
x=rep(1,length(i_index)),
Dim=c(length(A_list), length(all_levels)))
如果是all_levels無法配置足夠的記憶體的話
請使用迴圈用setdiff做人工的unique...
這裡沒考慮大於1的可能性,如果大於1需要比較複雜的運算
作者: Udyr (Udyr)   2015-07-27 20:18:00
謝謝你的回答但因為資料量太過龐大Error: cannot allocate vector of size 1.5 Gb最終要做的是找association rule需要把資料轉為transaction 形式請問有沒有其他方法可以將原始資料轉為transaction 形式
作者: Wush978 (拒看低質媒體)   2015-07-28 22:58:00
如果要轉成transaction,也許你可以直接先一行一行寫到檔案(依照read.transactions能吃的格式)然後直接用read.transactions讀進來

Links booklink

Contact Us: admin [ a t ] ucptt.com