※ 引述《kial (夏澄)》之銘言：
:
: - 問題: 當你想要問問題時，請使用這個類別。
: 建議先到 http://tinyurl.com/mnerchs 搜尋本板舊文。
:
: [問題類型]:
:
: 效能諮詢(我想讓R 跑更快)
:
: [軟體熟悉度]:
: 請把以下不需要的部份刪除
: 入門(寫過其他程式，只是對語法不熟悉)
: [問題敘述]:
: 請簡略描述你所要做的事情，或是這個程式的目的
: 我有一個約千萬筆的產品交易紀錄
: 格式長得像下面這樣子
: #testdata
: customerid：AAAAAAAAAA
: payment：BBBBBBBB
: ReadTime：CCCCCC
: 20170419020204PruductNumber：DDDDDD：NT00183.1415Number：40
: 20170419020205PruductNumber：EEEEEE：NT00184.1415Number：42
: 20170419020206PruductNumber：FFFFFF：NT00185.1415Number：44
: 客戶：GGGGGGGGGGG
: 付款方式：III
: 讀取時間：JJJJJJ
: 20170419020204PruductNumber：KKKKKK：NT00040.1610Number：40
: 20170419020205PruductNumber：EEEEEE：NT00041.1610Number：42
: 20170419020206PruductNumber：FFFFFF：NT00042.1610Number：44
: 20170419020207PruductNumber：HHHHHH：NT00043.1610Number：46
: 我想要整理成
: 客戶 付款方式 讀取時間 交易時間 產品序號 金額 數量
: AAAAAAAAAAA BBBBBB CCCCCC 20170419020204 DDDDDD 00183.1415 40
: AAAAAAAAAAA BBBBBB CCCCCC 20170419020205 EEEEEE 00184.1415 42
: AAAAAAAAAAA BBBBBB CCCCCC 20170419020206 FFFFFF 00185.1415 44
: GGGGGGGGGGG III JJJJJJ 20170419020204 KKKKKK 00040.1610 40
: GGGGGGGGGGG III JJJJJJ 20170419020205 EEEEEE 00041.1610 42
: GGGGGGGGGGG III JJJJJJ 20170419020206 FFFFFF 00042.1610 44
: GGGGGGGGGGG III JJJJJJ 20170419020207 HHHHHH 00043.1610 46
: 目前程式的雛型是讀入data後用for迴圈跟if和substr判定關鍵字，
: 再用substr寫入各變數後，利用rbind結合變數輸出。
: 但是碰到的問題是利用測試資料試跑時(約10000筆)就碰上了效能不佳的問題，
: 真實資料約1000萬筆，請問有無處理此類資料的套件或是效能較佳的解法呢？
: 感謝。
程式：https://pastebin.com/idYqA03T
說明如下：
我不知道你的data source如何
我先假設你的資料是單一檔案
如果你記憶體不能全部吃下，就分段執行
只是要記得可能會斷在中間，這部分要額外再處理，但這裡就不談
data generation的部分，我就略過
其實你的資料滿好parse的，所以只要抓對區塊
然後再分成基本資訊跟消費物品就處理完了
因為我沒亂排基本資訊的三個欄位
所以我只是很單純去抓customerid這個欄位的位置
然後做個cumsum當作split的vector即可
parsing部分，基本資訊就用regexp: (customerid|payment|ReadTime): (.*)
配合stringr::str_match，把基本資訊抓出來
然後再用match調到對的地方 (我data生成，沒有打亂順序，所以其實不用這個步驟)
再來明細部分就用這個regexp:
(\\d{14})PruductNumber: ([a-zA-Z0-9]+): NT(\\d{5}\\.\\d{4})Number: (\\d+)
第一個小括號抓出日期，第二個抓PruductNumber，第三個抓價錢，第四個抓數量
抓下來之後，str_match取最後四行就是我們要的四個欄位了
最後整併成data.table就完工了
這樣做下來，我電腦CPU是i7-3770K，八個執行緒，我用七個跑
只需要16.86秒就處理完一萬筆record了
一千萬的話，可能大概要16860秒，也就是4.68小時...
除非你有更強的電腦，擁有更多的thread
或是使用多台電腦(用makeCluster可以多台多個thread跑)
不然你想要在短時間內用R處理完可能還滿難的....
系統資訊：作業系統是windows 10, Microsoft R Open 3.3.3
Note: 要注意matrix取出一行或是一列時，R會把dimension drop掉，變成vector
所以記得補上一個drop = TRUE讓他永遠是matrix，這樣輸入data.table/data.frame
才會是數個column