[問題] 讀取3GB的csv檔資料太大 f496328mm PTT批踢踢實業坊

[問題] 讀取3GB的csv檔資料太大

作者: f496328mm (為什麼會流淚) 2016-07-21 17:43:14

請問要怎麼讀取3GB的資料
有沒有比較有效率的方法?
我有用read.csv去讀
但是光要把3GB讀到電腦的RAM中就要花很多時間(我讀個幾百MB的就要一分左右)
而且3GB我可能要超過16G的RAM去讀他可能更多因為我電腦只有16G
想要再加RAM到32G 只怕這樣還吃不下3G的DATA 要進行分析更是困難
分批讀是一個方法
但有沒有比read.csv更好的套件去讀這樣的data
畢竟3GB以目前的BIG DATA 應該不算大吧
會需要用到hadoop嗎?
謝謝

作者: GetRobin (Rrr) 2016-07-21 18:28:00

可以用用看freadhttp://www.inside-r.org/packages/cran/data.table/docs/fread

作者: celestialgod (å¤©) 2016-07-21 18:32:00

3G fread + 16G記憶體就可以處理了完全用不到hadoop

作者: Wush978 (拒看低質媒體) 2016-07-22 00:01:00

檢查一下你的型態是不是你要的

繼續閱讀

[問題] 讀取3GB的csv檔 資料太大

[問題] 讀取3GB的csv檔資料太大