[問題] python讀取大容量csv檔方法

作者: reallife (ray)   2020-03-29 18:55:41
最近在使用python處理一個大容量(幾GB)的csv檔,但卻會顯示記憶體不足的錯誤,我google一下皆是推從 pd.read_csv 加 chunksize option的方法。
想知道還有無其他讀取大容量csv檔的方法?
作者: TuCH (謬客)   2020-03-29 19:48:00
加大ram
作者: chuchutaro (啾啾太郎)   2020-03-29 20:01:00
用 readline() 一行一行parsing
作者: swordgun (月光)   2020-03-29 22:46:00
試試看這篇文章的?如何用Python在笔记本上分析100GB数据? - InfoQhttps://www.infoq.cn/article/JAl9mSCpyS8vX80TYc4D?fbclid=IwAR18R_esGZv0QgQbXwDO_lJe-qPowJxoV0kznzWfTWbnOeYYsFISlqVNgh4
作者: ichengshen (IC)   2020-03-29 23:36:00
上面這段網址,可以縮減為https://www.infoq.cn/article/JAl9mSCpyS8vX80TYc4D
作者: yiche (你若安好,便是晴天)   2020-03-30 01:58:00
hdf5
作者: Starcraft2 (來自星海的你)   2020-03-30 15:57:00
上面講的Vaex好酷 學習了...https://github.com/vaexio/vaex
作者: ariainaqua (把渚送上本壘吧!)   2020-03-31 15:33:00
Vaex 的 API 讓介接呈現資料變得挺方便!感謝分享 :-)

Links booklink

Contact Us: admin [ a t ] ucptt.com