[討論] csv檔案大小1.7G, 該用什麼免費資料庫 ml919 PTT批踢踢實業坊

[討論] csv檔案大小1.7G, 該用什麼免費資料庫

作者: ml919 (ml919) 2023-08-21 23:20:13

請教一下
我有csv檔案大小從125mb到1.7G不等,
有什麼免費的資料庫可以上傳嗎?
或是需要付費,但價格不貴的.
我是學校系上的project要用的,需要彙整這些csv檔案
我有試過MS sql server express and Matlab,
但有資料跑掉或out of memory的問題.
Oracle express edition則有其他問題,像是 ORA12560
有什麼其他建議嗎?
謝謝!!

作者: cancelpc (阿吉) 2023-08-21 23:39:00

posgresql

作者: konkonchou (卡卡貓) 2023-08-22 00:22:00

先想辦法把csv分切成小檔，這尺寸匯入容易發生錯誤

作者: championship (銀光竹) 2023-08-22 12:38:00

如果是table類型的資料，可以考慮轉成 parquet 格式，能有效降低空間

作者: dennisxkimo1 2023-08-29 23:39:00

你的ora listener 沒啟動成功上篇很明顯建議拿簡單的11gXE來玩電腦名稱、win帳號避免中文網卡IP請設定不是DHCP的固定ip不然就玩postgresql ，巨量資料又肯學，NoSQL的mongo也行sql還是ora的express都有資源先天限制cpu ram跟空間都有限制，不管你的電腦買多好都沒用

作者: pinkykk (品奇) 2023-08-31 09:47:00

可以參考各DB提供的大檔匯入工具，如sqlload,bcp等

作者: yan960521 2023-09-23 17:43:00

postgredql 我跟你情況差不多每個csv都破百放postgresql還能合在一起處理

作者: xhining (拔刀欠人砍) 2023-09-24 14:11:00

sqlite3，很容易取得，雖然我手邊的資料庫沒破G

繼續閱讀

Oracle 21c Express: ORA-12560: TNS:協定介面程ml919 [SQL ] 日期區間jeffher1024 [討論] Mariadb備份資料不是最新的b60413 [SQL ] 公司出的題目求解(懸賞2000P)a27358942 Re: [討論] 有人用過ragic資料庫嗎？bearching [討論] 尋找矽晶圓價格的資料庫ttyy802002 [SQL ] 進行封裝匯入，程式碼被清除(已解決)neujess Re: [討論] 有人用過ragic資料庫嗎？jeffher1024 [SQL ] 想問關於MSSQL HA & replicaraynoz [SQL ] 類似 CURSOR 功能的自訂函數kisha024