作者:
scalawax (aliang)
2021-06-22 16:27:52各位大大您們好，
我正在做實價登錄的分析，因為實價登錄的資料有點亂，所以我寫了一堆算式去算，但是
一個檔案都太大（至少150-180MB），所以每次更新都要跑一整個晚上，重點是還不知道
是否有跑完（三不五時會發現計算錯誤）。。。。
想改到資料庫或其他的架構，是不是真的會比較快？但是重點是有辦法處理大量的計算。
。。。
真的不知道該用什麼。。。
我不是唸相關科系的，實在不知道該從哪裡下手。。。。
想聽聽大家專業意見，不管是ACCESS或是python或是有其他大家覺得更好的方式 ，有一
個方向我再去好好鑽研。。。
麻煩大家幫我指點明燈～～～ 跪恩！
作者: gnseed (YA小猜) 2021-06-22 16:34:00
演算法寫得不好吧...連G都沒出現的資料不能稱為大
作者:
final01 (牛頓運動定律)
2021-06-22 16:37:00excel?? 那個不是很慢
作者:
kokolotl (nooooooooooo)
2021-06-22 16:51:00excel函數一大就算到死了 改用R或python都舒服很多
mysql mongo都可以我之前也是excel超痛苦
看你的檔案類型啊 是一天一個檔案還是一個檔案會慢慢變大 後者的話直接建議塞進db 前者大概就是換語言讀寫
作者:
enthos (影斯作業系統)
2021-06-22 17:16:00作者:
azzc1031 (azzc1031)
2021-06-22 19:43:00python去讀 再去下你要看的函數
把function換成vba來跑會快不少之前資料量大用excel都盡量不寫函數，不然下拉時容量跟耗的效能都會等比成長
作者:
tedmax100 (Nathan-Lu)
2021-06-22 21:04:00不動產業的RD??
作者:
DrTech (竹科管理處網軍研發人員)
2021-06-22 21:57:00才不到200M,用程式讀到記憶體算，就解決了。根本不用資料庫。
作者:
yyc1217 (somo)
2021-06-22 23:24:00要不要試試看Google colab
作者:
qazxws (QAZ)
2021-06-23 00:13:00Apache Spark
作者:
marc47 (思樂冰)
2021-06-23 01:41:00作者:
KeyFSN ( ～☼☽✩☁～ )
2021-06-23 12:42:00才 180 MB 根本不用什麼 spark 啦 XD直接 python 全讀到 memory 然後算一算就結了
作者:
enthos (影斯作業系統)
2021-06-23 19:22:00作者: adsl12367 (adsl12367) 2021-06-24 15:50:00
DB用哪一個？
作者:
scalawax (aliang)
2021-06-24 18:30:00哈哈哈哈，謝謝大家的幫忙，但大家的回覆我真的看不懂，大家實在是太專業了。。。。我是在一家建商，老闆常叫我做市調，所以自己弄了套excel+power BI，看來得來自學python了。。。。
作者:
alivetaxi (阿什麼)
2021-06-24 20:28:00試試access 應該夠用了
excel和power bi有沒有裝64位元的，記憶體有沒有加到32G？32位元的軟體跑不動很正常。
c#的話我記得有excel lib支援yield return
作者:
acgotaku (otaku)
2021-07-02 18:24:00Amazon Athena申請一個,資料丟進去 你會發現魔法