[討論] 巨量資料的處理

作者: newvalentine (haha)   2018-02-06 11:47:46
本身自己是寫程式出身, DB 上有些問題想問問大大先進
自己維護的 table 本身一個月以 500 萬筆資料成長
且該 table 有大概 30-40 個欄位
這樣的狀況造成在一些報表統計上
原本於 Weblogic 限制內可跑完的時間變得會 timeout
index 也一直有在加上去
但是有時候報表統計的 group 不同總覺得一直開 index 下去不是辦法
所以不知道有沒有業界的大大碰到類似的問題
可否指教通常會怎處理呢?
目前僅限縮查詢範圍跟輸入一些必要條件
但是處於公家單位, 其覺得資料應該都可以調閱且分析
所以真得很進退兩難
有時候資料甚至沒法給個完整結案的時間,
好先做一些數字資料統計 QwQ
作者: iFEELing (ing)   2018-02-06 22:20:00
如果你的資料寫進去就沉下去不會改 那可以考慮另外開一台DB 或是分散式計算 用來跑報表或是先把固定樣式的資料算好暫存 就不用每次從頭算硬體的話就換全快閃儲存加大記憶體
作者: newvalentine (haha)   2018-02-07 17:54:00
剛好都會一直在改很頭痛 QQ
作者: bravomao (攝影器材派)   2018-02-07 23:36:00
我猜DB只有一台,且WLS的thread都會卡死在DB是嗎?
作者: newvalentine (haha)   2018-02-22 15:39:00
DB 有兩台, 但是 weblogic 限定查 5 mins因為資料量太大造成超過 5mins timeout
作者: silver8250   2018-02-28 22:33:00
請改用 OLAP 類型的 DB 來處理報表,又快又不用 index

Links booklink

Contact Us: admin [ a t ] ucptt.com