Re: [請益] 選擇mongoDB或是relational database ??

作者: DarkKiller (System hacked)   2020-03-24 12:17:50
※ 引述《DarkKiller (System hacked)》之銘言:
: 推 frank910138: 請教一下,如果是物聯網資料,每秒收集的那種,才適 03/23 18:09
: → frank910138: 合用mongo嗎, 還是要用rdbms? 謝謝 03/23 18:09
通常不會拿 RDBMS 來處理這塊,因為 1) 偶而掉一些資料沒關係,2) 不會用到
transaction,所以 ACID 之類的特性反而對效能有影響。
IoT 資料主要分成兩類,一種是以數字為主的資料 (在 IoT 常見),另外一種是以
文字為主的資料。
文字為主的資料其實就很像是 log,可以考慮丟到 Elasticsearch 裡面翻,所以
工具上就往 log 蒐集工具裡面找,像是 logstash 或是 fluentd。
數字為主的這塊早期也有用 ELK 架構在做 (Elasticsearch/Logstash/Kibana),
但 ELK 在效能上一直是讓賣硬體的廠商笑呵呵的解決方案。
現在處理數字類另外一個大領域是 TSDB (Time series database):
* https://en.wikipedia.org/wiki/Time_series_database
這塊這幾年發展蠻快的,我自己的單位是在用 Prometheus,我記得幾年前有簡體
中文的文章在討論各種不同的 TSDB,有點久但可以參考一下:
* http://liubin.org/blog/2016/02/18/tsdb-intro/
* http://liubin.org/blog/2016/02/25/tsdb-list-part-1/
* http://liubin.org/blog/2016/03/01/tsdb-list-part-2/
文章裡面提到的最新排名也可以看一下:
* https://db-engines.com/en/ranking/time+series+dbms
選好 TSDB 後,前面接個 Grafana 或是繼續用 Kibana 呈現應該都是標配,另外
商用的 Tableau 在這塊也有不少人頗愛,就看自家對工具的偏好了。
作者: saitoh (Perhaps Love)   2020-03-24 12:48:00
推influxdb
作者: frank910138 (frank)   2020-03-24 18:27:00
謝謝大大,開一篇回覆,受益良多,我會去了解的
作者: asdfghjklasd (好累的大一生活)   2020-03-24 20:05:00
我公司就用 rdbms 來做.......
作者: clarencech (Clar)   2020-03-24 20:55:00
感謝分享, 最近ELK慢慢轉成EFK了

Links booklink

Contact Us: admin [ a t ] ucptt.com