※ [本文轉錄自 Soft_Job 看板 #1arbMUoh ]
作者: f496328mm (123) 看板: Soft_Job
標題: [心得] 資料工程師 X FinMind 架構解析
時間: Fri Aug 11 23:36:59 2023
大家好，我是 FinMind，開源金融數據的作者
https://github.com/FinMind/FinMind
在上次，濃縮個人好幾年的工作經驗、FinMind 專案開發經驗
出版了資料工程師書籍，迴響不錯
今年花了 8 個月的時間，在第一版書上，擴增了 50% 的內容
其中新增了
1. 分散式 Airflow 介紹、架設，提供大量範例，並與爬蟲做結合!!!
2. 業界常用的監控系統 - Grafana & Prometheus，介紹與架設。
3. 並將書中介紹的各項服務，Netdata、MySQL、RabbitMQ、Airflow、Traefik，都
與監控系統做串接，製作統一的 Dashboard 監控儀錶板工具!!!
這樣本書就算是一本，完整的資料工程師攻略了，包含
* 分散式爬蟲
* 資料庫架設
* API 架設
* 雲端系統
* Docker、Docker Swarm
* Unit Test
* CICD
* ApacheBench 壓力測試
* Traefik 反向代理
* Redash BI 報表
* 分散式 Airflow
* 業界知名的 Grafana 監控系統
一本書涵蓋大量資料工程師的技能樹。
甚至進階到 Senior Data Engineer ( 其中一部分也跟 SRE、Backend 技能重疊 )
目前書在天瓏書局預售中。
各位對大數據、資料工程有興趣的話，可以參考看看，也感謝大家對開源專案一路以來的
支持。
https://www.tenlong.com.tw/products/9786267273739?list_name=lv