Data Engineer是屬於比較上游的工作
早期relational database當道的時候,DE的工作主要是整合Data Sources
到Data Warehouse,所以像是金融界很常用的Mainframe SAS,或是SQL Server
IBM DB2等等,DE通常都要會資料庫語言外加一些ETL的知識
像是SQL, SAS, kimball model等等, 對於Physical資料庫也至少要有一定程度的理解
不過近年來因為Big Data的趨勢,很多傳統的ETL的缺點像是開發維護的時間人力
無法大量處理即時資料或是unstructured data, staging 太過複雜等等問題
很多企業都導向更現代化的資料庫,最近竄起的Snowflake就是其中一個例子
跟Google Big Query類似,兩者都是憑藉雲端儲存和處理速度的優勢去快速且大量處理
各種不同的資料,譬如你可以直接在Query裡面連結SQL Server和Google Sheet
不需要透過ETL,最近又有一些新的雲端服務可以直接Pipeline到Snowflake
Alooma就可以直接讓你連像是Salesforce, Marketo, Google Analytics等等
用Python的Code Engine直接把最後的資料輸出到Snowflake
最重要的這是Realtime...
講這麼多就是要表達DE這個工作也一直再轉變,現在有一種說法就是
Business Intelligence也慢慢走下坡,因為現在的科技也不需要去養一個BI Team
對DE有興趣可以先多多了解產業的需求和趨勢,不過好的DE還是要對傳統DB,ETL
和新的Cloud Storage都有所涉獵,而且這應該無法速成...
※ 引述《sssh5566 ()》之銘言：
: 之前聽一堆廣告說ML的缺很多就入坑了
: 但爬了一堆文被一堆人勸退找data scientist 的工作
: 朋友推薦可以找看看Data Engineer
: 目前正在考慮中
: 也在考慮報名這間Bootcamp
: https://imgur.com/2fj4jtA
: https://imgur.com/dVIoKD5
: https://imgur.com/6kpcO3n
: https://imgur.com/mwLkOLC
: 課表大概長這樣
: 朋友是說SQL sparks Hadoop AWS
: 這些對找data Engineer的工作有幫助
: 但是由於之前都在接觸Machine learning、deep learning的東西
: 只知道怎麼調參數和建model而已
: 也不太清楚是否SQL Sparks Hadoop Aws這些東西是否有趣
: 以及更重要的是，能否訓練一兩個月後就能找到工作
: 想問下北美 Data Engineer的職缺是否和Front-end一樣
: 很容易讓非本科系受訓後轉行?
: (沒身分問題)
: 畢竟念web dev的幾乎每個去受訓後3~6個月都能保障找到工作
: 但爬文Data Engineer無論是中文還是英文資料都挺少的
: 有點不懂既然Data Scienist 門檻那麼高，為何還一堆bootcamp、MOOC、線上課程?