Re: [請益] 徵才條件需要懂ETL

作者: pelicanper (派立肯)   2016-11-10 13:14:29
※ 引述《sky800507 (B翰)》之銘言:
: 想請問一下各位前輩,小弟在許多職缺上面都會看到需要懂ETL,一般業界認定的懂ETL的
: 標準大概怎麼看? 有推薦學習的書籍或管道嗎,感謝!!
ETL有的時候也可以是ELT,要怎麼做說實在要看施作的環境
Data Warehousing有幾種不同的模式,尤其是現在需求和支援的軟體都越來越複雜
比較成熟的像是Kimball的Dimension Modeling,大部分搭配Wherescape Red
和MS SQL Server,重點是要把Slow Changing Dimension的觀念搞懂
Informatica是屬於比較彈性的軟體,不會像Wherescape Red跟Kimball綁得那麼死
作為ETL,Data Quality,Data Management都不錯,但是缺點是Informatica用的是
Pipeline模式,很多時候效能並不是很好,但是V10以後有Big Data模組可以像是
Scheduler軟體(像是ActiveBatch)一樣跑在別的平台上,尤其是Hadoop
是可以解決一些效能的問題...
ETL最難的部分是怎麼樣可以產生適當的Data Granularity
譬如說給每月和每周的Fact Table可能在ETL的過程中截然不同
Staging做得太鳥也有可能造成資料庫負擔太重
我個人覺得這個領域需要蠻長一段時間去看到全部的面向
能真的請到ETL的高手是公司的福氣
作者: sky800507 (B翰)   2016-11-10 13:42:00
(作筆記),感謝分享
作者: neo5277 (I am an agent of chaos)   2016-11-10 14:32:00
推分享
作者: drajan (EasoN)   2016-11-10 18:09:00
ETL有很多面向 單純論datawarehousing 可以用Apache Kylin
作者: kenshin528 (成立奧凶帝國!!)   2016-11-11 09:44:00
ETL 很廣的 而且你說的工具有些小公司也不會用

Links booklink

Contact Us: admin [ a t ] ucptt.com