Re: [請益] 生涯發展 數據/資料工程師

作者: pelicanper (派立肯)   2021-06-11 20:30:04
※ 引述《joyste0102 (Joyce)》之銘言:
: 晚安,大家,不好意思有以下生涯發展想請問:
: 朋友商管背景,工作大概3年,想轉職Data analysis/data engineering或是偏backend的工作,請問各位轉職大神有什麼建議呢?
: 目前有幾個想法是這樣:
: 1. 不要去考研究所,成本太高也不太需要。
: 2. 去上線上課程Python跟Database開始測試自己的興趣,然後一路上到data visualization之類的。
: 3. 去Bootcamp。Alpha Camp只有Full stack似乎不太適合?要去App Works?還有其他的嗎?Hahow有什麼好課程推薦嗎?
: 另想詢問各位推薦幾件事情:
: 1. 台灣的線上或是實體課程。英文程度OK,但還是希望以中文先入手,然後有人可以問可以討論最好。目前有在上班,現在是淡季可以晚上上線上,不排斥兩三個月後辭職準備。
: 2. 課程地圖。想請問自己在家上MOOC的話,應該是怎樣的順序然後才去銜接比方說App Works的Boot camp呢?比較不希望一張白紙就去上,上之前的前期工作要準備好。所以我才會開Python基本語法然後DB,但是到Data Visualization的中間,還有哪些東西可以上MOOC的呢?
: 非常感謝大家的協助,謝謝~
:
作者: sextitanic   2021-06-12 00:25:00
比較好奇a跟b的id的關係,為何不是 a.id = b.a_id
作者: chocopie (好吃的巧克力派 :))   2021-06-12 00:45:00
10樓的方向有點接近了
作者: lairrol (小黑)   2021-06-11 20:34:00
data sourece 量大又要即時 搬到哪個領域都是大問題
作者: kokolotl (nooooooooooo)   2021-06-11 20:35:00
一般招DS都是考這類題目嗎
作者: lairrol (小黑)   2021-06-11 20:36:00
羨慕這個使用量 小弟還沒摸過 Tb 等級的量...
作者: kokolotl (nooooooooooo)   2021-06-11 20:42:00
原來如此~ 感謝
作者: Apache (阿帕契)   2021-06-11 21:00:00
酷欸
作者: chocopie (好吃的巧克力派 :))   2021-06-11 21:19:00
inner join 考題感覺很有趣
作者: yoche2000 (Sushi Desu! 在下壽司)   2021-06-11 21:29:00
受教了 推
作者: drajan (EasoN)   2021-06-11 23:14:00
這個inner join我看不出來哪裡有問題,求教你問的問題需要一個有幾年經驗的ML/Data工程師才回答的出
作者: x246libra (楓)   2021-06-11 23:24:00
我也想知道inner join有什麼問題,是否還要知道,ab各別資料才能看出問題?
作者: everglows (jm)   2021-06-11 23:24:00
真好奇這樣的問題考得出鑑別度嗎ds面試超難準備 很廣又因應不同的面試者 會有不同問題之前onsite 其中一輪的interivwer只問我電腦配備是什麼怎麼處理記憶體有效使用的問題 沒錯就這樣而已老實說 問個很偏的題目 在否定candidate的實力不是很認同 要說實務上會遇到就算了要jr role就問觀念基礎 跟測驗程式能力sr role就直接問實際接觸到的case or case study到底是要考倒candidate還是知道測試實力?有時候該準備都準備了 題也刷了 被問到很偏的問題答不出來 真的內心很幹Orz
作者: kokolotl (nooooooooooo)   2021-06-11 23:34:00
是不能接受select * 嗎 ,求解
作者: Nonsense8 (胡說)   2021-06-12 02:33:00
1 to 1 relationship?
作者: wahaha279 (哇哈哈:3)   2021-06-12 02:47:00
如果用id當外鍵,可以重新審視一下為什麼要分兩個table。
作者: drajan (EasoN)   2021-06-12 02:49:00
Star schema吧
作者: expiate (夜露死苦)   2021-06-12 04:19:00
對我來說你比較需要的是data engineer而不是DS
作者: pelicanper (派立肯)   2021-06-12 04:37:00
就這個inner join問題是,但是上面原文就不只這個問題只能做DS的DS對我們來說只是一種理想哇哈哈
作者: Apache (阿帕契)   2021-06-12 04:40:00
不然找個會DS的DE好了
作者: pelicanper (派立肯)   2021-06-12 04:44:00
來應徵的都說會啊@@還有履歷Web到ML全包的我就是看了人資給我Short List的履歷才決定這樣考
作者: loveu8 (RA1-推廣)   2021-06-12 10:07:00
哈 看工作內容就真的很有趣,不過人員編制少真的有時候面臨這麼大資料量要處理時就會很辛苦去處理inner join 會面臨許多問題在於大資料量的狀況下l.兩個資料的量體是不是太大,大到記憶體都無法放進去2.就算放進去記憶體裡面,還會面臨過於複雜的運算可能會有算不出來的狀況3.若要一定得運算出結果,有時inner join產生資料遺失的部分,該怎麼調整4.inner join 有時會改用 指定colume+sub query減少資料的輸出,加快運算結果5.如果這個join結果是必須常使用,是不是要建立view給需要的單位去查看6.資源很重要,每一筆query都是錢,怎樣花費最少的cost查出想要的結果,正確判斷資料集該用怎麼方式去獲取7.分析join的必要性,有時需求單位給了一項議題很多自然會想要利用join去解決問題但有時資料的乾淨程度與內容很重要才不會白作工以上是偶爾協助資料分析的經驗才會理解這個水很深,不是做完程式就沒事無時無刻需要調整優化,並回饋真實結果,而改善真實世界我們面臨問題,進而改善,是這門技術存在之需求只是想進去的人很多。在裡面的人 說不出裡面的苦等入門後,大家一起跳坑了XD
作者: sammythekid (山米樂其得)   2021-06-12 17:36:00
架構上就有問題了,怎麼能夠在online service queryloveu8大大講得太中肯。調整優化回饋結果&改善
作者: bowin (盡其在我)   2021-06-12 22:06:00
感謝你的精闢分享。可惜若沒有對PhD的偏見就更好了
作者: sammythekid (山米樂其得)   2021-06-12 23:54:00
總之還是感謝分享。抱歉這樣推文會有誤會。感謝分享
作者: endlesswalk (戴耳塞又戴耳機)   2021-06-14 13:51:00
select不能用*取全部欄位是因為有時候會取太多資料回來導致DB爆炸嗎?前公司甚至還規定不能用join(前公司是國內知名大電商)
作者: yiche (你若安好,便是晴天)   2021-06-26 10:25:00
confusion matrix 沒特別背這麼多metric 反正要用google都有,這心態參加面試是可以的嗎

Links booklink

Contact Us: admin [ a t ] ucptt.com