Re: [請益] 想從零開始轉行當AI軟體工程師

作者: DrTech (竹科管理處網軍研發人員)   2021-11-11 01:19:59
大家討論了很多高深的數學,或是頂會。
實際上,我真的很懷疑有多少人真的在業界上搞 AI。
只論台灣吧。首先市場上純研發,需要數學或考績強制發論文的職缺,占不到5%。而且這兩年職缺越來越少。更何況頂會… 台灣業界一年也沒看多少人在發頂會,幾乎沒有吧。就連國際研討會,比例來說也沒看到多少人在發,常常看論文的我都沒搜到台灣業界發的論與。板上動不動就需要數學與改模型架構,真的感受差很大,可能是我看得不夠多?
好啦,如果你在國外大公司當我錯了。的確很多人搞數學,但是人數比例還是超級少。
再來談產品。首先論產品的效果,資料面就決定結果論了。實際工作時,有大部份的時間在處理資料。然後還是要花很多時間做特徵工程。當然特徵工程你可以搞很深的數學啦,但是可能需求方,多給你一個有用的資料特徵,都比搞數學重要。
特徵工程需要用到數學或頂會能力嗎?
前面說可利用數學方法,或各種模型做特徵工程或過濾雜訊,這要看任務。至少我比較熟的語音訊號,NLP,搜尋,推薦排序,跟本就沒有好方法。沒有一套數學方法論,特徵可以有什麼突飛猛進的提升,沒見過。喔有人說預訓練,就能突飛猛進了啊,問題是,你用預訓練需要什麼數學?
你要重新設計一套預訓練模型,即使自己設計,也很難別人好阿。搞數學設計演算法要用在哪? 實際上真的沒機會發揮居多吧。說數學有用的可以回文討論一下嗎。如果是說常用數學,都是寫在 pptx 上用來震撼長官用,我還稍微相信。
非深度學習,各種企業的結構化或數字型資料,也不需要設計什麼數學來做特徵工程吧。常見的不平衡標籤的狀況,用數學重新去設計 loss function, 效果提升真的有限,而且改來改去可能還不如用別人設計好的方法。改來改去不如前面搭一層規則引擎過濾修改 bad case結果。
資料與特徵搞得差不多了,來談談模型吧。
正常有經驗的人,怎麼會馬上跳到複雜的模型,或自己設計。拜託,恨不得模型越簡單越好嗎。能達到產品規格的模型就好,模型用越簡單越好,計算成本才能壓低,性能才會好。
這時有人會跳出來說了:我們會為了提升AI能力,用複雜的模型,然後蒸餾,這時需要數學了吧? 沒吧,機會有夠少的。現成open source的蒸餾模型,scaling,都是經過研發與實驗的,你自己設計跟本很難效果贏別人。當那些世界名校學數學的人,是塑膠做的嗎?自己隨便搞就能贏人?
AI又不只 監督學習, RL,圖學習,各種複雜AI,總會用到數學了吧?問題是有多少人可以搞數學搞到比現成方法好? 要花多少成本呢?
再來跳針一下,面試推導總該需要數學了吧。喔對,大廠工作基本工。問題是,你面完你就忘得差不多了。下次找工作再複習。而且台灣真的多數公司不考。
不是說數學不重要,或 學AI不需要學數學,而是單純找個混口飯吃的工作,還真的不用特別去學數學。只是要有 AI工作,沒頂會,沒kaggle也一堆工作。這才是現況吧。
作者: shomingchang ( )   2021-11-11 01:31:00
我覺得會數學跟甚麼頂會、比賽是兩碼子事吧如果要去看別人論文實作,不懂數學會連符號都看不懂
作者: DrTech (竹科管理處網軍研發人員)   2021-11-11 01:33:00
對,我也覺得兩碼子的事情。文中有錯可多指正。
作者: shomingchang ( )   2021-11-11 01:34:00
跟設計演算法也是兩碼子事,只是單純讀得懂的而已
作者: DrTech (竹科管理處網軍研發人員)   2021-11-11 01:35:00
看論文實作或復現的工作在台灣也很少。多數不需要。
作者: shomingchang ( )   2021-11-11 01:38:00
嵌入式環境需要吧 可沒有python的一堆套件可以用
作者: clothg34569 (提拉米蘇冰淇淋)   2021-11-11 02:23:00
數學 頂會 KAGGLE這三樣沒甚麼關係吧
作者: labbat (labbat)   2021-11-11 02:51:00
重造輪子的工作比你想得多了,需要數學的
作者: min86615 (minshang)   2021-11-11 08:10:00
有啦ECCV 會在Kaggle辦比賽,請第一名去會議上分享
作者: frouscy (流浪吧。)   2021-11-11 08:34:00
要在業界做applied ML軟工比數學重要太多了QQ
作者: stmilk (我男的)   2021-11-11 09:39:00
其實依照你的前提“只是要糊口飯吃”,不要說ai了,所有行業都不需要數學了,沒什麼討論點吧。再來,你提到模型的部分不就說了數學的重要性,還是你其實是想告誡大家不要妄想跟世界名校數學人競爭而不是數學的重要性?最後,你提到的部份把前提假設的這麼美好當然就不用數學,來聊聊推薦系統好了,今天老闆給你一行為人的一堆網頁點擊資料,跟一堆他看過的文本圖片,而且都還稀疏各種缺漏,接著就什麼都沒有了,叫你弄推薦系統,你是打算現在流行方法套一套然後交差然後說抱歉我盡力了嗎?還是或嘗試用統計方法處理一下資料?或是股市資料,今天老闆就給你開高低收量,叫你寫策略,你一樣是會用現行流行方法套一套然後說沒辦法,還是嘗試去機率建模分析?
作者: mmonkeyboyy (great)   2021-11-11 10:00:00
樓上 你確定現在推薦系統是這樣做的? XD 從數學做老板會叫你回家吃自己.... 別人都上市了 你在那刻更別提還有很多美麗的數學解不了的工程問題
作者: stmilk (我男的)   2021-11-11 10:07:00
再提一下模型的部分,模型越小越好除了成本考量,最重要的是降低capacity導致的overtraining的問題,深入研發的部分有一大派就是在想辦法降低這個部分,但你只有兩條路,一是改變模型架構這也是,純學術在做的事,因為不用考慮有的沒的只要專注降低capacity跟訓練成本就好,像transformer極大程度降低了capacity跟能夠平行運算,另一條路就是想辦法丟進模型的資訊少一點,因為根據Universal ap
作者: mmonkeyboyy (great)   2021-11-11 10:07:00
真覺得這麼厲害也有用 可以去對岸試試
作者: mmonkeyboyy (great)   2021-11-11 10:09:00
實務上就一堆數學搞不定的 就是叫工程的搞破壞搞定你也就講 那數學哩 你看過一堆暴力pruning?至今這幫人也還沒給出啥解釋 但人家超好用啊
作者: stmilk (我男的)   2021-11-11 10:12:00
你總有上線後要優化吧,真的就要放上去就不管喔那我也沒話說啦
作者: mmonkeyboyy (great)   2021-11-11 10:12:00
你只是上線後優化....很多時候跟數學沒關啊....優化界跟數學沒關的更多了 = =" 很多都是後來再套數學上去的 後面來的人傻傻以為人家是這樣想出來的現實情況是 如果有數學可以解真好 但多的是沒有
作者: stmilk (我男的)   2021-11-11 10:14:00
我的優化不是優化速度有的沒的,是優化準確率啦你不能沒有就不做阿=_=
作者: mmonkeyboyy (great)   2021-11-11 10:15:00
但還是得優化....囧>優化準確率 然後你去做數學 結果花一堆時間做出來更爛....你老板不立馬開了你 不然你以為大家大部份
作者: stmilk (我男的)   2021-11-11 10:17:00
你知道平台端的廣告投放商競價系統要做的事嗎?
作者: mmonkeyboyy (great)   2021-11-11 10:18:00
一年大拜拜就出那個位數篇 也就幾年而已
作者: stmilk (我男的)   2021-11-11 10:18:00
優化那個機率真的不是你暴力法去搞就好
作者: mmonkeyboyy (great)   2021-11-11 10:19:00
我沒跟 平台端做過 到是不知道我跟你的上面出推薦的人做過 最後他們用我們暴力方案....用空間換他們自己算過成本 對方也一堆數學家+AI理論專家最後各種比完之後拿下來的是工程硬解上RAM後面商家我沒做過 抱歉 也許那端是吧數學那麼美麗 我每個都用f32不更美 剛好回家吃自己還不如int8/16 混合先撐撐過了再說當然我不是說數學不好 只是說要久一點 要多久就是比投資人的耐心了....學術界就是要比有沒有人比你更快想到....說到數學家 一堆都在研究blis/blas/smm-mul純數還沒有遇到幾個 還真不知道他們在幹嘛但我知道沒有很常在做網路就是了
作者: alpe (薛丁格的貓)   2021-11-11 11:50:00
四類寫後端又念資管碩寫AI論,非相關科系根本不懂那數學符號我寫完論文我還是不懂, 問幾個中階的問題我就死了
作者: aria0520 (紫)   2021-11-11 15:56:00
我在業界AI到現在的確是沒什麼碰到數學頂會workshop倒是有個一篇
作者: odahawk (羊皮狼)   2021-11-11 16:14:00
我在IC設計公司用過濾波器數學
作者: solitude6060   2021-11-11 17:05:00
回上面的:你確定現在推薦系統是這樣做+1(好啦我沒有要參戰XD
作者: leptoneta (台湾高山族自治区书记)   2021-11-11 17:38:00
應該說在台灣 不是職稱有AI就以為自己在搞AI寫作人工智慧 讀作工人智慧
作者: aria0520 (紫)   2021-11-11 20:24:00
不過現在台灣業界對AI的定義就是這樣沒錯台灣的純軟公司體量沒有大到像國外可以真的搞研究發paper 台灣業界就是要速成有效和部署
作者: mmonkeyboyy (great)   2021-11-12 02:02:00
囧> 我也沒有要參戰啊 只是覺得事必有因 這樣XD再看幾個回應 嗯 果然不出所料XD其實全世界真做nn研究的真的很少 每年做出來的都可以用手指數的@[email protected]~ cv來說過去幾年也就某一派大殺四方說實話我自認智商不足 還是去一邊畫圈好了XD我覺得有效部署不是錯事 因為更多ai都是紙上談兵而且要有資金才有新研究 還是要能有錢才轉得動啊幾乎所有公司都是拿別的養ai部門 沒有別的搶上市先賺一波也不是壞事啊
作者: world4jason (涼風男孩)   2021-11-12 12:35:00
現在推薦系統複雜多了 都是pipeline組合 基本上是工程問題 只是每個環節上有不同model針對該環節指標優化 但說實在看起來很work的論文 套用到在家data上根本不一定work 對資料的研究 前處理 這些工程事情才真的是關鍵 另外像是推薦系統這種雖然有指標但每個人體感大不相同的東西 為了幾%的指標提升從ML改DL 然後每個月燒的數字多一個0 這方案絕對不會被採用的
作者: DrTech (竹科管理處網軍研發人員)   2021-11-12 12:44:00
推薦系統,或人的行為紀錄,現在根本沒有好的數學可以提升點擊效果,購買效果。也是考大力出奇蹟。實務上真的沒機會給你用數學去提升。
作者: aiueokaki   2021-11-12 12:57:00
這篇才接近現實
作者: aria0520 (紫)   2021-11-12 23:32:00
基本上你公司誰算力大誰就贏一半了不用算數學 積木設計好丟下去NAS搞定
作者: world4jason (涼風男孩)   2021-11-14 00:09:00
同意原po說的 看起來是業內人XD 推薦系統跟數學完全無關 完全是domain knowledge跟工程 有時候抓到key feature就吊打千千萬萬模型了不行的話就是大力出奇蹟XD

Links booklink

Contact Us: admin [ a t ] ucptt.com