現在就業有兩種 MLE或ML Researcher Scentist(代號RS)
前者就是call api 或者觸碰AI Infra 這個就業數量巨大 極度缺人
基本上都是碼農轉職過來 現在只要有點能力MLE 都可以去openai
面試就是需要強大的coding技巧和基礎AI知識 走這邊的話 基本上傳統AI可以不用看
像是SVM推導 啥daul-norm定理 scikit-learn都可以不用碰 甚至誇張點說
你CV那邊的只要懂CNN NLP大部分的傳統n-gram/markov 也可以扔了
其他啥 continuous learning/RCNN/FastRCNN/ 全部可以扔了 啥one-stage/two-stage
好處優缺點不用管 vae/gan 啥的也可以扔了 要做影像產生只要刷diffusion
diffusion就是要專注如何讓iteration迭代次數大幅下降 使得影像產出速度變快
面試重點就是大部分都是環繞在enc-dec架構 dec/RAG/Knolwedge Graph 大概懂就好
像是為啥knowledge graph比embedding vector來的更好找尋資料相關性
git上面 多模態就刷clip 語言模型就刷bert跟minigpt 只要會lora fine-tuning
其他都不要碰 pre-training那種都不要管 那是給下面的人做的 大部分的就業
就是維護系統 call api 打造下游任務 和增加inference thropughout
歐對了 要把LLM KV cache摸熟 那是infra裡面最重要的工具 像是怎樣拆解
pre-fill和generation 兩stage 如何模型在通訊loading 拆解分到個cluster
如果對c++擅長 可以去打nanogpt-speedrun挑戰賽 體驗AI infra怎樣玩
後者RS就業現在有點紅海 職缺相對少 因為都要求要有發paper 這週末審完NeurIPS @@
真的是殺得慘不忍睹 現在都零和遊戲 每個reviewer淚氣都很重 你今天不幹死對方
下次就是對方幹死你paper 好處是薪水上限無限高 我是走後者RS
建議大家都去當MLE 不過版上閒聊看起來一堆人都是AI專家 他們如果講的跟我不同
以他們為主@@ 我已經被科技版AI專家嗆過好幾次了
如果到此為止你還是真的想走reseracher 那就把Hugging Face程式碼一行行看
看llama怎樣寫 whisper怎樣寫 embedding怎樣設計 encoder怎樣做alignment
為何整個模型參數量70%都會在FC layer而不是attention layer 為何pre-fill可以每秒
上千token 為何generation 只能~50~100 token second 為何要用RMS Norm layer不是
以前的LayerNorm 為何主流activation 要用ReLu 不用sigmod 為啥現在learning
rate都有Warm-up Phase 以前則是梯度下降 為何conformer架構在bf16容易崩
如何post-training用RF做RLHF 這種觸感只能一行行程式碼跑 改架構 然後改壞掉
痛過一次才會知道為啥這樣設計 看教材是沒有那種很深體悟 不太建議去摸啥統計啊
ML Statistics 因為看完 你還是不知道怎樣去改模型 等你對架構有概念
再回去看那些傳統教科書 你才會理解當初那些鬼玩意是在幹啥 像是contrastive loss
為啥適合用在self-supervised上 為啥informaiton theory KL可以用在distilliation上
embedding space/latent space是啥鬼玩意 除非你想念PhD 不然最簡單速成
就是去玩code一個個模組改 然後再回來看那些數學模型 基本上就是上篇scotch大大推文
的做法
且弄到這樣 你可能還是沒妹子@@b 極大不建議
※ 引述《wa007123456 (大笨羊)》之銘言：
: 目前還不確定要學多廣
: 因為深度學習的原理好像滿困難的
: 我想有兩條路線:
: 1. 從數據分析(資料科學)開始(理論 > 實作):
: 這部分我有一本原文書可以看
: 了解數據分析的基礎 => 可能會使用Python加上一些常用套件(NumPy、Pandas
: Matplotlib...etc)，並了解一些會用到的數學
: 知識
: 進一步演進到機器學習 => 使用scikit-learn，學習
: 分類 => 迴規 => 集群 => 降維
: 然後後面還有一堆我沒碰過的東西:
: a. 模型驗證
: b. 超參數
: c. 特徵工程
: d. 貝氏分類法
: e. 決策樹
: .... 等
: 結束後，"應該"可以理解並實作一個簡單的"臉部辨識"
: 2. 直接使用現成的AI (使用Google 的 Gemini API 實作>理論):
: 這部分直接使用網路教學，我有找到一堆資料了。
: 等到摸熟了再回去學剛才提到的第一點?!
: 我的目的是要學會它的基礎原理並加以利用...
: 不知版上是否有人有學習AI的經驗，感謝提供意見。