對於老黃GTC到底想幹啥 可以參照底下演講 這演講其實點出很多很重要的關鍵概念
尤其是19:15那邊 你可以把語速調回0.75倍變為正常速度
19:15其實那邊就是layout AI Foundry那個pdf RAG延伸版概念 (註1)
https://www.youtube.com/watch?v=ER4xNhSVJ2c
老黃的優點就是他擅長拿別人的好主意整合到自己商業模式 從以前蘇媽HBM到台積代工
甚至turnkey solution 現在則是用張忠謀代工模式+自己生態圈打造AI as a Service
遙想一下以後的未來 你手上有你這個產業才有的數據 你想用AI來幫助你解決一些問題
這時候你可以 1.花一堆錢雇用做AI相關的人 然後幫你處理數據 然後用算力掃描
這些大量數據 接者你昂貴的AI工程師會跟你說 誒誒誒 那個訓練出來結果不太對
learning rate到10e-6時 curve沒辦法再更下去了 performance好像會overfit
我換另外一個2B foundation model試試看 歐歐 等等 我用的GPU好容易gradient
overflow 或者誒誒 這邊有100多種Foundation Model我不確定哪個好 讓我一個個試
又或者那個算力不夠 我得把GPU數量提高到1000但我不是用NVDA的 所以系統給我crash
讓我找GPU廠商去修 又或者好不容易fine-tune完成(客製化模型) 要到deploy時
誒誒誒 那個系統又崩了 因為他無法查詢數量超過一萬個以上藥物
但此時老黃會跟你說 其實你不用自己造輪子 我這邊手上有全世界最好的AI工程師
這邊是我們的包算力方案 我們會協助你用我們AI資料庫裡面Foundation Model
來根據你數據做Fine-tuning你想要針對某組DNA去探討藥物效果 沒問題
fine-tuing訓練過程有任何問題 我們這邊會派駐場AI工程師線上協助你們
什麼算力不夠 好 這邊是我們的H700套餐 歐歐歐 你想在infernece上可以支援上萬組藥物效用查詢
好 這邊是我們AI加速SQL套餐 歐歐歐 什麼 你想一個inference系統能支援各種國家
數萬個科學家和資料庫的搜尋 沒問題 這邊是我們超巨大雲端系統 有最快的連網速度
價位是xxxxxxx
所以AI Foundry最大意義 就是降低這個AI落地門檻 利用自家生態圈
在training/inference搭配雲端整合和自家傑出工程師 幫你代工AI商業模式
就像當年台積電把ic設計 把這門檻降低(以前AMD/Intel都要自己養一個晶圓工廠)
也像是當年聯發科把手機系統廠門檻降低 任何白牌照抄聯發科turnkey solution
而每次底下廠商陪你練功(Fune-tune)久了也知道如何去客製化AI落地產品(Fine-uning)
就像當年聯發科的Turneky solution你要的軟體硬體都會有人幫妳弄了
也像是蘋果和台積駐場工程師一起看設計圖(數據)搭配不同算力(3nm/5nm/7nm)
提出方案 要知道你在美國你還找得到一些不錯AI詠唱師跟你一起搞第一套方案
如果沒有長期玩過AI鍊金術這玩意 你在訓練大模型 很容易會訓練失敗..尤其台灣
到現在都還沒A100..像台灣現在想搞個數位醫生自動看診(我知道華碩和各醫院有在搞)
那個搭建門檻是無敵的高 我之前看到他們開的AI工程師月薪x萬元 ...幫台灣QQ
AI三重點 數據 算力 算法 要知道 數據這玩意是搶不走的 老黃有後面兩個
所以NVDA更不像當年聯電可以抄上游設計廠商架構然後自己去搶市場 當年思科還停留
在賣鏟子 老黃已經進階到賣系統生態圈整個大架構 幫你實現你的AI點子 只要你有數據
所以GTC兩重點 BlackWell和AI Foundry 後者瞄準的是要提供給所有中小企業解鎖門檻
讓全世界中小企業自家數據打造能客製化賺錢產物 更別說上面老黃演講還講了
Conitnuious Training->Inference->Training->Inference這種完全不讓其他廠商搶蛋糕
的系統模式 所以接下來財報觀察重點就是 要觀察AI代工這概念是否能起飛
張忠謀當年花了20多年讓晶圓代工解鎖ic設計門檻 老黃不知道會花多少年來解鎖AI
入門落地門檻 以AI as a Service連到Inference落地化 這個章節是這次GTC主題
全面產業 機器人 金融 法律 醫療 藥物 所有提高生產力工具 只需要有數據
不管是硬體 軟體 訓練 或 推論 又或者客製化AI煉金術的訓練參數 老黃NVDA通通給你!
當年cisco還停留在賣鏟子 下游廠商自己搭建軟體業務 老黃已經走出這個階段
開始販賣軟體硬體整合服務了QQ