蘋果這條路線跟高通一樣 就是on-device inference
高通之前示範過了 https://www.ithome.com/0/675/490.htm
目前個人不負責任理解是 Meta/Adobe/MS/Google/Saleforce都在走向雲端大模型
(e.g., Foundation/LLM AI)也就是AI as a Service
有些Startup公司已經開始在把Foundation/Pre-trained Moedel當作工具在賣
比方說Pytorch的Eng Head Lin Qiao所跳出來創辦的Fireworks
https://www.youtube.com/watch?v=tR7ntuDo_pM
而Qualcomm/Apple因為自身有硬體架構優勢 會走向on-device AI
但會著重在infernce的省電和low latency這塊
On-device AI和Large Model AI是光譜的兩端 前者需要有特殊硬體和底層low-level
API加速整合 著重在省電和壓縮大模型網路架構 後者就是暴力解
而老黃會繼續吃下AI架構設計這邊市場(Training) 但老黃最近去挖了小鵬汽車
自動駕駛 ( https://www.stcn.com/article/detail/938652.html )
https://www.163.com/dy/article/IB9M7ORO0552Q8FS.html
看來有在持續佈局自動駕駛這邊 老黃從去年就有在矽谷這邊持續挖Toyota/Argo
自動駕駛部門的高階人才
自從Meta開源LLaMa後 ( https://developer.aliyun.com/article/1263631 )
許多開源社區開發者 像是Georgi 都有在針對蘋果晶片做C語言的inference
甚至縮小化 ( https://www.163.com/dy/article/IADUN0LG0511AQHO.html )
LLM在手機上on-device變得可能 商用目標會取代siri和alexi/google home這類應用場景
個人很悲觀地認為Q家的晶片真的在這波比蘋果手機晶片去跑LLama還難用 之前看到情況
有人抱怨Q社的NPU跑些on-device架構 還不如直接在CPU上跑 因此蘋果可能在on-device
LLM/Generative AI 有機會靠者硬體特有架構 (諸如unified memory)
吃掉on-device inference市場 但目前還不了解蘋果會在手機平台如何打造這些硬體架構
或許當IPad不用雲端就跑出Adobe Firefly效果時 就能吃到另一波生成式AI生產工具紅利
結論 蘋果有機會在on-device AI這個市場成為壟斷者...QQ