作者:
LDPC (Channel Coding)
2025-01-26 13:15:59目前就在旁邊吃瓜觀望@@ 成本這種本就是用開源後的可以拿已有的模型去當輔助下降成本
最常見作法就是拿gpt-4o當judge或者當數據產生器 去精煉數據集 如果再沒有gpt-4o
情況下 很多高質量資料去產生就花很錢 最經點例子就是LLaVa 一個博士班學生 用gpt-4o
去產生高質量多模態數158k 極小量數據集 用8xA100 1天時間 就幹爆之前所有
多模態大模型 能打贏saleforce的一間大公司堆出來的多模態BLIP-2模型
這傢伙精髓站就是在gpt-4模型巨人的肩膀上
資料的quality會影響大模型 而資料可以透過開源高質量模型去萃取
如果再套用COT 這些都可以繼續進化 paper有些細節像是數據集這類如何精煉
反而可能會是一個重要一環 但大家都會藏這類細節 @@/
2025現在大家都殺到LLM Agent去了 LLM刷模型任務分數熱潮有點下降
大部分都跑去搞LLM決策部分 和COT (思考鏈) 多步驟分析任務
像是waymo自駕端對端的決策都搞了一個EMMA 用Gemini 去往上蓋
(這時候自駕公司有自己的很強的LLM就很有用了 隨手不負責預測亞麻zoox會拿自家
LLM或anthropic來搞end-2-end多模態)
然後LLM Agent如果要放在機器人和自駕
一定得on-device 因為雲端延遲太慢 風險高 所以1B~4B這陣子的on-device模型
能力也在不斷突破 所以on-device LLM不太會在是AI-PC 除非是屬於私密資料等應用場景
而edge/on-devcie AI 可能突破點會在機器人
自駕的趨勢之後會跟LLM走上同陣線 在某個時間點 等閉源LLM開始時 就是差不多AI模型
的盡頭開始產業化 也許端對端LLM決策 可以強化視覺上標籤數據不足 (不確定這點
但直覺上認為 思考練LLM Agent可以降低場景車用數據量..QQ 基於模型泛化能力)
這會給其他車廠追上特斯拉的機會 特斯拉自身的LLM可來自grok 而3D基礎模型
foundation model 像是李飛飛的空間模型 有一定機會能幫助自駕 可以直接融合LLM
產生端對端多模態 而李飛飛又跟狗家走很近 所以想單賭個股 可以賭賭看狗家