我是覺得固然當前系統基礎上有一些問題存在,但不妨礙它仍舊具有一定基礎能力
反正都是演進階段,不如說只是先理解缺陷然後嘗試解決的過程(當然蘋果怎麼想我不知道)
就當前階段來說就已經略具破壞性了,啊如果還"更有能力"...
反正我是跟不上
以下偏題,一些感想
以及我覺得再來因為演進的關係大概會進一步細分,當前主談"算力"
就我經驗上來說我自己逐漸覺得"認知資源"會是接下來比較著重的方向,算力只是底層基礎
上下文容量也是認知資源的一個要素
當前系統架構下,它這人(AI)凍結在某個時空點上(訓練完成當時)
接下來的所有行為都不具有記憶,這時候認知資源就是關鍵(你可以說是記憶力)
你要讓它有記憶以模擬人類,當前系統下就是"文件"就是這個記憶載體
(我是初入門程式設計,所以基本上概念有缺或重複請包含)
但是,這個認知資源此時就很要命了,對日常使用openai用戶對其記憶能力大概沒什麼
限制感受(除非一些研究閱讀大量文字內容的情況)
如果是使用Cursor ai(或者vscode cline插件),加上特殊要求下感受就會很凸顯
什麼特殊要求? 就比方說讓它先讀取專案說明書、讓它模擬當助理(協助開發者)
像我初入門程式設計,連專案自己掌握都有困難就是了(? 尤其自己造的不滿意還進行
架構重構(而不是直接從0重新打造,像是30層大樓內有20層下到裝潢上到管線改建似的)
這時候過程中就需要消耗大量認知資源(讀取各處程式碼抓BUG或理解怎麼重建)
它還要記得我專案原始目標是什麼、哪些東西在哪裡,甚至基於助理要求,還要請它協助
記憶工作進度,為了追蹤工作進度或者重構,說明書跟筆記就要更新,甚至協定一些呼叫
用語,我說什麼代表什麼意思,我用什麼關鍵字代表什麼工作流程要請它開始RUN起來
以上所有行動都消耗認知資源,然後看著那個當前上下文TOKEN數值就很緊張
(尤其Cursor ai的是半殘的,2.5FLASH號稱1M,用上80K就感覺不行了,還不說Cursor自己
還有內部的上下文剪除機制,Cline的api呼叫免費的是有限的(還經常無法呼叫,太多人
使用),付費的用不起,之前小用一下看使用量統計18M,等我做起大事業再說)
簡單講基本上現在AI基礎能力是...算足夠利用的(當然說要更專業的大概不行)
但認知資源不是,要讓AI更具助理級輔助性值不夠用,TOKEN也貴的要死(這是LLM架構的
先天缺陷暫時閃不掉,你對話累積1M TOKEN,代表你接下來問他"一次"就是1M TOKEN丟上去)
在想辦法掰回來(?
總之,現在架構下LLM的假思考能力說真的一般人也用不起,如果架構不變,2.5 FLASH
思考輸出定價1M > 3.5美元...壓到0.35美元還可能一些
除了基礎算力是重點,認知資源怎麼擴大也是個問題(但又會撞到注意力問題)
所以除了GPU,HBM?
最後讚嘆一下,Google真的偉大(Cursor ai是2.5Flash免費用,google api也有限制的
免費調用)