作者:
zzahoward (Cheshire Cat)
2025-02-06 10:24:38關於AMD呢,在老黃GPU又貴產量又少的狀態下
目前已經不少人找方法剔除不用GPU的方式去建立Local LLaMA了
在R1橫空出世後的一個多月內,大量公司/個人小型workstation已經開發出一些東西
之後系統商和模型/權重持續最佳化狀態下,應該能有更好的產出
簡單來說,這套系統最重要的就是RAM頻寬和大小
所以使用EPYC MZ73板子,可以有24個DDR5通道
全部插滿32GB ram,啟動時有足夠的SSD空間把R1丟到RAM裡面就好
這樣的設定可以在Q8狀態下去跑完整模型,而不是蒸餾過的
當然,這樣的配置不會有700GB VRAM的機器還快
但你有700GB VRAM的設備大概要12萬USD左右
以目前這套大概不到6000 USD就可以組出來的設備,產出約在6~8tok/s左右
但要是AMD和系統廠能夠合作推出更專業的產品
R1目前的開源以及社群的熱絡,可以讓老黃的GPU變成CP值超低的奢侈品
而目前EPYC這樣的配置,已經足夠多數中小型企業/軟體公司使用
甚至比你去租賃算力還便宜
AMD就算GPU在搞笑,但AI的部分絕對不會缺席
只要老黃故意把VRAM卡在那邊拿翹
拿時間換錢的企業和個人使用者不需要那麼快的生成
AMD和系統廠包裝一下大有搞頭好嗎
BTW,因為主要瓶頸是RAM頻寬和大小,所以CPU本身也不用太高階的,夠算就好了
就算用9115或是9015也不會損失太多
能耗部分也很省,上面那組系統耗電量大概就是在400W左右
想想你跟老黃買到700GB的Vram去佈署,要花多少電XDDD