Re: [菜單] 10K以內AI機

作者: museangel (museangel)   2025-05-04 14:58:22
https://www.reddit.com/r/LocalLLaMA/comments/1ke3heg/how_is_your_experience_with
_qwen3_so_far/
我看到reddit的上面這篇文,想借這串原文問個問題,
這幾天開源的llm qwen3-235b-a22b,
是不是真的也可以靠cpu跟128gb的ram跑起來,而且速度不算慢、效果也還不錯了?
一般這種上百b等級的llm,用一般消費級gpu就算5090也裝不下。如果用cpu跟ram,成本倒
是可以壓低得多,而且還有比較大的沿用性,不會像gpu每兩年換代折舊不少。
我平常只用gpu跑,沒試過cpu+ram,有沒有前輩有相關經驗,文章裡說到的這種cpu+ram的
跑法有沒有什麼地雷?
※ 引述《steven007 (小乃)》之銘言
: 已買/未買/已付訂金(元):
: 預算/用途:10K以內AI機
: CPU (中央處理器):AMD R7 9700X
: MB (主機板):技嘉 B650M DS3H
: RAM (記憶體):XPG Lancer D5 6000 16x2 RGB 黑
: VGA (顯示卡):技嘉RTX5080 WF SFF O16G
: Cooler (散熱器):Cyber CS6 TUBER ARGB 塔散 黑
: SSD (固態硬碟):XPG S70 2TB Gen4X4 PCIe SSD
: HDD (硬碟):
: PSU (電源供應器):曜越TOUGHPOWER GF3 1000W 金牌
: CHASSIS (機殼):ASUS Prime AP201 MicroATX白
: MONITOR (螢幕):沿用
: Mouse/KB (鼠鍵):
: OS (作業系統):W11 DIY專業版
: 其它 (自填):
: 總價 (未稅/含稅):87000

Links booklink

Contact Us: admin [ a t ] ucptt.com