[閒聊] 投入 生成式AI / GPT 的顯卡選購建議

作者: ZMTL (夜風/瀟湘 VR板已經開板!)   2023-04-21 12:14:47
看了板上的一些AI組機文,實在有點話想拿出來聊聊。
比較常提到的繪圖大家應該都知道,現在建議就是3060 12G,VRAM稱王,
其他選擇就是4070(Ti) 12G / 3090 24G / 4090 24G,4080 16G CP值太差...之類。
不過我真的強烈建議還弄的到二手3090就去弄、預算有個80K拿4090比較不會後悔。
為什麼呢?
不知道板上關注生成式語言模型(ex:ChatGPT)的人多不多,
GPT現在沒有開源,使用文字生成來做應用(串API)是逐字計費,
所以目前有一些仿GPT、甚至借助GPT訓練的開源語言模型正在發展中。
參考這幾天很紅的
GPT-4識圖功能不開放,MiniGPT-4搶先開放試用!OpenAI有的它都有
https://www.techbang.com/posts/105663
"並且團隊正在準備一個更羽量級的版本,部署起來只需要23GB的VRAM。 也就是消費級顯
示卡中擁有24GB VRAM的3090或4090就可以在本地端執行了。 "
Stable Diffusion團隊剛發布的StableLM
https://github.com/Stability-AI/StableLM/issues/17
以及其他語言模型
https://zhuanlan.zhihu.com/p/615199206
至少在這部分24G VRAM很可能會是標配。
一點淺見,感謝電蝦板在我要組跑AI用的電腦時給了很多建議,拿出來分享一下。
也留篇文讓人有機會爬。
作者: oopFoo (3d)   2023-04-21 12:20:00
ARC a770(16GB)入門好選擇,越來越多的支援。如果你會玩
作者: aegis43210 (宇宙)   2023-04-21 12:24:00
ARC也支援了OpenACC想跑氣候分析的也可以玩玩看
作者: kamir (小K)   2023-04-21 12:42:00
哦,我用練好的就好了
作者: pp520 (異理啊議!!!)   2023-04-21 12:43:00
的確!你說的沒錯,VRAM 就跟入場券一樣
作者: KarlJhan   2023-04-21 12:43:00
推 感謝分享
作者: pp520 (異理啊議!!!)   2023-04-21 12:44:00
stable Diffusion 越做越複雜,後面 8G VRAM快撐不住了,外掛太多好用的功能
作者: yenchieh1102 (香蕉史塔克)   2023-04-21 12:45:00
Vram至上!
作者: pp520 (異理啊議!!!)   2023-04-21 12:46:00
VRAM不足,速度再快也是無用武之地連打開城市的資格都沒有程式
作者: uemo610 (球球)   2023-04-21 13:04:00
AI繪圖=盜圖
作者: bettle1461 (Stupid_penguin)   2023-04-21 13:18:00
一個大VRAM且相對新卡便宜的選擇是 3090 Ti,3090 跑diffusion 超燙
作者: mrme945   2023-04-21 13:21:00
3090Ti量太少了,不然的確是比3090好很多的選擇
作者: oppoR20 (R20)   2023-04-21 13:24:00
3090是真的燙 可以煮飯的那種
作者: bettle1461 (Stupid_penguin)   2023-04-21 13:31:00
不過 4090 真的很強,用3090 Ti 70% 的功耗還加速 1.6倍以上,本人親測,根本北極熊救星
作者: Sartanis (Sartanis)   2023-04-21 13:37:00
學對岸魔改2080Ti 22GB好了XD
作者: odanaga (PixiyON)   2023-04-21 13:38:00
vram大 就是王
作者: et1783 (yen)   2023-04-21 13:57:00
還可以研究看看webllm,為A卡打開一扇窗
作者: soulgem (あたしって、ほんとバカ)   2023-04-21 14:29:00
23G VRAM... 好吧, 對於 GPU 程式好像沒有 12+12 當 24..其實不喜歡模型越搞越大變成計算軍備競賽的趨勢...(還是會用繪圖卡, 雖然慢, 但是可以在相對價格搞到 VRAM)
作者: ZMTL (夜風/瀟湘 VR板已經開板!)   2023-04-21 14:56:00
能放到家用電腦跑的,目前已經都是「縮小」的模型了(文字部份啦
作者: soulgem (あたしって、ほんとバカ)   2023-04-21 15:04:00
24G VRAM 繪圖卡就對不到價了, 這就沒辦法 XD
作者: vsbrm (vsbrm)   2023-04-21 15:19:00
跑stable diffusion ,so-vits-svc 這些,選4090還是很有優勢,如果只是玩看看,8G VRAM的顯卡慢慢跑就好了,不用特地去換
作者: creepy (左招財 右納福)   2023-04-21 15:23:00
HF也有GPT-2的模型 預訓練好的model應該都不用太多vram
作者: ms0317929 (LuckyMax)   2023-04-21 15:28:00
3090到底跑起來要不要去改散熱那種東西啊?
作者: creepy (左招財 右納福)   2023-04-21 15:29:00
沒有持續一直跑 限縮瓦數上限 可以不用
作者: ZEYU (屏東三重劉德華)   2023-04-21 15:46:00
A卡是不是完全不用考慮阿
作者: Aeryzephyr (IN JP SYS.no chinese)   2023-04-21 16:13:00
4090只怕線燒毀...目前我還是用2070s的8g在算圖,8g是一個底限實際玩起來還行,只是放大不方便用內建的高解析修正..只是算圖實在覺得慢,過陣子還是會購入4090
作者: yenchieh1102 (香蕉史塔克)   2023-04-21 16:27:00
4,現在AI都基於N卡在發展,要玩就是N家最好用
作者: tsubasawolfy (悠久の翼)   2023-04-21 17:12:00
目前都在N卡上發展,不過微軟前幾天丟出新聞說他們有打算自製AI專用晶片去應付更大的需求。Project Athena 從2019開始應該要端出什麼東西來了
作者: trywish (一一二)   2023-04-21 18:37:00
A卡能跑AI,我跳的時候,要訓練lora還做不到。至於速度?rx5700也不算慢了,但因為vram不足,所以壓低效能就慢到哭。真的要玩的確N卡比較好,但A卡還是可以玩,只是真的vram要12G以上。lora現在那麼容易抓,其實也沒必要自己去練。主玩遊戲,偶爾跑AI,A卡就夠了。兩者並重,N卡較佳想跑訓練,vram 24G比較好。另外預算也不用80k,4090才56K,折價下來都剩51左右,掛個power 3~5K。CPU在玩遊戲才會出現瓶頸。單論跑AI還好。所以大概55K~60K就能搞定。
作者: jaspergod (神遊)   2023-04-21 22:20:00
webllm有沒有中文不錯的...之前測一個opt-13b感覺還不太能用... 搞半天玩沒幾下就關了XD 感覺還有段路要走
作者: jeffguoft (十年磨一劍)   2023-04-22 00:44:00
前陣子也直上3090了,玩AI 12G絕對不夠用
作者: ZMTL (夜風/瀟湘 VR板已經開板!)   2023-04-22 01:03:00
聽說,聽說,Colab要開始限制跑SD又沒付錢買pro的了Reddit上正在討論
作者: suitup (hey Suit Up!)   2023-04-22 11:33:00
一樓馬上兩個跑出來推770是怎樣
作者: ronald279 (ronald279)   2023-04-22 11:48:00
推a770跟a卡沒辦法吧 好狠
作者: Aeryzephyr (IN JP SYS.no chinese)   2023-04-22 12:20:00
千萬不要買N卡以外的顯卡,除非你非常想除錯練經驗值
作者: soulgem (あたしって、ほんとバカ)   2023-04-22 16:42:00
stablelm 可以 12+16 > 24... 感恩, torch 基礎可能可以.語言模型+torch 基礎的感覺高機率可以兩三張抵一張...

Links booklink

Contact Us: admin [ a t ] ucptt.com