Re: [閒聊] Deepseek加Project Digi=AI的大海賊時代?
作者: arrenwu (鍵盤的戰鬼) 2025-01-28 12:29:50
※ 引述《litsix (Altwort)》之銘言：
: 回頭看看老黃在CES端出來的Project Digi，你要說他事前沒收到Deepseek的相關消
: 息，我是不信的。
: 這次的Deepseek事件不亞於當年NovelAI v1流出，個體戶或中小型公司也有機會拿到
: 門票了，AI的大海賊時代來臨啦!!
: 誰會先找到大秘寶呢，有洽否?
我看板上的討論，好像對於「免費爽用的模型」非常的驚喜！？
那我分享一下好了
網路上有不少有名的軟體都可以免費使用開源的語言模型
Ollama 應該是最自由的，
不過我目前覺得第一次使用的話，LM Studio 比較容易。
步驟非常簡單：
1. 到 https://lmstudio.ai/ 下載 LM Studio，然後安裝
2. 安裝完之後點開程式，他會引導你下載一個比較陽春的語言模型，
把語言模型載入之後，就可以開始玩了
https://i.imgur.com/nrg2nZx.jpg
3. 如果對於陽春的模型不喜歡，
還有一堆語言模型可以隨意下載使用 https://lmstudio.ai/models
VRAM 12GB 的話大概可以用到 14B 的模型
就算沒有GPU也可以跑啦，就只是出結果的速度會比較慢而已
: 回頭看看老黃在CES端出來的Project Digi，你要說他事前沒收到Deepseek的相關消
: 息，我是不信的。
: 這次的Deepseek事件不亞於當年NovelAI v1流出，個體戶或中小型公司也有機會拿到
: 門票了，AI的大海賊時代來臨啦!!
: 誰會先找到大秘寶呢，有洽否?
我看板上的討論，好像對於「免費爽用的模型」非常的驚喜！？
那我分享一下好了
網路上有不少有名的軟體都可以免費使用開源的語言模型
Ollama 應該是最自由的，
不過我目前覺得第一次使用的話，LM Studio 比較容易。
步驟非常簡單：
1. 到 https://lmstudio.ai/ 下載 LM Studio，然後安裝
2. 安裝完之後點開程式，他會引導你下載一個比較陽春的語言模型，
把語言模型載入之後，就可以開始玩了
https://i.imgur.com/nrg2nZx.jpg
3. 如果對於陽春的模型不喜歡，
還有一堆語言模型可以隨意下載使用 https://lmstudio.ai/models
VRAM 12GB 的話大概可以用到 14B 的模型
就算沒有GPU也可以跑啦，就只是出結果的速度會比較慢而已
作者: gino0717 (gino0717) 2025-01-28 12:31:00
ollama要設定安裝路徑竟然是打指令的 他那個gui做好看的
作者: guogu 2025-01-28 12:37:00
ollama沒有gui吧 就是純文字 只是載入有點麻煩...
作者: kaj1983 2025-01-28 12:38:00
又鬼轉綿芽
作者: guogu 2025-01-28 12:40:00
lmstudio能用A卡加速嗎? GPT4ALL可以但只有官方處理過的模型可以 但後來它都沒更新新的模型ollama目前只支援6800以上 可是我用的是6600XT阿
作者: h0103661 (路人喵) 2025-01-28 12:42:00
ollama是工具不是模型
作者: purplvampire (阿修雷) 2025-01-28 12:42:00
Ollama有chrome外掛
作者: guogu 2025-01-28 12:46:00
然後不要期待本地模型的效果 應該說一般家用電腦能跑的
作者: jacky40383 (AMD香死了) 2025-01-28 12:47:00
網頁版還是適合大眾使用 電腦小白不會用就是不會用
作者: guogu 2025-01-28 12:47:00
像是7B 14B這種等級 基本上都蠻蠢的 除了限制少完全被線上的吊起來打 除非有特殊需求不然用線上的就好https://i.imgur.com/iaaXCny.png要免錢 不用登入的可以去鴨鴨走玩我有色情相關內容要翻譯都是去找鴨鴨走
作者: btfghai 2025-01-28 12:54:00
也是找鴨鴨+1
作者: asdfg0612 (青蛙) 2025-01-28 13:08:00
7B 14B這種就相關行業會玩的在特定情境下好用
作者: htps0763 (Fish~月~) 2025-01-28 13:13:00
Ollama 是用來讀取模型的吧，本地小模型目前好像沒什麼能讓人驚艷的應用吧，除了拿來跑翻譯跟聊天之類的
作者: guogu 2025-01-28 13:22:00
嗯 像是聊天AI那種基本都是7B 8B左右
作者: spfy (spfy) 2025-01-28 14:05:00
現在AMD的AI MAX 也搞統一記憶體了 最大可以吃到96G 已經可以跑70B了 #相信AMD
作者: guogu 2025-01-28 14:10:00
老黃不是要推一個AI盒子 #相信老黃
作者: spfy (spfy) 2025-01-28 14:12:00
Project Digits要3000美金起 MAX395+128G的ROG Z13 2025也才不到台幣8萬 對預算比較拮据的人還是有差
作者: guogu 2025-01-28 14:47:00
自問自答 lmstudio應該是可以用A卡加速跑7B模型大概是27token/sec
作者: qxpbyd (qxpbyd) 2025-01-28 15:48:00
local模型都不怎麼樣 除非自架R1 不然還是線上的好用純GUI我是用Cherry Studio
