姆咪
當初原本有想要搞
但是那時候沒顯卡搞不了
現在換5080
今天有空就部屬一下
先裝的是14b的版本
32b的還在下載
只是我感覺5080應該是跑不太動 32b ==
要是我那張3090ti沒換5080 應該是跑得動的
晚點運動回來 32b的模型應該就裝好了
再測測看token還有顯卡占用
14b的話
反正我平常都馬問code
就隨便叫他寫了一個純C的鏈看看
https://imgur.com/Xw6Xh5h
速度還不錯 每秒有70token
我順便看了一下占用 100%跑在GPU上面
現存大概吃了11G
阿Code我是沒看有沒有bug 寫個link總不可能會有錯吧==
我看他結構體有寫對就沒管了
晚點研究一下怎麼把本地模型引入到vscode裡面