Re: [閒聊] 欸不是,買個顯卡還要買驅動= =

作者: liweilee (簡單男人)   2023-04-10 01:34:11
※ 引述《AKSN74 (AKS-74n)》之銘言:
: ※ 引述《MACROSS2K (MACROSS2K)》之銘言:
: : 由於proxmox不是NVIDIA支援項目,所以我猜proxmox是設計成直接讀取
: : 給其他hypervisor用的驅動程式,例如VMware ESXi
: : 但因為可能有license鎖,所以可能要花時間去改動一些細節才能
: : 讓proxmox利用
: 這邊多解釋一下好了,雖然說推文內也有人提到部分
: Proxmox基本上底層的Hypervisor即是Linux KVM,這部分NVIDIA目前也已經支援了
: 大約是2020還2021年的時候開放的,且一樣需要授權才可以使用
: 而且記得沒錯還需要在本地端裝一個授權管理伺服器
: 而在KVM的實現方式,基本上跟NVIDIA原本差不多
: 就是利用Linux Kernel內的Mediated device這個driver(簡稱mdev)
: 並且配合VFIO (KVM主流的GPU passthrough用driver)來實現
: 簡單來說,NVIDIA驅動會先根據使用者想要的vGPU規格,生成幾個vGPU後
: 由mdev統一納管,再透過VFIO把這些vGPU給掛載進去,就是這麼簡單
: 因為兩者之間是可以直接連動的,所以不需要把vGPU的VID:PID先寫在開機參數內
: 就可以實現單卡生成多個vGPU,並passthrough給多個VM使用
: 關於這個還有幾個題外話
: 1. mdev同時也支援Intel的vGPU,稱為GVT-g
: 但目前還不支援ARC的GPU,就算有估計也是從ARC PRO支援起
: 2. NVIDIA開放KVM也能使用NVIDIA vGPU功能後沒多久,也移除了自己家的驅動對於
: 在KVM上做passthrough的限制,記得是2021年的事情
: 否則過去要passthrough N卡需要做不少設定
: 3. 其實在NVIDIA宣布vGPU全面開放支援KVM之前,早就可以在KVM上面使用vGPU了(2016年)
: 只是那時候是RedHat獨佔,必須要購買RHEL才可以用
※ 引述《AKSN74 (AKS-74n)》之銘言:
: ※ 引述《MACROSS2K (MACROSS2K)》之銘言:
: : 由於proxmox不是NVIDIA支援項目,所以我猜proxmox是設計成直接讀取
: : 給其他hypervisor用的驅動程式,例如VMware ESXi
: : 但因為可能有license鎖,所以可能要花時間去改動一些細節才能
: : 讓proxmox利用
: 這邊多解釋一下好了,雖然說推文內也有人提到部分
: Proxmox基本上底層的Hypervisor即是Linux KVM,這部分NVIDIA目前也已經支援了
: 大約是2020還2021年的時候開放的,且一樣需要授權才可以使用
: 而且記得沒錯還需要在本地端裝一個授權管理伺服器
: 而在KVM的實現方式,基本上跟NVIDIA原本差不多
: 就是利用Linux Kernel內的Mediated device這個driver(簡稱mdev)
: 並且配合VFIO (KVM主流的GPU passthrough用driver)來實現
: 簡單來說,NVIDIA驅動會先根據使用者想要的vGPU規格,生成幾個vGPU後
: 由mdev統一納管,再透過VFIO把這些vGPU給掛載進去,就是這麼簡單
: 因為兩者之間是可以直接連動的,所以不需要把vGPU的VID:PID先寫在開機參數內
: 就可以實現單卡生成多個vGPU,並passthrough給多個VM使用
: 關於這個還有幾個題外話
: 1. mdev同時也支援Intel的vGPU,稱為GVT-g
: 但目前還不支援ARC的GPU,就算有估計也是從ARC PRO支援起
: 2. NVIDIA開放KVM也能使用NVIDIA vGPU功能後沒多久,也移除了自己家的驅動對於
: 在KVM上做passthrough的限制,記得是2021年的事情
: 否則過去要passthrough N卡需要做不少設定
: 3. 其實在NVIDIA宣布vGPU全面開放支援KVM之前,早就可以在KVM上面使用vGPU了(2016年)
: 只是那時候是RedHat獨佔,必須要購買RHEL才可以用
Proxmox的PCI(e) pass through我的建議是不適合初學者,最好是有經驗
能自己解決問題的人再來用。
如果是很重要的機器,請謹慎使用,並不是說這個東西不好裝或設定,
而是就算你現在系統都裝好,使用上也都沒問題,
但難保下一次更新就整個不能用了。
去年五月初才發生,一更新就整個PCIE pass through都死去。
當時不管是什麼設備passthrough全都掛(GPU/RAID卡/HBA卡/USB等等)
Known Issues->PCI(e) pass through related
https://pve.proxmox.com/wiki/Roadmap#7.2-known-issues
GPU Passthrough Issues After Upgrade to 7.2
https://reurl.cc/Gel4LW
Issue after upgrade to 7.2.3
https://reurl.cc/NqE4gQ
GPU Passthrough throws driver error 43
https://reurl.cc/n7Rr36
當時是要自行把linux kernel設回舊的才行。
https://pve.proxmox.com/wiki/Host_Bootloader
作者: bluezero000 (窩草)   2023-04-10 07:35:00
n卡這個真的可以玩超久,崩潰的error43
作者: chugliang (嘴炮無敵....)   2023-04-10 09:54:00
天啊...y
作者: tomsawyer (安安)   2023-04-10 10:05:00
pve不要亂更新我以為是常識
作者: liweilee (簡單男人)   2023-04-10 10:53:00
那就要請官方多宣導這個常識了,我是沒看過官方Proxmox使用說明文件或官方討論區有人在討論串裡提到這個。
作者: MACROSS2K (MACROSS2K)   2023-04-10 12:48:00
其實passthrough是相對於host OS而言,管理端要清楚當前PCI裝置的分配狀況,如果重複占用會造成guestOS無法開機
作者: liweilee (簡單男人)   2023-04-10 13:51:00
上面例子跟管理端設定沒關係。簡單來說是proxmox ve跟linux kernel搭配(主要是system frame buffer跟vendor-reset)出了問題。有興趣可以上面第一個連結官方頁面裡面的連結都點進去看看,太多了我就不貼上來了。
作者: Shigeru777 (茂茂)   2023-04-10 14:43:00
proxmox前幾天手賤7.3升7.4... 壞到變成要全部重安裝還好是研究用途 沒多少重要資料
作者: wei115 (ㄎㄎ)   2023-04-10 15:22:00
真假= = 最近升級記憶體有關機的機會 就狂下apt upgrade欸,還好我只有一張顯卡的設定跑掉,照wiki跑一遍流程就好惹
作者: Wangsl (Wang)   2023-04-11 23:09:00
我也剛進門就撞到,7.3 LSI卡好好直通的都沒問題,重裝7.4所有設定都一樣操作也一樣直通就是壞的…

Links booklink

Contact Us: admin [ a t ] ucptt.com