Re: [閒聊] 欸不是，買個顯卡還要買驅動= =

另外開一篇 在Docker/Container概念開始流行之前，多重環境同時執行的概念 從"模擬"，也就是用軟體進行binary translation，這種只靠CPU進行軟體運算的 環境 到"虛擬"，在原生硬體上建立多個"楚門的世界"，並且都享有原生硬體效能 到"函式庫共用"，同指令集架構的軟體，如果函式庫相同，則直接引用 不須要再建立那麼多楚門的世界 2013年開始的GPU虛擬化只是當時要興起的硬體虛擬化浪潮其中一環 而且還吃力不討好，因為要牽動從硬體層，韌體層到軟體層全部的設計 2020年的安培架構資料中心產品A100，多重執行實體Multiple Instance GPU 某種程度上解決了對於硬體依賴性的虛擬化方案 試想一下，如果今天GPU裝在一個還沒支援PCI IOMMU的平台上 那GPU硬體虛擬化便無用武之地，例如ARM 而MIG的作法提供了簡單的驅動程式層隔離，脫離對硬體虛擬化平台的依賴 MIG方案其實設計得很細，在不依賴硬體虛擬化的前提下，instance profile 把CUDA core數量，VRAM，硬體編解碼單元的劃分方式都考慮進去了 除了等分切割，還支援混和規模切割(例如切一個大一點的VRAM instance 然後把剩下的VRAM都用最小單位切割) 而且文中提到，這些instance可以各自執行不同變數類型的workload FP32，BF16，FP64，TF32... 那vGPU呢? 這其實不太能跟MIG拿來比較，因為vGPU其實是作為虛擬桌面解決方案 的，他的設計是從遠端桌面環境體驗去設計的，而MIG僅能執行"運算" 更新說明虛擬化等級: Host OS->最常見的使用情境，就是安裝一個例如Windows 10/11，RHEL，SLES Guest OS->虛擬機當中運行的OS Hypervisor->虛擬機管理軟體，用來溝通其下層的資源提供來源與虛擬機群 不論資源來源提供是原生硬體還是CPU進行軟體模擬 Level 0虛擬化 -> 虛擬機管理員hypervisor直接控制硬體，沒有預先安裝 Host OS，hypervisor自己就是host OS，例如VMware ESXi，Citrix XenServer Level 1虛擬化 -> 一開始的Host OS還在，但退化成虛擬機的角色作為 管理介面，改由hypervisor核心來控制硬體，開機一樣會進原本的OS GUI 例如Hyper-V，SuSE Xen kernel，此時該虛擬機被定義為Parent Level 2虛擬化 -> Host OS當中安裝hypervisor，對硬體沒有控制權，僅作為 一個應用程式來執行，例如VMware Workstation，Oracle Virtual Box Parallels Desktop 原po的方案我想應該是level 0，雖然proxmox我沒有接觸過 vGPU的方案是在這環境下，hypervisor(此處為proxmox)透過驅動程式 控制GPU，並且利用驅動程式提供的功能建立vGPU 這個vGPU是一種"子項目"，"子分支"，大概是這樣的概念 vGPU可以提供1/1到1/n(n視該卡型號提供的分割而定)GPU硬體的效能 並且占用PCI bus形成硬體通道，讓guest OS可以使用 上面提到的控制權是一個很重要的點 Host OS上了驅動程式，則Host OS核心可以透過驅動程式控制該硬體 其他OS核心無法控制，在虛擬化環境中則是 Hypervisor控制了GPU，因此guest OS無法直接控制GPU，頂多只能透過 軟體來"分"一些GPU效能 如果希望要guest OS群都能享受原生硬體存取，免去軟體轉譯的效能耗損 1. Passthrough 叫hypervisor不要用，不上驅動程式，並且設定為passthrough 成為等待指派的資源，接著guest OS來占用，帶著這張硬體開機 然後guest OS得到這張硬體，比照host OS方式安裝驅動，享受該卡全部 硬體效能，但也因此當要調度硬體時，必須要先關虛擬機，造成downtime 2. SR-IOV GPU卡建立一些硬體通道，讓這些硬體通道分布在PCI bus上 guest OS可以占用這些硬體通道，雖然只能得到1/n的GPU效能 但在需要調度效能的時候，因為hypervisor控制硬體，所以不會受限 於任何guest OS獨佔，只要GPU還有剩餘可調度效能，隨時可以變換規劃 由於proxmox不是NVIDIA支援項目，所以我猜proxmox是設計成直接讀取 給其他hypervisor用的驅動程式，例如VMware ESXi 但因為可能有license鎖，所以可能要花時間去改動一些細節才能 讓proxmox利用 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.134.54.139 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1680964349.A.872.html