[新聞] 超微推出具192GB記憶體的純GPU之AI晶片MI

超微推出具192GB記憶體的純GPU之AI晶片MI300X，搶奪AI市場 https://bit.ly/464WD15 超微（AMD）為了追趕輝達，於2023年6月13日正式向外介紹一款純高性能GPU的AI晶片 MI300X。 前不久，超微推出結合CPU和GPU雙架構的Instinct MI 300進軍AI訓練晶片，這款晶片在 規格和性能直接對準了輝達的Grace Hopper。不過，為了直接瞄準大型語言模型市場，專 為需要所有記憶體容量來運行最大模型的客戶而設計的MI300X不再是混合使用CPU和GPU， 而是用兩顆CDNA 3 GPU小晶片取代了MI300A的三顆CPU小晶片，從而形成了12顆小晶片設 計，包含：8顆GPU小晶片和另外4顆IO記憶體小晶片。 除了純GPU性能之外，超微的MI300X亦提高記憶體容量，讓當前這一代AI大型語言模型（ LLM）能獲得192GB記憶體。由於AI客戶正在以最快的速度搶購GPU和其他加速器，同時需 要更多記憶體來運行更大的模型。因此，超微提供一個使用8個HBM3記憶體通道的192GB GPU將成為當前市場上的一個相當大的優勢。 其實，AI晶片可以分為雲端、終端和邊緣。根據任務劃分又可以分為訓練晶片和推理晶片 。雲端就是在數據中心進行模型訓練，晶片需要支撐大量的數據運算，終端和邊緣對運算 要求稍弱一些，但卻要求快速回應和低功耗。如今輝達H100晶片霸佔了訓練晶片這一領域 ，超微似乎想利用MI300X來爭取更多客戶的支持。 除了192GB MI300X公布之外，超微還簡要宣布了他們所謂的AMD Infinity架構平台。 這 是一種允許最多8顆超微的高階GPU互連在一起以處理更大的工作負載的8-way MI300X設計 。 就如輝達的8-way HGX和英特爾的Ponte Vecchio的x8 UBB那樣，8-way處理器配置目前是 高階伺服器的最佳選擇的架構。 另外值得注意的是，AI開發人員歷來偏愛輝達晶片的一個原因是它有一個名為 CUDA的開 發完善的軟體包，使他們能夠利用晶片的核心硬體功能。超微也推出擁有自己的AI晶片軟 體，稱為ROCm。其希望建構一個強大的軟體堆疊方面取得了真正的巨大進步，讓該軟體堆 疊可與模型、庫、框架和工具的開放生態系統一起使用。 超微認為數據中心之AI加速器市場將從2023年的300億美元左右，以超過50% 的年複合成 長率增長到2027年的1500億美元以上。 雖然超微沒有透露MI300X的價格，但此舉可能會給輝達的GPU帶來價格壓力，畢竟，H100 的價格高達30,000美元或更多，如果超微能夠在性能提升的同時，又給市場更合理的價格 ，這有助於降低生成式AI應用程式的高成本，也可為其帶來可觀的市場佔有率。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 203.145.192.245 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1687308077.A.0C0.html