Re: [新聞] 減少依賴輝達 傳微軟將推自研首款AI晶片

每次討論到Nvidia 就會引戰， 但是看到一堆不實的指控， 又會讓我忍不住想說明， 然後就引戰刪文，無限循環 先說結論：CUDA 就此打住，再多說就是引戰 這幾家大型軟體公司有自己的晶片與硬體研發團隊已經十幾年以上， 當然有自己的AI晶片一點都不會意外， 就以新聞說的微軟來討論， 微軟AI晶片主要有兩個項目: OpenAI, Cloud OpenAI 用的晶片是微軟跟AMD合作， 由AMD主力開發賣給微軟 Cloud的部分才是新聞說的首款自製晶片， 這款自製晶片的研發團隊由兩個主力組成: xbox硬體團隊 + 原snapdragon cpu core團隊， 原snapdragon cpu core團隊被高通整組裁員之後全部被微軟收下， 改作微軟Cloud 的晶片, xbox硬體團隊除了xbox之外， 比較有名的是hololen project, 這個團隊實力很強， 做出來的AI晶片應該是不錯, 不過微軟很多時候做硬體只是為了殺價用， 讓人懷疑他們自己軟體部門是否會願意使用這款自製的晶片 同樣情況Amazon AWS有一堆自製的晶片與硬體， 最有名的是AWS ARM CPU 跟 lab126, 同樣的Google Cloud 也有一堆自制晶片與硬體， 甚至安卓/pixel/nest 也有一堆自製晶片， 所以不要以為市場只有Nvidia 能做AI晶片， 這些大型軟體公司都有能力做AI晶片， 效能都不輸Nvidia， 問題在CUDA (我不多做解釋了) ※ 引述《Lushen (pttlushen)》之銘言： : 上次台裔Google科學家紀懷新Ed H. Chi (L9)來台灣接受訪問的時候就有談到這個: : 今天記者會上，紀懷新也解密，其實 Google 在訓練 AI 時，100% 使用的都是自家的 : TPU，「Google 很早就在 AI 領域投入了大量資源，包括硬體，包括裡頭的數學、算法等 : ，這些都是我們的強項。」 並不是100% 使用的都是自家的TPU， 最多就只是他的部門的某一兩個project 用自家的TPU, 我沒有詳細數字， 但是我猜大概50%用自家的TPU 原因很簡單， 自家的TPU是對自家特殊的算法做加速, 每個TPU的設計都不同，不能共用， 比方說， 現在最熱門的LLM需要極大的記憶體空間， 對運算速度需求反而不是最大瓶頸， 所以會有一款特製TPU把記憶體拉到最大來符合LLM需要， 但是這款TPU拿去做search, youtube 圖像辨識等等卻又不適用了， 並不是每個算法與專案項目都有相對應的TPU， 可能難度過大或是需要的資源過多， 也有可能這個專案只需要一些機器就夠用， 也有可能這個專案只需要一次性短時間train data, 所以很多算法與專案項目是直接拿Nvidia or AMD GPU : Google 2023 最新的論文 : TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with : Hardware Support for Embeddings : Abstract : 1.2x–1.7x faster and uses : 1.3x–1.9x less power than the Nvidia A100 客製化的TPU or ASIC一定比GPU快， 某些TPU在某些特殊算法上面的應用甚至比H100 快很多， 但是這些TPU or ASIC並不是通用AI 晶片， 無法通用在各式各樣的算法與應用 : 大公司自己搞這些東西沒問題 : 沒資源搞這些有的沒的 還是只能跟Nvidia買沒衝突 : 至於什麼生態 : 大公司完全可以自己在公司搞一套自己專用的工具 : 進來的人自然會想辦法學會這套工具怎麼用 : https://www.inside.com.tw/article/32510-Google-Bard-Ed : 微軟要搞鏟子好啊 : 還是只能找台積電代工 : 代工鏟子94舒服 : ※ 引述《jerrychuang ()》之銘言： : : 原文標題： : : 減少依賴輝達 傳微軟將推自研首款AI晶片 : : 原文連結： : : https://ec.ltn.com.tw/article/breakingnews/4451397 : : 發布時間： : : 2023/10/07 11:13 : : 記者署名： : : 原文內容： : : 〔財經頻道／綜合報導〕根據《The Information》報導，微軟（Microsoft）可能下個月 : : 在其年度開發者大會上，推出首款專為人工智慧 （AI）設計的晶片。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.103.225.6 (美國) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1696752319.A.D76.html