Re: [請益] AI伺服器成本分析——記憶體是最大的輸家

※ 引述《neone (neone)》之銘言： : 剛看到半導體產業分析機構semianalysis的這篇新文章: : https://www.semianalysis.com/p/ai-server-cost-analysis-memory-is : 雖然沒付費只能看到部分 : bing摘要: : 這篇文章的核心內容是分析人工智能伺服器的成本。文章指出，隨著數據中心建設的瘋狂 : ，市場也隨之瘋狂。但是，有許多公司並不應該因此而受益。文章還提到，IT預算有限， : 因此Nvidia銷售額的增長主要來自於購買較少的非GPU伺服器。文章中還提供了一個標準 : CPU伺服器的成本分解，顯示內存佔伺服器成本的近40%。文章最後指出，在人工智能時代 : ，普通伺服器的百分比將會下降，並且在數據中心轉向加速計算時，各組件的成本分配也 : 會發生重大變化。 老黃今天展示的那櫃 Grace Hooper 就用了144TB GPU Memory 透過NVLink共享 (NVLink是他們自研的SERDES 簡單來說就是PCIe更快的介面) 所以重點只是高速 共享 記憶體還是存在的 還有也不用擔心大家嫌貴不買啦 老黃今天不就列了1600家要做AI的公司 挖不挖得到金礦又不關他的事 只要鏟子賣得出去就好了 這種時候大家都爭搶先當第一個啦 有機會變成AI界的m$, adobe誰不幹 在那邊省小錢 到時候就看別人鼠錢 反正新創花的也不是自己錢 燒光當然是再繼續吹 話說老黃真的值得領那個錢 美國人訓練不是蓋的 相比之下今天下午發哥找他來蹭 那些高層講話的台風 投影片的格局 真的差好多喔 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 218.161.53.112 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1685375393.A.279.html