※ 本文轉寄自 ptt.cc, 文章原始頁面
看板Stock
標題

[請益] AI伺服器成本分析——記憶體是最大的輸家

時間
最新2023-05-31 14:39:00
留言154則留言,49人參與討論
推噓44 ( 462106 )
剛看到半導體產業分析機構semianalysis的這篇新文章: https://www.semianalysis.com/p/ai-server-cost-analysis-memory-is 雖然沒付費只能看到部分 bing摘要: 這篇文章的核心內容是分析人工智能伺服器的成本。文章指出,隨著數據中心建設的瘋狂 ,市場也隨之瘋狂。但是,有許多公司並不應該因此而受益。文章還提到,IT預算有限, 因此Nvidia銷售額的增長主要來自於購買較少的非GPU伺服器。文章中還提供了一個標準 CPU伺服器的成本分解,顯示內存佔伺服器成本的近40%。文章最後指出,在人工智能時代 ,普通伺服器的百分比將會下降,並且在數據中心轉向加速計算時,各組件的成本分配也 會發生重大變化。 分析cpu server和ai server的成分價格 概念不錯 https://i.imgur.com/mHf654R.png
[請益] AI伺服器成本分析——記憶體是最大的輸家
但intel server沒把gpu+switch baseboard部分的價格抓出來來比 就說憶體幾乎是伺服器成本的40% 問號? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.226.155.185 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1685369616.A.A84.html

154 則留言

appledick, 1F
AI伺服器會走AWS那種營運模式啦,真以為每家公司自

appledick, 2F
己架設自己要的AI伺服器喔?頭殼壞才這樣搞,就連Op

appledick, 3F
enAI 微軟都砸多少錢花了幾年

YU1225, 4F
尬死空軍總部

wingstar, 5F
這篇文章的成本計算好奇妙,

jiansu, 6F
大老黃買越多(Gpu)省越多(cpu) 應該是真的server總

jiansu, 7F
數量可能下降 Ai server佔比大提升…

Kleiza, 8F
這樣GG是受益者還是受害者啊?

ip102, 9F
把原本記憶體的費用轉向高速運算了

Buddy, 10F
SmartNIC成本是過去的16倍 那間台廠不就賺爆

popo123456, 11F
所以爽到韓國hbm記憶體

william7713, 12F
memory這麼貴是用CXL嗎... 這誰算的啊

stosto, 13F
爽到海力士

easygo, 14F
99旺宏

nangaluchen, 15F
最近確實這種論述蠻多的

nangaluchen, 16F
但這個論述的邏輯是有漏洞的

nangaluchen, 17F
基本上建立在AI伺服器和一般伺服器是替代品

nangaluchen, 18F
但其實並不是

nangaluchen, 19F
若一般伺服器能做到AI伺服器能做的事

nangaluchen, 20F
那不會有人願意買AI伺服器

nangaluchen, 21F
2023的預算已經訂了 短期確實會這樣搞

nangaluchen, 22F
但2024後 其實應該是整體資本支出往上噴

nangaluchen, 23F
AI伺服器的資本支出是額外往上加的

nangaluchen, 24F
而非用於取代一般伺服器

nangaluchen, 25F
拿AI伺服器來做一般伺服器能做的事

nangaluchen, 26F
也很不合邏輯

mooto, 27F
老黃今天不是有說嗎 cpu伺服器又貴又耗能 你可以買

mooto, 28F
低階的gpu 一顆gpu就抵n顆cpu 這樣還是比較省阿

nangaluchen, 29F
cpu跟gpu適合的任務是不同的

nangaluchen, 30F
如果gpu能完美取代cpu 那nv早年不會那麼慘

nangaluchen, 31F
很多東西不能只看算力和能耗

saygogo, 32F
狙擊槍跟散彈槍不能拿來比較

mooto, 33F
你講的是"伺服器" 你如果是要做其他用途 譬如儲存

mooto, 34F
你就買NAS阿 cpu當然不可能消失 只是在算力上面

nfsong, 35F
今天新的 gh200 直接存取記憶體用很兇

nfsong, 36F
低電壓記憶體

nfsong, 37F
特點是今天有賣高級switch

nfsong, 38F
而且全部走光纖

mooto, 39F
gpu是更好的選擇 沒有人說不能買籃球鞋跑步

bj45566, 142F
tinyurl.com/5n6unnby

kidd100, 143F
人工智慧

awss1971, 144F
[請益] AI伺服器成本分析——記憶體是最大的輸家

k85564, 145F
為啥是輸家? 因為%下降?

k85564, 146F
AI伺服器哪有可能回到CPU為主...

zhi5566, 147F
雲端AI越來越強 手機有必要升級嗎? 不是都丟到雲嗎

aegis43210, 148F
邊緣運算,因為資安因素,終端設備也要有一定算力

b0117, 149F
邊緣運算市場一定會有,資安問題是一點。再來就是b

b0117, 150F
usiness問題,edge端的產品可以玩的公司比較多

snoopy790428, 151F
什麼都要訂閱一下以為人人受得了嗎

mrWillyyang, 152F
圖應該是一般server吧 一般的泛指沒裝GPU

vodkalime607, 153F
今天記憶體狂噴 ??

Petrovsky, 154F
ptt骨神超多