※ 本文轉寄自 ptt.cc, 文章原始頁面
Re: [閒聊] M2Ultra在AI比intel+nVIDIA有架構優勢?
※ 引述《hugh509 ((0_ 0))》之銘言:
: 先說我不懂AI運算
: 只是看了林亦的新影片
: https://youtu.be/UsfmqTb2NVY
就鬼扯,我也懶的噴他。現在老黃是遙遙領先所有人,AI全吃,沒什麼好爭辯的。
現在所謂的DL,第一需要的是運算,第二才是記憶體頻寬。
M2Ultra的gpu就27.2tflops(fp32),跟3080差不多,但ampere有兩倍的(fp16+fp32accumulate)還有4x的(fp16)。現在fp16訓練就很夠了,擔心你可以用fp16+fp32模式,那也是2x你m2 ultra。
https://images.nvidia.com/aem-dam/Solutions/Data-Center/l4/nvidia-ada-gpu-architecture-whitepaper-v2.1.pdf
https://tinyurl.com/yuak5w5d
4090是82.6tflops(fp32),330.3tflops(fp16)。m2ultra連車尾都看不到,可憐啊。
然後M2Ultra的31.6tops,那應該是int8無誤如果是int4那就更可憐。4090是660.6(int8)tops與1321.2(int4)tops。這已經是被超車好幾十圈了。(tops是inference用的)
H100 datasheet
https://resources.nvidia.com/en-us-tensor-core/nvidia-tensor-core-gpu-datasheet
https://tinyurl.com/bdfuutbe
h100 pcie是最低階的
756tflops(tf32)
1513tflop(fp16)
h100是狠狠的虐了所有人包含a100。2x~4x(a100)
https://www.mosaicml.com/blog/amd-mi250
AMD的mi250不到a100的80%,mi300的specs其實跟mi250差不多,mi300主要是apu功能。
只有google的tpu跟intel的gaudi2跟a100有輸有贏。
https://mlcommons.org/en/training-normal-30/
gaudi2在gpt3的訓練大概是h100的1/3性能。
intel為什麼要取消rialto bridge?現在ai當道,fp64強的hpc架構根本毫無用處。AMD因為只有mi300所以只能硬上了,但383tflops(fp16)要怎麼跟1500+tflops的h100比?
intel現在把資源集中在gaudi3/4,期望2年內可以看到老黃的車尾。
有人以為老黃只是因為cuda軟體贏。其實nn很容易移植到其它架構,老黃是硬體大贏+長期耕耘ai。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.224.249.214 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1688351283.A.3EF.html
Re: 回文串
48255
252
> Re: [閒聊] M2Ultra在AI比intel+nVIDIA有架構優勢?
PC_Shopping07/03 10:27
52 則留言
oopFoo 作者的近期文章
Re: [情報] 英特爾認錯…擴大釋單台積 操刀範圍擴及
※ 引述《AquaChen1012 (阿扁)》之銘言: : 英特爾執行長基辛格在法人會議中表示,英特爾晶片代工業務受到決策錯誤的拖累,包括 : 一年前反對使用荷蘭ASML的EUV設備。基辛格說,部分由於這些失誤,英特爾已將晶圓總 : 數的約
Re: [閒聊] 現在橫空出世的NPU
NPU還是很有用的,以後應用會越來越多。 我舉個遊戲應用的例子。 現在遊戲對話都是固定死的。但用現代ai可以活潑很多。我大概解釋一下技術流程。 玩家用語音跟遊戲角色對話。 用Whisper轉換語音到文字。 用bert/gpt來分析文字的情緒
Re: [閒聊] 現在橫空出世的NPU
※ 引述《wahaha99 (我討厭人類)》之銘言: : 以這個評測為例, 讓我有點霧裡看花, 不是很能明白: : Intel Ultra 7 155H : CPU分數 67 : GPU分數 413 : NPU分數 282 : 嗯....這
→
→
噓
→
→
→
推
推
→
→
→
→
推
→
→
→
→
推
→
噓
→
→
→
→
噓
噓
推
→
→
推
→
→
→
→
噓
→
→
→
→
→
→
→
→
→
→
→
→
推
→
→
→
→