※ 本文轉寄自 ptt.cc, 文章原始頁面
作者jeff85898
標題

[菜單] 45K LLM模型微調伺服器升級

最新2023-12-20 12:15:00
留言45則留言,8人參與討論
推噓7 ( 7038 )
已買/未買/已付訂金(元):未買 預算/用途:原有的單張3090 24GB顯卡微調較大的語言模型已經不太夠用,需要再加一張30 90。家用平台PCIE頻寬似乎最多只支援到兩組PCIE 4.0 x8,希望直接升級到EPYC平台較不 會有頻寬瓶頸的問題,不過電源、機殼不太知道如何選擇,再麻煩大家推薦一下了,謝謝! CPU (中央處理器):AMD EPYC 7302 $4387 (淘寶拆機) MB (主機板):技嘉 MZ32-AR0 E-ATX $6983 (淘寶拆機) RAM (記憶體):美光16G 2RX8 PC4-3200AA ECC REG *8 $6258 (淘寶拆機,QVL支援) VGA (顯示卡):EVGA 3090 FTW3 沿用EVGA 3090 FTW3 $20000 (二手) Cooler (散熱器):待填 SSD (固態硬碟):沿用 HDD (硬碟):無 PSU (電源供應器):待填 CHASSIS (機殼):待填 MONITOR (螢幕):沿用 Mouse/KB (鼠鍵):沿用 OS (作業系統):Ubuntu 其它 (自填):無 總價 (未稅/含稅):37628+待填 ----- Sent from JPTT on my OnePlus IN2015. -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.138.135.117 (臺灣)

45 則留言

bhmagic, 1F
感覺CPU跟記憶體都省過頭了76.82.233.154

bhmagic, 2F
怎麼說你ram比Vram小那麼多 那裡出瓶頸76.82.233.154

bhmagic, 3F
都不奇怪 而且Epyc的核心常常需要做一些76.82.233.154

bhmagic, 4F
打雜的IO 還是多一點比較好76.82.233.154

mrme945, 5F
他的RAM應該是16G*8吧111.71.216.6

bhmagic, 6F
err..應該是76.82.233.154

mrme945, 7F
電源機殼你可以考慮兩顆1000W加條雙電源111.71.216.6

mrme945, 8F
啟動線配雙電源倉的機殼,或是直接買有連111.71.216.6

mrme945, 9F
動啟動功能的雙電源(Antec OC-link之類的111.71.216.6

mrme945, 10F
)111.71.216.6

E7lijah, 11F
有ATX3.0的1600W應該夠39.14.64.70

mrme945, 12F
兩顆1000W非ATX3.0應該比一顆1600W ATX3.111.71.216.6

mrme945, 13F
0便宜啦111.71.216.6

jeff85898, 14F
那1U機殼配伺服器電源不知道會不會更划223.138.135.117

jeff85898, 15F
223.138.135.117

jeff85898, 16F
但原有那張顯卡不是鼓風扇可能會有風道223.138.135.117

jeff85898, 17F
的問題?223.138.135.117

mrme945, 18F
有1U機殼放得下兩張3090的?111.71.216.6

E7lijah, 19F
1U高度才4.4公分 怎麼可能裝得下39.14.64.70

mrme945, 20F
如果你有機櫃的話,往伺服器機殼找是沒問111.71.216.6

mrme945, 21F
題啊,不過新品都很貴,大概就還是要去用111.71.216.6

mrme945, 22F
淘的吧111.71.216.6

mrme945, 23F
應該要找4U或5U才有機會啦111.71.216.6

E7lijah, 24F
散熱找貓頭鷹NH-U9 TR4-SP3應該就能壓1639.14.64.70

E7lijah, 25F
核了39.14.64.70

E7lijah, 26F
如果你機殼買到5U高度 散熱器可以看U12S39.14.64.70

E7lijah, 27F
或U14S,4U高度我記得會差一點裝不下39.14.64.70

E7lijah, 28F
不然就是一樣找對岸拆機塔散 但server塔39.14.64.70

E7lijah, 29F
散轉速通常較高 很吵39.14.64.70

mrme945, 30F
不過我看了一下預算,你電源加上去就差不111.71.216.6

mrme945, 31F
多沒預算了,CPU散熱倒是還好,反正貓頭111.71.216.6

mrme945, 32F
鷹SP3腳位的隨便挑應該都夠,反倒是顯卡111.71.216.6

mrme945, 33F
散熱比較困難111.71.216.6

mikapauli, 34F
你有雙槽的3090就塞得進1U42.72.145.191

mikapauli, 35F
但沒事別這樣搞自己,又不是寸土寸金42.72.145.191

E7lijah, 36F
FTW 2.75槽 沒救39.14.64.70

mikapauli, 37F
5U就裝得下幾乎所有塔散了,TS140P都行42.72.145.191
了解那就是淘寶再找看看4U 5U的機箱了,顯卡散熱可能就用高轉速的機箱風扇了

chang1248w, 38F
x8和x16跑不出差異吧42.73.227.187
看評測3090似乎已經達到PCIE3.0=PCIE4.0 x8的上限了,主要是也想保留升級空間,不然之 後vram不夠還要再換平台
※ 編輯: jeff85898 (111.83.89.118 臺灣), 12/18/2023 17:42:38

E7lijah, 39F
對了 你有切成x8看看是不是真的有瓶頸嗎39.14.64.70

E7lijah, 40F
我記得耶穌測4090跑4.0x8也折損不到5%39.14.64.70

promaster, 41F
瓶頸是在顯卡 LLM用3090遲早燒起來59.115.184.247

promaster, 42F
換一張6000A吧!59.115.184.247
之後如果有預算再加一張吧 因為現在的主機板沒有支援x16拆分 第二張卡只能跑x4 想說就一次換到 mz32-ar0 了 有四 組PCIE 4.0 x16
※ 編輯: jeff85898 (111.83.89.118 臺灣), 12/18/2023 19:35:47

jeffguoft, 43F
現在3090兩萬買得到嗎?116.89.139.84

jeff85898, 44F
看起來是買不到…先買張3060湊一下vram223.141.194.116

jeff85898, 45F
223.141.194.116