※ 本文轉寄自 ptt.cc, 文章原始頁面
標題

[菜單] 50k 四張顯卡的AI訓練主機(已有顯卡)

時間
最新2020-08-14 21:34:00
留言45則留言,15人參與討論
推噓20 ( 20025 )
已買/未買/已付訂金(元): 已買4張顯卡(1060、1070、2060、2070) 預算/用途:50K內/公司的AI模型訓練主機 CPU (中央處理器):Intel i9-10900X【10核/20緒】3.7G(↑4.5GHz)/19.25M/165W /無內顯【代理盒】, $19900 ★ MB (主機板):華碩 WS X299 SAGE(CEB/8*D4/雙I網/2*M.2/2*U.2/三年) 【客訂】, $18190 ◆ ★ RAM (記憶體):芝奇 G.SKILL Ripjaws V 32GB DDR4-2666 C18(黑) ( F4-2666C18S-32GVK)[終保], $3250 ◆ ★ VGA (顯示卡): SSD (固態硬碟): HDD (硬碟):Seagate 1TB【新梭魚】(64M/7200轉/三年保)(ST1000DM010), $1270 ◆ ★ DVD-RW (燒錄機): PSU (電源供應器):振華 LEADEX 1300W 雙8/金牌/全模/5年保固/DC-DC, $5490 ◆ ★ CHASSIS (機殼):Phanteks Enthoo Pro2 黑(非透側) 顯卡長50/U高19.5/支援雙電供 /EEB(PH-ES620PC_BK), $3900 ◆ ★ MONITOR (螢幕): Mouse/KB (鼠鍵): 其它 (自填):利民 TL-C12 12cm風扇/FDB/PWM/1500RPM/防震軟墊, $420 ◆ ★ 總價 (未稅/含稅):53680 以上是請廠商幫忙組的菜單,有以下幾個問題要請教各位前輩 1. CPU的價格有點差出我們預算,廠商是說要組4張顯卡一定要使用X299的板子 ,使用X299的板子一定要使用X299的CPU,所以最便宜就這張 2. Power使用1300W是否夠力 3. 我們很怕訓練模型的時候主機燒起來XD 請問機殼的散熱OK嗎 4. 是否有其他更推薦的組法 ps. 我們team的預算真的比較有限,過去一兩年已經分別買了4張顯卡 ,所以目前先考慮4張一起平行運算作訓練的方式 注意1:自稱小妹或會透露自己性別的舉動要注意可能會引來不必要的紛擾,請注意。 注意2:標題是否有寫明"預算"、"用途"? 沒有請按Ctrl+x 然後按T改標題 注意3:請多加利用線上估價系統來進行估價以及價格查詢 (僅供參考) 注意4:若遇新品問題請勿發除錯文,請直接回原購買處處理。 禁止任何估價系統的連結,估價系統的估價單號 與估價系統網址的數字。視為估價單單號。 與相關包含手寫、excel、估價系統的擷圖連結。 購買套裝電腦者,發文及回應請自行打上原廠產品型號。 請勿張貼包含yahoo、pchome、udn、momo、autobuy、燦坤、三井、順發、良興等 國內網路通路連結。請以文字敘述。 以上只限制於本板相關物品,有爭議者由板務認定。 菜單文與情報文,禁止任何估價系統連結與擷圖、包含文字估價單號碼。 (參閱板規1-2-3、1-3-9) 違反者:刪文、水桶十日。 注意4:為保障您的權益,購物消費請索取統一發票,並盡量以含稅價取貨 注意5:若有任何問題請先洽詢板務。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.124.167.226 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1597288497.A.93C.html

45 則留言

※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:16:10
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:17:12

xiemark, 1F
用兩張2070就好了,主機板換成一般的
我們已經買4張了,想說先把他串起來,而且以後買新顯卡也可以慢慢汰換舊的

Raquzza0526, 2F
你的散熱器呢?
店家只有給我們組4個風扇耶,需要另外買散熱器?
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:28:28

jasn4560, 3F
應該不會燒起來,但是會自動關機
是因為POWER不夠還是散熱太差嗎?
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:29:34

xiemark, 4F
不要用1050 1060 2060 2070這樣並用,會有問題
會有相容性的問題嗎?

commandoEX, 5F
就算能上4張卡,你的卡也會因為吸不到風而效能超低
為什麼會吸不到風? 是因為裡面散熱功能不夠??

commandoEX, 6F
買礦機板說不定會好一點?
礦機板可以這樣差我們目前的4張卡嗎?
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:35:00

sma1033, 7F
礦機版會因為pcie頻寬受限而效能不彰
這樣說起來是否就一定要買那種專業的訓練主機,看大家的意見 ,家用主機似乎也不太適合

commandoEX, 8F
ATX/E-ATX就7個PCI-E槽,你要擺4卡一定是1 3 5 7

commandoEX, 9F
你列的卡都是雙槽起跳,卡跟卡中間空隙很小風很難

commandoEX, 10F
進去當然就過熱降頻
喔喔喔喔喔,了解,謝謝前輩的解說!!! 照樣是否只能考慮專業的訓練主機 (那種價格都會比較高...)
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:44:53

kidd232, 11F
兩張顯卡配AMD YES香香雞比較划算
我們目前是4個電腦個一張顯卡,可以獨自訓練,但老闆想說要提升訓練速度 ,所以想把大家顯卡集合起來作平行運算,如果兩張顯卡 ,訓練時間可能就是對半,期待是再更有感一些~
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 11:50:10

sma1033, 12F
振華1300W那顆我們實驗室有買,一年多風扇就有異音

sma1033, 13F
我是覺得能夠加預算的話看要不要買海牌的比較安心
感謝給予建議~ 請問你們實驗室也是組訓練主機嗎
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 12:02:18

sma1033, 14F
是呀,也是一機多卡然後日以繼夜操這樣
同學,方便私信你,了解一下詳情嗎,想知道你們lab怎麼組的
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 12:08:41

xiemark, 15F
你如果用四張不同顯卡,計算瓶頸會在那張最慢的卡上

xiemark, 16F
CUDA數不同,GPU RAM也不同。可能比你現在還慢
最佳方案就是兩張2070,如果以現有資源來看,要顧慮降頻的問題 ,手上資源最好利用就是2070搭配1070對嗎

nightop, 17F
多卡顯卡挑鼓風扇的比較省空間 怕降頻就擺在冷氣房

nightop, 18F
別關冷氣
ok,這我們有在考慮,風扇部分我會參考看一下~

xiemark, 19F
用兩張2070配合i7甚至是i5就夠了

roger5455858, 20F
樓上正解, 詳請可以參考我之前組的文章
好,感謝大大介我參考,我查一下

xiemark, 21F
Training速度要快,可以跑Tensorcore FP16
這新名詞我比較不認識,也馬上來看一下

roger5455858, 22F
補:樓上x大正解, 會有計算瓶頸

jameschiou, 23F
可以通過設計batch size克服瓶頸 但是很麻煩 建議

jameschiou, 24F
賣掉舊的 再補一張2070 這樣也不用x299
ok,感覺很多前輩都是這樣建議,而且這樣就比較沒有散熱問題?
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 12:48:56

sma1033, 25F
多人用的機器卡當然是越多越好,而且一般都會先卡

sma1033, 26F
記憶體容量,你程式不一定99%吃滿GPU但是會先OOM
但很多人說這樣散熱會有問題? 你們實驗室也是4張卡一起跑嗎

fu1vu03, 27F
FP16也要看狀況啦 不是任何模型都能用到

sma1033, 28F
很多時候第一步要reproduce別人的實驗結果就會卡關

sma1033, 29F
目前做DL研究的open source code使用FP16比例並不高
對,我們主要都是參考別人的模型來改,所以我查了一下 ,可能預設FP16不太行

maplefoxs, 30F
你 CPU花那麼多結果顯卡就這樣XD應該以顯卡優先
原本想說要把4張顯卡串起來,所以才用到X299,但看來很多前輩都不推

pha123661, 31F
你這樣四張會只剩下4張1060的效能吧 散熱不好 X299

pha123661, 32F
還貴死 拿去賣掉換兩張2070就好了

Aquarius126, 33F
1060 1070可以先賣掉 換張2070來組
以上好像比較是目前的共識,但S大有提到記憶體的問題 ,我們也有遇到這樣的問題,可能GPU跑不到頂 ,但GPU的記憶體加起來要多也很重要,有前輩有合適的建議嗎?
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 13:50:39

Aquarius126, 34F
還有一個方案是租AWS來跑,local先驗證,再丟雲端來

Aquarius126, 35F
完整的training
這方法真的很吸引人,而且可以一直用最新的運算效能,我們也有評估過 ,但是我們訓練的DATA包含很多客戶的機密資料 ,所以後來還是覺得自己組一台訓練主機
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 15:00:16

sma1033, 36F
AWS長時間用下來很貴喔,除非你們公司有特別談方案

sma1033, 37F
不然一般人用AWS跑絕對比你自己養機器還不划算

sma1033, 38F
AWS比較適合短期忽然有需求,東西跑完就砍掉的人
我們應該是不考慮AWS無誤 另外我想請教各位前輩,如果不用X299的板子,有推薦可以插雙卡的板子嗎? 因為我們找了一下,除了X299的板子,好像沒有其他支援兩個x16插槽的板子 如果是x8或x4,GPU效能是變1/2或1/4這樣??
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/13/2020 16:54:09

pha123661, 39F
跑x8的話除非你上到2080Ti不然是幾乎沒有折損的 頂

pha123661, 40F
多1~2% 並不是變成1/2
喔喔喔喔喔 原來是這樣,我想說爬文一堆雙卡機都是用Z490 ,但他只能提供兩個x8,感謝提醒~

jacky18008, 41F
其實四張卡比起串起來算,倒不如分頭測試不同參數

jacky18008, 42F
比較實在,你總是要調參的。

jacky18008, 43F
接 nvlink之類的一起跑同一支程式會像上面大大說的

jacky18008, 44F
一樣有瓶頸,國外也有人做過實驗了
為了不占用個人的研發資源,所以才會想組專門的訓練主機 ,但是研發人員應該還是會配有自己的顯卡,感謝你的經驗分享 ,希望各個前輩也都可以多分享自己的訓練經驗XD
※ 編輯: baby810321 (59.124.167.226 臺灣), 08/14/2020 09:02:10

amy79968, 45F
ram改拿16g*4跑四通道吧