[新聞] AI晶片如何讓美國電網癱瘓？微軟工程師：

原文標題： AI晶片如何讓美國電網癱瘓？微軟工程師：只要10萬片就完了 原文連結： https://www.ctee.com.tw/news/20240329701360-430704 發布時間： 2024.03.29 16:25 中時新聞網 記者署名： 吳美觀 原文內容： 全球掀起人工智慧（AI）熱潮，也讓AI進化成吃電巨獸！一位微軟工程師爆料，如果在美 國同一個州部署超過10萬片H100 GPU高階晶片，就會導致電網癱瘓。顯見AI運算速度愈快 ，電力供應需求暴增將成為令人擔憂的問題。 財聯社報導，人工智慧聊天機器人ChatGPT開發者OpenAI下個版本GPT-5模型尚未面世，似 乎已開始著手訓練GPT-6，不過電力可能成爲一個「卡脖子」難題。 AI新創公司OpenPipe創辦人Kyle Corbitt在社群平台X上透露，自己最近與一位負責GPT-6 訓練集群項目的微軟工程師討論新版本中遇到的問題，這位工程師抱怨，不同區域GPU之 間部署infiniband（無線頻寛）級別鏈接，實在非常痛苦。 Corbitt接著問「為何不將訓練集群集中同一個區域？」這位微軟工程師回答，有嘗試過 ，但是如果在一個州放置超過10萬片H100 GPU，電網就會癱瘓。 10萬片H100是什麼概念？據市場調查機構Factorial Funds的報告顯示，OpenAI的文字生 成影片模型Sora在高峰期間需要72萬片H100，依該工程師說法，這個數量足以讓美國7個 州的電網崩潰。 Corbitt指出，隨著越強大的AI製造出來，開發這些模型的成本也越來越高，並面臨電力 供應所帶來環境挑戰。 OpenAI 執行長奧特曼（Sam Altman）曾為AI的電力需求「叫苦」。在年初的達沃斯論壇 上，他表示，AI發展需要能源方面的突破，AI將帶來遠超預期的電力需求。 有數據顯示，ChatGPT每天需要消耗超過50萬千瓦時的電力，用於處理約2億個用戶請求， 相當於美國家庭日用電量的1.7萬多倍；至於搜尋巨頭谷歌，若在每次用戶搜尋中都調用 AIGC，年耗電量將增至290億千瓦時，這甚至高於肯亞、瓜地馬拉等國1年的用電量。 心得/評論： 隨著AI運算速度愈快，電力供應需求也將暴增，將成為令人擔憂的問題 還好咱們台灣電網堅韌無比，不缺電，不停電，不是美國那種落後國家能比的 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.137.161.32 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1711764788.A.3BE.html