※ 本文轉寄自 ptt.cc, 文章原始頁面
[新聞] 群聯於交大分享生成式AI落地解決方案 學生:獲得啟發性
https://money.udn.com/money/story/5612/7698948
2024年1月10日15︰30︰32
經濟日報記者李孟珊/台北即時報導
群聯於交大分享生成式AI落地解決方案 學生:獲得啟發性
NAND Flash控制IC廠群聯(8299)日前於國立陽明交通大學舉辦生成式AI的落地解決方案
發表會,參加的同學在會後於網路上分享心得,大讚作為一個處於有在設計語言模型的研
究生來說,得到極具啟發性的資訊。
群聯曾說,在ChatGPT等超大型AI模型的興起,帶動AI人工智慧於未來可能輔助企業與個
人的無窮想像空間,也因為AI模型的成長速度極快,導致提供AI服務的硬體建構成本大幅
提升,其主要原因為現行AI模型主要運行於GPU與DRAM當中,但未來AI模型的成長速度將
遠超過GPU與DRAM可供給的量。
根據微軟研究報告指出,AI模型的成長速度將會是GPU卡中的DRAM成長速度的200倍,換言
之,現行的AI運算硬體架構成長速度可能已無法滿足AI應用的需求。
據悉,群聯自主研發的AI人工智慧運算服務「aiDAPTIV+』」,是透過群聯獨創整合SSD的
AI運算架構,將大型AI模型做結構性拆分,並將模型參數隨應用時間序列與SSD協同運行
,以達到在有限的GPU與DRAM資源下,最大化可執行的AI模型,預計能有效降低提供AI服
務所需投入的硬體建構成本。
群聯將相關知識往下扎根,先前在國立陽明交通大學舉辦生成式AI的落地解決方案發表會
,有一名在做語言模型的研究生,於網路上指出,在聽完發表會後,這樣一個解決訓練大
型語言模型受硬體規格限制的創新方案,對他來說,獲得了具啟發性的資訊。
該研究生說明,在過去的實驗中,他經常遭遇到硬體規格不足的限制,使得他難以訓練更
大的語言模型,不過此次群聯的發表會上,提供他許多的思路和解決方案,特別是成本更
低、更有效率的硬體構想,這讓他期待未來能夠以更合理的成本配置硬體,訓練像
LLaMA-13b這樣的大型語言模型。
換言之,意味著實驗室無需投入高昂的成本購買A100等硬體,仍能擁有專業且具有成本效
益的配置。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.194.181.81 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1704909995.A.ACD.html
18 則留言
AAAB 作者的近期文章
11Tech_Job
[情報] M31︰本公司112年度股利所得資料緊急通知https://news.cnyes.com/news/id/5546052 發言日期︰113/05/03 發言時間︰17:11:27 發言人︰蘇芷儀(總經理特助) 主旨︰本公司112年度股利所得資料緊急通知 符合條款︰第53款 事實發生日
-2Tech_Job
[新聞] 南科產值超車竹科、中科?謝金河點名台南https://www.storm.mg/article/5110113 2024年5月4日08︰50 蔡翌暄 南科產值超車竹科、中科?謝金河點名台南發展雙箭頭:人才培育明燈 財訊傳媒董事長謝金河表示,台南遠東科技大學因少子化學生銳減,不過
13Tech_Job
[新聞] 台股續漲有壓?谷月涵:AI再漲恐泡沫 下https://www.ntdtv.com.tw/b5/20240429/video/389191.html 2024年4月29日訊 高健倫沈唯同台灣台北採訪報導 台股續漲有壓?谷月涵:AI再漲恐泡沫 下跌風險大 台股今天盤中勁揚,突破20
[新聞] 鴻海「輪值CEO」上路邊做邊改…為何制度
https://www.businesstoday.com.tw/article/category/183015/post/202404240009 2024年4月24日09︰45 撰文吳筱雯、攝影/唐紹航 鴻海「輪值CEO」上路邊做邊改…
-7Tech_Job
[新聞] 馬英九二訪大陸 將參觀比亞迪等龍頭科技https://udn.com/news/story/5612/7869699 2024年4月1日12︰32 聯合報/記者賴錦宏/即時報導 馬英九二訪大陸 將參觀比亞迪等龍頭科技企業 前總統馬英九赴今啟程訪問中國大陸,在首站深圳將參觀大疆、
25Tech_Job
[新聞] 獲台積電資助1億元 陽明交大首屆「半導體https://www.chinatimes.com/realtimenews/20240329003313-260405 2024年3月29日15︰22 中時新聞網王嘉慶 獲台積電資助1億元 陽明交大首屆「半導體系」招生 被各校「學霸」們
15Tech_Job
[新聞] 科技園區跳電!竟是變電箱旁有洞「鼠鑽進https://www.setn.com/News.aspx?NewsID=1435532 2024年3月6日22︰14 生活中心/賴俊佑報導 科技園區跳電!竟是變電箱旁有洞「鼠鑽進去咬電線」台電回應了 新北產業科技園區今(6)日下午3點3
推
→
推
→
→
→
噓
→
推
→
推
推
推
推
推
→
推
推