※ 本文轉寄自 ptt.cc, 文章原始頁面
[新聞] Nvidia 最大夢魘來臨!AI 聊天機器人執行 Groq LPU 比 GPU 快十倍
Nvidia 最大夢魘來臨!AI 聊天機器人執行 Groq LPU 比 GPU 快十倍
http://tinyurl.com/2y4cehyv
不論何種 AI 應用,速度非常重要。當我們要求熱門 AI 聊天機器人撰寫文章、電子郵件
或翻譯文稿時,我們會希望輸出結果愈快愈好。如今一家專為運行 AI 語言模型設計客製
化硬體,並致力提供更快 AI 的 Groq 公司,能以比普通人打字速度快 75 倍的速度呈現
結果。
Groq 專為 AI、機器學習和高效能運算應用程式開發高效能處理器和軟體解決方案,千萬
不要和馬斯克(Elon Musk)的 Grok 聊天機器人混淆,它並非聊天機器人,而且這家總
部位於加州山景城(Mountain View)的公司目前沒有打算要訓練自己的 AI 語言模型,
而會致力讓其他公司開發的模型高速運行。
當前幾乎所有 AI 工具都使用 GPU,但 Gorq 卻使用截然不同的硬體,亦即專為處理大型
語言模型(LLM)而設計的 LPU(Language Processing Unit,語言處理單元)。
由於 Groq 的 LPU 專門設計用於處理像是 DNA、音樂、程式碼及自然語言之類的資料序
列,因此在這類應用方面的處理效能遠勝 GPU。該公司宣稱,其用戶已經使用其引擎和
API 運行 LLM 模型,其運行速度比基於 GPU 的替代方案快 10 倍。
目前 Grog 在自家官網上提供基於三種不同 LLM 模型(目前提供的模型包括 Meta 旗下
Llama 2、法國新創 Mistal AI 旗下的 Mixtral-8x7B 和 Mistral 7B)的聊天機器人,
使用者可以免費嘗試在 LPU 加持下的聊天機器人和一般 GPU 支援的效能有何不同
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.177.2.53 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1708742210.A.771.html
Re: 回文串
958
> [新聞] Nvidia 最大夢魘來臨!AI 聊天機器人執
Tech_Job02/24 10:36
915
Re: [新聞] Nvidia 最大夢魘來臨!AI 聊天機器人執
Tech_Job02/24 18:22
58 則留言
pl132 作者的近期文章
13Tech_Job
[新聞]聯發科天璣 9400 將不採自研 CPU 核心,繼聯發科天璣 9400 將不採自研 CPU 核心,繼續與 Arm 合作仍力壓對手 https://tinyurl.com/28jpqqgg 外媒報導,聯發科天璣 9400 處理器預計 2024 年發表,它將與高通的 Snapdragon 8
[新聞]特斯拉是安隆式騙局?馬斯克暴怒回應 Face
特斯拉是安隆式騙局?馬斯克暴怒回應 Facebook 聯合創辦人 https://technews.tw/2024/04/27/dustin/ Facebook 聯合創辦人、新創 Asana 首席執行長達斯汀·莫斯科維茨(Dustin Mo
15Tech_Job
[新聞] 馬斯克也無法忽視的威脅!比亞迪為何變馬斯克也無法忽視的威脅!比亞迪為何變成美國汽車業者的惡夢? https://tinyurl.com/2dbsyxqp 2011 年,特斯拉(Tesla)創辦人伊隆‧馬斯克(Elon Musk)受訪時,嘲笑中國電動車 比亞迪(BYD)根本不是
15Tech_Job
[新聞]台積電員工台灣各地炒房,網友:NVIDIA 在台積電員工台灣各地炒房,網友:NVIDIA 在美國不講武德更兇狠 https://tinyurl.com/2ajak6hm AI 熱潮席捲,近年 GPU 大廠輝達 (NVIDIA) 股價持續大漲,為不少員工創造財富。近日 霸榮週刊記者 Ta
12Tech_Job
[新聞]頻繁降價消費者胃口被養大,特斯拉遭砍目頻繁降價消費者胃口被養大,特斯拉遭砍目標價 https://technews.tw/2024/04/11/bofa-slashes-teslas-stock-price-target/ 特斯拉(Tesla)第一季交車表現「滑鐵盧」,出現近四
65Tech_Job
[新聞] 碩博士滿街跑 李遠哲:不是我的錯碩博士滿街跑 李遠哲:不是我的錯 https://tinyurl.com/yc73va9z 許多人認為中央研究院前院長李遠哲要為教改亂象負責,但李遠哲在最近出版的新書中提 到,當年他主持的教育改革審議委員會主張英文要從小學開始教,而「碩博士
16Tech_Job
[新聞]中國 OLED 崛起,三星 2023 年市占首次跌中國 OLED 崛起,三星 2023 年市占首次跌破 50% https://tinyurl.com/2cm4lj2o 在中國政府大力扶植下,中國面板廠積極布局 OLED 面板市場,原本穩坐龍頭的三星顯示 器(Samsung Display
[新聞] 台股最慘養豬戶!IC設計穩懋轉投資失利 謝金河爆3年前籲謹
台股最慘養豬戶!IC設計穩懋轉投資失利謝金河爆3年前籲謹慎 https://finance.ettoday.net/news/2710594 記者陳瑩欣/台北報導 財信傳媒董事長謝金河(老謝)臉書上以「台股最慘的養豬戶:養豬養成大錢坑」形容
[新聞] AI 太耗電、OpenAI 拚核融合,專家:進
AI 太耗電、OpenAI 拚核融合,專家:進度沒那麼快 https://tinyurl.com/25hfh5pk OpenAI 執行長阿特曼(Sam Altman)相信,核融合(fusion)是解決 AI 耗能嚴重的問 題解方。不過,專家
34Tech_Job
[新聞] 微星於桃園擴廠布局 AI 伺服器,三大產品微星於桃園擴廠布局 AI 伺服器,三大產品線今年出貨估雙位數成長 https://finance.technews.tw/2024/03/16/msi-2023-q4-earnings/ 微星預期,2024 年在筆電、螢幕、板卡三大產品線出
→
→
→
→
推
推
推
推
噓
推
推
→
→
推
推
→
→
噓
噓
噓
推
噓
推
噓
推
→
→
→
→
噓
推
→
→
→
推
推
推
→
→
噓
推
推
→
→
→
推
→
推
→
→
→
→
→
噓
推
噓
→
噓