Re: [新聞] Nvidia 最大夢魘來臨！AI 聊天機器人執行 Groq LPU 比 GPU 快十倍

專用型跟泛用型不同 GpU 可執行繪圖 渲染 訓練 LLVM 什麼都可以 LPU 只能提供訓練後的LLVM 產生結果 而且 GROQ 展示的參數遠比 openAI 70B 速度難比較 況且 RAM 不知道開不能支持這麼多的 Token 就好像拿GPU 挖礦跟 ASIC 挖礦 GpU 不挖礦還有別的可以做 GROQ 不跑LLVM 就啥都不能做 ※ 引述《pl132 (pl132)》之銘言： : Nvidia 最大夢魘來臨！AI 聊天機器人執行 Groq LPU 比 GPU 快十倍 : http://tinyurl.com/2y4cehyv : 不論何種 AI 應用，速度非常重要。當我們要求熱門 AI 聊天機器人撰寫文章、電子郵 件 : 或翻譯文稿時，我們會希望輸出結果愈快愈好。如今一家專為運行 AI 語言模型設計客 製 : 化硬體，並致力提供更快 AI 的 Groq 公司，能以比普通人打字速度快 75 倍的速度呈 現 : 結果。 : Groq 專為 AI、機器學習和高效能運算應用程式開發高效能處理器和軟體解決方案，千 萬 : 不要和馬斯克（Elon Musk）的 Grok 聊天機器人混淆，它並非聊天機器人，而且這家 總 : 部位於加州山景城（Mountain View）的公司目前沒有打算要訓練自己的 AI 語言模型 ， : 而會致力讓其他公司開發的模型高速運行。 : 當前幾乎所有 AI 工具都使用 GPU，但 Gorq 卻使用截然不同的硬體，亦即專為處理大 型 : 語言模型（LLM）而設計的 LPU（Language Processing Unit，語言處理單元）。 : 由於 Groq 的 LPU 專門設計用於處理像是 DNA、音樂、程式碼及自然語言之類的資料 序 : 列，因此在這類應用方面的處理效能遠勝 GPU。該公司宣稱，其用戶已經使用其引擎和 : API 運行 LLM 模型，其運行速度比基於 GPU 的替代方案快 10 倍。 : 目前 Grog 在自家官網上提供基於三種不同 LLM 模型（目前提供的模型包括 Meta 旗 下 : Llama 2、法國新創 Mistal AI 旗下的 Mixtral-8x7B 和 Mistral 7B）的聊天機器人 ， : 使用者可以免費嘗試在 LPU 加持下的聊天機器人和一般 GPU 支援的效能有何不同 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 37.19.205.185 (日本) ※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1708770170.A.BF1.html