Re: [新聞] 聯發科AI平台MediaTek DaVinci「達哥」

※ 引述《aPplAus (燦爛)》之銘言： : 原文恕刪 : 小弟剛好最近有跟到一些台灣LLM的發展，可以補充一下關於模型的部分。聯發科的研究 : 單位聯發創新基地，做語言模型有一段時間了，之前有一版Breeze-7B模型，發佈了一篇 : 技術論文放在arxiv： : https://arxiv.org/pdf/2403.02712.pdf : 論文提到這個模型是從mistral-7B 繼續訓練而成，花了7000小時的H100，灌了650GB的da : ta。如果有一半是中文，325GB，也灌了超過1000億漢字（3bytes=1word)，其實很多了啦 : 。 : 然後Breexe是從Mixtral訓練而成，是更大一級的模型，論文好像還沒出，但很多公司都 : 有不同大小的模型，做法應該不會差太多（？）。最近有開放API試用： : https://huggingface.co/MediaTek-Research/Breexe-8x7B-Instruct-v0_1 : 跟ChatGPT的比較，最重要的點應該是，像Breeze-7B這種已經開源的模型，對能架伺服器 : 的公司來說，是用越多越賺；跟token收費的ChatGPT 用越多越貴截然不同。Breexe不知 : 道會不會開源就是了。 : 達哥的部分，沒有親自用過，但有認識的人用過。基本上就是平台，然後有一些功能，像 : 是讀pdf等等。就把AI推廣給更多人的東西，應該是不錯啦。 說真的，發哥做這種東西，我是一點都不期待，以我試過各種開源的 LLM 的經驗來看，幾乎都稱不上通用，唯一可以稱的上通用的就 gpt-4 跟 claude3，開源的模型基本上跟垃圾沒兩樣 你說要收費也還好，你架 server 跑開源的模型難道不用花錢？而且 gpt 的收費有個頃向是越來越便宜了，負載平衡都幫你做好了，說真的現在商用解決方案用開源的模型我真的還沒看過，因為真的用起來的感覺跟 gpt-4 差太多了，不是一直跳針就是答非所問 然後 gpt-5 應該也快出來了，gpt -4 大概率又會大降價 這東西的霸主應該還有很長一段時間會是 openai 啦，發哥還是專注在本業卡實在 ----- Sent from JPTT on my Xiaomi 2311DRK48G. -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.200.37.230 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1712795820.A.642.html