Re: [爆卦] 中央研究院詞庫小組大型語言模型

: 至於說，CKIP可以辯解說，我們確實沒有隱瞞也確實提升了繁中能力，那我認真覺得如果 : 我們只是希望模型輸出全繁中而不在意希望模型學會繁中文化跟台灣環境的流行用語的話 : ，那我們直接拿英文數據做機翻不是更快更有效？！英文數據還取之不盡，英文to繁中的 : 翻譯模型開源的現在也一大堆，翻譯品質也算堪用。 : 而且真的要做這件事情也不用中研院來做。阿肥我直接業餘一個禮拜直接搞定，阿肥之前 : 也訓練過一堆這種tune壞的Garbage LLM，現在訓練接微軟的deepspeed又快又無腦，Nvid : ia最近也釋出自己的訓練框架，config調一調我連code都不用自己寫，現在一張4090就可 : 以tune起來7b模型了，幹嘛要你中研院來做？！ : 而且tune壞的部分我要finetune還要加數據把他tune回來，那我直接拿Atom 7b原生做就 : 好了啊！ : 唉～ 阿肥 中研院資訊所早已回應了 研究人員直接說這是幻覺～ 沒你說的這麼高端解釋啦～ https://reurl.cc/QZer9M 本院資訊所表示，CKIP-LlaMa-2-7b 並非「臺版chatGPT」，且跟國科會正在發展的 TAIDE 無關。 CKIP-LlaMa-2-7b 的研究目標之一是讓 meta 開發的 Llama 2 大型語言模型具備更好的 繁體中文處理能力。這項小型研究僅用了大約30萬元的經費，將明清人物的生平進行自動 化分析，建構自動化的歷史人物、事件、時間、地點等事理圖譜，因此訓練資料除了繁體 中文的維基百科，另也包含臺灣的碩博士論文摘要、來自中國開源的任務資料集 COIG（ CHINESE OPEN INSTRUCTION GENERALIST）、詩詞創作、文言文和白話文互相翻譯等閱讀 理解問答；在github網頁上也據實說明。 由於這是一項個人小型的研究，各界對該模型進行的提問測試，並未在原始的研究範疇。 該研究人員表示，由於生成式AI易產生「幻覺」（hallucination），模型產生內容出乎 預期，也是未來要努力改善的地方，研究人員今（9）日已將測試版先行下架，未來相關 研究及成果釋出，會更加謹慎。對相關研究的成果，公開釋出前，院內也會擬定審核機制 ，避免類似問題產生。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.234.77.82 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1696854018.A.5E7.html