[新聞] 非英語母語者寫的英文文章，有一半被GPT

1.媒體來源: ithome 2.記者署名: 陳曉莉 3.完整新聞標題: 非英語母語者寫的英文文章，有一半被GPT偵測器標記為AI生成 4.完整新聞內文: 在諸如ChatGPT等基於生成式預訓練模型（GPT）的聊天機器人問世之後，即有不少人利用 這類的工具來作研究或撰寫文章，也使得老師或教授以各種GPT偵測器來判斷學生的文章 是否來自AI，然而，最近的一項研究顯示，母語非英文的使用者在撰寫英文文章時，有超 過一半被這些GPT偵測器錯誤地辨識為AI生成的。 此一研究是由史丹福大學生物醫學資料科學的助理教授James Zou所主導，刊登於《 Patterns》期刊，彰顯了坊間的GPT偵測器具備語文上的偏見與歧視。 研究人員使用了7款熱門的GPT偵測器來檢查91篇源自中國論壇的托福寫作文章，以及88篇 存放在Hewlett Foundation資料庫中，由美國8年級生所撰寫的英文作文，發現這些偵測 器比較能正確分辨美國學生所撰寫的文章，卻錯誤地把一半以上的91篇由中國人撰寫的托 福文章當作是AI生成的。 研究人員並未公布用來實驗的GPT偵測器名稱，僅揭露了研究成果，指出平均而言，辨識 托福文章是否由AI撰寫的錯誤率高達61.3%，當中有一款GPT偵測器的錯誤率甚至高達 97.8%，而且所有的偵測器一致認為當中的19.8%是由AI生成的。另一方面，針對8年級作 文的偵測錯誤率則僅有5.1%。 進一步分析發現，造成辨識錯誤的主要原因是托福文章在語言的多樣化與詞語的選擇上較 為有限，而8年級作文的語言使用則更為複雜，相較之下，GPT偵測器更容易準確辨識後者 。 諷刺的是，當研究人員透過ChatGPT來強化這些托福文章的用字遣詞，結果將其辨識為AI 生成的平均錯誤率就從61.3%降到11.6%了。反之，簡化8年級作文中所使用的辭彙，也讓 這些GPT偵測器的錯誤率從5.1%大幅提高到56.9%。 雖然該研究是以中國論壇為樣本，但其實它適用於任何非以英文為母語的使用者，如果懂 的英文單字不夠多，在撰寫英文文章時，就很容易被這些偵測器誤認為是AI生成的。 5.完整新聞連結 (或短網址)不可用YAHOO、LINE、MSN等轉載媒體: https://www.ithome.com.tw/news/157743 6.備註: 5 月才有一篇新聞是： > 一個教授判定整班學生半數用ChatGPT做報告不給他們畢業， > 判定方式卻竟是「ChatGPT說你有用」 以這研究來看還真是頗好笑！ 不過話說回來，AI 處理結果也是要看訓練時使用資料庫是否正確。 處理結果也是要再進行驗證。 沒驗證的結果跟垃圾沒兩樣！ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.10.94.31 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1689306070.A.729.html