※ 本文轉寄自 ptt.cc, 文章原始頁面
Re: [問卦] 為什麼AI 這2-3年進步這麼神速?
我剛好研究所讀資工領域的。
你應該知道在這次AI大模型震撼世人之前,電腦科學界在紅啥嗎??
就是Big Data,大數據,資料探勘。
但是因為"算力"不足,所以在十年前,幾乎都是關注於儲存與基礎處理而已。
譬如NoSQL數據庫與一些簡單的資料探勘,那個時候SVM分析歸類資料可火的。
就是用一些通用數學演算法把資料分群分類,但也就這樣。
並不能"生成"。
這個時候Deep learning的基礎原理其實十年前就已經有了,說到更早的多層神經網路,
甚至是50年前的事情,那為什麼現在才爆發,其實也就是硬體總算跟上了。
量變產生質變,大力出奇蹟,自我加速迭代改進。
你看一下他們的參數是如何巨量成長的:
GPT-1:
發布於2018年,約有1.17億個參數。
GPT-2:
發布於2019年,提供了不同版本的模型,其中最大的版本有15億個參數。
GPT-3:
發布於2020年,具有1750億個參數,是當時最大的語言模型之一。
ChatGPT:
發布於2022年,將GPT語言模型用強化學習回饋訓練成人類喜好的聊天機器人。
GPT-4:
發布於2023年,據說有1.8兆個參數。
這就是量變產生質變,大力出奇蹟的威力。
也要歸功於老黃的GPU才能讓"大數據"變成"AI大模型"
十年前大數據可透過資料探勘變成資訊。
現在大數據透過AI訓練則可以變成AI大模型,也就是智慧。
這次的sora其實也差不多,用的是Diffusion Model為基礎,去年也都有網站公開展示了。
http://tinyurl.com/78tezvev
但OpenAI啥沒有,算力最多,我用更大的算力去處理數據,
OpenAI還有什麼?GPT-4,我用GPT-4把影像的tag的訓練集,
"生成"能更仔細描述影片的長文,甚至用生成的影片再訓練。
這也就是AI的自我加速迭代改進,也就是一些AI加速主義者,奇點的成因。
你看看從一年間從威爾史密斯吃麵到現在吃漢堡的改進有多驚人
https://twitter.com/newsNZcn/status/1759150630470599150
所以現在能夠抵擋AI指數成長的限制器大概就剩下GPU與能源了。
大家好自為之。
====
反觀區塊鏈的Blockstream不用GPU與能源,自己用blocksize把自己限制住。
真是幹他媽的。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.236.237.31 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1708161575.A.D09.html
Re: 回文串
35124
[問卦] 為什麼AI 這2-3年進步這麼神速?
Gossiping02/17 10:59
00
Re: [問卦] 為什麼AI 這2-3年進步這麼神速?
Gossiping02/17 11:21
27
Re: [問卦] 為什麼AI 這2-3年進步這麼神速?
Gossiping02/17 12:17
1124
Re: [問卦] 為什麼AI 這2-3年進步這麼神速?
Gossiping02/17 16:28
2134
> Re: [問卦] 為什麼AI 這2-3年進步這麼神速?
Gossiping02/17 17:19
22
Re: [問卦] 為什麼AI 這2-3年進步這麼神速?
Gossiping02/18 00:35
1026
Re: [問卦] 為什麼AI 這2-3年進步這麼神速?
Gossiping02/18 00:46
18
Re: [問卦] 為什麼AI 這2-3年進步這麼神速?
Gossiping02/19 11:38
34 則留言
DarkerDuck 作者的近期文章
[閒聊] CryptoGame比較~懸賞至少等值1000 NTD的BCH
因為我沒有很熟CryptoGame,所以還是來這邊發問,順便發幣。 我想要尋找並且比較具有以下特性的CryptoGame。 以下條件需要都符合: 1. 無KYC,註冊要簡單。 2. 能夠使用信用卡購買該CryptoGame上的遊戲幣或是NF
Re: [閒聊] 未來世界的貨幣
我剛剛聽說有個天才可以用固定多少算力就產出多少幣的方式來達成穩定幣。 這實在是幣圈中的一個超級創舉。前無古人後無來者,中本聰算哪根蔥,通通讓位。 我們現在就來假設BTC的難度永遠維持一個固定值K好了。 這個K值剛好可以讓我們2014年的礦機
推
推
→
→
→
推
推
→
推
推
推
推
推
推
→
推
→
→
→
→
→
→
→
推
推
推
推
推
推
推
推
推
推
→