Re: [請益] NVDA跟AMD怎麼突然崩了

本來中午要去吃飯剛好看到這篇，雖然我說的內容可能大部分人也可能不太理解， 但巷子內的看到應該會覺得還是蠻怪的，當然有更多大神指點是更好的 ※ 引述《LDPC (Channel Coding)》之銘言： : 週末有點時間 之前寫的老黃故事 https://disp.cc/ptt/Stock/1aVG4__D : 這幾年AI模型突飛猛進的一個關鍵點就是 泛化的能力 : 簡言之 2018以前 AI模型 都是透過數據 去學習資料上的標註資料 : 來做人類事先規範好的目的 而機器透過這些標注數據 去達到人類要求的事情 : 當模型遇到一個沒看過的數據 或者場景變得不同 模型就會失效 甚至無法處理 : 但在pre-trained model/foundation model出來後 一切都不同了 Pre-trained model的概念從開山祖師爺Alexnet誕生以來就有了 早期AI的爆發起源於李飛飛辦了一場視覺的辨識比賽，但為此比賽就需要資料庫 因此建立了Imagenet，人類第一個大數據影像庫，有一千種類別 當年應該是第二屆吧，Alexnet的橫山出世，靠著與其他人完全不同的架構 壓倒性的準確率獲得了當年冠軍(比前一年冠軍提高了10%左右) 這個架構就是當年類神經模型的延續，也就是俗稱的深度學習Deep Learning架構 因此後來開源了此架構模型跟參數，也就是俗稱的Pre-train model，因此就開起了大 AI時代的序幕，大家蜂擁而上的發展新架構，Fine-tuning新模型 而當時要訓練十幾萬張的照片光用CPU是跑不動的，因此Alex還有一個很大的貢獻是 他手刻調用兩張GPU顯卡進行運算，也是老黃AI王朝的開始 在此技術突破後帶來的就是各種影像上突破，例如人臉辨識、停車場進出、智駕車等 也讓智駕車從空談變成了可能 : 大體而言就是 模型透過某種學習(self-supervised) 機器能從無註記資料學習一定法則 : 而能做到超出原本數據沒有做過的事情 甚至簡單調整 (zero-shot)再不需要重新訓練 : 或者少量訓練(fine-tuning) 機器就能根據落地場景 能達到最佳化結果 : 甚至因為self-supervised關係 許多網路上的野生數據 也不需要人工標註 : 因為機器會在這些大量野生數據 自我學到法則 從而產生推理的效果 : 而這些最大的意義就是 機器能做到超乎原本數據給的標籤效果 理解數據 創造法則 : 這些意味者AGI的那個聖杯 有機會可以摸到邊了 而OpenAI最大的概念就是 : 大力出奇蹟 也就是堆疊數據多樣性(multi-tasking)及 透過龐大算力跟模型 : 而所達到的模型泛化(zero-shot)以及AGI效果更明顯 其實這邊算是一堆概念混在一起使用了，首先zero-shot在現階段是很難訓練的， 通常必須要有一個大模型，才有辦法使用zero-shot，或是few-shot learning 簡單來說就是你無法從零開始，事到如今一定還是必須要有資料 而且是高品質的標記資料，再加上暴力式硬體進行學習，才有機會變大模型 所以我接續上面的故事繼續說後續好了，這樣可能讓一般人也比較能夠看得懂 在影像上取得突破後，是不是就能套用在全部的影像環境的，答案是否定的 因為在影像環境中有各式各樣的難題，例如你是個分類問題還是物件偵測問題等等等 因此首先突破的是分類問題變得更精準，突破的方式就是將類神經網路建構的更深層 ，就出來了例如resnet、inception等架構 後續就解決了辨識更精準，甚至到後來YOLO架構的出現解決了物件偵測的問題 隨著影像上的突破，大家就漸漸地將這些方式導入到其他的領域中，例如訊號、音訊 、文字、控制等 後來出現了GAN的架構，帶給人們另一種啟發的思想，所謂的GAN也可以當作是生成式架 構的發想開創，讓大家知道原來可以讓AI創作出東西，而不是單純地進行識別而已 後續講快一點，在這段年間AI的論文架構基本上是一週小改一個月大改，過了半年就是落 後技術，但隨著google發表了Attention與Transformer後，開始有了異質性結合的可能，也就是現在gpt 的始祖，可以分解文字，可以將文字輸入變成影像輸出等 也就是從此之後AI漸漸地從開源導向了不開源，而且某些程度上是閉鎖的 上一個這樣的領域應該是強化式學習(Reinforcement learning) 在當年OpenAI發表GPT2的時候，就對他巨量的參數量感到吃驚，因為可想而知是背後 有著巨型不開源的資料庫，所以在後續GPT3的成功，也開啟了LLM的朝代 一個AI成為軍備競爭的朝代，你需要有夠多夠高品質準確的資料，加上巨型的模型跟 龐大的顯卡庫，就能越接近AGI，這也是為啥美國拼命禁中國生產晶片進口顯卡，最主要 的目的除了5G手機以外就是避免他們比美國更快發展出AGI 那關於老黃的起飛呢，一開始靠著個人版或是主機板的顯卡吃片天下，再來是靠著挖虛擬 貨幣吃掉了所有消費型顯卡的量，接下來就是奧特曼發現現在的GPU量是源源不足以誕生 出AGI以及能用於落地，所以就造就了現在NV的盛況，大家可以想像原先的資料中心，原本 Server一半以上都要換成GPU(基本級別)，如果要導入生成式架構應用，或是未來的AGI， 那可能是現今十倍甚至更高到百倍的用量 這也是我們一般人難以想像的 最後補充一些我看好的市場吧，因為生成式架構的誕生，讓文字生成，影像生成已經變了 可能，未來就是3D影像領域與控制領域也會變成了可能 例如建立了大量標準動作庫,讓機器人只要看懂一次,就能夠完整的操作此動作, 又或著是在AR/VR領域，現在建立虛擬場景成本很高，之後都靠生成架構，就能降低 很多成本，因此VR MMORPG也會漸漸出現 因此陪伴機器人、家居型機器人會是下一個市場，以及生成式投影機或相關虛擬生成 的產業也會越來越龐大，但我想應該是還要一段時間 題外話，最近OPENAI出了生成式影片的功能，早在一年前我們還在看巨石強生吃石頭，隔 不到一年就有如此大的進步，只能說可能AGI的時代會比我們想像中的還快到達 雖然我是傾向AGI不是已經誕生，就是需要在遙久的以後才會出現吧 -- 那片有座高塔哭著朝北方奔去的天空，是我此刻片尋不著的風景 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.137.242.104 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1709963522.A.6D1.html