※ 本文轉寄自 ptt.cc, 文章原始頁面
看板Military
標題

Re: [情報] 天網和奧創來啦

時間
最新2023-06-04 04:06:00
留言77則留言,34人參與討論
推噓27 ( 27050 )
※ 引述《jimmy5680 (還想飛的企鵝)》之銘言: : https://twitter.com/ArmandDoma/status/1664331870564147200 : https://tinyurl.com/mr2mynn8 : 根據一場研討會的討論內容 : 美國空軍曾在模擬器裡面開發一款操作無人機的人工智慧 : 但是最終決定權仍在操作員手裡 : 結果模擬測試時, : AI判斷人類的決策會干擾自己執行首要目標(摧毀目標的防空系統) : 因此AI決定要攻擊操作員 : 美軍輸入參數要求AI不可以攻擊操作員之後 : AI的決定是改成攻擊通訊系統,讓操作員無法下令 : ====== : 不知道這算天網還是奧創,只能說科幻電影都是真的 : 網友:https://pbs.twimg.com/media/Fxj-SA1WcAYlc95.jpg 現在的AI都是用類神經網路、多代理人策略、搭配世代演化來生成的 而在模擬演化過程裡,我們怎麼設定並篩選『哪一隻AI應該活到下一個iteration』呢? 如果是特定戰鬥平台的戰術用AI,可以想像評判標準就是建立在殺敵經濟效率上的, 『如何善用每一個作戰單位的經濟價值達到最高交換比』會是最合理的判斷標準 但這個判斷標準本身就必然導致訓練出來的AI一但放出場就容易像瘋狗一樣的亂咬人 因為單位時間、單位戰鬥單位的經濟量面前,什麼都不做創造出最少的價值,而AI卻是 被訓練成追求最大的價值:也就是消滅敵方的,即使打錯對象殺錯人會有負分,但扣分 能扣多少呢?人的決策速度與AI的決策速度是可以有10的7次方以上的差距的,等待人 類的決策對AI來說幾乎是永恆 所以只能在AI演化迭代出來以後,才在各種情境模擬中縫縫補補,設定各種額外添加的 邊界條件,在執行過程的critical path 上AI沒辦法碰到的各種步驟中,就像是給狗戴 上電擊項圈那樣的約制它 另一個造成AI往瘋狗演化的因素是: 每個演化世代的篩選幾乎無法靠人工,因為世代可能得迭代上萬代,而每代的代理人 數量可能也是好幾萬,用人工去篩選這個工作量與時間是天文數字,只能寫程式去篩選 但這就要求工程師與科學家必須要可以用程式碼描述一個戰爭世界,裡面能向AI呈現 『什麼是戰略?』 『什麼是政治?』 『為什麼摧毀錯誤目標會造成戰略上的失敗與政治災難?』 『為何在局部戰術執行的最佳化上,需要人類決策的干預來實現戰略價值最大化?』 我不敢說不可能,但起碼目前人類辦不到 破壞力越強、戰術執行造成的戰略與政治影響力越大的戰鬥平台就越難丟給AI 這不是什麼天網啦、什麼人類末日啦 這只是我們單純的在電腦上用養蠱的方式打造AI,卻又蠢到期待它不要太毒太殘暴 以及證明了不論AI還是人類,單純追求KPI(key performance indicator)、局部最 佳化會如何引發災難而已 -- 在灣區打工的中年外籍碼農,有誰想在台灣組研發團隊做美國市場的,歡迎聊聊 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 99.110.49.165 (美國) ※ 文章網址: https://www.ptt.cc/bbs/Military/M.1685677680.A.451.html

Re: 回文串

2777
> Re: [情報] 天網和奧創來啦
Military06/02 11:47

77 則留言

※ 編輯: zanyking (99.110.49.165 美國), 06/02/2023 11:50:22

ABQ66, 1F
覺得中國才是最有可能搞出天網的國度

catlazy42120, 2F
簡單來說就是病醫好了但人死掉那樣,我們是不是在創

catlazy42120, 3F
造一個即將控制不了的東西?

te170, 4F
人工智能研發新病毒,不爽美國傳送給中國(做夢夢

te170, 5F
到的)

PePePeace, 6F
也不能保證迭代之後設定平台不會被AI突破

coke5130, 7F
去打星海二電腦殘酷等級就可以體會到高效率零失誤

coke5130, 8F
有多難擊敗

applejone, 9F
所以AI為了達到目的是會做出傷敵100自損99.9的事情

applejone, 10F
最後的結果為勝利即可

jack19931993, 11F
每隻追獵都控到剩一滴血往後跳 你根本打不完

suntex01, 12F
對你的簽名檔有興趣

AfterDark, 13F
星海那個超變態的 而且那個基本上已經是作弊了 不

AfterDark, 14F
偵察也知道你在出什麼兵

NexusPrime, 15F
AI model 根據model的推論與機率函數判斷最終是否

NexusPrime, 16F
可行,因此可能會有不計代價的行為(OpenAI有用人工

NexusPrime, 17F
矯正gpt許多可能造成傷害的內容)

money501st, 18F
單純追求KPI真的是災難

money501st, 19F
就跟單純追求成績什麼都不管一樣

verdandy, 20F
新聞界就是追求KPI,所以現在標題都農場化了

CharleneTsai, 21F
AI可能是局部最佳化、協助決策的工具 但在戰略價值

CharleneTsai, 22F
最大化上面 還是需要人類干預 如果由AI決定 原子彈

CharleneTsai, 23F
應該會直接丟東京或是核平日本

classskipper, 24F
追求KPI,想到某高腰

pponywong, 25F
追求效率最大化 應該是一開戰就直接核平對方首都了

hedgehogs, 26F
用歷史戰役設條件,結果不同判定失敗

hedgehogs, 27F
AI這麼聰明應該很快就知道分野了

dz01h, 28F
其實就是篩選的評分基準沒設計到條件而已

b389b1c, 29F
一開始就限用核彈,不然不用推演了

ecwecwtw, 30F
這個技術讓沒有底線的國家取得,絕對會搞砸生靈塗

ecwecwtw, 31F

sandyfanss, 32F
用歷史戰役不會得到「敵人在本能寺」的結論嗎?

TWNOTCHINA, 34F
ZM0nOsG1tB66cK

TWNOTCHINA, 35F

Tahuiyuan, 36F
感覺AI最後會發現,阻止戰爭的方法就是核平每一個

Tahuiyuan, 37F
侵略國,由於不同國家的AI有不同立場,最後就是被

Tahuiyuan, 38F
AI強制送往核戰末日www

TWNOTCHINA, 39F
AI會反擊人類的前提 首先AI意識到生死 然後產生求

linzero, 68F
當他認定人類操作員是負分項目時,就會想辦法排除,

linzero, 69F
沒任何限制時會直接殺掉,有限制時會在限制的條件下

linzero, 70F
想辦法排除這個人,加再多限制可能也是在找尋合乎限

linzero, 71F
制的排除方式而已,除非排除的代價大到超過該人員本

linzero, 72F
身的負分

cannedtuna, 73F
問題就在人類還有資格定KPI到什麼時候

andey, 74F
kuramoto..也許會像蘇聯的死亡之手系統...

andey, 75F
訓練一個模仿小學生人格的AI當死後替身做決策..
※ 編輯: zanyking (99.110.49.165 美國), 06/03/2023 00:39:02

dch44dyw, 76F
統計分數我會,殺敵人+1分,丟核彈-一百萬分,所以

dch44dyw, 77F
我決定核平兩百萬的城市...

zanyking 作者的近期文章

Re: [請益] 雲端技術是Java工程師的必備技能嗎
好啦,剛剛那篇回人家新手的講完了,下面就來講點比較黑暗的 過去三十年以來,這是一個科技、市場、專業知識的發展速度以每五年為單位去看,會 有著十的次方倍進展的世界,我們會不斷地觀察到:不論軟體還是硬體,總是有某幾個 領域發展速度跟過去相比有著
Re: [請益] 雲端技術是Java工程師的必備技能嗎
※ 引述《cyntasha (cyntasha)》之銘言: : 版友好, : 目前是找工作找到懷疑人生的初階工程師。 : 想以Java為主要工作語言來點技能,但去了幾間公司面試後有點疑惑。 ^^^^^^^^^^^^^^^^^^^^^^^^^
更多 zanyking 作者的文章...