※ 本文轉寄自 ptt.cc, 文章原始頁面
標題

Re: [討論] 語文效率的偽科學

時間
最新2023-09-26 22:25:00
留言30則留言,6人參與討論
推噓4 ( 4026 )
※ 引述《fw190a (las)》之銘言: : ※ 引述《ZMittermeyer (ZM)》之銘言: : : 1 bit的定義是:如果一個黑盒子中有A與B兩種可能性,他們出現的機率相等 : : 要確定會是A還是B,我們需要的訊息量就是 1 bit : : 所以訊息論根本上是一個在研究「消除不確定性」的系統性學問 : : 訊息量的定義就是「不確定性的消除量」 : : 而傳輸 1 bit 訊息,和你使用電腦、手機、旗語、骰子、手勢、聲波都沒有關係 : : 訊息論也可以計算旗語、骰子、手勢、聲波這些通訊協定的訊息量是幾bit : 兩個可能性確定一個是1 bit, : 32確定一個的時候,訊息量是5 bit。 : 消除不確定是微觀系統內的定義, : 但可能性越多複雜度越高,訊息量單位越高也是事實, : 從一開始試圖把訊息量定義成一個"好的東西", : 就是你整個理論的執拗而已。 : 其實我看出來你的整套理論,就是因為你自認掌握著一種真理, : 所以能在世界尺度評判哪個東西訊息量高哪個低,又哪個是雜訊, : 所以你反覆套這個公式來強化自己的認知。 : 但對於他人來說你的邏輯根本雞同鴨講, : 你這真的只是包裝的傳教行為。 : ,,, : 訊息量首先是訊息多少的量度,然後才是不確定性消除的程度。 : 你用不確定性來說明訊息量大小, : 基本上是預設了你有一個給定的可能性範圍, : 才能去套/去比較兩個訊息量,如何分割那個總量。 : 但日常生活,講話的過程是在同時給出那個可能性的邊界, : 然後再慢慢透過語法與脈絡去排精確意涵。 : 不是 一堆人在這個細節搞這麼久 香農信息熵的概念是這樣 1. Plamc是人 2. Plamc是男人 3. Plamc是PTT前版主以及作家 當你把plamc當作一個黑盒子 去告訴一個不知道底細的路人 1成立的機率最高 2其次,3最低 所以機率越低的信息量越大,所以叫信息熵 因為如果信息為真 代表你排除了更多的不確定性 H = -k log P H是信息量 P是成立的機率 也可以寫成 H(S) = - pi log(pi) 如果把log底取2就是1 bit 表示法 pi 就是多個陳述語句的機率 這就是ZM要說明的信息量與機率 至於後面的推論對不對是另一回事 前面這種看不懂就會變雞同鴨講 ----- Sent from JPTT on my iPhone -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.250.152.208 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DummyHistory/M.1695550456.A.19D.html

Re: 回文串

430
> Re: [討論] 語文效率的偽科學
DummyHistory09/24 18:14

30 則留言

joh, 1F
你這樣講就更矛盾,你如何定義訊號和雜訊?

innominate, 2F
我矛盾什麼…我只是再科普香農的信息熵理論,你可以寫

innominate, 3F
一篇論文推翻它,我相信你可以拿到香農獎

moslaa, 4F
後半完全看不懂 XD

innominate, 5F
後半你最簡單的理解就是陳述句的總合信息量,例如plam

innominate, 6F
c是男人又是前版主又是作家,是三個陳述句的機率相加

innominate, 7F
取2為底變成bit就是一個計數單位,你也可以取10為底變

innominate, 8F
成10進制。如果取2為底,你就可以得出這個信息量有多

innominate, 9F
少bit ,然後這個值在工程應用上就可以拿來作為編碼系

innominate, 10F
統來用

tomer, 11F
其實講的大致上是對。不過我相信Z 麥本人原本是不懂的,因

tomer, 12F
為照算常用漢字兩千多個字的底就是海放英文26個字母、信息

tomer, 13F
量超豐富呀XD他為了補洞後來才去K 書、弄了個什麼1bit故弄

tomer, 14F
玄虛講的好像他懂。其實這篇原po還懂得還多一些。

fw190a, 15F
熵是表達混亂/複雜度的,機率低導致訊息量高是從中推導出

fw190a, 16F
的概念,這要說也是訊息量的特性,而不是熵的。我知道這

fw190a, 17F
很繞,但我認為我的表達是有涵蓋這些概念的

innominate, 18F
香農引進熵的概念就是要表達越混亂,機率越低,信息量

innominate, 19F
越大。就像「plamc是一個人」,這個機率很大,也不混

innominate, 20F
亂,信息量就很低。

innominate, 21F
所以信息量天然就跟不確定(機率)掛鉤

innominate, 22F
你的文章說信息量首先跟信息的多少有關,這件事理解就

innominate, 23F
是錯的

innominate, 24F
我可以說一大串包括明天太陽會從東方升起,你跟我都是

innominate, 25F
人,我們都要呼吸等等,這些東西堆再多信息量也是低的

innominate, 26F
如果我說「明天台股會跌」,如果我說的為真,這短短的

innominate, 27F
幾個字帶來的信息量就大了

innominate, 28F
或者說「明天台股會跌105點」,那這個信息量更大

ZMittermeyer, 29F
靠北啊這個定義是我寫成白話的什麼叫我不懂

ZMittermeyer, 30F
你看不懂(而且剛好理解相反)不要牽拖我不懂

innominate 作者的近期文章

Re: [討論] 國民黨執政中華民國時期對臺灣半導體產業的貢獻
5.10 Parallelism and Memory Hierarchy: Cache Coherence Given that a multicore multiprocessor means multiple processors o
更多 innominate 作者的文章...