※ 引述《innominate (innominate)》之銘言：
: 香農信息熵的概念是這樣
: 1. Plamc是人
: 2. Plamc是男人
: 3. Plamc是PTT前版主以及作家
: 當你把plamc當作一個黑盒子
: 去告訴一個不知道底細的路人
: 1成立的機率最高
: 2其次，3最低
: 所以機率越低的信息量越大，所以叫信息熵
: 因為如果信息為真
: 代表你排除了更多的不確定性
: H = -k log P
: H是信息量 P是成立的機率
首先第一個問題，
熵跟訊息量是高度相關但不同的概念。
你給的公式算的是熵，
他要做為訊息量成立的前提是，
系統必須是確定性的。
然後你對這個熵值的系統，給出一個確定唯一的答案，
這時計算出來的信息量就等於熵值。
講人話就是，
我有一組密碼，然後你直接就猜到。
所以你輸入的數字(訊息量)等於我密碼(熵)的複雜度。
選項越多，機率越低，導致熵越大，
進而導致需要完整解答的訊息量也更大。
兩者是在一個特殊情況下一致，成立數學概念，
而非是可直接互換的概念。
: 推 fw190a: 熵是表達混亂/複雜度的，機率低導致訊息量高是從中推導出 09/24 20:
30
: → fw190a: 的概念，這要說也是訊息量的特性，而不是熵的。我知道這 09/24 20:
30
: → fw190a: 很繞，但我認為我的表達是有涵蓋這些概念的 09/24 20:
31
: → innominate: 香農引進熵的概念就是要表達越混亂，機率越低，信息量 09/24 20:
40
: → innominate: 越大。就像「plamc是一個人」，這個機率很大，也不混 09/24 20:
40
: → innominate: 亂，信息量就很低。 09/24 20:
41
: → innominate: 所以信息量天然就跟不確定（機率）掛鉤 09/24 20:
43
: → innominate: 你的文章說信息量首先跟信息的多少有關，這件事理解就 09/24 20:
44
: → innominate: 是錯的 09/24 20:
45
首先單就訊息量的概念先後順序，
"1928年，R．V．L．哈特萊提出了信息定量化的初步設想，
他將符號取值數m的對數定義為信息量，即I=log2m"
再來比起熵，這個單位才是用來衡量訊息量的。
https://en.wikipedia.org/wiki/Shannon_(unit)
注意到這邊的機率設定就是簡單的用50%來衡量。
然後我前文之所以強調先有多少訊息，
是因為要構成系統本身，也是需要訊息的，
他的熵概念建立在，透過機率評斷一個系統內給定信號的訊息量，
但首先要有那個系統，而不只是一個假設為真而已。
: → innominate: 我可以說一大串包括明天太陽會從東方升起，你跟我都是 09/24 20:
46
: → innominate: 人，我們都要呼吸等等，這些東西堆再多信息量也是低的 09/24 20:
46
: → innominate: 如果我說「明天台股會跌」，如果我說的為真，這短短的 09/24 20:
48
: → innominate: 幾個字帶來的信息量就大了 09/24 20:
48
: → innominate: 或者說「明天台股會跌105點」，那這個信息量更大 09/24 20:
49
其實我主要是想回這邊，分享一些想法，
沒有針對你，你也可以說你是通俗的舉例說明。
只是藉由這個例子思想實驗，
順便給大家娛樂一下。
，，，
首先你說確定是真的，堆再多訊息量也低，
但照理說，給出已知的事物，訊息量應該是0才對，
再來弔詭的會是，預測明天台股跌，在明天以前，始終就是一句空話，
但一旦到了明天，台股真的跌了，就變成事實，這句話也只是說明已知事物，
訊息量為0。所以自始自終，你擁有的訊息量就只有話語本身。
然後你靠一句如果為真，來假設性獲取訊息量。
那個虛擬的訊息量來自於，對一個想像的有限系統進行操作。
你的訊息量就只是，透過講得多荒謬，然後加上一個假設性的保證為真來獲取。
這是印度神童power嗎XD
，，，
現實世界的一個問題是，他並沒有那個已知的機率讓你去評斷誰機率大小，
明天會不會下雨，到了明天，只會有一個結果，而不是用機率來呈現。
如果看天氣預報，得到機率，那是透過科學算出來的，
科學算出一個10%的降雨機率，那並不是要告訴你訊息量多大，
或者降雨量機率越小訊息量如何越大，因為反過來說出太陽，也成立，
科學告訴你的機率就只是預測，而不是那個我們能確知的機率。
如果你相信科學的世界觀，那胡亂套用那個訊息量概念，
結果就只是，越不科學，越脫離常識的預測，蘊含訊息量就越大。
因為當預測成真了，就否定了現有科學，那訊息量自然大。
，，，
從正面意義來說，訊息量大代表的是，
一個不符合預期的例子，如何推翻或要求理論的修正，
所以當科學遇到新的無法解釋的情況時，
會促使產生修正與新理論，
但新理論的形成，需要的是更多訊息的投入與整合，
跟否定既有的成分的訊息，只能說是有因果關係。
極端來說，我只要說這個世界是假的，
如果此言為真，那訊息量極致大，
因為我一句話推翻了一整個世界觀的複雜度，
但這種訊息量沒啥好追求的，
而且之所以有東西能推翻，
是因為這個世界的相關脈絡先存在於各人認知之中。
，，，
最後回到一開始的舉例上，
堆疊是人，是男人，是男作家，這三個例子，
其實是在透過這三個敘述，文字上傳遞越來越多資訊，
只是他們排序上套在一起，所以在類別的脈絡上構成了機率的規則，
如果我提出Plamc是人，或是恐龍，或是霸王龍。
這時不套用預先的認知，是要怎麼判定恐龍機率高還是人類機率高?
黑盒子在哪?
所以把那套基於已知機率的訊息量想像，
套入現實的預測，卻沒有適當修正，就是偽科學。
因為我們在現實世界，用的是加法邏輯，
去找那個堆疊起來訊息量最大而不矛盾的系統，
也就是科學以及常識來作為行動依據，
而不是靠什麼機率小的瞎猜獲得訊息量。
，，，
排除不確定性，是一個語言工具性的功能，
建立具有複雜度的理論，才是思想的建構方式。
以日常生活的語言思想活動中，
我打一堆字闡述一堆概念，並且能跟邏輯常識接合起來，
這才是訊息量大。
而不是丟一個概率小的預測，即使成真了，
但缺乏相關的理論與邏輯支撐，
那樣的訊息量會是什麼東西？
這篇試圖說明了。