正文

為什麼要講信息

很多人問我，學習觀的理論是從哪裡來的，有什麼書籍可以參考嗎？有意思的是，當我從底層開始講解時，他們又覺得太難了。

學習觀的核心就是信息。如果想要深刻理解，就不得不更正自己對信息的錯誤認識。理解信息不單是有益於學習這麼簡單，生命本身以及整個人類社會的發展的底層都離不開兩個概念：信息與能量。這兩個概念可以讓個體看清發展的走向。

當某人能夠區分信息和知識，能夠從數據中認得信息時，該人看待問題的方式會完全不一樣。不管是在數學、編程、寫作、演講、聽講上都可以發生質變。

我知道很多人都是渴望知識的，經常去聽課，花錢知識付費。但就拿羅振宇

學習觀10裏所講解的信息是以定性的方式來講述的，恐怕很多人會有不少的疑惑。這些疑惑會在下一個定量講解信息的視頻裏得以解答。

視頻說明書

新模式對應著《學習觀5》中所講的學習方法：

1. 明確任務輸入輸出

2. 將信息壓縮成知識

3. 例子重塑大腦連接

4. 拆分知識分而治之

動畫區：輔助文字來理清事物關係

知識區：標明輸入(變數)、輸出(變數)、知識描述

例子區：標明輸入(常量)、輸出(常量)、應用知識

不同例子用於理解知識區裏所寫的知識。

需要將例子與知識描述對照著思考。

導圖區：用於幫助定位當前時刻所講解內容。

展示拆分知識，當通過例子理解知識後，就變成關鍵詞。

視頻

視頻裏的信息量是如何計算的？

YJango：信息為什麼還有單位，熵為什麼用 log 來計算？?

zhuanlan.zhihu.com

正文

此刻的你，接受著我所產生的聲音、文字、畫面，但你知道我所傳遞的內容不是這些媒介本身，而是信息。我們時時刻刻都在獲取信息，討論信息。然而到底什麼是信息？

一、熵與信息的定義

定義： 當一件事情有多種可能情況時，這件事情對某人而言具體是哪種情況的不確定性叫做熵，而能夠消除該人對這件事情不確定性的事物叫做信息。

熵和信息的關係：數量相等，意義相反。獲取信息 = 消除熵。

例1：當小明不會某道數學選擇題時（正確答案是C）。

正確答案（宏觀態）是 A，B，C，D 哪個選項（4 個微觀態）的不確定性就是熵。

宏觀態與微觀態：這裡，正確答案也叫宏觀態，而每個可能選項叫做微觀態。宏觀態是不考慮內部細節的狀態，而微觀態是考慮具體細節的狀態。

例1：生物是宏觀態，動物和植物都是生物這個宏觀態的一種微觀態。

熵與信息的大小： 熵在 A，B，C，D 所有可能情況（宏觀態）都是等概率（1/4）時最大，在確定 C 了（實際情況）是 100% 後最小。

信息的種類：能夠消除不確定性的信息有三種類型，它們本質都是正確的調整每個可能情況（微觀態）的概率。

第一種：能正確的調整某件事情的可能情況（微觀態）的概率。

例1：小紅告訴小明 「有一半可能性是 C 選項」。

這句話幫助小明將 C 選項的概率調整到了 50%，就提供了信息（0.21 bits）。

括弧裏是提供的信息量，將在下個視頻中講解如何計算，這裡只要能定性的判斷什麼是信息即可。

第二種：能正確的排除某件事情的幹擾情況。

例1：小紅告訴小明 「D 選項是錯的」。

這句話幫助小明將 D 選項的概率調整到了 0%（0.415 bits），這時小明只需要從 3 種情況裏確定實際情況即可。

例2：在此基礎上，再告訴小明 「A選項是錯的」。

這句話幫助小明將 A 選項的概率調整到了 0%（0.585 bits），這時小明只需要從 2 種情況裏確定實際情況即可。

例3：在此基礎上，再告訴小明 「B選項是錯的」。

這句話幫助小明將 B 選項的概率調整到了 0%（1 bits），只剩下一種情況了，不確定性（熵）完全消除。

第三種：能夠直接確定某件事情的實際情況。

例1：小紅告訴小明 「正確答案是 C」。

是將 C 選項的概率調整到了100%（2 bits），這句話幫助小明從 4 種等概率情況裏確定了實際情況。

非信息：未能消除不確定性不叫信息。

例1：但小紅告訴小明 「肯定是ABCD裏的一項」（0 bit）。

這句話就沒有幫助小明消除任何不確定性，信息為 0 。

在這種定義下，並沒有假信息一說。 因為只有能夠消除某人對某件事情的不確定性的事物纔是信息，因此小紅告訴小明「正確答案是 D」提供的信息是 0。

那些不能夠消除某人對某件事情不確定性的事物被稱為數據或噪音。

噪音是幹擾某人獲得信息的事物。而數據是噪音與信息的混合，需要用知識將其分離。

二、熵與信息的性質

1. 媒介無關：同一個觀察者，對同一件事情接受到的信息與用於傳遞信息的信號形式無關。

例1：

• 視覺信號：小紅將寫有 C 的 傳紙條遞給小明，提供 2 bits。
• 聽覺信號：小紅告訴小明答案是 C，提供 2 bits。
• 觸覺信號：小紅蹬小明椅子 3 次，提供 2 bits。

2. 相對觀察者：接收到的信息是相對於觀察者已經對該件事情的實際瞭解程度而言的。

例1：「明天的太陽東邊升起」 這句話，

• 對知道的人而言，提供了 0 bit 信息。
• 對知道東或西升起的人而言，提供了1 bit 信息。
• 對覺得東南西北都有可能的人而言，提供了 2 bits 信息。

例2：

• 小紅：會這道題，不管告不告訴小紅正確答案是 C，小紅對這道題的熵都為 0 bit。 因為觀察者已經擁有這件事情的所有信息，不確定性從最初就不存在。
• 小明：不會這道題，熵為 2 bits 因為觀察者沒有關於這件事情的任何信息，不確定性最大，他需要從 4 種等概率情況裏確定實際情況。
• 小虎：知道 D 是錯的，熵為 1.58 bits 因為觀察者擁有關於這件事情的部分信息，不確定性略小，他需要從 3 種等概率情況裏確定實際情況。

3. 客觀物理量：雖然信息是相對於觀察者而言的，但信息是客觀的物理量，不隨觀察者的主觀意識改變。只有確定了真正的實際情況時纔是信息。

例1：小虎認為 C 是錯的，熵就不會降低。

因為這個「主觀認為 C 是錯的」並沒有實際幫助小虎消除事情的不確定性。

4. 相對於事件：信息（熵）還是相對於某件事情而言的。

例1：

• 小明對「正確答案是ABCD 哪個選項」的熵是 2 bits。
• 小明對「正確答案屬於 AB，還是屬於DC 」的熵是 1 bit。

例2：

• 小紅告訴小明「正確答案是 C」為小明確定正確答案提供了 2 bits 信息。
• 若想告訴別人，小紅對小明說了什麼，這件事情的熵不再是 2 bits，觀察者也不再是小明，而是除小明和小紅之外的觀察者。

例3：

很多人在思考問題的時候，會不經意間切換所要思考的事情， 或者根本不知道自己要思考什麼事情，這會造成怎麼想都想不明白。

5. 概率和熵的區別：概率是某件事情（宏觀態）某個可能情況（微觀態）的確定性，而熵是某件事情（宏觀態）到底是哪個情況（微觀態）的不確定性。

概率的輸入是常量（微觀態），熵的輸入是變數（宏觀態）。

用一句話來說：

信息是從多個可能狀態中確定實際狀態所需的物理量

原版：學習觀10：老師，我沒有傳紙條作弊，我在學習資訊理論