（Peter Atkins, Physical Chemistry, 11th ed. 2018）

下邊還有一篇現代的測量entropy的文章：

從十九世紀中期的J C Maxwell（就是電動力學創始人。他研究電動力學之前先在統計力學中做了很多開創性工作）、Ludvig Boltzmann開始，想要研究如何從物質的微觀理論得出熱力學的宏觀熱力學量。當時還不知道原子是真實存在的，只能假設物質是原子組成的。由此基本假設出發，立即可以理解內能的來源，就是每個原子具有的能量的總和。壓強的微觀來源就是氣體分子撞擊容器壁的平均力。但是熵的來源就不清楚了。Boltzmann天才的假設，熵就正比於系統可能處於的微觀狀態之和的對數。這是一個假設，其正確性需要通過對比理論結果與實驗結果驗證。（戴樹珊，化學應用統計力學，科學出版社，2000，書里給出了很多體系的熵的計算值和實驗值的對比，精度很高）後續的所有實驗證實了這個猜測。後來也有理論證明，熵的定義必然具有對數的形式。

詳見這裡：

https://zhuanlan.zhihu.com/p/27876027?

根據評論區網友的疑問，這裡特別多說一下，前邊說的「功能100%轉化為熱，熱不能100%轉化為功」是一個一般的情況。果然「讀者會按照最不靠譜的方式去理解通俗說法」，我這裡帶大家複習一下熱學和熱力學。不知道其他地方的講解，我們上海大學「大學物理（3）」是要講熱學的，大約佔一學期的1/3課時，授課對象為計算機系、材料系、力學系、化學系、法學系、電影特效專業等相關專業學生。

平衡熱力學只討論平衡態，不考慮時間因素。所以熱力學中所謂的一個「可逆過程」，其發生時間為無窮長。生活中就是測量時間遠遠大於弛豫時間，且需要時刻保持系統在過程中任意時刻都維持在平衡態，也就是無耗散。這樣可在P-V圖（或者其他兩變數圖）上畫出一條描述該平衡過程的曲線。這種過程都是可逆的，所以，在P-V圖兩不同點的一條線上的過程，都是可逆的！沿著這條線正向從A到B，再從B回到A，過程中如果發生了功和熱之間的互相轉化，那麼逆過程中就100%轉化回去了！

但是日常生活中，理想的可逆過程是不存在的，所以只要發生了熱轉化為功的事件，就無可避免的有熱以熵變的形式耗散掉了。發電機燙手、電視機燙手都是這個原理。

但是上述單根的曲線，是無法對外做功的。因為沿著可逆過程曲線正向走，再原路返回，必然要把做的功100%還回去，系統才能無條件還原。如果是某個做功的循環過程，比如卡諾循環，通過在兩個不同溫度大熱源之間換熱，對外做了功，那麼就有部分內能永遠以發熱的形式的消失掉了。上述發電機燙手、電視機燙手，就是因為系統中發生了1）熱力學循環，2）有耗散；兩者綜合導致的。

這裡不再細掰扯，都是本科基礎知識。物理系的課程里熱學和熱力學部分有詳細講解。

參考

1. ^丁同仁，李承志，常微分方程，第二章

一句話，熵對過程自發性的決定，實際上是統計規律的作用，是頻率向概率收斂的過程。

平衡態是一個系統中各部分所處狀態的概率分布，比如化學平衡中反應物與生成物之比。平衡態下這個分布由平衡常數決定，而達到平衡態之前，這個分布並不符合平衡態的比例。一個過程，如化學反應，實際上可看作概率實驗，比如拋一堆正面的硬幣，拋足夠多次以後總是穩定在有一半左右出現反面。

但是需要注意的一點是，熱力學中對熵的定義是在平衡態下的。對於非平衡態，需要對熵作一個一般性的定義。這樣一般的定義，可以給熱力學第二定律給出更加具體的形式，而不只是一個熵增。

這裡，熵是隨機變數的熵，是針對於這個隨機變數的分布定義的熵，也就是一定的分布的熵，是隨機變數不穩定性和變化性的量度。這裡定義的熵，在資訊理論中的香農（Shannon）熵。

簡單起見，先考慮一個取值範圍有限的離散型隨機變數 ,具有概率分布 ，這個隨機變數的香農熵為

，

如果這個和存在的話。這裡對數的底可以任取，一般常見取2或e。前者使熵具有單位為比特（bits），後者使熵的單位為nats(自然比特？)

如果我們要考慮一般情況，即包括連續型隨機變數，則香農熵的定義需要被修改為

其中隨機變數 具有分布 ，而這裡香農熵的定義依賴於一個歐氏空間上的參考測度（reference measure） 使得 。有時如此定義的熵也叫微分熵。如此定義的熵顯然取決於參考測度，有時會出現負值，甚至是負無窮。

重點來了，在物理中熵的絕對值本身其實不如熵的變化量更有物理意義，特別是如上定義的熵，其絕對值有賴於參考測度的選擇。但這並不影響物理，因為我們更關心相對熵，也叫Kullback-Leibler發散(KL熵)，它被定義為：

在一個物理過程中，我們關心每一刻的實時分布和平衡分布之間的相對熵 ，作為過程在 時刻的熵產生。顯然傳統的熱力學第二定律告訴我們對於孤立系統，熵產生總是正值。如果需要拓展到開放系統，則考慮系統加環境的熵產生與系統熵產生的差值

即可。

更加詳細地，對於非平衡態每一刻的實時動態，我們依然可以用相對熵描述熱力學第二定律具體到每一刻的版本，是熱二的推廣。熱力學第二定律只描述了平均耗散非負，只描述了平均值而沒有提及漲落。在非平衡態下，系統也會有漲落，即偏離平均值的演化，但與平衡態漲落不同的是，其不同方向的偏離概率是非常不同的。隨機熱力學預測到，在非平衡系統中，觀測到正耗散（向平衡態的漲落）的概率指數地大於觀測到同樣幅度負耗散（遠離平衡態的漲落）的概率，而平衡態的漲落是沒有任何方向上的偏好的，是關於平均值對稱的。因而系統向平衡態弛豫過程中每一刻的耗散可以用此刻的相對熵描述，它描述了每一刻向前演化（向平衡態）和向後演化（遠離平衡態）的概率間的差異。到了平衡態，耗散自然就為0了。

但是熵的定義不只這一種。根據使用需要可以有不同的熵的定義，例如考慮量子糾纏熵時常用的Rényi熵，是香農熵的推廣。感興趣的話可以讀一些概率論、隨機熱力學、資訊理論方面的資料。

參考文獻：

• Cosma Shalizi, Advanced Probability II or Almost None of Stochastic Processes, Spring 2006, Chapter 28
• Massimiliano Esposito, Open Questions on Nonequilibrium Thermodynamics of Chemical Reaction Networks
• Philipp Strasberg and Massimiliano Esposito, Measurability of nonequilibrium thermodynamics in terms of the Hamiltonian of mean force, Phys. Rev. E, 101, 050101(R) (2020)
• Gianmaria Falasco and Massimiliano Esposito, The dissipation-time uncertainty relation, arXiv:2002.03234

既然題主是科普讀者，我就舉非常非常簡化的例子，這些例子不能讓你深刻地理解熵是什麼，但能讓你習慣熵的作用。實際上物理和數學的理解就是習慣的過程。

1，熱力學熵

假設有兩個物體1和2。1和一個溫度 的大熱源接觸，2和一個溫度 的大熱源接觸。

設 ，把1和2接觸一會兒，這段時間內有熱量 從1流到2，因為熱源很巨大，所以二者的溫度保持不變（溫度變化忽略不計）。

對於物體1和大熱源1，在溫度 下放出熱量 ，熵的變化是 ，熵減少；對於物體2和大熱源2，在溫度 下吸收熱量 ，熵的變化為 ，熵增加。對於整個系統，熵的變化是 熵增加。

這個例子非常不普遍，但從中你應該可以把握住熱力學熵的特徵：對於「熱量從高溫物體流向低溫物體」這一不可逆過程，高溫物體失去的熱量與低溫物體得到的熱量相同，但由於二者溫度不同，高溫物體的減少的熵比低溫物體增加的熵要少，所以系統整體熵增。

2，統計物理熵

以兩個硬幣為一組，你有很多組硬幣。

第一組硬幣就放在桌上，你可以看到是（正面，正面），系統只有一種狀態，熵正比於ln 1=0。

第二組硬幣只有第一枚放在桌上，第二枚被拋起落下後遮住了。系統可能是（正面，正面）也可能是（正面，反面），有兩種狀態，熵正比於ln 2。

你也許會問，為什麼要取對數？這是因為我們希望兩個系統的總熵等於這兩個系統熵只和，即熵具有可加性。

假設不取對數，第一組硬幣熵∝1，第二組硬幣熵正比於2。

把兩組硬幣當做一個總的系統，可能的狀態為（（正面，正面），（正面，正面））和（（正面，正面），（正面，反面）），2種。

如果不取對數，兩組硬幣組成的系統熵正比於2，但兩組硬幣的熵之和正比於1+2=3，沒有可加性。

取對數，兩組硬幣組成的系統熵正比於2，兩組硬幣的熵之和正比於ln 1 +ln 2 =ln(1??2)=ln2。

可以看到，這個對數是熵的可加性和系統狀態數等於子系統狀態數之積的結果。取對數是為了把系統疊加時狀態數的乘積轉化為加和。

然後再看，對於一組硬幣，被拋起後再遮住的硬幣狀態是不知道的，可能的狀態數為2。你再一次將它拋起再遮住，狀態還是不知道，可能的狀態數還是2。但對於已知的硬幣，你把它拋起後遮住，可能的狀態數就從1變到2了。即系統可能的狀態數不會自發減少。這也反映出一種不可逆性。

值得注意的是，在這個例子中系統之所以存在熵是因為有的硬幣被拋起後遮住了，我們得不到這些硬幣的信息。被遮住的硬幣越多，缺失的信息越多，熵越大。從這條思路延伸出去就是信息熵的概念了。

其他科學類回答：

既然是中學生就不敲公式了。

我們還是拿那個沙漠的例子來說事。首先是「混亂」的定義：這個概念在統計力學裡是有明確定義的，講的專業一點，叫宏觀態所對應的微觀態數量。對沙漠這個例子來說，「宏觀態」你可以理解為沙漠表面的形狀（平不平？有沒有沙丘？有沒有腳印？），而「微觀態」可以簡單理解為每一粒沙粒的位置。

很明顯，如果你知道微觀態（每粒沙的位置），那麼宏觀態（沙漠的地形）自然就知道了。但你只知道宏觀態，是不能唯一確定微觀態的。所以每個宏觀態其實對應著不止一個（事實上是很多很多個）可能的微觀態。但對我們來說，我們關心的是宏觀態，所以我們可以去數每個宏觀態對應的微觀態數量，這個自然就決定了每個宏觀態出現的概率（如果我們假定每個微觀態能量都相同的話）。所以沒有外界干擾的話，自然是對應微觀態多（也就是混亂度高）的宏觀態更易出現。所以為什麼房子會變亂？因為我有100種讓房子變亂的方式（臭襪子既可以放在抽水馬桶里，也可以掛在電扇上），但讓房子整潔就只有一種方式（放在衣櫃抽屜里）。所以自然沒人管的話房子會變亂，這叫熵增原理。

那麼沙漠為啥又有變平的趨勢呢？這是因為能量：統計力學告訴我們大自然天然喜歡能量低的微觀態，所以能量低的微觀態在算概率的時候有額外的bonus。但是很糾結的是往往能量低的微觀態數量也少。顯然在重力勢能作用下，沙漠完全平整的情況是能量最低的，所以平整的沙漠儘管對應的微觀態數量少（熵低），但其能量也低。而不平整的沙漠雖然能量高一點，但架不住人家對應的微觀態多啊，所以概率依然很高。你可以想像一個蹺蹺板，一端是一個300斤的胖子（能量低所以概率權重高，但微觀態數量少），另一端是3個100斤的妹子（能量高所以概率權重低，但微觀態數量多），兩邊battle起來勝負尚為可知：這叫energy-entropy balance（能量與熵的平衡）。

所以兩邊battle的結果，就是形成一個中間狀態：這個狀態起伏不太大，所以能量不太高，但又有一些起伏，所以微觀態數量算起來也還算多。這就是你看沙漠的表面為啥總是有些沙丘存在的，但沙丘也長不成喜馬拉雅山（當然腳印應該不會天然形成，因為形狀太特別了，特別就意味著對應的微觀態數量太少，所以熵低。。。）。這個平衡的狀態，說的專業一點，叫自由能最小化。

最後想起來我在NYU進行的一次失敗的面試，面試中和John Zhang還有Tuckerman吃飯的時候他們說的一個比喻：一般來說家裡蹲是最舒服的，所以家裡的能量最低。但是學術界的活動總會把你從舒服的窩裡踹出來去不同的城市開會，世界上開會的地方太多，所以出差狀態的熵很高。於是你就不停地在出差和不出差之間糾結，企圖優化你的自由能。。。。。希望兩位大佬講的這個段子能夠幫到你。

重新編輯一下，爭取嚴謹一些：

我曾經也不理解「熵增」這個概念。

那個時候，我的世界觀就建立在「平衡」的基礎上。如果把「化學平衡」中的「化學」二字去掉，再放進孤立體系研究，那麼，「達到平衡」的過程，簡直就是樸素版本的「熵增過程」。

但是，兩者是不能相提並論的。

①、化學平衡，講求的是：條件下，動態平衡的結果。只整合了有限幾個自由度。

平衡雖然達到了，體系的熵值還遠沒有最大化。如果熵增達到「頂峰」，那麼不僅是反應產物平衡，而是各個自由度都平衡。

如果，一個孤立系統，達到「最終的平衡狀態」，實際上就是熵寂狀態。熵寂有兩種表達方式：

（1），處處均衡。所有的物質都均一，所有的能量都均一。沒有溫差、濃度差，勢差，因此不能再反應。

（2），無序化、混亂，通向「熱力學穩定」狀態。

統計力學把體系看做集合，把每一種態，看做象；體系中，某種參數對應的「象」越多，那麼它越混亂，越無序，但是更穩定，熵值更高。

因此，達到平衡和熵增，本質上，都是通往一個熱力學穩定的狀態。本質上是同一過程，所以難區分。

補充：熵寂狀態並不存在。

假定宇宙是一個有邊界的孤立體系，那麼它最終會達到平衡狀態，這個平衡狀態，是該條件下熵的最大值。

假定宇宙是一個沒有邊界的孤立體系。那麼它始終達不到平衡狀態。

②、化學平衡，在實際生活中很少見。實際生活中，未達到平衡狀態的現象，遠多於平衡狀態。

作為一個模型，平衡，極大的簡便了計算。平衡管結果，過程歸熵管。實際上，過程也不歸熵管，而是歸自由能管。

熵相關的概念，管的比「化學平衡」要寬，和去掉「化學」二字的「平衡」管的差不多寬。但是它描述起來，比「平衡」要簡單。

------------------分割線1------------------

對「熵」的理解，要注意。

①、熵概念，有兩種理解途徑。

（1），從均一化理解：能量均一、物質分布均一。從而總勢差越小，熵值越高；沒有勢差，就不能相互做功，因此就寂滅了。

（2），來自於統計力學：代表的是體系～象限～混亂度。體現的是混亂，無序。

混亂無序，和均一化消除勢差，是一個意思的兩個方面。

②、熵相關概念，有適用範圍。在量子力學當中，如果採用「崩塌假設」，熵時有效概念；如果採用多世界並存，不崩塌，那麼，熵增概念基本沒有用。

③、評價反應能否自發進行。

標準是△G＞0。

△G＝△H-T△S。由於孤立體系，△H＝0，所以熵增△S就是反應自發的唯一標準。

而封閉體系，由於交換能量，可以近似得到：放熱反應能自發進行，吸熱反應不能自發進行 這樣的推論。

這個G，叫做吉布斯自由能。△G＞0，反應可自發進行。如果我們建立孤立體系，反應是體系內部反應的話。

那麼，△G可以看做「通用勢能」。它能把勢能概念統一。

但是，由於熵增原理，推斷勢能不可能完全轉化，會保留一定的自由度。所以△G的實際數值會小於相應的勢能。

電勢差、重力勢能，將來都可以用△G來理解。

分割線以下的4點，都是本人體會。教科書裡面看不到，可能不對，不用迷信。