最后更新：2025年9月25日

什么是熵？一场关于混乱与信息的探索之旅

熵：热力学视角

熵由鲁道夫·克劳修斯（1822–1888）于1865年引入，用以形式化热力学第二定律。它衡量系统内部的无序程度。数学上，其定义为 \(\Delta S = \frac{Q_{rev}}{T}\)，其中 \(Q_{rev}\) 为可逆交换的热量，\(T\) 为绝对温度。

路德维希·玻尔兹曼（1844–1906）提出了概率解释： \( S = k_B \ln \Omega \)，其中 \(k_B\) 是玻尔兹曼常数，\(\Omega\) 是可及的微观状态数。系统的微观状态越多，其熵值越高。这一方法直接将熵与统计信息联系起来。

1948年，克劳德·香农（1916–2001）将熵的概念引入信息论。香农熵 \( H = -\sum p_i \log_2(p_i) \) 用于衡量信源的不确定性。符号分布越均匀，不确定性越大。

一副所有牌都按顺序排列的牌组高度可预测：你确切知道下一张牌是什么。相反，一副充分洗过的牌组让每次抽牌都不可预测，因为所有牌的概率均等。

总结：有序 ↔ 更可预测（宏观），无序 ↔ 更不可预测（宏观），而熵 ↔ 微观状态统计不可预测性的度量。

热力学第二定律指出，在孤立系统中，熵随时间趋于增加：\(\Delta S = S_{\text{最终}} - S_{\text{初始}} \ge 0\)。

在任何孤立系统中，熵都会增加，这反映了自然现象根本上的不可逆性，以及它们为何倾向于更加无序的状态。

这些无序状态在统计上更容易出现，因为存在大量微观状态（粒子位置和速度的可能配置）对应相同的宏观状态。这种多样的配置使得这些状态更可能发生，从而产生更高的熵。

因此，熵增反映了系统从有序向无序构型的自发转变，此时能量与物质可排列的方式显著增多。

熵衡量了可能构型的不确定性，解释了为何某些自然过程（如热量总是从高温向低温传递）永远不会逆向发生。

热量总是从高温物体流向低温物体，这是由于存在温度梯度。高温物体中的分子平均动能高于低温物体中的分子。当物体接触时，分子碰撞导致能量从高温侧向低温侧净转移，逐渐减小温度差（梯度）。

这一过程在单个碰撞层面并非绝对；某些碰撞可能反向传递能量。但在宏观尺度上，净流动遵循温度梯度，这是系统演化最可能的方向。

在总系统（热体+冷体）中，能量分布的方式远多于所有能量集中于热体时的情况。从熵的角度来看，这种能量转移增加了总系统可达到的微观状态数。因此，热梯度成为熵增的自然驱动力。

不同情境下的熵演化
系统	熵演化	如何
理想气体	分子被限制在狭小空间内 → 分子分散在可用空间中	当分子可以占据更多可能的位置时，其排列的不确定性增加，从而熵值升高。
一副扑克牌	按颜色和数值完美排序 → 随机洗乱的牌	初始顺序在洗牌后几乎无法恢复，这体现了不确定性和熵的增加。
符号分布	某些符号占主导地位（例如，A 20%）→ 每个符号概率相等（例如，A 3.7%、B 3.7%、C 3.7%、D 3.7%、……）	当符号分布更均匀时，预测下一个符号变得困难，熵值随之增加。
计算机中的比特序列	大部分为0比特（75%）→ 0和1比特等概率（50%）	随着比特变得更加平衡，序列的不确定性增加，从而导致熵值升高。
简单旋律中的声音	重复的主音 → 随机等概率选择的音符	音符多样性增加了不确定性，并体现了熵的上升。
宇宙	非常均匀且致密的状态（大爆炸）→ 逐渐分散且结构化的宇宙，包含恒星、星系、黑洞	膨胀与结构形成增加了粒子位置和能量的不确定性，反映了宇宙熵的增长。