最終更新日: 2025 年 9 月 25 日

エントロピーとは何ですか?混乱と情報の中心への旅

エントロピーと統計的無秩序 — システム内の無秩序の増大の表現 (バイナリファイル、元の微小状態に戻ることのない 0 と 1 のシーケンス)。
画像出典:astronoo.com

エントロピー: 熱力学的ビジョン

L'エントロピによって紹介されましたルドルフ・クラウジウス(1822-1888) 1865 年に熱力学の第 2 法則を正式に確立しました。の程度を測定します。混乱システムの。数学的には、\(\Delta S = \frac{Q_{rev}}{T}\) によって定義されます。ここで、\(Q_{rev}\) は交換される可逆熱、\(T\) は絶対温度です。

エントロピー: 統計的ビジョン

ルートヴィヒ・ボルツマン(1844-1906) は確率論的な解釈を与えました: \(S = k_B \ln \オメガ\) ここで、 \(k_B\) はボルツマン定数、 \(\Omega\) はシステムにアクセスできるマイクロステートの数です。システムのマイクロステートの数が多いほど、そのエントロピーは高くなります。このアプローチは、エントロピーを次の概念に直接結び付けます。統計情報。

エントロピー: 情報理論の観点

1948年に、クロード・シャノン(1916-2001) エントロピーの概念を次の領域に置き換えます。情報。シャノンエントロピー \(\ H = -\sum p_i \log_2(p_i) \ \) は、メッセージソースに関連する不確実性を測定します。シンボルの分布が均一であればあるほど、不確実性は大きくなります。

明らかな矛盾: 「順序」と「予測可能性」

「すべてのカードが順番に揃っているデッキは非常に予測可能です。次にどのカードが来るか正確にわかります。一方、デッキをよくシャッフルすると、すべてのカードが出る確率が同じになるため、それぞれのドローが予測不能になります。 »

要約すれば：順序 ↔ より予測可能 (マクロ)、無秩序 ↔ より予測不可能 (マクロ)、そしてエントロピー ↔ 微小状態の統計的予測不可能性の尺度。

最大不確実性と低不確実性の例

シンボルの分布に応じた最大不確かさの表
システム	説明	予測可能性	エントロピ	コメント
シンボル A、B、C、D のランダムな描画	各抽選では、各シンボルが出現する確率はまったく同じです。	予測不可能	高い	最大シャノンエントロピーを示す抽象モデル
シンボル A、B、C、D の偏った描画	シンボル A は 90% の確率で出現しますが、B、C、D はほとんど出現しません	予測しやすい	弱い	抽象的な低エントロピーモデル
バランスの取れたダイスロール	各面 (1 ～ 6) は、投げるたびに同じ確率になります。	予測不可能	高い	最大の可能性の簡単な例
偽のサイコロロール	サイコロの目は80%の場合6に当たり、他の面はめったにありません	予測しやすい	弱い	不確実性が低い典型的な例
よくシャッフルされたデッキからのカード	各カードは同じ確率でランダムに引かれます	予測不可能	高い	混合後に最初の順序が失われることを示します
部分的にソートされたカード	引かれたカードの大部分は赤です (75%)	比較的予測しやすい	弱い	エントロピーの減少を示す指導例
ランダムビット	ランダムに生成されたシーケンスでは、各 0 または 1 ビットはまったく同じ確率を持ちます。	予測不可能	高い	最大不確かさの数値例
バイアスされたビット	ビット 0 は 90% の確率で出現し、ビット 1 は 10% の確率で出現します。	予測しやすい	弱い	低エントロピーの数値例

システムのエントロピーと進化

熱力学第 2 法則は、孤立系ではエントロピーが時間とともに増加する傾向があると述べています: \(\Delta S = S_{\text{final}} - S_{\text{initial}} \ge 0\)

エントロピーはあらゆる孤立系で増加します。これは、自然現象の基本的な不可逆性と、それらがより無秩序な状態に向かって進化する傾向がある理由を反映しています。

膨大な数のミクロ状態が存在するため、これらの無秩序な状態は統計的にはるかにアクセスしやすくなります。 (粒子の位置と速度の可能な構成) これらは同じ巨視的状態に対応します。この多数の構成により、これらの状態が発生する可能性がはるかに高くなり、その結果、エントロピーが高くなります。

したがって、エントロピーの増加は、システムが秩序ある構成から無秩序な構成へ自発的に移行することを反映しています。エネルギーと物質をより多くの方法で配置できる場所です。

したがって、エントロピーは可能な構成の不確実性を測定し、常に高温から低温に伝播する熱など、特定の自然プロセスが逆に起こらない理由を説明します。

なぜ熱は熱いところから冷たいところへ伝わるのでしょうか？

熱は常に熱い体から冷たい体へと移動します。温度勾配。熱い物体には、冷たい物体よりも高い平均運動エネルギーを持つ分子があります。物体が接触すると、分子間の衝突により、熱い側から冷たい側へのエネルギーの正味の移動が発生します。温度差（勾配）を徐々に小さくしていきます。

このプロセスは個々の衝突のレベルでは絶対的なものではなく、衝突によってはエネルギーが逆方向に伝達される場合があります。しかし、巨視的なスケールでは、正味の光束は温度勾配に従い、これがシステムの進化の最も可能性の高い方向です。

このエネルギーをシステム全体（熱いものと冷たいもの）で処理するには、すべてのエネルギーが熱い体に集中する場合よりもさらに多くの異なる方法があります。に関してはエントロピ、このエネルギー伝達により、システム全体がアクセスできるマイクロステートの数が増加します。したがって、温度勾配はエントロピー増加の自然な推進力として機能します。

例: システムのエントロピーと進化

さまざまな状況におけるエントロピーの進化
システム	エントロピーの進化	コメント
パーフェクトガス	限られた空間に分子が集まる → 利用可能な空間全体に分子が分散する	分子がより多くの可能な位置を占めることができると、分子の配置の不確実性が増大し、エントロピーが増加します。
カードのパック	カードをスーツと値ごとに完全にソート → カードをランダムにシャッフル	混合後に初期の順序を回復することは事実上不可能であり、不確実性とエントロピーの増大を示しています。
シンボルの配布	特定のシンボルが優勢 (例: A 20%) → 各シンボルの出現確率は同じ (例: A 3.7% B 3.7% C 3.7% D 3.7%, …)	シンボルがより均等に分散されると、次のシンボルを予測することが難しくなり、エントロピーが増加します
コンピューターシーケンスのビット	ほとんどのビット 0 (75%) → ビット 0 と 1 の可能性が等しい (50%)	ビットのバランスが整うと、シーケンスの不確実性が増大し、エントロピーの増加につながります。
シンプルなメロディーで響きます	繰り返されるドミナントノート → 同等の確率でランダムに選択されたノート	音符の多様性は不確実性を増大させ、エントロピーの増大を示しています
宇宙	非常に均質で高密度の状態 (ビッグバン) → 宇宙はますます分散し、星、銀河、ブラックホールで構造化される	構造の膨張と形成により、粒子の位置とエネルギーの不確実性が増大し、これは宇宙のエントロピーの増加を反映しています。