Qu’est-ce que l’entropie? Voyage au cœur du désordre et de l’information

Entropie et désordre statistique — Représentation de la croissance du désordre dans un système (fichier binaire, séquences de 0 et 1 qui ne retrouveront plus jamais leurs micro-états d'origine).
Source image : astronoo.com (nouvelle fenêtre)

Entropie: Vision thermodynamique

L’entropie (entropie: grandeur physique qui mesure le désordre) a été introduite par Rudolf Clausius (1822-1888) en 1865 pour formaliser le second principe de la thermodynamique. Elle mesure le degré d’désordre (désordre microscopique d’un système) d’un système. Mathématiquement, elle est définie par \(\Delta S = \frac{Q_{rev}}{T}\), où \(Q_{rev}\) est la chaleur réversible échangée et \(T\) la température absolue.

Entropie: Vision statistique

Ludwig Boltzmann (1844-1906) a donné une interprétation probabiliste: \( S = k_B \ln \Omega \) où \(k_B\) est la constante de Boltzmann et \(\Omega\) le nombre de micro-états accessibles au système. Plus un système possède de micro-états, plus son entropie est élevée. Cette approche relie directement l’entropie au concept d’information statistique (probabilité statistique des états).

Entropie: Vision théorie de l’information

En 1948, Claude Shannon (1916-2001) transpose la notion d’entropie dans le domaine de l’information (théorie mathématique de la transmission de l’information). L’entropie de Shannon \(\ H = -\sum p_i \log_2(p_i) \ \) mesure l’incertitude associée à une source de messages. Plus la distribution des symboles est uniforme, plus l’incertitude est grande.

Paradoxe apparent: « ordre » et « prévisibilité »

« Un paquet où toutes les cartes sont dans l’ordre est très prévisible: on sait exactement laquelle viendra ensuite. En revanche, un paquet bien mélangé rend chaque tirage imprévisible, car toutes les cartes ont la même probabilité de sortir. »

En résumé: ordre ↔ plus prévisible (macro), désordre ↔ plus imprévisible (macro), et entropie ↔ mesure de l’imprévisibilité statistique des micro-états.

Exemples d’incertitude maximale et faible

Tableau d’incertitude maximale selon la distribution des symboles
Système	Description	Prédictibilité	Entropie	Commentaire
Tirage aléatoire de symboles A, B, C, D	À chaque tirage, chaque symbole a exactement la même probabilité d’apparaître	Impossible à prévoir	Élevée	Modèle abstrait pour illustrer l’entropie maximale de Shannon
Tirage biaisé de symboles A, B, C, D	Le symbole A apparaît 90 % du temps, B, C, D apparaissent rarement	Facile à prévoir	Faible	Modèle abstrait d’entropie faible
Lancer de dé équilibré	Chaque face (1 à 6) a la même probabilité à chaque lancer	Impossible à prévoir	Élevée	Exemple simple de hasard maximal
Lancer de dé truqué	Le dé tombe sur 6 dans 80 % des cas, les autres faces rarement	Facile à prévoir	Faible	Exemple classique de faible incertitude
Cartes d’un paquet bien mélangé	Chaque carte a la même chance d’être tirée au hasard	Impossible à prévoir	Élevée	Montre que l’ordre initial est perdu après mélange
Cartes partiellement triées	La majorité des cartes tirées sont rouges (75 %)	Relativement facile à prévoir	Faible	Exemple pédagogique pour montrer entropie réduite
Bits aléatoires	Chaque bit 0 ou 1 a exactement la même probabilité dans une séquence générée aléatoirement	Impossible à prévoir	Élevée	Exemple numérique d’incertitude maximale
Bits biaisés	Les bits 0 apparaissent 90 % du temps, bits 1 10 %	Facile à prévoir	Faible	Exemple numérique d’entropie faible

Entropie et évolution des systèmes

La deuxième loi de la thermodynamique stipule que, dans un système isolé, l’entropie tend à augmenter avec le temps: \(\Delta S = S_{\text{final}} - S_{\text{initial}} \ge 0\)

L’entropie croît dans tout système isolé, traduisant une irréversibilité fondamentale des phénomènes naturels et pourquoi ils tendent à évoluer vers des états plus désordonnés.

Ces états désordonnés sont statistiquement beaucoup plus accessibles, car il existe un nombre énorme de micro-états (configurations possibles des positions et vitesses des particules) qui correspondent au même état macroscopique. Cette multitude de configurations rend ces états beaucoup plus probables, ce qui se traduit par une entropie plus élevée.

Ainsi, l’augmentation de l’entropie reflète le passage spontané des systèmes des configurations ordonnées vers des configurations désordonnées où l’énergie et la matière peuvent être arrangées de beaucoup plus de façons.

L’entropie mesure ainsi l’incertitude des configurations possibles, expliquant pourquoi certains processus naturels ne se produisent jamais à l’inverse, comme la chaleur qui se propage toujours du chaud vers le froid.

Pourquoi la chaleur se propage du chaud vers le froid ?

La chaleur se propage toujours du corps chaud vers le corps froid en raison du gradient de température (différence de température entre deux points). Un corps chaud possède des molécules avec une énergie cinétique moyenne plus élevée que celles d’un corps froid. Lorsque les corps sont en contact, les collisions entre molécules entraînent un transfert net d’énergie du côté chaud vers le côté froid, réduisant progressivement la différence de température (le gradient).

Ce processus n’est pas absolu au niveau d’une collision individuelle, certaines collisions peuvent transférer de l’énergie dans le sens inverse. Mais à l’échelle macroscopique, le flux net suit le gradient de température, ce qui est la direction la plus probable pour l’évolution du système.

Il y a beaucoup plus de façons différentes de disposer cette énergie dans le système total (chaud + froid) que lorsque toute l’énergie est concentrée dans le corps chaud. En termes d’entropie (mesure du désordre et du nombre de configurations microscopiques accessibles), ce transfert d’énergie augmente le nombre de micro-états accessibles pour le système total. Ainsi, le gradient thermique agit comme un moteur naturel d’augmentation de l’entropie.

Exemples: Entropie et évolution des systèmes

Évolution de l’entropie dans différents contextes
Système	Évolution de l’entropie	Commentaire
Gaz parfait	Molécules regroupées dans un espace restreint → Molécules dispersées dans tout l’espace disponible	Lorsque les molécules peuvent occuper plus de positions possibles, l’incertitude sur leur arrangement augmente, ce qui fait croître l’entropie
Paquet de cartes	Cartes parfaitement triées par couleur et valeur → Cartes mélangées au hasard	L’ordre initial est pratiquement impossible à retrouver après mélange, illustrant l’augmentation de l’incertitude et de l’entropie
Distribution de symboles	Certains symboles prédominent (ex. A 20 %) → Chaque symbole a la même probabilité d’apparaître (ex. A 3,7 % B 3,7 % C 3,7 % D 3,7 %, …)	Lorsque les symboles sont distribués de façon plus équilibrée, il devient difficile de prévoir le prochain symbole, et l’entropie augmente
Bits dans une séquence informatique	Bits majoritairement 0 (75 %) → Bits 0 et 1 équiprobables (50 %)	Plus les bits deviennent équilibrés, plus l’incertitude sur la séquence augmente, ce qui entraîne une augmentation de l’entropie
Sons dans une mélodie simple	Une note dominante répétée → Notes choisies au hasard avec probabilités équivalentes	La variété des notes augmente l’incertitude et illustre la montée de l’entropie
L’Univers	État très homogène et dense (Big Bang) → Univers de plus en plus dispersé et structuré avec étoiles, galaxies, trous noirs	L’expansion et la formation de structures augmentent l’incertitude sur la position et l’énergie des particules, ce qui traduit l’accroissement de l’entropie cosmique

La vie et l’augmentation de l’entropie

Entropie et vivant: Baleine — La baleine illustre l’ordre complexe du vivant, qui organise la matière localement tout en participant à l’augmentation d’entropie globale par l’échange d’énergie et de matière avec son environnement.
Source image : astronoo.com (nouvelle fenêtre)

À première vue, les organismes vivants semblent créer de l’ordre: cellules organisées, ADN structuré, tissus complexes. Cela pourrait paraître contradictoire avec la deuxième loi de la thermodynamique, qui dit que l’entropie doit croître.

Cependant, la Terre n’est pas un système isolé: elle reçoit de l’énergie du Soleil et échange de la chaleur et des déchets chimiques avec son environnement. Les organismes utilisent cette énergie pour construire des structures ordonnées, mais en retour, ils produisent de la chaleur et des déchets qui augmentent le désordre dans leur environnement.

Ainsi, même si l’entropie locale (dans l’organisme) diminue, l’entropie totale du système global (organisme + environnement) augmente. La vie redistribue l’énergie et la matière, augmentant le nombre de micro-états accessibles dans l’environnement.

En résumé: la vie crée de l’ordre local, mais génère un désordre plus important autour d’elle, respectant la deuxième loi de la thermodynamique.