L’entropie a été introduite par Rudolf Clausius (1822-1888) en 1865 pour formaliser le second principe de la thermodynamique. Elle mesure le degré d’désordre d’un système. Mathématiquement, elle est définie par \(\Delta S = \frac{Q_{rev}}{T}\), où \(Q_{rev}\) est la chaleur réversible échangée et \(T\) la température absolue.
Ludwig Boltzmann (1844-1906) a donné une interprétation probabiliste : \( S = k_B \ln \Omega \) où \(k_B\) est la constante de Boltzmann et \(\Omega\) le nombre de micro-états accessibles au système. Plus un système possède de micro-états, plus son entropie est élevée. Cette approche relie directement l’entropie au concept d’information statistique.
En 1948, Claude Shannon (1916-2001) transpose la notion d’entropie dans le domaine de l’information. L’entropie de Shannon \(\ H = -\sum p_i \log_2(p_i) \ \) mesure l’incertitude associée à une source de messages. Plus la distribution des symboles est uniforme, plus l’incertitude est grande.
« Un paquet où toutes les cartes sont dans l’ordre est très prévisible : on sait exactement laquelle viendra ensuite. En revanche, un paquet bien mélangé rend chaque tirage imprévisible, car toutes les cartes ont la même probabilité de sortir. »
En résumé : ordre ↔ plus prévisible (macro), désordre ↔ plus imprévisible (macro), et entropie ↔ mesure de l’imprévisibilité statistique des micro-états.
Système | Description | Prédictibilité | Entropie | Commentaire |
---|---|---|---|---|
Tirage aléatoire de symboles A, B, C, D | À chaque tirage, chaque symbole a exactement la même probabilité d’apparaître | Impossible à prévoir | Élevée | Modèle abstrait pour illustrer l’entropie maximale de Shannon |
Tirage biaisé de symboles A, B, C, D | Le symbole A apparaît 90 % du temps, B, C, D apparaissent rarement | Facile à prévoir | Faible | Modèle abstrait d’entropie faible |
Lancer de dé équilibré | Chaque face (1 à 6) a la même probabilité à chaque lancer | Impossible à prévoir | Élevée | Exemple simple de hasard maximal |
Lancer de dé truqué | Le dé tombe sur 6 dans 80 % des cas, les autres faces rarement | Facile à prévoir | Faible | Exemple classique de faible incertitude |
Cartes d’un paquet bien mélangé | Chaque carte a la même chance d’être tirée au hasard | Impossible à prévoir | Élevée | Montre que l’ordre initial est perdu après mélange |
Cartes partiellement triées | La majorité des cartes tirées sont rouges (75 %) | Relativement facile à prévoir | Faible | Exemple pédagogique pour montrer entropie réduite |
Bits aléatoires | Chaque bit 0 ou 1 a exactement la même probabilité dans une séquence générée aléatoirement | Impossible à prévoir | Élevée | Exemple numérique d’incertitude maximale |
Bits biaisés | Les bits 0 apparaissent 90 % du temps, bits 1 10 % | Facile à prévoir | Faible | Exemple numérique d’entropie faible |
La deuxième loi de la thermodynamique stipule que, dans un système isolé, l’entropie tend à augmenter avec le temps : \(\Delta S = S_{\text{final}} - S_{\text{initial}} \ge 0\)
L’entropie croît dans tout système isolé, traduisant une irréversibilité fondamentale des phénomènes naturels et pourquoi ils tendent à évoluer vers des états plus désordonnés.
Ces états désordonnés sont statistiquement beaucoup plus accessibles, car il existe un nombre énorme de micro-états (configurations possibles des positions et vitesses des particules) qui correspondent au même état macroscopique. Cette multitude de configurations rend ces états beaucoup plus probables, ce qui se traduit par une entropie plus élevée.
Ainsi, l’augmentation de l’entropie reflète le passage spontané des systèmes des configurations ordonnées vers des configurations désordonnées où l’énergie et la matière peuvent être arrangées de beaucoup plus de façons.
L’entropie mesure ainsi l’incertitude des configurations possibles, expliquant pourquoi certains processus naturels ne se produisent jamais à l’inverse, comme la chaleur qui se propage toujours du chaud vers le froid.
La chaleur se propage toujours du corps chaud vers le corps froid en raison du gradient de température. Un corps chaud possède des molécules avec une énergie cinétique moyenne plus élevée que celles d’un corps froid. Lorsque les corps sont en contact, les collisions entre molécules entraînent un transfert net d’énergie du côté chaud vers le côté froid, réduisant progressivement la différence de température (le gradient).
Ce processus n’est pas absolu au niveau d’une collision individuelle, certaines collisions peuvent transférer de l’énergie dans le sens inverse. Mais à l’échelle macroscopique, le flux net suit le gradient de température, ce qui est la direction la plus probable pour l’évolution du système.
Il y a beaucoup plus de façons différentes de disposer cette énergie dans le système total (chaud + froid) que lorsque toute l’énergie est concentrée dans le corps chaud. En termes d’entropie, ce transfert d’énergie augmente le nombre de micro-états accessibles pour le système total. Ainsi, le gradient thermique agit comme un moteur naturel d’augmentation de l’entropie.
Système | Évolution de l’entropie | Commentaire |
---|---|---|
Gaz parfait | Molécules regroupées dans un espace restreint → Molécules dispersées dans tout l’espace disponible | Lorsque les molécules peuvent occuper plus de positions possibles, l’incertitude sur leur arrangement augmente, ce qui fait croître l’entropie |
Paquet de cartes | Cartes parfaitement triées par couleur et valeur → Cartes mélangées au hasard | L’ordre initial est pratiquement impossible à retrouver après mélange, illustrant l’augmentation de l’incertitude et de l’entropie |
Distribution de symboles | Certains symboles prédominent (ex. A 20 %) → Chaque symbole a la même probabilité d’apparaître (ex. A 3,7 % B 3,7 % C 3,7 % D 3,7 %, ...) | Lorsque les symboles sont distribués de façon plus équilibrée, il devient difficile de prévoir le prochain symbole, et l’entropie augmente |
Bits dans une séquence informatique | Bits majoritairement 0 (75 %) → Bits 0 et 1 équiprobables (50 %) | Plus les bits deviennent équilibrés, plus l’incertitude sur la séquence augmente, ce qui entraîne une augmentation de l’entropie |
Sons dans une mélodie simple | Une note dominante répétée → Notes choisies au hasard avec probabilités équivalentes | La variété des notes augmente l’incertitude et illustre la montée de l’entropie |
L’Univers | État très homogène et dense (Big Bang) → Univers de plus en plus dispersé et structuré avec étoiles, galaxies, trous noirs | L’expansion et la formation de structures augmentent l’incertitude sur la position et l’énergie des particules, ce qui traduit l’accroissement de l’entropie cosmique |
À première vue, les organismes vivants semblent créer de l’ordre : cellules organisées, ADN structuré, tissus complexes. Cela pourrait paraître contradictoire avec la deuxième loi de la thermodynamique, qui dit que l’entropie doit croître.
Cependant, la Terre n’est pas un système isolé : elle reçoit de l’énergie du Soleil et échange de la chaleur et des déchets chimiques avec son environnement. Les organismes utilisent cette énergie pour construire des structures ordonnées, mais en retour, ils produisent de la chaleur et des déchets qui augmentent le désordre dans leur environnement.
Ainsi, même si l’entropie locale (dans l’organisme) diminue, l’entropie totale du système global (organisme + environnement) augmente. La vie redistribue l’énergie et la matière, augmentant le nombre de micro-états accessibles dans l’environnement.
En résumé : la vie crée de l’ordre local, mais génère un désordre plus important autour d’elle, respectant la deuxième loi de la thermodynamique.