Comment les machines deviennent intelligentes

Emergence de l'intelligence artificielle — Les **IA génératives** s’entrainent sur de très grands ensembles de données, qui peuvent contenir des milliards de textes, d’images, de musiques ou de vidéos. Ces réseaux de neurones profonds sont composés de nombreux **paramètres**. Comment l'augmentation aveugle de ces paramètres peut-elle donner naissance à une forme intelligence?
Source image : astronoo.com (nouvelle fenêtre) — image générée par IA, domaine public.

Résumé scientifique

L'article d'Astronoo explore l'émergence de l'intelligence artificielle à travers l'histoire des réseaux de neurones. Il montre comment l'augmentation du nombre de paramètres et des données d'apprentissage a provoqué, à partir de 2017, une véritable transition de phase : des capacités cognitives sophistiquées sont apparues sans avoir été programmées explicitement. Le texte distingue l'illusion d'intelligence, produite par la prédiction statistique du mot suivant, de la compréhension réelle, et replace ce phénomène dans le cadre plus général des concepts émergents, comme la matière, la vie ou la conscience.

L'intelligence artificielle est-elle un concept émergent ?

Oui, l'intelligence artificielle semble être un concept émergent. Avant 2017, les modèles d'IA génératives avaient des performances médiocres : ils produisaient des textes courts, souvent incohérents, incapables de suivre une conversation ou de comprendre une consigne un peu complexe. Mais en augmentant suffisamment l'échelle des modèles, c'est-à-dire le volume de données d'apprentissage et le nombre de paramètres, une transition de phase s'est produite. Des interactions plus riches et plus complexes entre les neurones artificiels sont alors apparues, donnant naissance à des capacités cognitives sophistiquées que nous qualifions désormais d'« intelligentes », et ce à partir de composants mathématiques très simples. Autrement dit, aucune brique individuelle n'a été modifiée : c'est l'organisation collective, à partir d'un certain seuil de complexité, qui a fait émerger des comportements nouveaux et irréductibles. L'IA ne « comprend » pas au sens humain du terme, mais elle manifeste des capacités qui étaient impossibles à prévoir à partir de ses seuls composants. C'est précisément ce caractère imprévisible et global qui autorise à parler d'émergence. La question posée par cet article n'est donc pas seulement technique : elle touche à la nature même de l'intelligence, qu'elle soit biologique ou artificielle.

À découvrir aussi

Poursuivez votre exploration de l'Univers avec ces sujets :

Plus il y a de neurones, plus il a de paramètres!

Qu’est-ce qu’un paramètre dans un réseau de neurones ?

Les paramètres des réseaux de neurones sont les variables internes d’un modèle d’IA. Ces paramètres sont ajustés automatiquement pendant l’apprentissage à partir des données d'entrées.
Par exemple, le modèle GPT-3 d’OpenAI a 175 milliards de paramètres. Le modèle DALL-E d’OpenAI a 12 milliards de paramètres. Le modèle Gemini Ultra de Google aurait 540 milliards de paramètres.

Calcul du nombre de paramètres

Le nombre de paramètres dépend de la structure du réseau, c’est-à-dire du nombre de couches, du nombre de neurones par couche, et du type de connexion entre les couches.
Le nombre de paramètres est donné par la formule suivante: P = (d+1)h + (h+1)o où d est le nombre de neurones d’entrée, h est le nombre de neurones cachés, et o est le nombre de neurones de sortie. Le terme +1 correspond au biais, qui est un paramètre supplémentaire ajouté à chaque couche pour éviter la tendance naturelle humaine à favoriser certains résultats.

Impact du nombre de paramètres

Le nombre de paramètres influence la capacité d’apprentissage d’un réseau de neurones et donc la performance et le comportement du modèle. Plus il y a de paramètres et plus le système a la capacité produire des résultats corrects et cohérents. Cependant il y a une limite!
Un phénomène que l'on nomme le "surapprentissage" pénalise le système lorsque le nombre de paramètres est trop grand par rapport au nombre de données disponibles.
Si on veut augmenter le nombre de paramètres dans un réseau de neurones, il faut aussi augmenter les données d’apprentissage.
Cela explique pourquoi l'appétit des opérateurs pour nos données est insatiable.

Illusion d'intelligence ou intelligence ?

Le fonctionnement des réseaux de neurones artificiels

Dans les réseaux de neurones artificiels (RNA), chaque neurone effectue un calcul qui est une somme pondérée de ses entrées, puis applique une fonction d'activation à seuil pour déterminer sa sortie qu'elle fournit à la couche suivante.
A partir de ce simple processus mathématique, une singularité apparait.
Le réseau ne fait que prédire le prochain mot ou le prochain "token" (morceau de mot) qui va suivre dans la phrase. Et pourtant, une phrase ordonnée, rationnelle et cohérente émerge alors qu'elle est issue d'un processus probabiliste.

L’IA : un magicien du langage sans compréhension

Pour ce magicien du langage qui jongle avec les mots sans se soucier de leur sens, la notion de vérité n'est pas pertinente. Le système ne cherche pas à fournir des réponses justes, mais plutôt des phrases probables.

L’illusion de l’intelligence

Autrement dit, un système qui n'a aucun de lien avec notre réalité, dénué de sens et de savoir et qui ne distingue pas le "vrai" du "faux", peut fournir une réponse "intelligente".
C'est grâce à son immense corpus d'apprentissage, que l'IA donne l'impression de comprendre le contexte de la phrase, l'intention de l'auteur et les nuances du langage.
Il y a quelque chose de profondément troublant dans cette manifestation!!

Une question fondamentale

Comment un phénomène aussi complexe et sophistiqué que l'intelligence peut apparaître dans un environnement virtuel?

L’intelligence artificielle serait-elle un concept émergent ?

Un concept émergent découle d'un concept plus fondamental tout en demeurant nouveau et irréductible à celui-ci. En d'autres termes, des propriétés nouvelles apparaissent avec le concept émergent à partir d'un environnement où il n'était pas présent auparavant. Ces propriétés nouvelles semblent être une réponse naturelle aux conditions physiques spécifiques d'un environnement.

Exemples de concepts émergeants

Juste après le Big Bang, l'univers est extrêmement chaud et dense. Dans cet environnement extrême, à partir de l'énergie pure émerge la matière, conformément à l'équation d'Einstein, E=mc². Ainsi, des particules élémentaires telles que les quarks, les électrons, les neutrinos, qui n'existaient pas auparavant, émergent de l'univers primordial.
La vie est un phénomène émergent, elle résulte de l’interaction de composants plus simples, comme les molécules chimiques qui la constituent. Pourtant elle présente des propriétés nouvelles et irréductibles à ces composants. A partir d'une certaine organisation moléculaire elle apparait dans un environnement où elle n'existait pas auparavant.
La conscience est souvent décrite comme un phénomène émergent : prise isolément, une cellule nerveuse ne possède pas de conscience. Pourtant, à partir d’une certaine organisation et de l’interaction coordonnée de milliards de neurones, apparaît une expérience subjective, une perception de soi et du monde, irréductible à l’activité de chaque neurone pris séparément.
L’intelligence, naturelle ou artificielle, peut également être considérée comme un phénomène émergent. Aucun neurone ni paramètre isolé ne « comprend » ou ne raisonne à lui seul ; c’est l’interaction de nombreux éléments organisés en réseau qui fait apparaître des capacités de reconnaissance, de langage, de raisonnement ou d’adaptation. À partir d’un certain seuil de complexité et d’apprentissage, ces comportements émergent sans avoir été explicitement programmés dans chaque composant.

L’émergence dans l’IA : un tournant en 2017

Les modèles d'IA d'avant 2017 étaient entraînés sur des ensembles de données beaucoup plus petits que ceux utilisés aujourd'hui. Ils étaient loin d'être parfaits, les IA génératives ne fonctionnaient pas très bien.

Les données disponibles pour l'apprentissage augmentant, les data scientists ont intuitivement augmentés le nombre de paramètres. A partir d'un seuil miraculeux, ils ont constaté l'apparition d'une amélioration significative des résultats.
Ce phénomène s'est produit en 2017 avec le modèle GPT-2 (Generative Pre-trained Transformer 2) qui a marqué un tournant dans le domaine de la génération de texte, en démontrant sa capacité à produire des textes de qualité humaine.

La transition de phase : Que s'est-il passé ?

Avant 2017, l’échelle des modèles (données d'apprentissage et architectures neuronales) augmentait mais rien ne se passait, les performances étaient médiocres et elles stagnaient. Puis soudainement lorsque l'échelle a atteint un seuil, il y a eu une transition de phase. Autrement dit, un changement d'état physique du système, provoqué par la diversité des données et des paramètres.
Tout à coup, des interactions plus riches, plus profondes et plus complexes entre les neurones sont apparues.

Le fait remarquable dans cette évolution miraculeuse est l'émergence de capacités cognitives plus sophistiquées qui nous paraissent maintenant "intelligentes".

Les scientifiques ont beaucoup de mal à expliquer cette transition de phase. Pourtant une "intelligence" a bien émergé mathématiquement de l’interaction de composants très simples, comme des données, des algorithmes, des modèles et des paramètres!!

L’avenir de l'intelligence artificielle

Une émergence qui interroge la nature de l’intelligence

Que nous dit cette émergence issue d'une machine, sur la nature de l'intelligence elle-même?

Un processus non linéaire et imprévisible

L'apprentissage automatique est un processus non linéaire, ce qui signifie que de petits changements peuvent entraîner des changements importants dans le comportement du modèle. Pour l'instant, nous ne comprenons pas comment les modèles prennent leurs décisions et cela rend difficile de prédire leurs comportements futurs.

Les perspectives d’évolution

Le domaine de l'IA évolue très rapidement, avec de nouvelles technologies et de nouvelles architectures qui apparaissent constamment. De la complexité croissante des modèles, d'autres propriétés inattendues pourraient émerger, comme la créativité, l'art, la compréhension du réel et même la conscience.

L’IA et le cerveau humain : une relation symbiotique

L'IA a été conçue à l'origine pour imiter les capacités du cerveau humain. Pour cela elle s'est inspirée des modèles de neurones biologiques pour créer des réseaux de neurones artificiels.
Il est probable qu'à l'avenir, l'IA et la recherche sur le cerveau s'enrichissent mutuellement.
En utilisant l'IA et en la laissant évoluer toute seule, il est possible qu'elle nous fournisse les clés pour percer les mystères du cerveau humain.

Références

FAQ : Tout savoir sur l'émergence de l'intelligence artificielle

Qu'est-ce qu'un paramètre dans un réseau de neurones artificiels ?

Les paramètres sont les variables internes d'un modèle d'IA, ajustées automatiquement pendant l'apprentissage. Ils incluent les poids synaptiques et les biais. Leur nombre dépend de la structure du réseau (nombre de couches et de neurones). Par exemple, GPT-3 possède 175 milliards de paramètres. Plus il y a de paramètres (avec suffisamment de données), plus le système a la capacité de produire des résultats corrects et cohérents.

Pourquoi dit-on que l'IA donne une « illusion d'intelligence » ?

Un réseau de neurones ne fait que prédire le prochain mot (ou « token ») le plus probable selon un processus statistique. Il ne cherche pas à fournir des réponses « vraies », mais des phrases probables, sans lien avec notre réalité ni distinction entre le vrai et le faux. C'est grâce à son immense corpus d'apprentissage qu'il donne l'impression de comprendre le contexte, l'intention et les nuances, alors qu'il est dénué de sens et de savoir.

Qu'est-ce que la « transition de phase » observée dans l'IA en 2017 ?

Avant 2017, augmenter l'échelle des modèles (données et paramètres) n'améliorait que médiocrement les performances. Soudain, avec le modèle GPT-2, un seuil critique a été atteint, provoquant une transition de phase (un changement d'état physique du système). Des interactions plus riches et complexes entre les neurones sont apparues, faisant émerger des capacités cognitives sophistiquées. Les scientifiques peinent encore à expliquer pleinement ce phénomène.

Qu'est-ce que l'émergence dans un système complexe ?

L'émergence désigne l'apparition de propriétés ou de comportements nouveaux qui n'existent pas dans les composants pris isolément, mais qui résultent de leurs interactions organisées. Un neurone seul ne pense pas, une molécule seule n'est pas vivante, un quark seul ne forme pas la matière. C'est l'organisation collective, à partir d'un certain seuil de complexité, qui fait surgir une propriété nouvelle et irréductible aux éléments de départ.

L'IA est-elle vraiment intelligente ou seulement une simulation ?

Le débat reste ouvert. Si l'on définit l'intelligence par le comportement observable (résoudre des problèmes, dialoguer, raisonner), alors l'IA actuelle présente des capacités indéniablement intelligentes. Mais si on la définit par la compréhension, la conscience ou l'intention, alors elle ne fait que simuler ces facultés par des calculs statistiques. On parle souvent d'une « intelligence sans compréhension » : un phénomène émergent dont la nature profonde reste à élucider.

Pourquoi l'émergence est-elle difficile à expliquer scientifiquement ?

Parce que les propriétés émergentes ne se déduisent pas simplement des lois qui régissent les composants individuels. On peut connaître parfaitement l'équation d'un neurone ou d'une molécule sans pouvoir prédire, à partir de là, la pensée ou la vie. L'émergence implique de nombreuses interactions non linéaires et un seuil de complexité, ce qui rend le phénomène en partie imprévisible et encore mal compris, tant pour le vivant que pour l'IA.