Dernière mise à jour : 13 novembre 2023

Intelligence artificielle et langage naturel

Qu'est-ce qu'un algorithme de traitement du langage naturel (NLP) ?

Un algorithme classique de calcul permet d'effectuer une tâche spécifique à l'aide d'une collection d'instructions et d'opérations finies (elles s'arrêtent après un nombre fini d'étapes) et non ambigüe (elles sont claires et précises). En d'autres termes, les algorithmes classiques sont programmés pour produire des résultats exacts, ils sont univoques et ne laissent aucune place à l'adaptation.

Un algorithme de l'IA est basé sur des réseaux de neurones artificiels conçus pour apprendre à partir de données d’entrainement sans être explicitement programmés.
Les algorithmes de l’IA ne sont pas finis car ils peuvent continuer à apprendre et à s’améliorer avec l’expérience. Ils sont souvent ambigus car ils produisent des résultats différents pour des entrées de données similaires. Ce sont des modèles non linéaires, de petites variations dans les entrées peuvent entrainer des variations importantes dans la sortie. C'est pourquoi les réseaux de neurones ont tant de paramètres. Ces paramètres contrôlent la façon dont les poids des connexions sont ajustés pendant le processus d'apprentissage.

Qu'est-ce que le concept d'ajustement des poids des connexions ?

Le concept d'ajustement de poids est un concept fondamental de l'apprentissage automatique et des réseaux de neurones artificiels. Ce concept est inspiré du fonctionnement du cerveau humain.

Dans le cerveau humain, les neurones biologiques sont connectés entre eux par des synapses. La force de la connexion entre deux neurones est appelée "poids synaptique". Les poids synaptiques sont modifiés au cours du processus d'apprentissage humain. Ce processus, encore mal compris, est appelé "plasticité synaptique". La plasticité synaptique est la capacité des synapses à changer la force de connexion en fonction de l'expérience.

De plus, les algorithmes de l’IA sont conçus sur des modèles de mathématiques statistiques. Cela signifie qu'ils ne produisent pas des résultats exacts, mais des résultats qui sont probables. Il est possible que le même réseau de neurones produise des résultats différents pour des entrées de données similaires.
Pour minimiser ces effets, les poids synaptiques doivent être paramétrés.
Dans le cas de ChatGPT, 175 milliards de paramètres déterminent le comportement du modèle.

A quoi servent les paramètres dans une IA ?

Les paramètres sont ajustés sur les données d'entraînement d'un modèle.
Par exemple, les paramètres d'un modèle de langage peuvent être, la probabilité qu'un mot apparaisse dans une phrase, la probabilité qu'un mot soit suivi d'un autre mot, la probabilité qu'un mot soit utilisé dans un contexte particulier, etc.
Dans le cas de ChatGPT, les données du modèle de langage utilisées pour l'entraîner étaient un ensemble de texte et de code de 500 milliards de mots. Les paramètres du modèle ChatGPT servent à générer du texte similaire au texte des données d'entraînement. Autrement dit, quels mots sont les plus susceptibles d'apparaître dans une phrase donnée.
Par exemple, si les données d'entraînement contiennent une phrase comme "La maison est blanche", le modèle apprendra que les mots "la", "maison", "est" et "blanche" sont susceptibles d'apparaître ensemble.
Plus la phrase sera présente dans le modèle d'apprentissage, plus les poids synaptiques associés à cette phrase seront mis à jour pour être plus élevés. Cela signifie que le modèle est plus susceptible de générer cette phrase, "La maison est blanche", en sortie.
Le modèle prend aussi en compte le contexte de la phrase et l'environnement dans lequel elle apparaît. Par exemple, la phrase "La maison est blanche" est plus susceptible d'apparaître dans un contexte qui parle de lotissements que dans un contexte qui parle d'agences de voyage.
Les règles de la langue peuvent également influencer la probabilité qu'une phrase apparaisse. Par exemple, la phrase "La maison est blanche" est grammaticalement correcte en français, tandis que la phrase "La maison blanche est" est grammaticalement incorrecte.
Il existe de nombreux autres facteurs qui déterminent la probabilité qu'une phrase apparaisse en sortie d'un modèle de langage. Ces facteurs peuvent être spécifiques au modèle ou au domaine d'application.

N.B. : Le modèle de langage n'est pas une machine à copier. Il est capable d'apprendre des données et de générer du texte qui est similaire aux données d'entraînement, mais il ne copie pas le texte des données d'entraînement mot pour mot.

L'IA a franchi une étape importante dans l'informatique !

Une IA peut être programmée avec des algorithmes classiques de calcul, comme dans les systèmes experts ou les systèmes de recommandation qui utilisent des techniques d'apprentissage appelées "apprentissage machine". Cependant, ces techniques ont des limites concernant la résolution de problèmes complexes ou non structurés. De plus, dans l'informatique classique, il est difficile de prendre en compte des problèmes non encore rencontrés.

Grâce au développement de techniques d'apprentissage profond (plusieurs couches cachées), l'IA peut résoudre des problèmes complexes et non structurés, sans avoir besoin d'être explicitement programmés. L'apprentissage profond permet aux programmes informatiques d'apprendre à partir de données.
Cependant, les modèles d'apprentissage automatique sont complexes. Ils peuvent contenir des milliards de paramètres, qui doivent tous être appris, pondérés et optimisés. Cela nécessite beaucoup de données et de puissance de calcul. Le processus d’apprentissage est souvent long et peut prendre beaucoup de temps. Malgré ces contraintes, le développement des IA est infiniment plus productif que le développement des systèmes experts. Sans le concept de réseaux de neurones artificiels, il aurait été impossible pour des humains de réaliser ChatGPT en un temps aussi court.

Intelligence artificielle et langage naturel

Qu'est-ce qu'un algorithme de traitement du langage naturel (NLP) ?

Qu'est-ce que le concept d'ajustement des poids des connexions ?

A quoi servent les paramètres dans une IA ?

L'IA a franchi une étape importante dans l'informatique !

Articles sur le même thème