Description de l'image : Les IA génératives (GPT-3, Copilot, Gemini, Gopher, Chinchilla, PaLM, Human, etc.) s’entrainent sur de grands ensembles de données (textes, images, audios ou vidéos) produits par les humains. Cependant, ces IA deviennent "folles" quand elles génèrent elles-mêmes leur propre données d'apprentissage. Source image astronoo AI.
Le concept de "Self-Consuming Generative Models Go Mad" (Modèles génératifs auto-consommateurs qui deviennent fous) fait référence, dans le domaine de l'intelligence artificielle, à la production de données d'apprentissage par l'IA elle-même.
Les modèles génératifs sont des algorithmes qui apprennent à générer de nouvelles données, en "imitant" un ensemble de données d'entraînement produites par les humains. La production de données d'apprentissage est coûteuse et chronophage. Il faut collecter les données, les nettoyer, les annoter et les formater pour qu'elles puissent être utilisées correctement par l'IA.
Les scientifiques n'ont pas résisté à la tentation d’utiliser les données synthétiques générées par les modèles génératifs eux-mêmes afin de former des modèles inédits plus rapidement.
L'idée centrale est de créer un modèle génératif capable de produire ses propres données d'apprentissage. Ce processus est ensuite itéré, le modèle s'affinant et devenant de plus en plus capable de générer des données complexes, de plus en plus nombreuses et inédites.
Les avantages imaginés sont nombreux. Tout d'abord le modèle n'est pas limité par la quantité de données d'apprentissage initiales. Il peut ainsi explorer des domaines inconnus et découvrir par hasard de nouveaux concepts. De plus le modèle, grâce à son propre apprentissage auto-supervisé pourrait s'affiner et améliorer ses performances de manière itérative. Par exemple, Le modèle pourrait générer des structures moléculaires inédites candidates pour de nouveaux médicaments.
Cependant, il existe un énorme défi associé à cette approche.
Le Self-Consuming Generative Models Go Mad est un phénomène qui se produit lorsque des modèles d’intelligence artificielle génératifs s’entraînent sur des données synthétiques produites par d’autres modèles d’IA génératifs, créant ainsi des boucles autophages (qui se consomment elles-mêmes). Lorsque qu'une IA essaie d'apprendre le contenu généré par une IA, elle devient dingue.
La répétition de ce processus, mal compris, crée une boucle autophage dont les données d'apprentissage deviennent chaotiques. De plus, il est tentant d’utiliser des données synthétiques pour augmenter ou remplacer les données réelles par manque de données disponibles. Autrement dit, lorsque le modèle n'a pas suffisamment de données réelles fraîches à chaque génération d’une boucle autophage, les futurs modèles génératifs sont voués à l'échec.
Ce processus d'autophagie conduit à une diminution progressive de la qualité et à une dilution de la diversité des contenus générés. Cela se caractérise par une dégénérescence du processus, où le modèle commence à produire des sorties de plus en plus incohérentes et redondantes.
Si le modèle n'est pas exposé à une variété suffisante d'exemples, il a du mal à apprendre des patterns significatifs et ainsi se rabattre sur des productions répétitives.
De même, si le modèle est encouragé à se concentrer uniquement sur l'optimisation de sa propre production, il peut s'éloigner de la réalité et générer des sorties de plus en plus aberrantes.
Enfin, le modèle aura tendance à trop ajuster ses réponses aux données d'apprentissage (overfitting). Il commence à mémoriser des détails insignifiants et perd sa capacité à généraliser à de nouveaux exemples. De plus, il peut reproduire ses propres biais et ses lacunes à l'infini.
Dans certains scénarios théoriques, les modèles génératifs pourraient devenir "fous" ou dysfonctionner d'une manière imprévue, potentiellement auto-destructrice. Par exemple, un modèle génératif pourrait privilégier la "nouveauté" et cette quête incessante pourrait le pousser à explorer des territoires de plus en plus inconnus.
L'absence de régulation expose le modèle à un emballement dont les contenus pourraient être de plus en plus extrêmes, offensants, dérangeants ou choquants, flirtant avec l'inacceptable. On pourrait ne plus comprendre ou interpréter les résultats générés par le modèle.
Cette notion spéculative, souligne les préoccupations potentielles associées à l'utilisation de modèles d'intelligence artificielle autonomes ou insuffisamment contrôlés. Bien que cela puisse sembler être une idée de science-fiction, c'est une réflexion importante dans la communauté de l'IA sur la manière de concevoir et de réguler ces technologies de manière responsable.
En résumé, lorsque les modèles d'IA s'entraînent sur leurs propres données, ils s'isolent de plus en plus du monde réel et de ses valeurs, ils deviennent fous !
La prochaine étape des machines intelligentes 
La première étape vers l'émergence de la vie 
Arbre de vie phylogénétique 
Neurone formel
La
biosphère de l'ombre 
Déclin de l'Anthropocentrisme 
Intelligence artificielle : l'explosion du gigantisme 
Emergence de l'intelligence artificielle : Illusion d'intelligence ou intelligence ? 
La limule,
un fossile vivant ! 
Biosignatures ou présence de vie dans l'Univers 
Défi et menace de l'Intelligence Artificielle 
Comment les machines comprennent, interprètent et génèrent un langage de manière similaire à celle des humains
? 
Comment fonctionne un réseau de neurones artificiels ? 
Origine de la vie : Théorie de la panspermie 
Origine de la vie : Théorie des fumeurs blancs 
Pourquoi 37 degrés Celsius ? 
Thermodynamique du tas de sable 
Histoire de la Terre, résumée en 24 heures 
Sommes-nous seuls dans l'univers ? 
Trace de vie congelée en Sibérie 
Les carottes glaciaires nous racontent notre passé 
La vie évolue à l'abri des glaciations 
Régénération d'organe, la salamandre 
Rayons cosmiques et mutation des espèces 
Mephisto, le petit ver des profondeurs 
Découverte de buckyballs solides dans l'espace 
La bipédie
chez les hominidés 
Le crabe géant du Kamtchatka 
L'évolution se précise à Malapa 
Le temps
qui passe 
Le passage entre l'inerte et le vivant 
Des particules à la vie biochimique 
Vision égocentrique, l'homme au centre 
Le mégapode utilise la chaleur volcanique 
Ardi est vieux de 4,4 millions d'années 
Sélection naturelle, la phalène du bouleau 
L'explosion de la vie dans l'ordovicien 
L'eau liquide, un accélérateur de réactions chimiques 
Néandertal 
Asimo le futur
humanoïde 
Conditions
d'apparition de la vie 
Paradoxe de Fermi ou la caverne de Platon 
Le
Tardigrade, l'animal immortel 
Toumaï, vieux de 7 millions d'années 
Frontière entre inanimé et vivant 
L'incroyable vie des abysses 
Les cyanobactéries créent le gaz toxique 
La petite histoire de l'évolution du vivant 
La plus petite grenouille du monde 
L'explication du Petit âge glaciaire 
Lumière cendrée, les preuves de la vie 
Bioluminescence des organismes vivants 
Au delà de nos sens, les grandes révolutions scientifiques 
La soupe primitive