Letzte Aktualisierung: 3. März 2024

Wenn die KI völlig aus den Fugen gerät!

Wenn künstliche Intelligenz verrückt spielt!

Bildbeschreibung: Generative KIs (GPT-3, Copilot, Gemini, Gopher, Chinchilla, PaLM, Human usw.) trainieren auf großen Datensätzen (Text, Bilder, Audio oder Videos), die von Menschen produziert werden. Allerdings werden diese KIs „verrückt“, wenn sie selbst ihre eigenen Trainingsdaten generieren. Bildquelleastronoo.com

Was führt dazu, dass selbstverzehrende generative Modelle verrückt werden?

Der Begriff „Self-Consuming Generative Models Go Mad“ bezieht sich im Bereich der künstlichen Intelligenz auf die Produktion von Lerndaten durch die KI selbst.

Generative Modelle sind Algorithmen, die lernen, neue Daten zu generieren, indem sie einen Satz von Trainingsdaten „nachahmen“, die von Menschen erstellt wurden. Die Erstellung von Trainingsdaten ist teuer und zeitaufwändig. Die Daten müssen gesammelt, bereinigt, annotiert und formatiert werden, damit sie von der KI korrekt verwendet werden können.
Wissenschaftler haben der Versuchung nicht widerstanden, die von den generativen Modellen selbst generierten synthetischen Daten zu nutzen, um neue Modelle schneller zu trainieren.

Die zentrale Idee besteht darin, ein generatives Modell zu erstellen, das in der Lage ist, eigene Trainingsdaten zu erzeugen. Dieser Prozess wird dann wiederholt, wobei das Modell verfeinert wird und zunehmend in der Lage wird, komplexe, immer zahlreichere und neue Daten zu generieren.

Die erwarteten Vorteile sind zahlreich. Erstens ist das Modell nicht durch die Menge der anfänglichen Trainingsdaten begrenzt. So kann er unbekannte Gebiete erkunden und durch Zufall neue Konzepte entdecken. Darüber hinaus konnte sich das Modell dank seines eigenen selbstüberwachten Lernens selbst verfeinern und seine Leistung iterativ verbessern. Das Modell könnte beispielsweise neuartige Molekülstrukturen generieren, die Kandidaten für neue Medikamente sind.

Mit diesem Ansatz ist jedoch eine große Herausforderung verbunden.

Wenn das Model verrückt wird!

„Self-Consuming Generative Models Go Mad“ ist ein Phänomen, das auftritt, wenn generative KI-Modelle auf synthetischen Daten trainieren, die von anderen generativen KI-Modellen erzeugt wurden, und dadurch autophagische (selbstverbrauchende) Schleifen entstehen. Wenn eine KI versucht, von einer KI generierte Inhalte zu lernen, wird es verrückt.

Die Wiederholung dieses kaum verstandenen Prozesses erzeugt eine autophagische Schleife, deren Trainingsdaten chaotisch werden. Darüber hinaus ist es aufgrund des Mangels an verfügbaren Daten verlockend, synthetische Daten zu verwenden, um reale Daten zu ergänzen oder zu ersetzen. Mit anderen Worten: Wenn das Modell nicht jedes Mal, wenn eine autophagische Schleife generiert wird, über genügend frische reale Daten verfügt, sind zukünftige generative Modelle zum Scheitern verurteilt.

Dieser Prozess der Autophagie führt zu einer fortschreitenden Verschlechterung der Qualität und einer Verwässerung der Vielfalt der generierten Inhalte. Dies ist durch eine Degeneration des Prozesses gekennzeichnet, bei der das Modell beginnt, zunehmend inkonsistente und redundante Ergebnisse zu erzeugen.

Wenn das Modell nicht einer ausreichenden Vielfalt an Beispielen ausgesetzt ist, hat es Schwierigkeiten, sinnvolle Muster zu lernen und greift daher auf repetitive Produktionen zurück.
Wenn das Modell dazu ermutigt wird, sich nur auf die Optimierung seines eigenen Outputs zu konzentrieren, kann es von der Realität abweichen und zunehmend abweichende Outputs generieren.
Schließlich neigt das Modell dazu, seine Antworten zu stark an die Trainingsdaten anzupassen (Überanpassung). Er fängt an, sich unbedeutende Details zu merken und verliert seine Fähigkeit, auf neue Beispiele zu verallgemeinern. Darüber hinaus kann es seine eigenen Vorurteile und Mängel endlos reproduzieren.

In einigen theoretischen Szenarien könnten generative Modelle „verrückt“ werden oder auf unvorhergesehene, möglicherweise selbstzerstörerische Weise versagen. Beispielsweise könnte ein generatives Modell „Neuheit“ begünstigen und diese unaufhörliche Suche könnte es dazu bringen, immer unbekanntere Gebiete zu erkunden.

Das Fehlen einer Regulierung setzt das Modell einem Ausreißer aus, dessen Inhalte immer extremer, beleidigender, verstörender oder schockierender sein können und mit dem Inakzeptablen flirten. Möglicherweise verstehen oder interpretieren wir die vom Modell generierten Ergebnisse nicht mehr.

Diese spekulative Vorstellung verdeutlicht potenzielle Bedenken im Zusammenhang mit der Verwendung autonomer oder unzureichend kontrollierter Modelle der künstlichen Intelligenz. Auch wenn dies wie eine Science-Fiction-Idee erscheinen mag, ist es in der KI-Community ein wichtiger Gedanke darüber, wie diese Technologien verantwortungsvoll gestaltet und reguliert werden können.

Zusammenfassend lässt sich sagen, dass sich KI-Modelle, wenn sie auf ihren eigenen Daten trainieren, immer mehr von der realen Welt und ihren Werten isolieren und verrückt werden!

Wenn die KI völlig aus den Fugen gerät!

Was führt dazu, dass selbstverzehrende generative Modelle verrückt werden?

Wenn das Model verrückt wird!

Artikel zum gleichen Thema