Wie Maschinen intelligent werden

Wissenschaftliche Zusammenfassung

Der Artikel von Astronoo untersucht das Entstehen der künstlichen Intelligenz anhand der Geschichte der neuronalen Netze. Er zeigt, wie die Zunahme der Parameterzahl und der Trainingsdaten ab 2017 einen echten Phasenübergang bewirkte: Sophisticated kognitive Fähigkeiten traten auf, ohne explizit programmiert worden zu sein. Der Text unterscheidet die Illusion von Intelligenz, die durch die statistische Vorhersage des nächsten Wortes entsteht, vom echten Verständnis, und ordnet dieses Phänomen in den allgemeineren Rahmen emergenter Konzepte ein, wie Materie, Leben oder Bewusstsein.

Ist die künstliche Intelligenz ein emergentes Konzept?

Ja, die künstliche Intelligenz scheint ein emergentes Konzept zu sein. Vor 2017 hatten generative KI-Modelle mittelmäßige Leistungen: Sie erzeugten kurze, oft inkohärente Texte, unfähig, ein Gespräch zu führen oder eine etwas komplexe Anweisung zu verstehen. Doch indem man den Maßstab der Modelle ausreichend vergrößerte, das heißt das Volumen der Trainingsdaten und die Anzahl der Parameter, kam es zu einem Phasenübergang. Reichhaltigere und komplexere Wechselwirkungen zwischen den künstlichen Neuronen traten auf und brachten sophisticated kognitive Fähigkeiten hervor, die wir heute als „intelligent" bezeichnen – und dies aus sehr einfachen mathematischen Komponenten. Mit anderen Worten: Kein einzelner Baustein wurde verändert; es ist die kollektive Organisation, ab einer bestimmten Komplexitätsschwelle, die neue und nicht reduzierbare Verhaltensweisen hervorgebracht hat. Die KI „versteht" nicht im menschlichen Sinne des Wortes, aber sie zeigt Fähigkeiten, die aus ihren bloßen Bestandteilen nicht vorhersehbar waren. Genau dieser unvorhersehbare und globale Charakter erlaubt es, von Emergenz zu sprechen. Die von diesem Artikel gestellte Frage ist daher nicht nur technisch: Sie berührt die Natur der Intelligenz selbst, ob biologisch oder künstlich.

Auch interessant

Setzen Sie Ihre Erkundung des Universums mit diesen Themen fort:

Je mehr Neuronen, desto mehr Parameter!

Was ist ein Parameter in einem neuronalen Netz?

Die Parameter neuronaler Netze sind die internen Variablen eines KI-Modells. Diese Parameter werden während des Lernens automatisch anhand der Eingabedaten angepasst.
Beispielsweise hat das Modell GPT-3 von OpenAI 175 Milliarden Parameter. Das Modell DALL-E von OpenAI hat 12 Milliarden Parameter. Das Modell Gemini Ultra von Google soll 540 Milliarden Parameter haben.

Berechnung der Parameterzahl

Die Anzahl der Parameter hängt von der Struktur des Netzes ab, das heißt von der Anzahl der Schichten, der Anzahl der Neuronen pro Schicht und der Art der Verbindung zwischen den Schichten.
Die Anzahl der Parameter ergibt sich aus folgender Formel: P = (d+1)h + (h+1)o wobei d die Anzahl der Eingangsneuronen, h die Anzahl der verborgenen Neuronen und o die Anzahl der Ausgangsneuronen ist. Der Term +1 entspricht dem Bias, einem zusätzlichen Parameter, der jeder Schicht hinzugefügt wird, um die natürliche menschliche Neigung zu vermeiden, bestimmte Ergebnisse zu begünstigen.

Auswirkung der Parameterzahl

Die Anzahl der Parameter beeinflusst die Lernfähigkeit eines neuronalen Netzes und damit die Leistung und das Verhalten des Modells. Je mehr Parameter vorhanden sind, desto größer ist die Fähigkeit des Systems, korrekte und kohärente Ergebnisse zu erzeugen. Es gibt jedoch eine Grenze!
Ein Phänomen namens „Überanpassung" (Overfitting) bestraft das System, wenn die Anzahl der Parameter im Verhältnis zu den verfügbaren Daten zu groß ist.
Will man die Anzahl der Parameter in einem neuronalen Netz erhöhen, muss man auch die Trainingsdaten erhöhen.
Das erklärt, warum der Appetit der Betreiber auf unsere Daten unersättlich ist.

Illusion von Intelligenz oder Intelligenz?

Die Funktionsweise künstlicher neuronaler Netze

In künstlichen neuronalen Netzen (KNN) führt jedes Neuron eine Berechnung durch, die eine gewichtete Summe seiner Eingaben ist, und wendet dann eine Schwellenwert-Aktivierungsfunktion an, um seine Ausgabe zu bestimmen, die es an die nächste Schicht weitergibt.
Aus diesem einfachen mathematischen Prozess entsteht eine Singularität.
Das Netz sagt lediglich das nächste Wort oder das nächste „Token" (Wortfragment) voraus, das im Satz folgen wird. Und dennoch entsteht ein geordneter, rationaler und kohärenter Satz, obwohl er aus einem probabilistischen Prozess stammt.

Die KI: ein Sprachmagier ohne Verständnis

Für diesen Sprachmagier, der mit Worten jongliert, ohne sich um ihren Sinn zu kümmern, ist der Begriff der Wahrheit nicht relevant. Das System versucht nicht, richtige Antworten zu geben, sondern wahrscheinliche Sätze.

Die Illusion der Intelligenz

Mit anderen Worten: Ein System, das keinerlei Verbindung zu unserer Realität hat, ohne Sinn und Wissen, und das nicht zwischen „wahr" und „falsch" unterscheidet, kann eine „intelligente" Antwort liefern.
Dank seines immensen Trainingskorpus erweckt die KI den Eindruck, den Kontext des Satzes, die Absicht des Autors und die Nuancen der Sprache zu verstehen.
Es liegt etwas zutiefst Beunruhigendes in dieser Manifestation!

Eine grundlegende Frage

Wie kann ein so komplexes und hochentwickeltes Phänomen wie die Intelligenz in einer virtuellen Umgebung auftreten?

Wäre die künstliche Intelligenz ein emergentes Konzept?

Ein emergentes Konzept entspringt einem grundlegenderen Konzept und bleibt dennoch neu und auf dieses nicht reduzierbar. Mit anderen Worten: Neue Eigenschaften erscheinen mit dem emergenten Konzept aus einer Umgebung, in der sie zuvor nicht vorhanden waren. Diese neuen Eigenschaften scheinen eine natürliche Antwort auf die spezifischen physikalischen Bedingungen einer Umgebung zu sein.

Beispiele emergenter Konzepte

Unmittelbar nach dem Urknall ist das Universum extrem heiß und dicht. In dieser extremen Umgebung entsteht aus reiner Energie Materie, gemäß Einsteins Gleichung E=mc². So entstehen Elementarteilchen wie Quarks, Elektronen und Neutrinos, die zuvor nicht existierten, aus dem primordialen Universum.
Das Leben ist ein emergentes Phänomen; es resultiert aus der Wechselwirkung einfacherer Komponenten, wie der chemischen Moleküle, die es bilden. Dennoch weist es neue, auf diese Komponenten nicht reduzierbare Eigenschaften auf. Ab einer bestimmten molekularen Organisation erscheint es in einer Umgebung, in der es zuvor nicht existierte.
Das Bewusstsein wird oft als emergentes Phänomen beschrieben: Isoliert betrachtet besitzt eine Nervenzelle kein Bewusstsein. Doch ab einer bestimmten Organisation und der koordinierten Wechselwirkung von Milliarden von Neuronen entsteht eine subjektive Erfahrung, eine Wahrnehmung seiner selbst und der Welt, die auf die Aktivität jedes einzelnen Neurons nicht reduzierbar ist.
Die Intelligenz, ob natürlich oder künstlich, kann ebenfalls als emergentes Phänomen betrachtet werden. Kein einzelnes Neuron und kein einzelner Parameter „versteht" oder denkt für sich allein; es ist die Wechselwirkung vieler in einem Netz organisierter Elemente, die Fähigkeiten zur Erkennung, Sprache, zum Denken oder zur Anpassung hervorbringt. Ab einer bestimmten Komplexitäts- und Lernschwelle entstehen diese Verhaltensweisen, ohne in jeder Komponente explizit programmiert worden zu sein.

Die Emergenz in der KI: ein Wendepunkt im Jahr 2017

KI-Modelle vor 2017 wurden mit viel kleineren Datensätzen trainiert als heute. Sie waren weit von Perfektion entfernt; generative KIs funktionierten nicht besonders gut.

Da die für das Lernen verfügbaren Daten zunahmen, erhöhten die Data Scientists intuitiv die Anzahl der Parameter. Ab einer wundersamen Schwelle stellten sie das Auftreten einer deutlichen Verbesserung der Ergebnisse fest.
Dieses Phänomen trat 2017 mit dem Modell GPT-2 (Generative Pre-trained Transformer 2) auf, das einen Wendepunkt auf dem Gebiet der Texterzeugung markierte, indem es seine Fähigkeit unter Beweis stellte, Texte in menschlicher Qualität zu erzeugen.

Der Phasenübergang: Was ist geschehen?

Vor 2017 nahm der Maßstab der Modelle (Trainingsdaten und neuronale Architekturen) zu, doch nichts geschah; die Leistungen waren mittelmäßig und stagnierten. Dann plötzlich, als der Maßstab eine Schwelle erreichte, kam es zu einem Phasenübergang. Mit anderen Worten: eine Änderung des physikalischen Zustands des Systems, hervorgerufen durch die Vielfalt der Daten und Parameter.
Plötzlich traten reichhaltigere, tiefere und komplexere Wechselwirkungen zwischen den Neuronen auf.

Das Bemerkenswerte an dieser wundersamen Entwicklung ist das Entstehen sophisticated kognitiver Fähigkeiten, die uns heute als „intelligent" erscheinen.

Die Wissenschaftler haben große Schwierigkeiten, diesen Phasenübergang zu erklären. Dennoch ist eine „Intelligenz" mathematisch aus der Wechselwirkung sehr einfacher Komponenten entstanden, wie Daten, Algorithmen, Modellen und Parametern!

Die Zukunft der künstlichen Intelligenz

Eine Emergenz, die die Natur der Intelligenz infrage stellt

Was sagt uns dieses aus einer Maschine entstandene Emergenzphänomen über die Natur der Intelligenz selbst?

Ein nichtlinearer und unvorhersehbarer Prozess

Maschinelles Lernen ist ein nichtlinearer Prozess, was bedeutet, dass kleine Änderungen zu großen Veränderungen im Verhalten des Modells führen können. Derzeit verstehen wir nicht, wie die Modelle ihre Entscheidungen treffen, und dies macht es schwierig, ihr künftiges Verhalten vorherzusagen.

Die Entwicklungsperspektiven

Das Gebiet der KI entwickelt sich sehr schnell, mit ständig neuen Technologien und Architekturen. Aus der wachsenden Komplexität der Modelle könnten weitere unerwartete Eigenschaften entstehen, wie Kreativität, Kunst, Verständnis des Realen und sogar Bewusstsein.

KI und menschliches Gehirn: eine symbiotische Beziehung

Die KI wurde ursprünglich entwickelt, um die Fähigkeiten des menschlichen Gehirns nachzuahmen. Dazu ließ sie sich von Modellen biologischer Neuronen inspirieren, um künstliche neuronale Netze zu schaffen.
Es ist wahrscheinlich, dass sich KI und Hirnforschung in Zukunft gegenseitig bereichern werden.
Indem man die KI nutzt und sie eigenständig evolvieren lässt, ist es möglich, dass sie uns die Schlüssel liefert, um die Geheimnisse des menschlichen Gehirns zu lüften.

Referenzen

FAQ: Alles Wissenswerte über das Entstehen der künstlichen Intelligenz

Was ist ein Parameter in einem künstlichen neuronalen Netz?

Parameter sind die internen Variablen eines KI-Modells, die während des Lernens automatisch angepasst werden. Sie umfassen synaptische Gewichte und Bias. Ihre Anzahl hängt von der Struktur des Netzes ab (Anzahl der Schichten und Neuronen). Beispielsweise besitzt GPT-3 175 Milliarden Parameter. Je mehr Parameter vorhanden sind (bei ausreichenden Daten), desto größer ist die Fähigkeit des Systems, korrekte und kohärente Ergebnisse zu erzeugen.

Warum sagt man, die KI erzeuge eine „Illusion von Intelligenz"?

Ein neuronales Netz sagt lediglich das nächste wahrscheinlichste Wort (oder „Token") nach einem statistischen Prozess voraus. Es versucht nicht, „wahre" Antworten zu geben, sondern wahrscheinliche Sätze, ohne Bezug zu unserer Realität oder Unterscheidung zwischen wahr und falsch. Dank seines immensen Trainingskorpus erweckt es den Eindruck, Kontext, Absicht und Nuancen zu verstehen, obwohl es ohne Sinn und Wissen ist.

Was ist der 2017 in der KI beobachtete „Phasenübergang"?

Vor 2017 verbesserte die Vergrößerung des Maßstabs der Modelle (Daten und Parameter) die Leistungen nur mittelmäßig. Plötzlich wurde mit dem Modell GPT-2 eine kritische Schwelle erreicht, die einen Phasenübergang (eine Änderung des physikalischen Zustands des Systems) auslöste. Reichhaltigere und komplexere Wechselwirkungen zwischen den Neuronen traten auf und brachten sophisticated kognitive Fähigkeiten hervor. Die Wissenschaftler haben noch Mühe, dieses Phänomen vollständig zu erklären.

Was ist Emergenz in einem komplexen System?

Emergenz bezeichnet das Auftreten neuer Eigenschaften oder Verhaltensweisen, die in den isoliert betrachteten Komponenten nicht existieren, sondern aus deren organisierten Wechselwirkungen resultieren. Ein einzelnes Neuron denkt nicht, ein einzelnes Molekül ist nicht lebendig, ein einzelnes Quark bildet keine Materie. Es ist die kollektive Organisation, ab einer bestimmten Komplexitätsschwelle, die eine neue, auf die Ausgangselemente nicht reduzierbare Eigenschaft hervorbringt.

Ist die KI wirklich intelligent oder nur eine Simulation?

Die Debatte bleibt offen. Definiert man Intelligenz durch beobachtbares Verhalten (Probleme lösen, dialogieren, argumentieren), dann zeigt die heutige KI unbestreitbar intelligente Fähigkeiten. Definiert man sie jedoch durch Verständnis, Bewusstsein oder Absicht, dann simuliert sie diese Fähigkeiten nur durch statistische Berechnungen. Man spricht oft von einer „Intelligenz ohne Verständnis": einem emergenten Phänomen, dessen tiefe Natur noch zu klären ist.

Warum ist Emergenz wissenschaftlich schwer zu erklären?

Weil emergente Eigenschaften nicht einfach aus den Gesetzen abgeleitet werden können, die die einzelnen Komponenten regieren. Man kann die Gleichung eines Neurons oder eines Moleküls vollkommen kennen, ohne daraus Denken oder Leben vorhersagen zu können. Emergenz umfasst zahlreiche nichtlineare Wechselwirkungen und eine Komplexitätsschwelle, was das Phänomen teils unvorhersehbar und noch wenig verstanden macht – sowohl für Lebewesen als auch für die KI.