Ja, künstliche Intelligenz scheint ein emergentes Konzept zu sein. Vor 2017 hatten KI-Modelle eine schlechte Leistung. Doch durch ausreichende Skalierung der Modelle (Trainingsdaten und Anzahl der Parameter) trat ein Phasenübergang ein. Komplexere Wechselwirkungen zwischen künstlichen Neuronen entstanden, die zu sophistizierten kognitiven Fähigkeiten führten, die wir heute als "intelligent" bezeichnen – und das alles aus sehr einfachen mathematischen Komponenten.
Die Parameter der neuronalen Netze sind die internen Variablen eines KI-Modells. Diese Parameter werden während des Lernens automatisch an die Eingabedaten angepasst.
Das GPT-3-Modell von OpenAI hat beispielsweise 175 Milliarden Parameter. Das DALL-E-Modell von OpenAI hat 12 Milliarden Parameter. Das Gemini-Ultra-Modell von Google soll 540 Milliarden Parameter haben.
Die Anzahl der Parameter hängt von der Struktur des Netzes ab, d. h. von der Anzahl der Schichten, der Anzahl der Neuronen pro Schicht und der Art der Verbindung zwischen den Schichten.
Die Anzahl der Parameter wird durch die folgende Formel gegeben: P = (d+1)h + (h+1)o, wobei d die Anzahl der Eingabeneuronen, h die Anzahl der versteckten Neuronen und o die Anzahl der Ausgabeneuronen ist. Der Term +1 entspricht dem Bias, einem zusätzlichen Parameter, der jeder Schicht hinzugefügt wird, um die natürliche menschliche Tendenz zu vermeiden, bestimmte Ergebnisse zu bevorzugen.
Die Anzahl der Parameter beeinflusst die Lernfähigkeit eines neuronalen Netzes und damit die Leistung und das Verhalten des Modells. Je mehr Parameter es gibt, desto besser kann das System korrekte und konsistente Ergebnisse liefern. Es gibt jedoch eine Grenze!
Ein Phänomen namens "Überanpassung" (Overfitting) bestraft das System, wenn die Anzahl der Parameter im Verhältnis zur verfügbaren Datenmenge zu groß ist.
Wenn man die Anzahl der Parameter in einem neuronalen Netz erhöhen möchte, muss man auch die Trainingsdaten erhöhen.
Dies erklärt, warum der Appetit der Betreiber auf unsere Daten unersättlich ist.
In künstlichen neuronalen Netzen (KNN) führt jedes Neuron eine Berechnung durch, die eine gewichtete Summe seiner Eingaben ist, und wendet dann eine Schwellwert-Aktivierungsfunktion an, um seine Ausgabe zu bestimmen, die es an die nächste Schicht weitergibt.
Aus diesem einfachen mathematischen Prozess entsteht eine Singularität.
Das Netz sagt nur das nächste Wort oder den nächsten "Token" (Wortteil) voraus, der im Satz folgen wird. Und doch entsteht ein geordneter, rationaler und kohärenter Satz, obwohl er aus einem probabilistischen Prozess stammt.
Für diesen Sprachzauberer, der mit Wörtern jongliert, ohne sich um ihre Bedeutung zu kümmern, ist der Begriff der Wahrheit nicht relevant. Das System versucht nicht, genaue Antworten zu liefern, sondern wahrscheinliche Sätze.
Mit anderen Worten: Ein System, das keine Verbindung zu unserer Realität hat, ohne Sinn und Wissen ist und nicht zwischen "wahr" und "falsch" unterscheidet, kann eine "intelligente" Antwort liefern.
Dank seines immensen Trainingskorpus erweckt die KI den Eindruck, den Kontext des Satzes, die Absicht des Autors und die Nuancen der Sprache zu verstehen.
Es gibt etwas zutiefst Beunruhigendes an dieser Manifestation!!
Wie kann ein so komplexes und sophistiziertes Phänomen wie Intelligenz in einer virtuellen Umgebung entstehen?
Beispiele für emergente Konzepte
- Kurz nach dem Urknall war das Universum extrem heiß und dicht. In dieser extremen Umgebung entstand Materie aus reiner Energie, entsprechend Einsteins Gleichung E=mc². So entstanden elementare Teilchen wie Quarks, Elektronen und Neutrinos, die zuvor nicht existierten, aus dem Uruniversum.
- Das Leben ist ein emergentes Phänomen; es entsteht aus der Wechselwirkung einfacherer Komponenten, wie den chemischen Molekülen, aus denen es besteht. Dennoch weist es neue und auf diese Komponenten nicht reduzierbare Eigenschaften auf. Ab einer bestimmten molekularen Organisation erscheint es in einer Umgebung, in der es zuvor nicht existierte.
Ein emergentes Konzept entsteht aus einem grundlegenderen Konzept, bleibt aber neu und auf dieses nicht reduzierbar. Mit anderen Worten: Neue Eigenschaften entstehen mit dem emergenten Konzept aus einer Umgebung, in der es zuvor nicht vorhanden war. Diese neuen Eigenschaften scheinen eine natürliche Reaktion auf die spezifischen physikalischen Bedingungen einer Umgebung zu sein.
KI-Modelle vor 2017 wurden mit viel kleineren Datensätzen trainiert als die heute verwendeten. Sie waren weit davon entfernt, perfekt zu sein; generative KIs funktionierten nicht sehr gut.
Als die für das Training verfügbaren Daten zunahmen, erhöhten die Datenwissenschaftler intuitiv die Anzahl der Parameter. Ab einer magischen Schwelle beobachteten sie eine signifikante Verbesserung der Ergebnisse.
Dieses Phänomen trat 2017 mit dem GPT-2-Modell (Generative Pre-trained Transformer 2) auf, das einen Wendepunkt im Bereich der Textgenerierung markierte, indem es seine Fähigkeit demonstrierte, Texte in menschlicher Qualität zu produzieren.
Was ist passiert?
Vor 2017 nahm die Skala der Modelle (Trainingsdaten und neuronale Architekturen) zu, aber es passierte nichts; die Leistungen waren schlecht und stagnierten. Dann, plötzlich, als die Skala eine Schwelle erreichte, gab es einen Phasenübergang. Mit anderen Worten: eine physikalische Zustandsänderung des Systems, verursacht durch die Vielfalt der Daten und Parameter.
Plötzlich traten reichere, tiefere und komplexere Wechselwirkungen zwischen den Neuronen auf.
Die bemerkenswerte Tatsache in dieser wundersamen Entwicklung ist das Entstehen sophistizierterer kognitiver Fähigkeiten, die uns jetzt "intelligent" erscheinen.
Wissenschaftler haben große Schwierigkeiten, diesen Phasenübergang zu erklären. Und doch ist eine "Intelligenz" mathematisch aus der Wechselwirkung sehr einfacher Komponenten wie Daten, Algorithmen, Modellen und Parametern entstanden!!
Was sagt uns diese aus einer Maschine stammende Emergenz über die Natur der Intelligenz selbst?
Maschinelles Lernen ist ein nichtlinearer Prozess, was bedeutet, dass kleine Änderungen zu erheblichen Änderungen im Verhalten des Modells führen können. Derzeit verstehen wir nicht, wie Modelle ihre Entscheidungen treffen, was es schwierig macht, ihr zukünftiges Verhalten vorherzusagen.
Das Feld der KI entwickelt sich sehr schnell, mit neuen Technologien und Architekturen, die ständig auftauchen. Aus der zunehmenden Komplexität der Modelle könnten andere unerwartete Eigenschaften entstehen, wie Kreativität, Kunst, Verständnis der Realität und sogar Bewusstsein.
KI wurde ursprünglich entwickelt, um die Fähigkeiten des menschlichen Gehirns nachzuahmen. Dazu ließ sie sich von Modellen biologischer Neuronen inspirieren, um künstliche neuronale Netze zu schaffen.
Es ist wahrscheinlich, dass sich in Zukunft KI und Gehirnforschung gegenseitig bereichern werden.
Durch die Nutzung von KI und das Zulassen ihrer eigenständigen Entwicklung könnte sie uns die Schlüssel liefern, um die Geheimnisse des menschlichen Gehirns zu entschlüsseln.
"Der Zufall ist der Gott der Erfinder." - Pierre Dac (1893-1975), französischer Humorist.
Parameter sind die internen Variablen eines KI-Modells, die während des Lernens automatisch angepasst werden. Sie umfassen synaptische Gewichte und Biases. Ihre Anzahl hängt von der Struktur des Netzes ab (Anzahl der Schichten und Neuronen). GPT-3 hat beispielsweise 175 Milliarden Parameter. Je mehr Parameter es gibt (mit ausreichend Daten), desto besser kann das System korrekte und konsistente Ergebnisse liefern.
Ein neuronales Netz sagt nur das nächste wahrscheinlichste Wort (oder "Token") gemäß einem statistischen Prozess voraus. Es versucht nicht, "wahre" Antworten zu liefern, sondern wahrscheinliche Sätze, ohne Verbindung zu unserer Realität oder Unterscheidung zwischen wahr und falsch. Dank seines immensen Trainingskorpus erweckt es den Eindruck, den Kontext, die Absicht und die Nuancen zu verstehen, obwohl es ohne Sinn und Wissen ist.
Vor 2017 verbesserte die Skalierung der Modelle (Daten und Parameter) die Leistung nur schlecht. Plötzlich, mit dem GPT-2-Modell, wurde eine kritische Schwelle erreicht, die einen Phasenübergang (eine physikalische Zustandsänderung des Systems) auslöste. Reichere und komplexere Wechselwirkungen zwischen den Neuronen entstanden, die zu sophistizierten kognitiven Fähigkeiten führten. Wissenschaftler haben noch Schwierigkeiten, dieses Phänomen vollständig zu erklären.
KI-Tools: Wie wählt man aus? 
Generative KI vs AGI: Wo endet Nachahmung, wo beginnt Bewusstsein? 
Künstliche Netzwerke vs. biologische Netzwerke: Zwei Systeme, eine gemeinsame Architektur 
Menschliches Gehirn und künstliche Intelligenzen: Ähnlichkeiten und Unterschiede 
AlphaGo gegen AlphaGo Zero: Eine Revolution der künstlichen Intelligenz 
Der nächste Schritt intelligenter Maschinen 
Der erste Schritt zur Entstehung des Lebens 
Vom biologischen Neuron zum formalen Neuron: Vereinfachung des Gehirns 
Künstliche Intelligenz: Die Explosion des Gigantismus 
Wenn künstliche Intelligenz verrückt wird! 
Entstehung der künstlichen Intelligenz: Illusion oder echte Intelligenz? 
Wie Maschinen Sprache ähnlich wie Menschen verstehen, interpretieren und erzeugen 
Wie funktioniert ein künstliches neuronales Netzwerk?