Sí, la inteligencia artificial parece ser un concepto emergente. Antes de 2017, los modelos de IA tenían un rendimiento mediocre. Pero al aumentar suficientemente la escala de los modelos (datos de aprendizaje y número de parámetros), se produjo una transición de fase. Entonces aparecieron interacciones más complejas entre las neuronas artificiales, dando lugar a capacidades cognitivas sofisticadas que ahora calificamos de "inteligentes", y todo esto a partir de componentes matemáticos muy simples.
Los parámetros de las redes neuronales son las variables internas de un modelo de IA. Estos parámetros se ajustan automáticamente durante el aprendizaje a partir de los datos de entrada.
Por ejemplo, el modelo GPT-3 de OpenAI tiene 175 mil millones de parámetros. El modelo DALL-E de OpenAI tiene 12 mil millones de parámetros. Se dice que el modelo Gemini Ultra de Google tiene 540 mil millones de parámetros.
El número de parámetros depende de la estructura de la red, es decir, del número de capas, del número de neuronas por capa y del tipo de conexión entre las capas.
El número de parámetros viene dado por la siguiente fórmula: P = (d+1)h + (h+1)o, donde d es el número de neuronas de entrada, h es el número de neuronas ocultas y o es el número de neuronas de salida. El término +1 corresponde al sesgo, que es un parámetro adicional que se añade a cada capa para evitar la tendencia humana natural a favorecer ciertos resultados.
El número de parámetros influye en la capacidad de aprendizaje de una red neuronal y, por lo tanto, en el rendimiento y el comportamiento del modelo. Cuantos más parámetros haya, más capacidad tendrá el sistema para producir resultados correctos y coherentes. ¡Sin embargo, hay un límite!
Un fenómeno llamado "sobreajuste" penaliza al sistema cuando el número de parámetros es demasiado grande en relación con la cantidad de datos disponibles.
Si se quiere aumentar el número de parámetros en una red neuronal, también hay que aumentar los datos de aprendizaje.
Esto explica por qué el apetito de los operadores por nuestros datos es insaciable.
En las redes neuronales artificiales (RNA), cada neurona realiza un cálculo que es una suma ponderada de sus entradas, luego aplica una función de activación con um umbral para determinar su salida, que proporciona a la capa siguiente.
A partir de este simple proceso matemático, aparece una singularidad.
La red solo predice la siguiente palabra o el siguiente "token" (fragmento de palabra) que va a seguir en la oración. Y sin embargo, emerge una oración ordenada, racional y coherente, aunque proviene de un proceso probabilístico.
Para este mago del lenguaje que juega con las palabras sin importarle su significado, la noción de verdad no es relevante. El sistema no busca proporcionar respuestas exactas, sino más bien oraciones probables.
En otras palabras, un sistema que no tiene ninguna conexión con nuestra realidad, carente de sentido y conocimiento, y que no distingue entre "verdadero" y "falso", puede proporcionar una respuesta "inteligente".
Es gracias a su inmenso corpus de aprendizaje que la IA da la impresión de entender el contexto de la oración, la intención del autor y los matices del lenguaje.
¡Hay algo profundamente perturbador en esta manifestación!
¿Cómo puede un fenómeno tan complejo y sofisticado como la inteligencia emerger en un entorno virtual?
Ejemplos de conceptos emergentes
- Justo después del Big Bang, el universo era extremadamente caliente y denso. En este entorno extremo, la materia emergió de la energía pura, de acuerdo con la ecuación de Einstein, E=mc². Así, partículas elementales como los quarks, los electrones y los neutrinos, que no existían antes, emergieron del universo primordial.
- La vida es un fenómeno emergente; resulta de la interacción de componentes más simples, como las moléculas químicas que la constituyen. Sin embargo, presenta propiedades nuevas e irreductibles a estos componentes. A partir de una cierta organización molecular, aparece en un entorno donde no existía antes.
Un concepto emergente surge de un concepto más fundamental, pero sigue siendo nuevo e irreductible a este. En otras palabras, aparecen nuevas propiedades con el concepto emergente a partir de un entorno donde no estaba presente anteriormente. Estas nuevas propiedades parecen ser una respuesta natural a las condiciones físicas específicas de un entorno.
Los modelos de IA anteriores a 2017 se entrenaban con conjuntos de datos mucho más pequeños que los utilizados hoy en día. Estaban lejos de ser perfectos; las IA generativas no funcionaban muy bien.
A medida que los datos disponibles para el aprendizaje aumentaban, los científicos de datos aumentaron intuitivamente el número de parámetros. A partir de un umbral milagroso, observaron una mejora significativa en los resultados.
Este fenómeno ocurrió en 2017 con el modelo GPT-2 (Generative Pre-trained Transformer 2), que marcó un punto de inflexión en el campo de la generación de texto, demostrando su capacidad para producir textos de calidad humana.
¿Qué pasó?
Antes de 2017, la escala de los modelos (datos de aprendizaje y arquitecturas neuronales) aumentaba, pero no pasaba nada; los rendimientos eran mediocres y se estancaban. Luego, de repente, cuando la escala alcanzó un umbral, hubo una transición de fase. En otras palabras, un cambio de estado físico del sistema, provocado por la diversidad de datos y parámetros.
De repente, aparecieron interacciones más ricas, más profundas y más complejas entre las neuronas.
El hecho notable en esta evolución milagrosa es la emergencia de capacidades cognitivas más sofisticadas que ahora nos parecen "inteligentes".
Los científicos tienen muchas dificultades para explicar esta transición de fase. Sin embargo, una "inteligencia" ha emergido matemáticamente de la interacción de componentes muy simples, como datos, algoritmos, modelos y parámetros.
¿Qué nos dice esta emergencia, procedente de una máquina, sobre la naturaleza de la inteligencia en sí?
El aprendizaje automático es un proceso no lineal, lo que significa que pequeños cambios pueden provocar cambios importantes en el comportamiento del modelo. Por ahora, no comprendemos cómo los modelos toman sus decisiones, lo que dificulta predecir sus comportamientos futuros.
El campo de la IA evoluciona muy rápidamente, con nuevas tecnologías y arquitecturas que aparecen constantemente. A partir de la creciente complejidad de los modelos, podrían emerger otras propiedades inesperadas, como la creatividad, el arte, la comprensión de la realidad e incluso la conciencia.
La IA se diseñó originalmente para imitar las capacidades del cerebro humano. Para ello, se inspiró en los modelos de neuronas biológicas para crear redes neuronales artificiales.
Es probable que en el futuro, la IA y la investigación sobre el cerebro se enriquezcan mutuamente.
Al utilizar la IA y dejarla evolucionar por sí misma, es posible que nos proporcione las claves para descifrar los misterios del cerebro humano.
"El azar es el dios de los inventores." - Pierre Dac (1893-1975), humorista francés.
Los parámetros son las variables internas de un modelo de IA, ajustadas automáticamente durante el aprendizaje. Incluyen los pesos sinápticos y los sesgos. Su número depende de la estructura de la red (número de capas y neuronas). Por ejemplo, GPT-3 tiene 175 mil millones de parámetros. Cuantos más parámetros haya (con suficientes datos), más capacidad tendrá el sistema para producir resultados correctos y coherentes.
Una red neuronal solo predice la siguiente palabra (o "token") más probable según un proceso estadístico. No busca proporcionar respuestas "verdaderas", sino oraciones probables, sin conexión con nuestra realidad ni distinción entre lo verdadero y lo falso. Es gracias a su inmenso corpus de aprendizaje que da la impresión de entender el contexto, la intención y los matices, aunque carece de sentido y conocimiento.
Antes de 2017, aumentar la escala de los modelos (datos y parámetros) solo mejoraba pobremente el rendimiento. De repente, con el modelo GPT-2, se alcanzó un umbral crítico, provocando una transición de fase (un cambio de estado físico del sistema). Aparecieron interacciones más ricas y complejas entre las neuronas, dando lugar a capacidades cognitivas sofisticadas. Los científicos aún tienen dificultades para explicar plenamente este fenómeno.
Herramientas de IA: ¿cómo elegir? 
IA Generativa vs AGI: ¿Dónde termina la imitación y dónde comienza la conciencia? 
Redes artificiales vs. redes biológicas: Dos sistemas, una arquitectura común 
Cerebro Humano e Inteligencias Artificiales: Similitudes y Diferencias 
AlphaGo contra AlphaGo Zero: Una Revolución en la Inteligencia Artificial 
El Próximo Paso para las Máquinas Inteligentes 
El primer paso hacia el surgimiento de la vida 
De la Neurona Biológica a la Neurona Formal: Simplificación del Cerebro 
Inteligencia artificial: la explosión del gigantismo 
¡Cuando la inteligencia artificial se vuelve loca! 
Emergencia de la inteligencia artificial: ¿Ilusión de inteligencia o inteligencia? 
¿Cómo las máquinas entienden, interpretan y generan el lenguaje de forma similar a los humanos? 
¿Cómo funciona una red neuronal artificial?