Cómo las máquinas se vuelven inteligentes

Resumen científico

El artículo de Astronoo explora la emergencia de la inteligencia artificial a través de la historia de las redes neuronales. Muestra cómo el aumento del número de parámetros y de los datos de aprendizaje provocó, a partir de 2017, una verdadera transición de fase: aparecieron capacidades cognitivas sofisticadas sin haber sido programadas explícitamente. El texto distingue la ilusión de inteligencia, producida por la predicción estadística de la palabra siguiente, de la comprensión real, y sitúa este fenómeno en el marco más general de los conceptos emergentes, como la materia, la vida o la conciencia.

¿Es la inteligencia artificial un concepto emergente?

Sí, la inteligencia artificial parece ser un concepto emergente. Antes de 2017, los modelos de IA generativa tenían un rendimiento mediocre: producían textos cortos, a menudo incoherentes, incapaces de seguir una conversación o de comprender una instrucción un poco compleja. Pero al aumentar suficientemente la escala de los modelos, es decir, el volumen de datos de aprendizaje y el número de parámetros, se produjo una transición de fase. Aparecieron entonces interacciones más ricas y complejas entre las neuronas artificiales, dando lugar a capacidades cognitivas sofisticadas que hoy calificamos de "inteligentes", y todo ello a partir de componentes matemáticos muy simples. En otras palabras, ninguna pieza individual fue modificada: es la organización colectiva, a partir de un cierto umbral de complejidad, la que hizo emerger comportamientos nuevos e irreductibles. La IA no "comprende" en el sentido humano del término, pero manifiesta capacidades que eran imposibles de prever a partir de sus solos componentes. Es precisamente este carácter imprevisible y global lo que autoriza a hablar de emergencia. La pregunta planteada por este artículo no es, pues, solo técnica: toca la naturaleza misma de la inteligencia, ya sea biológica o artificial.

También para descubrir

Continúe su exploración del Universo con estos temas:

¡Cuantas más neuronas, más parámetros!

¿Qué es un parámetro en una red neuronal?

Los parámetros de las redes neuronales son las variables internas de un modelo de IA. Estos parámetros se ajustan automáticamente durante el aprendizaje a partir de los datos de entrada.
Por ejemplo, el modelo GPT-3 de OpenAI tiene 175 mil millones de parámetros. El modelo DALL-E de OpenAI tiene 12 mil millones de parámetros. El modelo Gemini Ultra de Google tendría 540 mil millones de parámetros.

Cálculo del número de parámetros

El número de parámetros depende de la estructura de la red, es decir, del número de capas, del número de neuronas por capa y del tipo de conexión entre las capas.
El número de parámetros viene dado por la siguiente fórmula: P = (d+1)h + (h+1)o donde d es el número de neuronas de entrada, h es el número de neuronas ocultas y o es el número de neuronas de salida. El término +1 corresponde al sesgo, que es un parámetro adicional añadido a cada capa para evitar la tendencia natural humana a favorecer ciertos resultados.

Impacto del número de parámetros

El número de parámetros influye en la capacidad de aprendizaje de una red neuronal y, por tanto, en el rendimiento y el comportamiento del modelo. Cuantos más parámetros haya, más capacidad tiene el sistema para producir resultados correctos y coherentes. Sin embargo, ¡hay un límite!
Un fenómeno conocido como "sobreajuste" penaliza el sistema cuando el número de parámetros es demasiado grande en relación con los datos disponibles.
Si se quiere aumentar el número de parámetros en una red neuronal, también hay que aumentar los datos de aprendizaje.
Esto explica por qué el apetito de los operadores por nuestros datos es insaciable.

¿Ilusión de inteligencia o inteligencia?

El funcionamiento de las redes neuronales artificiales

En las redes neuronales artificiales (RNA), cada neurona realiza un cálculo que es una suma ponderada de sus entradas, y luego aplica una función de activación con umbral para determinar su salida, que proporciona a la capa siguiente.
A partir de este simple proceso matemático, aparece una singularidad.
La red solo predice la siguiente palabra o el siguiente "token" (fragmento de palabra) que seguirá en la frase. Y sin embargo, emerge una frase ordenada, racional y coherente, aunque proviene de un proceso probabilístico.

La IA: un mago del lenguaje sin comprensión

Para este mago del lenguaje que hace malabares con las palabras sin preocuparse por su significado, la noción de verdad no es pertinente. El sistema no busca dar respuestas justas, sino más bien frases probables.

La ilusión de la inteligencia

En otras palabras, un sistema que no tiene ningún vínculo con nuestra realidad, desprovisto de sentido y de saber y que no distingue lo "verdadero" de lo "falso", puede proporcionar una respuesta "inteligente".
Es gracias a su inmenso corpus de aprendizaje que la IA da la impresión de comprender el contexto de la frase, la intención del autor y los matices del lenguaje.
¡Hay algo profundamente inquietante en esta manifestación!

Una cuestión fundamental

¿Cómo puede un fenómeno tan complejo y sofisticado como la inteligencia aparecer en un entorno virtual?

¿Sería la inteligencia artificial un concepto emergente?

Un concepto emergente se deriva de un concepto más fundamental a la vez que permanece nuevo e irreductible a él. En otras palabras, nuevas propiedades aparecen con el concepto emergente a partir de un entorno en el que no estaban presentes antes. Estas nuevas propiedades parecen ser una respuesta natural a las condiciones físicas específicas de un entorno.

Ejemplos de conceptos emergentes

Justo después del Big Bang, el universo es extremadamente caliente y denso. En este entorno extremo, a partir de la energía pura emerge la materia, de acuerdo con la ecuación de Einstein, E=mc². Así, partículas elementales como los quarks, los electrones, los neutrinos, que no existían antes, emergen del universo primordial.
La vida es un fenómeno emergente; resulta de la interacción de componentes más simples, como las moléculas químicas que la constituyen. Sin embargo, presenta propiedades nuevas e irreductibles a esos componentes. A partir de una cierta organización molecular, aparece en un entorno donde no existía antes.
La conciencia se describe a menudo como un fenómeno emergente: tomada aisladamente, una célula nerviosa no posee conciencia. Sin embargo, a partir de una cierta organización y de la interacción coordinada de miles de millones de neuronas, aparece una experiencia subjetiva, una percepción de sí mismo y del mundo, irreductible a la actividad de cada neurona tomada por separado.
La inteligencia, natural o artificial, también puede considerarse un fenómeno emergente. Ninguna neurona ni ningún parámetro aislado "comprende" o razona por sí solo; es la interacción de numerosos elementos organizados en red la que hace aparecer capacidades de reconocimiento, de lenguaje, de razonamiento o de adaptación. A partir de un cierto umbral de complejidad y de aprendizaje, estos comportamientos emergen sin haber sido programados explícitamente en cada componente.

La emergencia en la IA: un giro en 2017

Los modelos de IA anteriores a 2017 se entrenaban con conjuntos de datos mucho más pequeños que los utilizados hoy. Estaban lejos de ser perfectos; las IA generativas no funcionaban muy bien.

Al aumentar los datos disponibles para el aprendizaje, los científicos de datos aumentaron intuitivamente el número de parámetros. A partir de un umbral milagroso, constataron la aparición de una mejora significativa de los resultados.
Este fenómeno se produjo en 2017 con el modelo GPT-2 (Generative Pre-trained Transformer 2), que marcó un giro en el campo de la generación de texto, al demostrar su capacidad de producir textos de calidad humana.

La transición de fase: ¿Qué ocurrió?

Antes de 2017, la escala de los modelos (datos de aprendizaje y arquitecturas neuronales) aumentaba, pero nada sucedía; los rendimientos eran mediocres y se estancaban. Luego, de repente, cuando la escala alcanzó un umbral, se produjo una transición de fase. En otras palabras, un cambio de estado físico del sistema, provocado por la diversidad de los datos y de los parámetros.
De repente, aparecieron interacciones más ricas, más profundas y más complejas entre las neuronas.

El hecho notable en esta evolución milagrosa es la emergencia de capacidades cognitivas más sofisticadas que ahora nos parecen "inteligentes".

Los científicos tienen muchas dificultades para explicar esta transición de fase. Sin embargo, una "inteligencia" ha emergido matemáticamente de la interacción de componentes muy simples, ¡como datos, algoritmos, modelos y parámetros!

El futuro de la inteligencia artificial

Una emergencia que cuestiona la naturaleza de la inteligencia

¿Qué nos dice esta emergencia surgida de una máquina sobre la naturaleza misma de la inteligencia?

Un proceso no lineal e imprevisible

El aprendizaje automático es un proceso no lineal, lo que significa que pequeños cambios pueden provocar cambios importantes en el comportamiento del modelo. Por ahora, no comprendemos cómo los modelos toman sus decisiones, y esto dificulta predecir sus comportamientos futuros.

Las perspectivas de evolución

El campo de la IA evoluciona muy rápidamente, con nuevas tecnologías y nuevas arquitecturas que aparecen constantemente. De la complejidad creciente de los modelos, podrían emerger otras propiedades inesperadas, como la creatividad, el arte, la comprensión de lo real e incluso la conciencia.

La IA y el cerebro humano: una relación simbiótica

La IA fue concebida originalmente para imitar las capacidades del cerebro humano. Para ello, se inspiró en los modelos de neuronas biológicas para crear redes neuronales artificiales.
Es probable que, en el futuro, la IA y la investigación sobre el cerebro se enriquezcan mutuamente.
Utilizando la IA y dejándola evolucionar por sí sola, es posible que nos proporcione las claves para desentrañar los misterios del cerebro humano.

Referencias

FAQ: Todo lo que hay que saber sobre la emergencia de la inteligencia artificial

¿Qué es un parámetro en una red neuronal artificial?

Los parámetros son las variables internas de un modelo de IA, ajustadas automáticamente durante el aprendizaje. Incluyen los pesos sinápticos y los sesgos. Su número depende de la estructura de la red (número de capas y de neuronas). Por ejemplo, GPT-3 posee 175 mil millones de parámetros. Cuantos más parámetros haya (con suficientes datos), más capacidad tiene el sistema para producir resultados correctos y coherentes.

¿Por qué se dice que la IA da una "ilusión de inteligencia"?

Una red neuronal solo predice la siguiente palabra (o "token") más probable según un proceso estadístico. No busca proporcionar respuestas "verdaderas", sino frases probables, sin vínculo con nuestra realidad ni distinción entre lo verdadero y lo falso. Es gracias a su inmenso corpus de aprendizaje que da la impresión de comprender el contexto, la intención y los matices, aunque esté desprovista de sentido y de saber.

¿Qué es la "transición de fase" observada en la IA en 2017?

Antes de 2017, aumentar la escala de los modelos (datos y parámetros) solo mejoraba mediocremente los rendimientos. De repente, con el modelo GPT-2, se alcanzó un umbral crítico, provocando una transición de fase (un cambio de estado físico del sistema). Aparecieron interacciones más ricas y complejas entre las neuronas, haciendo emerger capacidades cognitivas sofisticadas. Los científicos aún tienen dificultades para explicar plenamente este fenómeno.

¿Qué es la emergencia en un sistema complejo?

La emergencia designa la aparición de propiedades o comportamientos nuevos que no existen en los componentes tomados aisladamente, sino que resultan de sus interacciones organizadas. Una neurona sola no piensa, una molécula sola no está viva, un quark solo no forma materia. Es la organización colectiva, a partir de un cierto umbral de complejidad, la que hace surgir una propiedad nueva e irreductible a los elementos de partida.

¿Es la IA verdaderamente inteligente o solo una simulación?

El debate sigue abierto. Si definimos la inteligencia por el comportamiento observable (resolver problemas, dialogar, razonar), entonces la IA actual presenta capacidades indudablemente inteligentes. Pero si la definimos por la comprensión, la conciencia o la intención, entonces solo simula estas facultades mediante cálculos estadísticos. Se habla a menudo de una "inteligencia sin comprensión": un fenómeno emergente cuya naturaleza profunda queda por dilucidar.

¿Por qué es difícil explicar científicamente la emergencia?

Porque las propiedades emergentes no se deducen simplemente de las leyes que rigen los componentes individuales. Se puede conocer perfectamente la ecuación de una neurona o de una molécula sin poder predecir, a partir de ahí, el pensamiento o la vida. La emergencia implica numerosas interacciones no lineales y un umbral de complejidad, lo que hace que el fenómeno sea en parte imprevisible y aún mal comprendido, tanto para los seres vivos como para la IA.