Los diferentes tipos de aprendizaje de las IA

Panorama de los principales tipos de aprendizaje de las IA

Del más simple al más complejo

La tabla siguiente presenta los principales tipos de aprendizaje de las IA, del más simple al más complejo, con un ejemplo concreto, una puesta en perspectiva sobre la manera en que un actor humano puede organizar el aprendizaje, y una descripción sintética de cómo procede la máquina.

Ejemplos detallados: del concepto a la práctica

Aprendizaje supervisado

En el aprendizaje supervisado, cada ejemplo está asociado a una etiqueta que indica la respuesta correcta. Un ejemplo clásico es la clasificación de imágenes: se proporcionan a la máquina imágenes de galaxias, cada una anotada como espiral o elíptica. El objetivo es que el modelo aprenda a predecir la clase correcta (espiral o elíptica) para nuevas imágenes.

• Del lado humano: la organización de este aprendizaje consiste en constituir conjuntos de datos anotados, definir criterios de rendimiento (tasa de respuestas correctas, precisión) y vigilar la calidad de las etiquetas.
• Desde el punto de vista de la máquina: el aprendizaje se hace minimizando una función de pérdida que mide la diferencia entre las predicciones y las etiquetas, ajustando los parámetros del modelo (pesos, sesgos para minimizar la función de pérdida) mediante métodos de optimización (algoritmos como el descenso de gradiente).
• Ejemplo concreto: un modelo recibe imágenes de galaxias y aprende a distinguir automáticamente las espirales de las elípticas ajustando sus parámetros a lo largo de los ejemplos anotados.

Aprendizaje no supervisado

En el aprendizaje no supervisado, los datos no poseen ninguna etiqueta: la máquina no sabe de antemano qué categorías o estructuras debe encontrar. El objetivo es descubrir agrupaciones naturales, motivos ocultos o dimensiones pertinentes en los datos. Un ejemplo clásico es el análisis de espectros de estrellas para identificar automáticamente familias de comportamientos sin indicación previa.

• Del lado humano: la organización de este aprendizaje consiste en recolectar grandes bases de datos no anotadas, elegir variables pertinentes y definir objetivos exploratorios (agrupaciones, detección de anomalías, reducción de dimensión).
• Desde el punto de vista de la máquina: el aprendizaje se apoya en algoritmos que buscan estructuras internas en los datos, como la agrupación de puntos cercanos o la extracción de componentes principales, sin función de pérdida supervisada.
• Ejemplo concreto: un modelo analiza miles de espectros de estrellas y agrupa automáticamente las que presentan firmas similares, revelando familias astrofísicas sin intervención humana.

Aprendizaje por refuerzo

En el aprendizaje por refuerzo, un agente interactúa con un entorno y recibe recompensas o penalizaciones según las acciones que efectúa. El objetivo no es predecir una etiqueta, sino aprender una política de acción que maximice la recompensa acumulada. Un ejemplo clásico es el control de un telescopio robotizado que debe elegir qué objetivos observar para optimizar el tiempo de observación.

• Del lado humano: la organización de este aprendizaje consiste en definir una función de recompensa (medida de la calidad de las acciones), especificar las reglas del entorno y asegurarse de que el agente no desarrolle estrategias indeseables.
• Desde el punto de vista de la máquina: el agente explora diferentes acciones, observa las recompensas obtenidas y actualiza su política para maximizar la recompensa acumulada, gracias a algoritmos de optimización secuencial (como Q-learning o los métodos de gradiente de política).
• Ejemplo concreto: un agente controla un telescopio automatizado y aprende, a lo largo de los ensayos, a seleccionar los objetivos más interesantes minimizando los movimientos inútiles, a fin de optimizar la calidad y la cantidad de las observaciones.

Aprendizaje auto-supervisado

En el aprendizaje auto-supervisado, la máquina crea ella misma sus propias etiquetas a partir de los datos brutos. En lugar de recibir una respuesta correcta proporcionada por un humano, el modelo debe predecir una parte faltante o enmascarada de la entrada. Este enfoque permite explotar vastos conjuntos de datos no anotados. Un ejemplo clásico es la predicción de palabras enmascaradas en textos científicos para aprender representaciones del lenguaje.

• Del lado humano: la organización de este aprendizaje consiste en preparar grandes corpus no anotados, definir una tarea interna (enmascarar palabras, predecir la continuación de una secuencia) y controlar la calidad de los datos utilizados para evitar sesgos.
• Desde el punto de vista de la máquina: el modelo aprende resolviendo una tarea artificial generada a partir de los propios datos, como predecir tokens enmascarados o reconstruir una parte de una imagen, lo que le permite extraer representaciones internas útiles.
• Ejemplo concreto: un modelo recibe textos científicos donde ciertas palabras están enmascaradas y aprende, adivinándolas, a capturar las relaciones entre términos, lo que mejora luego sus rendimientos en tareas reales.

Aprendizaje profundo

En el aprendizaje profundo, la máquina utiliza redes de neuronas de varias capas capaces de extraer características cada vez más complejas a partir de los datos. Cada capa transforma la información para revelar motivos invisibles a los métodos clásicos. Este enfoque es particularmente eficaz para tratar imágenes, sonidos o textos. Un ejemplo corriente es el análisis de imágenes de nebulosas para identificar automáticamente estructuras difíciles de distinguir a simple vista.

• Del lado humano: la organización de este aprendizaje consiste en reunir grandes bases de imágenes, elegir una arquitectura de red adaptada (CNN, transformers), definir criterios de rendimiento y disponer de recursos de cálculo suficientes.
• Desde el punto de vista de la máquina: la red aprende ajustando millones de parámetros a través de varias capas, cada capa extrayendo motivos más abstractos. La optimización se hace minimizando una función de pérdida gracias a métodos de optimización (como el descenso de gradiente).
• Ejemplo concreto: una red de neuronas analiza imágenes de nebulosas y aprende a reconocer automáticamente filamentos, burbujas o zonas de emisión, afinando sus parámetros capa tras capa.

N.B.:
En las redes de neuronas modernas, la profundidad sigue siendo moderada: las arquitecturas cuentan generalmente entre una veintena y algunos cientos de capas. En cambio, el número total de neuronas puede alcanzar millones, o incluso cientos de millones en los modelos más avanzados. Esta diferencia explica que una red pueda ser «profunda» sin tener miles de capas: son los miles de neuronas por capa, multiplicados por decenas de capas, los que dan modelos de tamaño colosal.

Caso de escuela: ¿cómo aprende un gran modelo de lenguaje?

Un mismo modelo, tres aprendizajes sucesivos

Los grandes modelos de lenguaje (LLM) ilustran bien la combinación de los enfoques. Su entrenamiento se desarrolla en varias etapas, cada una correspondiendo a un tipo de aprendizaje diferente. Es lo que permite a un asistente conversacional pasar de un simple predictor de palabras a un interlocutor capaz de seguir consignas.

Etapa 1: el preentrenamiento auto-supervisado

El modelo lee inmensas cantidades de textos y aprende a predecir la palabra (más exactamente el «token») siguiente. En la frase «El Sol es una estrella de tipo …», debe adivinar «enana amarilla» o una continuación plausible. Ningún humano anota estos textos: la respuesta es el texto mismo. Es aprendizaje auto-supervisado, y es la etapa más costosa en datos y en cálculo. Modelos como BERT utilizan un enmascaramiento automático de tokens: un algoritmo oculta aleatoriamente ciertas palabras, que el modelo debe luego predecir.

Etapa 2: el ajuste supervisado sobre instrucciones

El modelo preentrenado sabe prolongar un texto, pero no forzosamente responder a una pregunta. Anotadores humanos redactan consignas y respuestas, mientras que herramientas informáticas preparan automáticamente estos datos para el entrenamiento. El modelo es luego ajustado para imitar estos ejemplos: es aprendizaje supervisado aplicado a un conjunto de datos mucho más pequeño que el corpus inicial.

Etapa 3: el refuerzo a partir de retornos humanos

Para afinar la calidad de las respuestas, se pide a evaluadores que clasifiquen varias respuestas del modelo. Estas clasificaciones sirven para entrenar un modelo de recompensa, que atribuye una puntuación a una respuesta. El LLM es luego optimizado para obtener puntuaciones elevadas. Es el principio del RLHF (aprendizaje por refuerzo a partir de retornos humanos), descrito en particular para InstructGPT en 2022. Desde entonces, se han propuesto métodos más simples, como la optimización de preferencias, donde el modelo aprende a privilegiar las respuestas juzgadas mejores por humanos. Ciertos laboratorios utilizan también recompensas verificables automáticamente — por ejemplo la resolución correcta de un problema de matemáticas o el éxito de tests informáticos — para entrenar modelos llamados «de razonamiento».

¿Y el «aprendizaje en contexto»?

Cuando se proporcionan dos o tres ejemplos en una pregunta, el modelo parece «aprender» la tarea: reproduce el esquema mostrado en el prompt. En realidad, se trata de una adaptación temporal. Los parámetros internos del modelo no se modifican y, una vez terminada la conversación, nada se conserva en los pesos. El modelo no hace pues más que explotar los ejemplos proporcionados en el momento, sin verdadero aprendizaje en el sentido de las etapas precedentes.

Por ejemplo, si se escribe:
«2 + 3 = 5»
«4 + 6 = 10»
y luego se pregunta «7 + 8 = ?», el modelo responde «15» no porque efectúe una adición, sino porque esta secuencia es estadísticamente la más probable en los textos que ha visto. Simplemente prolonga un motivo familiar, sin adquirir competencia duradera en cálculo.

Síntesis: los múltiples rostros del aprendizaje de las IA

La tabla siguiente recapitula los diferentes enfoques, la señal que guía el aprendizaje y sus usos prácticos.

El papel central del humano y de sus herramientas

El aprendizaje de las IA no es un proceso autónomo: se apoya en una colaboración estrecha entre humanos y una panoplia de herramientas informáticas. Los modelos no «descubren» solos qué aprender, ni cómo hacerlo. Son equipos humanos los que organizan, orientan y controlan cada etapa, apoyándose en infraestructuras técnicas capaces de tratar volúmenes de datos gigantescos.

El papel central del humano

Los humanos intervienen en todas las etapas críticas de la concepción y del aprendizaje de los modelos. Sin ellos, una IA no sabe ni qué aprender, ni cómo, ni por qué.

• Conciben las arquitecturas (transformers, redes profundas).
• Seleccionan y limpian los datos.
• Redactan las consignas y las respuestas para el aprendizaje supervisado.
• Expresan sus preferencias para guiar los modelos (RLHF, DPO).
• Definen los objetivos, las métricas, los límites, las salvaguardias.
• Evalúan la calidad, corrigen las derivas, ajustan los métodos.

Sin humanos, un modelo no dispone de ningún marco: no tiene ni meta explícita, ni criterios de éxito, ni señal fiable para orientar su aprendizaje.

El papel indispensable de las herramientas

Las herramientas informáticas hacen posible el aprendizaje a gran escala. Automatizan las tareas repetitivas, estructuran los datos y explotan recursos materiales considerables. Sin ellas, el aprendizaje moderno de las IA sería materialmente imposible.

• Enmascaran automáticamente tokens para el auto-supervisado.
• Preparan los datos (formateo, validación, deduplicación).
• Distribuyen el trabajo a miles de anotadores.
• Verifican automáticamente ciertas recompensas (problemas de matemáticas, tests informáticos).
• Entrenan los modelos sobre cientos de GPU.
• Optimizan las preferencias humanas a gran escala.

Los volúmenes de datos son demasiado grandes, los modelos demasiado pesados y las tareas demasiado numerosas para ser gestionados manualmente. El aprendizaje de las IA es pues el resultado de una alianza: la intención y el juicio humanos, amplificados por herramientas informáticas potentes.