Como as máquinas se tornam inteligentes

Quanto mais neurónios, mais parâmetros!

O que é um parâmetro numa rede neural?

Os parâmetros das redes neurais são as variáveis internas de um modelo de IA. Estes parâmetros são ajustados automaticamente durante a aprendizagem a partir dos dados de entrada.
Por exemplo, o modelo GPT-3 da OpenAI tem 175 mil milhões de parâmetros. O modelo DALL-E da OpenAI tem 12 mil milhões de parâmetros. O modelo Gemini Ultra da Google teria 540 mil milhões de parâmetros.

Cálculo do número de parâmetros

O número de parâmetros depende da estrutura da rede, isto é, do número de camadas, do número de neurónios por camada e do tipo de ligação entre as camadas.
O número de parâmetros é dado pela seguinte fórmula: P = (d+1)h + (h+1)o em que d é o número de neurónios de entrada, h é o número de neurónios ocultos e o é o número de neurónios de saída. O termo +1 corresponde ao viés (bias), que é um parâmetro adicional adicionado a cada camada para evitar a tendência natural humana de favorecer certos resultados.

Impacto do número de parâmetros

O número de parâmetros influencia a capacidade de aprendizagem de uma rede neural e, portanto, o desempenho e o comportamento do modelo. Quanto mais parâmetros houver, mais o sistema tem capacidade de produzir resultados corretos e coerentes. No entanto, há um limite!
Um fenómeno designado por "sobreajuste" (overfitting) penaliza o sistema quando o número de parâmetros é demasiado grande em relação aos dados disponíveis.
Se se quiser aumentar o número de parâmetros numa rede neural, é também necessário aumentar os dados de aprendizagem.
Isto explica porque o apetite dos operadores pelos nossos dados é insaciável.

Ilusão de inteligência ou inteligência?

O funcionamento das redes neurais artificiais

Nas redes neurais artificiais (RNA), cada neurónio efetua um cálculo que é uma soma ponderada das suas entradas, e aplica em seguida uma função de ativação com limiar para determinar a sua saída, que fornece à camada seguinte.
A partir deste simples processo matemático, surge uma singularidade.
A rede apenas prevê a próxima palavra ou o próximo "token" (fragmento de palavra) que se seguirá na frase. E, no entanto, emerge uma frase ordenada, racional e coerente, embora provenha de um processo probabilístico.

A IA: um mágico da linguagem sem compreensão

Para este mágico da linguagem que faz malabarismos com as palavras sem se preocupar com o seu sentido, a noção de verdade não é pertinente. O sistema não procura fornecer respostas justas, mas sim frases prováveis.

A ilusão da inteligência

Por outras palavras, um sistema que não tem qualquer ligação com a nossa realidade, desprovido de sentido e de saber e que não distingue o "verdadeiro" do "falso", pode fornecer uma resposta "inteligente".
É graças ao seu imenso corpus de aprendizagem que a IA dá a impressão de compreender o contexto da frase, a intenção do autor e as nuances da linguagem.
Há algo de profundamente perturbador nesta manifestação!

Uma questão fundamental

Como pode um fenómeno tão complexo e sofisticado como a inteligência aparecer num ambiente virtual?

Seria a inteligência artificial um conceito emergente?

Um conceito emergente decorre de um conceito mais fundamental, permanecendo ao mesmo tempo novo e irredutível a ele. Por outras palavras, novas propriedades aparecem com o conceito emergente a partir de um ambiente onde não estavam presentes antes. Estas novas propriedades parecem ser uma resposta natural às condições físicas específicas de um ambiente.

Exemplos de conceitos emergentes

• Logo após o Big Bang, o universo é extremamente quente e denso. Neste ambiente extremo, a partir da energia pura emerge a matéria, de acordo com a equação de Einstein, E=mc². Assim, partículas elementares como os quarks, os eletrões e os neutrinos, que não existiam antes, emergem do universo primordial.
• A vida é um fenómeno emergente; resulta da interação de componentes mais simples, como as moléculas químicas que a constituem. No entanto, apresenta propriedades novas e irredutíveis a esses componentes. A partir de uma certa organização molecular, aparece num ambiente onde não existia antes.
• A consciência é frequentemente descrita como um fenómeno emergente: tomada isoladamente, uma célula nervosa não possui consciência. No entanto, a partir de uma certa organização e da interação coordenada de milhares de milhões de neurónios, aparece uma experiência subjetiva, uma perceção de si e do mundo, irredutível à atividade de cada neurónio tomado separadamente.
• A inteligência, natural ou artificial, pode também ser considerada um fenómeno emergente. Nenhum neurónio nem nenhum parâmetro isolado "compreende" ou raciocina por si só; é a interação de numerosos elementos organizados em rede que faz aparecer capacidades de reconhecimento, de linguagem, de raciocínio ou de adaptação. A partir de um certo limiar de complexidade e de aprendizagem, estes comportamentos emergem sem terem sido programados explicitamente em cada componente.

A emergência na IA: uma viragem em 2017

Os modelos de IA anteriores a 2017 eram treinados com conjuntos de dados muito mais pequenos do que os utilizados hoje. Estavam longe de ser perfeitos; as IA generativas não funcionavam muito bem.

Aumentando os dados disponíveis para a aprendizagem, os cientistas de dados aumentaram intuitivamente o número de parâmetros. A partir de um limiar miraculoso, constataram o aparecimento de uma melhoria significativa dos resultados.
Este fenómeno ocorreu em 2017 com o modelo GPT-2 (Generative Pre-trained Transformer 2), que marcou uma viragem no domínio da geração de texto, ao demonstrar a sua capacidade de produzir textos de qualidade humana.

A transição de fase: O que aconteceu?

Antes de 2017, a escala dos modelos (dados de aprendizagem e arquiteturas neuronais) aumentava, mas nada acontecia; os desempenhos eram medíocres e estagnavam. Depois, de repente, quando a escala atingiu um limiar, ocorreu uma transição de fase. Por outras palavras, uma mudança de estado físico do sistema, provocada pela diversidade dos dados e dos parâmetros.
De repente, apareceram interações mais ricas, mais profundas e mais complexas entre os neurónios.

O facto notável nesta evolução miraculosa é a emergência de capacidades cognitivas mais sofisticadas que agora nos parecem "inteligentes".

Os cientistas têm muitas dificuldades em explicar esta transição de fase. No entanto, uma "inteligência" emergiu matematicamente da interação de componentes muito simples, como dados, algoritmos, modelos e parâmetros!

O futuro da inteligência artificial

Uma emergência que questiona a natureza da inteligência

O que nos diz esta emergência surgida de uma máquina sobre a própria natureza da inteligência?

Um processo não linear e imprevisível

A aprendizagem automática é um processo não linear, o que significa que pequenas alterações podem provocar alterações importantes no comportamento do modelo. Por agora, não compreendemos como os modelos tomam as suas decisões, e isso torna difícil prever os seus comportamentos futuros.

As perspetivas de evolução

O domínio da IA evolui muito rapidamente, com novas tecnologias e novas arquiteturas que aparecem constantemente. Da complexidade crescente dos modelos, outras propriedades inesperadas poderão emergir, como a criatividade, a arte, a compreensão do real e mesmo a consciência.

A IA e o cérebro humano: uma relação simbiótica

A IA foi originalmente concebida para imitar as capacidades do cérebro humano. Para isso, inspirou-se nos modelos de neurónios biológicos para criar redes neurais artificiais.
É provável que, no futuro, a IA e a investigação sobre o cérebro se enriqueçam mutuamente.
Utilizando a IA e deixando-a evoluir sozinha, é possível que nos forneça as chaves para desvendar os mistérios do cérebro humano.