Descrição da imagem: As IAs generativas (GPT-3, Copilot, Gemini, Gopher, Chinchilla, PaLM, Human, etc.) são treinadas em grandes conjuntos de dados (textos, imagens, áudios ou vídeos) produzidos por humanos. No entanto, essas IAs enlouquecem quando geram seus próprios dados de aprendizado. Fonte da imagem astronoo AI.
O conceito de "Self-Consuming Generative Models Go Mad" (Modelos generativos auto-consumidores que enlouquecem) refere-se, no campo da inteligência artificial, à produção de dados de aprendizado pela própria IA.
Os modelos generativos são algoritmos que aprendem a gerar novos dados "imitando" um conjunto de dados de treinamento produzidos por humanos. A produção de dados de aprendizado é cara e demorada. Requer coletar os dados, limpá-los, anotá-los e formatá-los para que possam ser usados corretamente pela IA.
Os cientistas não resistiram à tentação de usar os dados sintéticos gerados pelos próprios modelos generativos para formar novos modelos mais rapidamente.
A ideia central é criar um modelo generativo capaz de produzir seus próprios dados de aprendizado. Esse processo é iterado, com o modelo se aperfeiçoando e se tornando cada vez mais capaz de gerar dados complexos, numerosos e inéditos.
As vantagens imaginadas são numerosas. Primeiro, o modelo não é limitado pela quantidade de dados de aprendizado iniciais. Pode explorar domínios desconhecidos e descobrir acidentalmente novos conceitos. Além disso, o modelo, por meio de seu próprio aprendizado auto-supervisionado, poderia se aperfeiçoar e melhorar seu desempenho de forma iterativa. Por exemplo, o modelo poderia gerar novas estruturas moleculares candidatas a novos medicamentos.
No entanto, existe um enorme desafio associado a essa abordagem.
O Self-Consuming Generative Models Go Mad é um fenômeno que ocorre quando modelos de inteligência artificial generativos são treinados com dados sintéticos produzidos por outros modelos de IA generativos, criando assim loops auto-consumidores. Quando uma IA tenta aprender o conteúdo gerado por uma IA, ela enlouquece.
A repetição desse processo, mal compreendido, cria um loop auto-consumidor cujos dados de aprendizado se tornam caóticos. Além disso, é tentador usar dados sintéticos para aumentar ou substituir dados reais devido à falta de dados disponíveis. Em outras palavras, quando o modelo não tem dados reais frescos suficientes em cada geração de um loop auto-consumidor, os futuros modelos generativos estão fadados ao fracasso.
Esse processo de auto-consumição leva a uma diminuição progressiva da qualidade e a uma diluição da diversidade dos conteúdos gerados. Isso se caracteriza por uma degeneração do processo, onde o modelo começa a produzir saídas cada vez mais incoerentes e redundantes.
Se o modelo não for exposto a uma variedade suficiente de exemplos, ele tem dificuldade em aprender padrões significativos e, portanto, recorre a produções repetitivas. Da mesma forma, se o modelo for incentivado a se concentrar apenas na otimização de sua própria produção, ele pode se afastar da realidade e gerar saídas cada vez mais aberrantes. Por fim, o modelo tenderá a ajustar excessivamente suas respostas aos dados de aprendizado (overfitting). Ele começa a memorizar detalhes insignificantes e perde sua capacidade de generalizar para novos exemplos. Além disso, pode reproduzir seus próprios vieses e deficiências indefinidamente.
Em alguns cenários teóricos, os modelos generativos poderiam enlouquecer ou disfuncionar de maneira imprevisível, potencialmente auto-destrutiva. Por exemplo, um modelo generativo poderia priorizar a "novidade" e essa busca incessante poderia empurrá-lo a explorar territórios cada vez mais desconhecidos.
A falta de regulamentação expõe o modelo a um descontrole onde os conteúdos poderiam se tornar cada vez mais extremos, ofensivos, perturbadores ou chocantes, beirando o inaceitável. Poderíamos deixar de compreender ou interpretar os resultados gerados pelo modelo.
Essa noção especulativa destaca as preocupações potenciais associadas ao uso de modelos de inteligência artificial autônomos ou insuficientemente controlados. Embora possa parecer uma ideia de ficção científica, é uma consideração importante na comunidade de IA sobre como projetar e regular essas tecnologias de maneira responsável.
Em resumo, quando os modelos de IA são treinados com seus próprios dados, eles se isolam cada vez mais do mundo real e seus valores, e enlouquecem!