Foto : IAs generativas (GPT-3, Copilot, Gemini, Gopher, Chinchilla, PaLM, Human, etc.) treinam em grandes conjuntos de dados (textos, imagens, áudio ou vídeos) produzidos por humanos.
No entanto, essas IAs ficam “loucas” quando elas mesmas geram seus próprios dados de treinamento.
Source image astronoo AI.
O conceito de “Modelos Gerativos Autoconsumidores Enlouquecem” refere-se, no campo da inteligência artificial, à produção de dados de aprendizagem pela própria IA.
Modelos generativos são algoritmos que aprendem a gerar novos dados, “imitando” um conjunto de dados de treinamento produzidos por humanos. A produção de dados de treinamento é cara e demorada. Os dados devem ser coletados, limpos, anotados e formatados para que possam ser utilizados corretamente pela IA.
Os cientistas não resistiram à tentação de utilizar os dados sintéticos gerados pelos próprios modelos generativos para treinar novos modelos mais rapidamente.
A ideia central é criar um modelo generativo capaz de produzir seus próprios dados de treinamento. Este processo é então iterado, com o modelo sendo refinado e tornando-se cada vez mais capaz de gerar dados complexos, cada vez mais numerosos e novos.
Os benefícios imaginados são numerosos. Em primeiro lugar, o modelo não é limitado pela quantidade de dados de treino inicial. Ele pode assim explorar áreas desconhecidas e descobrir novos conceitos por acaso. Além disso, o modelo, graças à sua própria aprendizagem auto-supervisionada, poderia refinar-se e melhorar o seu desempenho iterativamente. Por exemplo, o modelo poderia gerar novas estruturas moleculares que seriam candidatas a novos medicamentos.
No entanto, existe um enorme desafio associado a esta abordagem.
Modelos generativos autoconsumidores enlouquecem é um fenômeno que ocorre quando modelos generativos de inteligência artificial treinam em dados sintéticos produzidos por outros modelos generativos de IA, criando assim loops autofágicos (que se consomem). Quando uma IA tenta aprender o conteúdo gerado por uma IA, ela enlouquece.
A repetição desse processo mal compreendido cria um ciclo autofágico cujos dados de aprendizagem se tornam caóticos. Além disso, é tentador usar dados sintéticos para aumentar ou substituir dados reais devido à falta de dados disponíveis. Em outras palavras, quando o modelo não possui dados reais novos suficientes cada vez que um loop autofágico é gerado, os modelos generativos futuros estão fadados ao fracasso.
Este processo de autofagia leva a uma diminuição progressiva da qualidade e a uma diluição da diversidade do conteúdo gerado. Isto é caracterizado por uma degeneração do processo, onde o modelo começa a produzir resultados cada vez mais inconsistentes e redundantes.
Se o modelo não for exposto a uma variedade suficiente de exemplos, terá dificuldade em aprender padrões significativos e, assim, recorrerá a produções repetitivas.
Da mesma forma, se o modelo for encorajado a concentrar-se apenas na optimização dos seus próprios resultados, pode afastar-se da realidade e gerar resultados cada vez mais aberrantes.
Finalmente, o modelo tenderá a ajustar demasiado as suas respostas aos dados de treino (overfitting). Ele começa a memorizar detalhes insignificantes e perde a capacidade de generalizar para novos exemplos. Além disso, pode reproduzir indefinidamente os seus próprios preconceitos e deficiências.
Em alguns cenários teóricos, os modelos generativos podem enlouquecer ou funcionar mal de uma forma imprevista e potencialmente autodestrutiva. Por exemplo, um modelo generativo poderia favorecer a “novidade” e esta busca incessante poderia empurrá-lo para explorar territórios cada vez mais desconhecidos.
A ausência de regulamentação expõe o modelo a uma fuga cujo conteúdo pode ser cada vez mais extremo, ofensivo, perturbador ou chocante, flertando com o inaceitável. Poderemos não mais compreender ou interpretar os resultados gerados pelo modelo.
Esta noção especulativa destaca potenciais preocupações associadas à utilização de modelos de inteligência artificial autónomos ou insuficientemente controlados. Embora possa parecer uma ideia de ficção científica, é um pensamento importante na comunidade de IA sobre como projetar e regular essas tecnologias de forma responsável.
Em resumo, quando os modelos de IA treinam com os seus próprios dados, isolam-se cada vez mais do mundo real e dos seus valores, enlouquecem!
Por que o Gênero Homo Esteve à Beira da Extinção Há 900.000 Anos? 
AlphaGo contra AlphaGo Zero: Uma Revolução na Inteligência Artificial 
O próximo passo das máquinas inteligentes 
O primeiro passo para o surgimento da vida 
Árvore Filogenética da Vida 
Neurônio formal
A biosfera
de sombra 
Declínio do Antropocentrismo 
Inteligência artificial: a explosão do gigantismo 
Emergência da inteligência artificial : Ilusão de inteligência ou inteligência? 
O caranguejo-ferradura, um fóssil vivo! 
Bioassinaturas ou presença de vida no Universo 
Desafio e ameaça da Inteligência Artificial 
Como as máquinas entendem, interpretam e geram linguagem de maneira semelhante aos humanos? 
Como funciona uma rede neural artificial? 
Origem da vida na Terra: teoria da Panspermia 
Origem da Vida na Terra: Teoria dos Fumadores Brancos 
Por que 37 graus Celsius? 
Termodinâmica da Pilha de Areia 
Estamos sozinhos no universo? 
Vestígio de vida congelada na Sibéria 
Núcleos de gelo nos contam sobre nosso passado 
A vida evolui ao abrigo das glaciações 
Regeneração de órgãos, a salamandra 
Os raios cósmicos e a mutação das espécies 
Mephisto, o pequeno verme das profundezas 
Descoberta de fulerenos sólidos no espaço 
Bipedalismo
em hominídeos 
Caranguejo gigante de Kamchatka 
A passagem entre o inerte e o vivo 
Das partículas à vida bioquímica 
Visão egocêntrica, o homem no centro 
Megapod
usa calor vulcânico 
Ardi tem 4,4 milhões de anos 
Seleção natural, a mariposa da bétula 
A explosão da vida no Ordoviciano 
Água líquida, um acelerador de reações químicas 
Neandertal 
Asimo, o
futuro humanóide 
Condições para o aparecimento da vida 
O paradoxo de Fermi ou a caverna de Platão 
O Tardígrado,
o animal imortal 
Toumaï, 7
milhões de anos 
Fronteira entre inanimado e vivo 
A incrível vida do abismo 
Cianobactérias criam gás tóxico 
A breve
história da evolução da vida 
O menor sapo do mundo 
A explicação da Pequena Idade do Gelo 
Luz cinzenta, as provas da vida 
Bioluminescência de organismos vivos 
Além dos nossos sentidos, as grandes revoluções científicas 
A sopa primitiva