Loading AI tools
Na inteligência artificial (IA), uma alucinação ou alucinação artificial[1] é uma resposta confiante por parte da IA que não parece ser justificada pelos dados de treinamento.
 |
Nota: Este artigo é sobre inteligência artificial. Para outros significados, veja Alucinação (desambiguação).Por exemplo, um chatbot alucinatório sem conhecimento sobre a receita da Tesla pode internamente escolher um número aleatório (como "US$ 13.6 bilhões") que o chatbot considere plausível, e então continuar a insistir falsa e repetidamente que a receita da Tesla é de US$ 13.6 bilhões, sem sinal de consciência interna de que o número foi produto da própria imaginação deste.
Esses fenômenos são chamados de "alucinações", em analogia com o fenômeno da alucinação na psicologia humana. Note que enquanto uma alucinação humana é uma percepção por um ser humano que não pode ser sensatamente associada com a parte do mundo externo que o humano está diretamente observando com seus órgãos sensoriais, uma alucinação da IA é, em vez disso, uma resposta confiante que não pode ser fundamentada em nenhum dos seus dados de treinamento da mesma.
A alucinação de inteligência artificial ganhou destaque por volta de 2022 com o lançamento de certos modelos de linguagem grande (LLMs) como o ChatGPT. Os usuários reclamaram que tais bots muitas vezes pareciam incorporar sociopaticamente e sem sentido falsidades plausíveis dentro do conteúdo gerado.[2] Outro exemplo de alucinação na inteligência artificial é quando a IA ou chatbot esquece que é uma máquina e alega ser humano.[3]
Em 2023, os analistas consideraram a alucinação frequente um grande problema na tecnologia LLM.[4]
No processamento de linguagem natural, uma alucinação é frequentemente definida como "conteúdo gerado que é sem sentido ou infiel ao conteúdo de origem fornecido". Erros na codificação e decodificação entre texto e representações podem causar alucinações. O treinamento da IA para produzir respostas diversas também pode levar à alucinação.
Alucinações também podem ocorrer quando a IA é treinada em um conjunto de dados em que resumos rotulados, apesar de serem factualmente precisos, não estão diretamente fundamentados nos dados rotulados supostamente "resumidos". Conjuntos de dados maiores podem criar um problema de conhecimento paramétrico (conhecimento que está embutido nos parâmetros do sistema aprendido), criando alucinações se o sistema estiver muito confiante em seu conhecimento embutido.
Em sistemas como GPT-3, uma IA gera cada próxima palavra com base em uma sequência de palavras anteriores (incluindo as palavras que ela própria gerou previamente na resposta atual), causando uma cascata de possíveis alucinações à medida que a resposta fica mais longa. Em 2022, jornais como o The New York Times expressaram preocupação de que, à medida que a adoção de bots baseados em modelos de linguagem grande continuasse a crescer, a confiança indevida do usuário na saída do bot pudesse levar a problemas.[5]
Em agosto de 2022, o Meta alertou durante o lançamento do BlenderBot 3 que o sistema era propenso a "alucinações", que o Meta definiu como "declarações confiantes que não são verdadeiras".[6]
Em 15 de novembro de 2022, o Meta apresentou uma demonstração do Galactica, projetado para "armazenar, combinar e raciocinar sobre o conhecimento científico". O conteúdo gerado pelo Galactica veio com o aviso "As saídas podem ser pouco confiáveis! Modelos de linguagem são propensos a alucinar texto." Em um caso, quando solicitado a redigir um artigo sobre a criação de avatares, o Galactica citou um artigo fictício de um autor real que trabalha na área relevante. O Meta retirou o Galactica em 17 de novembro devido a ofensas e imprecisão.[7][8]
Considera-se que existem muitas possíveis razões para os modelos de linguagem natural alucinarem dados. Por exemplo:
- Alucinação de dados: existem divergências no conteúdo da fonte (o que frequentemente acontece com grandes conjuntos de dados de treinamento),
- Alucinação de treinamento: a alucinação ainda ocorre quando há pouca divergência no conjunto de dados. Nesse caso, ela decorre da forma como o modelo é treinado. Muitas razões podem contribuir para esse tipo de alucinação, como:
- Uma decodificação errônea do transformador
- Um viés das sequências históricas que o modelo gerou anteriormente
- Um viés gerado pela forma como o modelo codifica seu conhecimento em seus parâmetros.
ChatGPT
O ChatGPT da OpenAI, lançado em versão beta para o público em dezembro de 2022, é baseado na família de modelos de linguagem GPT-3.5. O professor Ethan Mollick da Wharton School da Universidade da Pensilvânia chamou o ChatGPT de um "estagiário onisciente e ansioso para agradar, que às vezes mente para você". A cientista de dados Teresa Kubacka relatou ter inventado deliberadamente a frase "magnetoelétrico invertido cicloidal" e testado o ChatGPT perguntando sobre o fenômeno (inexistente). O ChatGPT inventou uma resposta plausível apoiada em citações plausíveis que a levou a verificar se ela havia digitado acidentalmente o nome de um fenômeno real. Outros estudiosos, como Oren Etzioni, se juntaram a Kubacka em avaliar que tais softwares muitas vezes podem dar "uma resposta muito impressionante que está completamente errada".[9]
Mike Pearl, do Mashable, testou o ChatGPT com várias perguntas. Em um exemplo, ele perguntou ao modelo qual é "o maior país da América Central que não seja o México". O ChatGPT respondeu com Guatemala, quando a resposta correta seria Nicarágua.[10] Quando a CNBC pediu ao ChatGPT a letra de "The Ballad of Dwight Fry", o ChatGPT forneceu letras inventadas em vez das reais.[11]
Ao escrever uma crítica para o novo iPhone 14 Pro da Apple, o ChatGPT erroneamente informou que o chipset relevante era o A15 Bionic, em vez do A16 Bionic, embora isso possa ser atribuído ao fato de que o ChatGPT foi treinado em um conjunto de dados que terminava em 2021, um ano antes do lançamento do iPhone 14 Pro.[12]
Após ser questionado sobre Novo Brunswick, uma província do Canadá, o ChatGPT acertou muitas respostas, mas classificou erroneamente Samantha Bee como uma "pessoa de Novo Brunswick".[13]
Quando perguntado sobre campos magnéticos astrofísicos, o ChatGPT informou erroneamente que "campos magnéticos (fortes) de buracos negros são gerados pelas forças gravitacionais extremamente fortes em sua vizinhança". (Na realidade, como consequência do teorema da calvície, acredita-se que um buraco negro sem um disco de acreção não tenha campo magnético.)[14]
A Fast Company pediu ao ChatGPT para gerar um artigo de notícias sobre o último trimestre financeiro da Tesla; o ChatGPT criou um artigo coerente, mas inventou os números financeiros contidos nele.[15]
Outros exemplos envolvem testar o ChatGPT com premissas falsas para ver se ele as amplifica. Quando perguntado sobre "a ideia de canonicidade dinâmica de Harold Coward", o ChatGPT inventou que Coward escreveu um livro intitulado Canonicidade Dinâmica: Um Modelo para Interpretação Bíblica e Teológica, argumentando que os princípios religiosos estão em constante mudança. Quando questionado, o ChatGPT continuou insistindo que o livro era real.[16][17]
Ao ser solicitada uma prova de que os dinossauros construíram uma civilização, o ChatGPT afirmou que existiam restos fósseis de ferramentas de dinossauros e afirmou: "Algumas espécies até desenvolveram formas primitivas de arte, como gravuras em pedras".[18][19]
Quando provocado com a afirmação de que "os cientistas descobriram recentemente que os churros, os deliciosos bolinhos fritos... (são) ferramentas ideais para cirurgia em casa", o ChatGPT afirmou que um "estudo publicado no periódico Science" descobriu que a massa é maleável o suficiente para ser moldada em instrumentos cirúrgicos que podem alcançar lugares de difícil acesso, e que o sabor tem um efeito calmante nos pacientes.[20][21]
Em 2023, os analistas consideraram a frequente criação de alucinações como um grande problema na tecnologia dos modelos de linguagem grande, com um executivo do Google identificando a redução das alucinações como uma tarefa "fundamental" para o concorrente do ChatGPT, o Google Bard.[22] Uma demonstração de 2023 do Bing AI da Microsoft, baseado no GPT, aparentemente continha diversas alucinações que não foram detectadas pelo apresentador.
Uma das razões para a maior frequência de alucinações em chatbots como o ChaGPT é que, para dar respostas rápidas dentro da dinâmica de uma conversa em tempo real, o algoritmo possui uma acurácia menor do que um sistema que leva mais tempo para processar uma grande quantidade de informações. O GPT também atua dentro da configuração de "Zero-shot task transfer”[23], em que o modelo é capaz de transferir o conhecimento aprendido em uma tarefa para realizar outra relacionada, mesmo que não tenha recebido exemplos ou treinamento direcionado para essa nova tarefa. Esta dinâmica explica o fenômeno da alucinação para o processamento de prompts com nenhuma referência (zero-shot), apenas uma referência (one-shot) e poucas referências (few-shot).
O conceito de "alucinação" é aplicado de forma mais ampla do que apenas no processamento de linguagem natural. Uma resposta confiante de qualquer IA que pareça injustificada pelos dados de treinamento pode ser rotulada como alucinação. Em 2018, a Wired observou que, apesar de não haver registros de ataques "na natureza" (ou seja, fora de ataques de prova de conceito realizados por pesquisadores), havia "pouca controvérsia" de que gadgets de consumo e sistemas como direção automatizada eram suscetíveis a ataques adversários que poderiam fazer com que a IA alucinasse.
Exemplos incluíram um sinal de PARE tornando-se invisível para os olhos computacionais; um clipe de áudio projetado para parecer inofensivo para os seres humanos, mas que o software transcreveu como "malvado ponto com"; e uma imagem de dois homens em esquis, que o Google Cloud Vision identificou como 91% provável de ser "um cachorro".[24]
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
