Um método de avaliação automática para a tarefa de perguntas e respostas.

• Ano de defesa: 2025
• Autor(a) principal: Grava, Ricardo Saraiva
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertacoes da USP; Universidade de São Paulo; Escola Politécnica
• Palavras-chave em Português: Inteligência artificial; Aprendizado computacional; Ataques adversarias; Grandes modelos de linguagem; Métricas; Metrics; Machine learning, Evaluation; Large language models; Adversarial attacks; Artificial intelligence; Question answering
• Link de acesso: https://teses.usp.br/teses/disponiveis/3/3141/tde-17042026-101413/

Este projeto de pesquisa trata da criação de um método de avaliação automática para sistemas de perguntas e respostas. Perguntas e respostas (QA) é a tarefa de processamento de linguagem natural focada na geração de respostas acuradas a perguntas objetivas. Tratase de um mecanismo com diversas aplicações, como em motores de busca e assistentes virtuais. Modelos de linguagem respondedores de perguntas são tipicamente avaliados por meio de consultas a seres humanos ou pelo cálculo de métricas de avaliação automática, apontadas pela literatura como ineficazes. Este trabalho busca uma nova via, apresentando o Q3AE (Question Answering Adversarial Attack Evaluator), um método que permite avaliar sistemas de QA explorando o uso de ataques adversariais. Tais ataques consistem no processo de gerar exemplos difíceis, provocando o erro do sistema de QA, que neste trabalho são trazidos para QA em língua portuguesa. Os cenários de falha identificados podem ser usados para o cálculo de uma medida de robustez ou para inspeção manual por parte do desenvolvedor. Q3AE é um método replicável e interpretável. Demonstra-se o funcionamento do método por meio de uma bateria de experimentos, testando eficácia do método contra diferentes LLMs, e gerando um estudo comparativo entre modelos das famílias LLaMA e Gemma.