Um método de avaliação automática para a tarefa de perguntas e respostas. - Grava, Ricardo Saraiva (2025)
Este projeto de pesquisa trata da criação de um método de avaliação automática para sistemas de perguntas e respostas. Perguntas e respostas (QA) é a tarefa de processamento de linguagem natural focada na geração de respostas acuradas a perguntas objetivas. Tratase de um mecanismo com diversas aplicações, como em motores de busca e assistentes virtuais. Modelos de linguagem respondedores de perguntas são tipicamente avaliados por meio de consultas a seres humanos ou pelo cálculo de métricas de avaliação automática, apontadas pela literatura como ineficazes. Este trabalho busca uma nova via, apresentando o Q3AE (Question Answering Adversarial Attack Evaluator), um método que permite avaliar sistemas de QA explorando o uso de ataques adversariais. Tais ataques consistem no processo de gerar exemplos difíceis, provocando o erro do sistema de QA, que neste trabalho são trazidos para QA em língua portuguesa. Os cenários de falha identificados podem ser usados para o cálculo de uma medida de robustez ou para inspeção manual por parte do desenvolvedor. Q3AE é um método replicável e interpretável. Demonstra-se o funcionamento do método por meio de uma bateria de experimentos, testando eficácia do método contra diferentes LLMs, e gerando um estudo comparativo entre modelos das famílias LLaMA e Gemma.