Grandes Modelos de Linguagem Reduzidos para Reconhecimento de Entidades Nomeadas em Português

• Ano de defesa: 2025
• Autor(a) principal: Sarcinelli, João Lucas Luz Lima
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Aprendizado em comitê; Aumento de dados; Data augmentation; Ensemble learning; LLM; Mineração de texto; NER; REN; Text mining
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-06082025-180517/

O Reconhecimento de Entidades Nomeadas (REN) é uma tarefa essencial do Processamento de Linguagem Natural (PLN), com aplicações relevantes em áreas como saúde, direito e humanidades digitais. No entanto, sistemas modernos para REN, baseados em modelos de linguagem neural, demandam grandes volumes de dados anotados e recursos computacionais elevados, o que dificulta sua adoção em cenários de poucos recursos, especialmente na língua portuguesa e em domínios específicos. Grandes Modelos de Linguagem (LLMs, do inglês Large Language Models) ganham popularidade em cenários de poucos recursos, uma vez que não precisam de grandes volumes de dados anotados para realizar diferentes tarefas de PLN. No entanto, quando comparados aos modelos especializados para a tarefa de REN, LLMs desempenham consideravelmente pior, especialmente quando recursos computacionais ou financeiros são limitados e modelos reduzidos devem ser utilizados. Neste trabalho, investiga-se o uso desses LLMs abertos e reduzidos como alternativa viável para a tarefa de REN em português brasileiro. Propõe-se uma abordagem composta por três frentes principais: (i) o desenvolvimento do MariNER, um novo conjunto de dados anotado manualmente com textos históricos do início do século XX, previamente indisponível na web; (ii) a criação de um comitê de LLMs reduzidos, com mecanismos de votação e combinação de saídas para aumentar a robustez dos resultados; e (iii) o NEAGE, um método de aumento de dados sintéticos para REN via geração e extração, adaptado para operar com LLMs reduzidos em português. Os resultados mostram que, mesmo em cenários com infraestrutura limitada, é possível alavancar o uso desses modelos para produzir resultados competitivos. Além disso, o conjunto produzido contribui para ampliar os recursos disponíveis para REN em português brasileiro.