Extração de informações numéricas em textos jurídicos usando Grandes Modelos de Língua (LLMs)

• Ano de defesa: 2024
• Autor(a) principal: Bitelli, Bruno Vianna
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Ajuste de instruções; Ajuste fino; Aprendizado a base de prompts; Artificial intelligence; Automatic text classification; ChatGPT; Classificação automática de textos; Engenharia de prompts; Finetuning; Gemini; Instruction-tuning; Inteligência artificial; Linguística computacional; LLaMA; Meta; Named entity recognition; Natural language processing; Neural networks; Number entity recognition; OpenAI; Processamento de linguagem natural; Prompt engineering; Prompt-based learning; Reconhecimento de entidades mencionadas; Reconhecimento de entidades numéricas; Redes neurais
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/45/45134/tde-05022025-190506/

Este trabalho estuda a tarefa de reconhecimento de entidades, em especial, entidades numéricas, empregando LLMs tanto nas análises qualitativas quanto quantitativas. Apesar das habilidade gerativas destes modelos serem um dos principais tópicos de atenção no campo de inteligência artificial, ainda existem poucos estudos analisando quantitativamente suas habilidades para tarefas mais tradicionais de NLP, como reconhecimento de entidades mencionadas. Esta ausência de estudos é ainda mais acentuada nas aplicações na língua portuguesa. Comparamos o uso de LLMs open-source (LLaMA 2) aplicando-se um finetuning de seus parâmetros, e de LLMs fechadas, como o ChatGPT e Gemini, aplicando-se técnicas de prompt engineering, em uma tarefa de reconhecimento de entidades numéricas. Como base para o estudo, os algoritmos serão testados em uma base de dados construída especialmente para o projeto, utilizando mais de 600 acórdãos jurídicos em português manualmente rotulados. Os resultados deste estudo também motivam uma discussão entre o paradigma atual de estudos de LLMs, comparando as habilidades e limitações de construção de prompts, instrucion-tuning e uma nova metodologia para finetuning via LoRA que não depende de prompts, aproximando estes modelos decoder-only à suas contrapartes mais tradicionais encoder-only. Neste relatório é apresentado as descrições teóricas dos dados utilizados, dos problemas estudados, dos algoritmos e da metodologia de construção de prompts e ajustes finos utilizadas.