CLSJUR.BR - um modelo para sumarização abstrativa de documentos legais em língua portuguesa baseado em aprendizagem contrastiva

• Ano de defesa: 2025
• Autor(a) principal: Lins, Alex Aguiar
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Palavras-chave em Português: Documentoscopia; Aprendizagem de máquina; Linguagem jurídica
• Link de acesso: https://biblioteca.sophia.com.br/terminalri/9575/acervo/detalhe/593605

O crescente interesse por sumarização automática de documentos legais (em inglês, Automatic Legal Document Summarization - ALDS) tem atraído a atenção de pesquisadores em Processamento de Linguagem Natural (PLN), especialmente devido às particularidades dos textos jurídicos, que se distinguem por sua natureza técnica, vocabulário especializado e maior extensão. Este trabalho explorou amplamente tanto as abordagens extrativas quanto abstrativas para a sumarização de documentos legais, destacando as técnicas mais relevantes aplicadas nesse contexto. Devido à estrutura formal e ao vocabulário técnico dos documentos legais, os melhores desempenhos observados indicaram a eficácia da Aprendizagem Contrastiva, com ênfase na geração de sumários Diversificados Negativos ou falsos durante o treinamento dos modelos. Como avanço científico, este estudo propõe o modelo CLSJUR.BR, uma abordagem de sumarização abstrativa automática de documentos legais em português, que incorpora a técnica de Aprendizagem Contrastiva que gera sumários Diversificados Positivos a partir da diversificação proporcionada pelo Diverse Beam Search, ainda inédita na tarefa de ALDS. O modelo é estruturado em dois estágios principais: "Geração de Sumários Candidatos", onde múltiplos sumários diversificados são gerados, e "Avaliação de Sumários e Eleição do Sumário Final", onde os sumários são avaliados sem a necessidade de sumários de referência (reference-free evaluation). O modelo foi treinado e avaliado com base em modelos prétreinados, incluindo versões multilíngues e especializadas no domínio legal e em português, e no conjunto de dados RulingBR, composto por decisões judiciais de um tribunal superior do Sistema Jurídico Brasileiro, e comparado com sistemas de referência através de métricas como ROUGE, BERTScore e AlingScore. A avaliação experimental abordou as questões de pesquisa que orientaram a investigação. Na primeira questão de pesquisa, que analisou a contribuição de métodos alternativos de Aprendizagem Contrastiva para o desempenho de sistemas ALDS, os resultados mostraram que o método de "Gradiente de Sumários Diversificados Positivos" foi mais eficiente do que o "Gradiente de Sumários Diversificados Negativos", utilizado pelo sistema LegalSumm. Na segunda questão de pesquisa, que investigou o impacto de modelos pré-treinados para um idioma e domínio específico na ALDS para a língua portuguesa, concluiu-se que os modelos especializados, como LegalBert-PT e Bertimbau, apresentaram melhores resultados em comparação com modelos multilíngues e de domínio geral, especialmente para textos menores. Na terceira questão, que avaliou o desempenho dos LLMs, os experimentos indicaram que o CLSJUR.BR teve maior dificuldade em sumarizar textos longos em comparação com os LLMs da série GPT, mas superou-os na sumarização de textos curtos. Na avaliação qualitativa, o CLSJUR.BR foi o mais bem avaliado pelo avaliador LLM, confirmando a superioridade da técnica de "Gradiente de Sumários Diversificados Positivos". Além disso, os sumários avaliados por humanos mostraram uma moderada variação em relação à avaliação do LLM, com quatro dos seis sumários avaliados pelos especialistas convergindo com as análises do LLM. Além da principal contribuição que foi o desenvolvimento de um modelo de ALDS para o domínio jurídico brasileiro, utilizando diversas técnicas de Aprendizagem Contrastiva. esta pesquisa apresenta as seguintes contribuições: um estudo comparativo de sumarizadores em diferentes cenários, variando o uso de modelos de linguagem pré-treinados, incluindo modelos multilíngues, especializados em português e adaptados ao domínio legal; experimentos exploratórios com LLMs e estratégias de prompts; e uma abordagem para avaliação qualitativa dos sumários gerados, com avaliadores humanos e não-humanos (LLMs), para identificar lacunas e sugerir melhorias nas técnicas e modelos empregados. Entre as limitações do estudo, destacam-se as restrições relacionadas aos modelos de linguagem, custos de treinamento, e limitações do corpus e avaliadores humanos. Futuras extensões sugerem refinamentos nos LLMs, experimentos com outros LLMs e estratégias de prompts; consideração da factualidade e das entidades nomeadas (NER) no modelo proposto; e buscas por novos corpora jurídicos em português. Palavras-chave: Sumarização Automática de Textos. Documentos Jurídicos. Documentos Legais. Modelos de Linguagem. Aprendizagem Contrastiva. Reference-free Evaluation.