Interpretabilidade em textos jurídicos: uma metodologia para avaliar o impacto do contexto na classificação de documentos

• Ano de defesa: 2025
• Autor(a) principal: Almeida, Vitor Freitas de
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Palavras-chave em Português: Inteligência artificial - Aspectos jurídicos; Linguística - Aspectos jurídicos; Direito - Legislação
• Link de acesso: https://biblioteca.sophia.com.br/terminalri/9575/acervo/detalhe/591231

A crescente digitalização do Judiciário brasileiro, com apenas 2,8% de processos físicos iniciados em 2021, faz com que a maioria dos processos atualmente tramite em meio eletrônico. Para analisar o conteúdo desses documentos em grande escala, são necessá-rias técnicas avançadas de Processamento de Linguagem Natural (PLN). Esse cenário é desafiador pela complexidade do discurso jurídico, marcada por terminologia técnica, argumentação densa e demanda por transparência. Diante disso, este trabalho propõe uma metodologia que combina a interpretabilidade baseada em Gradientes Integrados com uma LLM (GPT-4o) para oferecer um arcabouço de suporte a profissionais de PLN que precisam compreender melhor os resultados de suas tarefas, bem como avaliar o impacto da escolha da janela de contexto do modelo. Como estudo de caso, aborda-se a classificação de um conjunto de 300 mil petições iniciais do Tribunal de Justiça do Ceará (TJCE), categorizadas em 307 classes segundo as definições da Tabela Processual Unificada (TPU). Os resultados indicam que o uso de uma janela longa (4096 tokens) supera o uso de uma janela curta (512 tokens) em termos de desempenho geral. Entretanto, esse ganho varia conforme a categoria do Direito. Por exemplo, no Direito da Saúde, houve um aumento de +5,44 pontos percentuais, enquanto no Direito Processual Civil e no Direito do Trabalho, o acréscimo foi de apenas +0,48 pontos. Além disso, observou-se que, nos documentos com maiores ganhos, as atribuições se concentraram mais no final do texto, ao contrário dos demais. Identificou-se, portanto, uma correlação negativa (r = -0,68) entre a importância atribuída aos primeiros 512 tokens e o ganho de acurácia. Isso demonstra que o método de interpretabilidade é capaz de destacar as áreas mais relevantes utilizadas pelo modelo para compreender o assunto principal do texto. Também desenvolvemos uma técnica para identificar subtemas no texto que geram maior confusão para o modelo. Por exemplo, o modelo apresenta dificuldade em classificar textos sobre "contratos" como pertencentes ao Direito Civil ou ao Direito do Consumidor. Por fim, com base nas sentenças-chave geradas pelo método de interpretabilidade, elabora- mos uma série de prompts que, ao receberem essas sentenças, permitem à LLM identificar padrões de erros recorrentes no modelo. Verificamos que uma das confusões entre Direito Administrativo e Direito Tributário resulta da ênfase em termos como "férias" e "13º salário", além da dificuldade em distinguir entre o contexto da CLT e o regime estatutário. A sistematização desses erros culminou em uma taxonomia que oferece ao especialista elementos para aprimorar a precisão do modelo, além de proporcionar maior transparência sobre seu funcionamento. Palavras-chave: Inteligência Artificial. Interpretabilidade. Direito.