Algoritmos baseados em atenção neural para a automação da classicação multirrótulo de acórdãos jurídicos - Serras, Felipe Ribas (2021)
No Brasil e em vários outros países, decisões de tribunais superiores criam jurisprudência e podem ser utilizadas na resolução de casos semelhantes. Os acórdãos, textos que registram tais decisões, contam com uma classificação multicategoria e multirrótulo chamada de verbetação, realizada manualmente com a intenção de que tais documentos possam ser facilmente buscados e recuperados. A literatura da área já identificou vários problemas na elaboração dessas verbetações; concomitantemente, algoritmos neurais de linguística computacional baseados em atenção, como o Transformer e o BERT, têm ganhado destaque ao permitir que a resolução automática de problemas linguísticos atinja patamares nunca antes alcançados, lançando questões sobre seus limites, potencial e aplicabilidade. O trabalho de pesquisa aqui apresentado consiste num estudo inicial do uso de algoritmos baseados em atenção para a automação da verbetação de acórdãos em português, com o intuito de lançar caminhos para a resolução dos problemas listados na literatura e de agregar conhecimento do escopo e funcionalidade dessa família de métodos. Para tal, utilizamos dados do Projeto Kollemata como base para implementar e treinar versões multicategoria e multirrótulo de diversos modelos BERT, com o intuito de realizar a verbetação de acórdãos de maneira automática. Esse processo constituiu-se de três etapas: a construção de um córpus processável a partir dos dados do Kollemata e a consequente análise exploratória desse córpus com o intuito de mapear as propriedades dos dados a serem utilizados; a adequação ontológica e taxonômica do sistema de classes do córpus com base nos resultados obtidos dessa análise, de maneira a tornar a classificação computacionalmente viável; a implementação de uma versão multicategoria e multirrótulo do BERT e seu treinamento com o córpus adequado, sob diversos parâmetros e usando diferentes modelos BERT de interesse, de maneira a avaliar o comportamento e limites das médias da Medida-F1 e outros índices de performance. Obtivemos, no melhor caso, 72% para a micro-média da medida-F1 e 71% para sua macro-média, constituindo ganhos da ordem de 30% ou mais em relação aos baselines estatísticos utilizados. Além disso, encontramos uma família ótima de parâmetros para essa tarefa, condizente com valores ótimos obtidos para tarefas distintas e observamos uma série de propriedades interessantes da evolução das métricas de performance em função de diferentes parâmetros. Registramos, também, melhor performance dos modelos maiores e pré-treinados com dados em português, em comparação com modelos menores e multilinguais. Entretanto, essa vantagem é pequena, o que indica a possibilidade da utilização de modelos menores e multilinguais para essa tarefa em específico, sem perda significativa de qualidade. Uma análise cuidadosa desse e de outros resultados auxiliares aqui apresentados, também nos levou a concluir que a principal barreira na obtenção de melhores resultados de performance é a forma como os dados foram classificados e organizados, indicando esse como principal aspecto de melhora a ser implementado em trabalhos futuros.