Desenvolvimento de modelos de linguagem para extração de aspectos em língua portuguesa

• Ano de defesa: 2023
• Autor(a) principal: Ferreira Neto, José Carlos
• Orientador(a): Ferreira, Danton Diego
• Banca de defesa: Ferreira, Danton Diego, Barbosa, Bruno Henrique Groenner, Pereira, Denilson Alves, Cardoso, Paula Christina Figueira, Vitor, Giovani Bernardes
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de Lavras
• Programa de Pós-Graduação: Programa de Pós-graduação em Engenharia de Sistemas e Automação
• Departamento: Departamento de Engenharia
• País: brasil
• Palavras-chave em Português: Processamento de linguagem natural; Extração de aspectos; BERT; Modelos de linguagem; Natural language processing; Aspect extraction; Bidirectional Encoder Representations from Transformers; Language models
• Área do conhecimento CNPq: Ciência da Computação
• Link de acesso: https://repositorio.ufla.br/handle/1/58857

A identificação e extração de aspectos é essencial na análise de textos para discernir opiniões e emoções. Contudo, há uma lacuna na aplicação dessas técnicas ao português. Este trabalho visa adaptar abordagens originalmente desenvolvidas para o inglês a este idioma no conjuntos de dados TV e ReLi. O objetivo deste trabalho consiste em avaliar a aplicação de modelos de linguagem para extração de aspectos na língua portuguesa no contexto de revisões de aparelhos de TV e resenhas literárias nos conjuntos de dado TV e ReLi. Para alcançar este objetivo, modelos baseados na arquitetura BERT foram empregados, tanto na forma pré-treinada para domínios gerais (BERTimbau) quanto para domínios específicos (BERTtv e BERTreli). Além disso, uma técnica de duplo embedding foi implementada, combinando modelos de domínio geral e específico. Também foram avaliados Modelos de Linguagem de Larga Escala (Large Language Models - LLM), incluindo variantes do GPT-3 via API da OpenAI e uma variante do LLaMa, Cabrita, que é trei- nada para a língua portuguesa. Para otimizar a demanda por recursos de hardware, técnicas de ajuste fino eficiente, como LoRA (Low-Rank Adaptation) para o BERTimbau e QLoRa (Quantized Low-Rank Adaptation) para o Cabrita, foram aplicadas. Os resultados demonstraram que o modelo BERTimbau ajustado com LoRa se mostrou superior nos dois conjuntos de dados, alcançando F1 scores de 0.846 para o conjunto TV e 0.615 para o ReLi. Em contraste, o modelo Cabrita apresentou desempenho inferior, com resultados menos favoráveis para ambos os conjuntos de dados, 0.68 para o TV e 0.46 para o ReLi. Este estudo, portanto, oferece uma contribuição valiosa para a pesquisa em extração de aspectos em língua portuguesa, demonstrando a viabilidade e eficácia de adaptar e otimizar técnicas e modelos desenvolvidos originalmente para outros idiomas.