LLMs as tools for evaluating textual coherence: a comparative analysis.

• Ano de defesa: 2024
• Autor(a) principal: BARBOSA, Bryan Khelven da Silva.
• Orientador(a): CAMPELO, Cláudio Elízio Calazans.
• Banca de defesa: MARINHO, Leandro Balby., SANTOS E SOUZA, Marlo Vieira dos Santos.
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de Campina Grande
• Programa de Pós-Graduação: PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
• Departamento: Centro de Engenharia Elétrica e Informática - CEEI
• País: Brasil
• Palavras-chave em Português: PLN; Comparação; Incoerência; Coerência Textual
• Área do conhecimento CNPq: Ciência da Computação
• Link de acesso: https://dspace.sti.ufcg.edu.br/handle/riufcg/40791

A coerência textual é fundamental para a compreensão eĄcaz, determinando a clareza, a compreensibilidade e a qualidade geral do conteúdo. Modelos de Linguagem de Larga Escala (LLMs) recentes, treinados em corpora extensivos, têm demonstrado capacidades impressionantes em produzir textos coerentes e contextualmente relevantes, aumentando seu potencial para tarefas de análise textual. No entanto, a habilidade desses modelos em realizar a análise de coerência em diversos textos de entrada ainda está sob investigação. Neste estudo, avaliamos o desempenho de modelos de linguagem avançados na análise automática de coerência textual. Os modelos avaliados incluem GPT-4o, GPT-3.5, GPT-4, Claude Opus, Claude 3 Sonet, Claude 3 Haiku, Bard, LLaMA 2 13b e LLaMA 2 7b. Nossa pesquisa investigou a capacidade desses modelos em avaliar a coerência textual em diferentes níveis. Primeiro, focamos na coerência local, que se refere à consistência lógica e contextual entre sentenças adjacentes ou pequenos segmentos de texto. Nossos resultados indicam que GPT-4o, Claude Opus e Gemini se destacam nessa tarefa, demonstrando desempenho superior na manutenção da continuidade temática e Ćuência entre sentenças consecutivas. Em seguida, exploramos a coerência global, que envolve a consistência lógica e temática de textos inteiros. Nesse aspecto, o modelo Claude Opus mostrou-se o mais eĄcaz, garantindo que o texto mantenha um Ćuxo consistente e lógico do começo ao Ąm. Por Ąm, examinamos a capacidade dos modelos em identiĄcar incoerências, como elementos ou segmentos que quebram a continuidade lógica e temática. Nessa tarefa, o GPT-4o se destacou, mostrando uma acuidade excepcional na detecção e sinalização de incoerências. Esse aspecto é crucial para aplicações onde precisão e clareza são necessárias, como na escrita assistida por IA e na revisão de textos. Nossa análise comparativa oferece insights sobre as capacidades e limitações dos modelos de linguagem de grande porte atuais na análise de coerência textual. Além disso, nossos achados contribuem para a compreensão de como esses modelos podem ser aplicados em diversos contextos de processamento de linguagem natural, promovendo avanços contínuos neste campo.