LLMs as tools for evaluating textual coherence: a comparative analysis. - BARBOSA, Bryan Khelven da Silva. (2024)
A coerência textual é fundamental para a compreensão eĄcaz, determinando a clareza, a compreensibilidade e a qualidade geral do conteúdo. Modelos de Linguagem de Larga Escala (LLMs) recentes, treinados em corpora extensivos, têm demonstrado capacidades impressionantes em produzir textos coerentes e contextualmente relevantes, aumentando seu potencial para tarefas de análise textual. No entanto, a habilidade desses modelos em realizar a análise de coerência em diversos textos de entrada ainda está sob investigação. Neste estudo, avaliamos o desempenho de modelos de linguagem avançados na análise automática de coerência textual. Os modelos avaliados incluem GPT-4o, GPT-3.5, GPT-4, Claude Opus, Claude 3 Sonet, Claude 3 Haiku, Bard, LLaMA 2 13b e LLaMA 2 7b. Nossa pesquisa investigou a capacidade desses modelos em avaliar a coerência textual em diferentes níveis. Primeiro, focamos na coerência local, que se refere à consistência lógica e contextual entre sentenças adjacentes ou pequenos segmentos de texto. Nossos resultados indicam que GPT-4o, Claude Opus e Gemini se destacam nessa tarefa, demonstrando desempenho superior na manutenção da continuidade temática e Ćuência entre sentenças consecutivas. Em seguida, exploramos a coerência global, que envolve a consistência lógica e temática de textos inteiros. Nesse aspecto, o modelo Claude Opus mostrou-se o mais eĄcaz, garantindo que o texto mantenha um Ćuxo consistente e lógico do começo ao Ąm. Por Ąm, examinamos a capacidade dos modelos em identiĄcar incoerências, como elementos ou segmentos que quebram a continuidade lógica e temática. Nessa tarefa, o GPT-4o se destacou, mostrando uma acuidade excepcional na detecção e sinalização de incoerências. Esse aspecto é crucial para aplicações onde precisão e clareza são necessárias, como na escrita assistida por IA e na revisão de textos. Nossa análise comparativa oferece insights sobre as capacidades e limitações dos modelos de linguagem de grande porte atuais na análise de coerência textual. Além disso, nossos achados contribuem para a compreensão de como esses modelos podem ser aplicados em diversos contextos de processamento de linguagem natural, promovendo avanços contínuos neste campo.