Um experimento comparativo da eficácia de diferentes LLM na geração de cenários Gherkin.

• Ano de defesa: 2025
• Autor(a) principal: SOUSA, Hiago Natan Fernandes de.
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de Campina Grande; Brasil; Centro de Engenharia Elétrica e Informática - CEEI; PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO; UFCG
• Palavras-chave em Português: Behavior-Driven Development (BDD); Gherkin; Modelos de linguagem de grande escala; Geração automatizada de cenários; Avaliação de qualidade; Análise de variabilidade; Large-scale language models; Automated scenario generation; Quality assessment; Variability analysis; Computação.; Informática.
• Link de acesso: https://dspace.sti.ufcg.edu.br/handle/riufcg/41048

OBehavior-Driven Development (BDD) é essencial no desenvolvimento de software mod erno, com a linguagem Gherkin sendo crucial para especificar cenários de teste. No entanto, a criação manual desses cenários é demorada e propensa a erros. Os Grandes Modelos de Linguagem (LLM) surgem como uma solução inovadora para automatizar e otimizar esse processo, oferecendo uma alternativa mais eficiente e confiável. Neste estudo, investigamos a eficácia de seis LLM (GPT-3.5 Turbo, GPT-4 Turbo, GPT 4o Mini, LLaMA 3, Phi-3 e Gemini) na geração automatizada de cenários Gherkin a partir de 1.286 cenários de teste reais. Aplicamos diferentes técnicas de prompting, como zero shot, one-shot e few-shot, para avaliar a qualidade e a consistência das saídas produzidas. O objetivo foi identificar a técnica e o modelo mais adequados para a criação de cenários BDD. Para conduzir a análise, foram selecionadas medidas de avaliação de qualidade e variabil idade, que foram correlacionadas com avaliações qualitativas realizadas por especialistas. Isso garantiu a escolha de métricas representativas que refletem adequadamente a qualidade dos cenários gerados. Além disso, análises estatísticas foram realizadas para verificar a ex istência de diferenças significativas entre os modelos e técnicas aplicadas, assegurando a robustez metodológica do estudo. A análise de variabilidade apontou que a consistência dos modelos depende da técnica utilizada: em zero-shot, o Gemini foi mais consistente, enquanto LLaMA 3 e GPT-3.5 Turbo apresentaram maior variabilidade. Em one-shot, GPT-4o Mini e GPT-4 Turbo se destacaram pela estabilidade, ao passo que em few-shot, GPT-4o Mini e LLaMA 3 foram os mais es táveis. A análise de desempenho revelou que a técnica zero-shot foi a mais eficaz em diversos contextos, especialmente quando aplicada ao modelo Gemini. No entanto, análises estatís ticas, como o teste de Kruskal-Wallis, demonstraram que as diferenças observadas entre os modelos não foram estatisticamente significativas.