Uma investigação sobre como LLaMA-2 13B revisa código-fonte com ênfase em smell

• Ano de defesa: 2025
• Autor(a) principal: ALMEIDA, João Victor Soares de.
• Orientador(a): MONTEIRO, João Arthur Brunet.
• Banca de defesa: MASSONI, Tiago Lima., TEIXEIRA , Leopoldo Motta.
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de Campina Grande
• Programa de Pós-Graduação: PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
• Departamento: Centro de Engenharia Elétrica e Informática - CEEI
• País: Brasil
• Palavras-chave em Português: Prompt; Análise sistemática; Pull Requests; LLaMA-2 13B; Code smells; Revisão de código; Systematic analysis; Code review
• Área do conhecimento CNPq: Ciência da Computação
• Link de acesso: https://dspace.sti.ufcg.edu.br/handle/riufcg/42073

A revisão de código em projetos de código aberto é uma prática comum e essencial no desenvolvimento de software, visando garantir a qualidade do código-fonte e detectar problemas na implementação. No entanto, embora essencial, essa prática manual pode se tornar dispendiosa e suscetível a erros, especialmente em projetos maiores e colaborativos. Diante deste cenário, investigamos como o Large Language Model Meta AI (LLaMA-2 13B) pode contribuir especificamente na revisão de code smells, buscando compreender suas capacidades e limitações no ciclo de desenvolvimento. Nossa investigação baseou-se em dados extraídos de projetos de código aberto consolidados como Neovim, Keycloak e gRPC. Partindo de 19.149 comentários distribuídos em 6.365 Pull Requests, aplicamos uma abordagem híbrida que consistiu em filtragem sistemática por palavras-chave seguida de análise manual dos comentários, resultando em um dataset focado em code smells de 3.023 comentários. Após desenvolver um prompt específico para orientar as revisões do modelo, selecionamos uma amostra estratificada de 637 comentários (21,10% do dataset) para uma avaliação detalhada. Os resultados revelaram que 91,73% das revisões do modelo apresentaram baixa similaridade com as revisões humanas. Nossa análise qualitativa identificou que em 72% das intervenções o modelo diverge do foco dos revisores humanos, embora forneça análises tecnicamente abrangentes em 48,3% dos casos. Os resultados sugerem que, embora o LLaMA-2 13B seja capaz de realizar análises relevantes, suas limitações de contexto resultam em revisões que frequentemente divergem do foco dos revisores humanos. Por fim, concluímos que o modelo pode ser mais efetivo quando utilizado como ferramenta complementar à revisão humana, não como substituto. Palavras-chave: Revisão de código; code smells; LLaMA-2 13B; Pull Requests; análise sistemática; prompt.