Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código

Detalhes bibliográficos
Ano de defesa: 2025
Autor(a) principal: Oliveira, Bruno Alves de
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Tecnológica Federal do Paraná
Campo Mourao
Brasil
Programa de Pós-Graduação em Ciência da Computação
UTFPR
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: http://repositorio.utfpr.edu.br/jspui/handle/1/39539
Resumo: The popularization of Large Language Models (LLMs) has transformed software engineering, enabling programmers of varying proficiency levels to obtain support in code comprehension and implementation tasks. The primary objective of this research was to understand how different developer profiles interact with these tools, investigating the influence of experience and cognitive style (measured by the GenderMag method) on prompt construction and problem-solving strategies. The methodology consisted of an empirical study involving 27 participants, comprising both students and professionals from various nationalities. Initially, participants completed sociodemographic and cognitive profile questionnaires to be classified into GenderMag personas (Abi and Tim). Subsequently, they performed six development and debugging tasks on a fork of the TodoMVC project within a 40-minute time limit, utilizing GitHub Copilot freely. A mixed-methods data analysis was employed, evaluating quantitative aspects (linguistic metrics and interaction counts) and qualitative aspects (prompt type classification). The results indicated that linguistic effort in prompt formulation is adaptive: more complex tasks result in greater verbosity, although the language remains accessible, with an estimated reading level between the 8th and 9th grades. Qualitatively, the predominant prompt category wasthe "Open Question,"suggesting that users utilize the LLM primarily as a tutor to understand code context rather than merely as a solution generator. Comparative analysis revealed a statistically significant association between the user profile and the type of interaction: TIM profile users tend to be more direct and concise, whereas ABI users are more verbose. Furthermore, experience acted as a moderating factor: ABI novices resorted to excessively long prompts to compensate for a lack of technical vocabulary, while experienced professionals of the same profile overcame expected risk aversion, adopting more objective instructions. It is concluded that interaction with AI-based programming assistants is not uniform, being significantly influenced by the combination of cognitive style and the users’ experience level. This study highlights the need for more inclusive LLM tools capable of assisting in intent synthesis for verbose users and emphasizes the importance of developers enhancing their technical vocabulary for more efficient communication with intelligent agents.
id UTFPR-12_1fe899ccab55149397b99dac878b059e
oai_identifier_str oai:repositorio.utfpr.edu.br:1/39539
network_acronym_str UTFPR-12
network_name_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository_id_str
spelling Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de códigoA study of prompt patterns used in Large Language Models during programming and code comprehension tasksLinguística computacionalInteligência artificialProcessamento de linguagem naturalComputational linguisticsArtificial intelligenceNatural language processing (Computer science)CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOCiência da ComputaçãoThe popularization of Large Language Models (LLMs) has transformed software engineering, enabling programmers of varying proficiency levels to obtain support in code comprehension and implementation tasks. The primary objective of this research was to understand how different developer profiles interact with these tools, investigating the influence of experience and cognitive style (measured by the GenderMag method) on prompt construction and problem-solving strategies. The methodology consisted of an empirical study involving 27 participants, comprising both students and professionals from various nationalities. Initially, participants completed sociodemographic and cognitive profile questionnaires to be classified into GenderMag personas (Abi and Tim). Subsequently, they performed six development and debugging tasks on a fork of the TodoMVC project within a 40-minute time limit, utilizing GitHub Copilot freely. A mixed-methods data analysis was employed, evaluating quantitative aspects (linguistic metrics and interaction counts) and qualitative aspects (prompt type classification). The results indicated that linguistic effort in prompt formulation is adaptive: more complex tasks result in greater verbosity, although the language remains accessible, with an estimated reading level between the 8th and 9th grades. Qualitatively, the predominant prompt category wasthe "Open Question,"suggesting that users utilize the LLM primarily as a tutor to understand code context rather than merely as a solution generator. Comparative analysis revealed a statistically significant association between the user profile and the type of interaction: TIM profile users tend to be more direct and concise, whereas ABI users are more verbose. Furthermore, experience acted as a moderating factor: ABI novices resorted to excessively long prompts to compensate for a lack of technical vocabulary, while experienced professionals of the same profile overcame expected risk aversion, adopting more objective instructions. It is concluded that interaction with AI-based programming assistants is not uniform, being significantly influenced by the combination of cognitive style and the users’ experience level. This study highlights the need for more inclusive LLM tools capable of assisting in intent synthesis for verbose users and emphasizes the importance of developers enhancing their technical vocabulary for more efficient communication with intelligent agents.A popularização dos Modelos de Linguagem de Grande Escala (LLMs) tem transformado a engenharia de software, permitindo que programadores de diversos níveis obtenham suporte em tarefas de compreensão e implementação de código. O objetivo principal desta pesquisa foi compreender como diferentes perfis de desenvolvedores interagem com essas ferramentas, investigando a influência da experiência e do estilo cognitivo (mensurado pelo método GenderMag) na construção de prompts e nas estratégias de resolução de problemas. A metodologia consistiu em um estudo empírico com estudantes e profissionais de diferentes nacionalidades, totalizando 27 participantes. Inicialmente, os participantes responderam a questionários sociodemográficos e de perfil cognitivo para classificação nas personas GenderMag (Abi e Tim). Em seguida, realizaram seis tarefas de desenvolvimento e correção de bugs em uma cópia do projeto TodoMVC, com tempo limite de 40 minutos, utilizando o Copilot livremente. A análise dos dados foi mista, avaliando aspectos quantitativos (métricas linguísticas e contagem de interações) e qualitativos (classificação dos tipos de prompt). Os resultados indicaram que o esforço linguístico na elaboração dos prompts é adaptativo: tarefas mais complexas resultam em maior verbosidade, embora a linguagem permaneça acessível, com nível escolar estimado entre a 8ª e a 9ª série. Qualitativamente, a categoria de prompt predominante foi a "Pergunta Aberta", sugerindo que os usuários utilizam a LLM principalmente como um tutor para compreender o contexto do código, e não apenas como gerador de soluções. A análise comparativa revelou uma associação estatisticamente significativa entre o perfil e o tipo de interação: usuários com perfil TIM tendem a ser mais diretos e concisos, enquanto usuários ABI são mais verbosos. Além disso, a experiência atuou como fator moderador, onde novatos do perfil Abi recorreram a prompts excessivamente longos para compensar a falta de vocabulário técnico, enquanto profissionais experientes desse mesmo perfil superaram a aversão ao risco esperada, adotando instruções mais objetivas. Conclui-se que a interação com assistentes de programação baseados em Inteligência Artificial não se apresenta de maneira uniforme, sendo significativamente influenciada pela combinação entre o estilo cognitivo e o nível de experiência dos usuários. O estudo aponta a necessidade de ferramentas de LLM mais inclusivas, capazes de auxiliar na síntese de intenção para usuários verbosos, e destaca a importância de os desenvolvedores aprimorarem seu vocabulário técnico para uma comunicação mais eficiente com os agentes inteligentes.Universidade Tecnológica Federal do ParanáCampo MouraoBrasilPrograma de Pós-Graduação em Ciência da ComputaçãoUTFPRWiese, Igor Scaliantehttps://orcid.org/0000-0001-9943-5570https://lattes.cnpq.br/0447444423694007Polato, Ivaniltonhttps://orcid.org/0000-0003-1762-7742https://lattes.cnpq.br/7551030263039033Wessel, Mairieli Santoshttps://orcid.org/0000-0001-8619-726Xhttps://lattes.cnpq.br/2533898351621787Wiese, Igor Scaliantehttps://orcid.org/0000-0001-9943-5570https://lattes.cnpq.br/0447444423694007Oliveira, Bruno Alves de2026-03-03T13:12:46Z2026-03-03T13:12:46Z2025-12-16info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfOLIVEIRA, Bruno Alves de. Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código. 2025. Dissertação (Mestrado em Ciência da Computação) - Universidade Tecnológica Federal do Paraná, Campo Mourão, 2025.http://repositorio.utfpr.edu.br/jspui/handle/1/39539porhttps://creativecommons.org/licenses/by-nc/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2026-03-04T06:13:32Zoai:repositorio.utfpr.edu.br:1/39539Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2026-03-04T06:13:32Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false
dc.title.none.fl_str_mv Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código
A study of prompt patterns used in Large Language Models during programming and code comprehension tasks
title Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código
spellingShingle Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código
Oliveira, Bruno Alves de
Linguística computacional
Inteligência artificial
Processamento de linguagem natural
Computational linguistics
Artificial intelligence
Natural language processing (Computer science)
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Ciência da Computação
title_short Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código
title_full Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código
title_fullStr Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código
title_full_unstemmed Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código
title_sort Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código
author Oliveira, Bruno Alves de
author_facet Oliveira, Bruno Alves de
author_role author
dc.contributor.none.fl_str_mv Wiese, Igor Scaliante
https://orcid.org/0000-0001-9943-5570
https://lattes.cnpq.br/0447444423694007
Polato, Ivanilton
https://orcid.org/0000-0003-1762-7742
https://lattes.cnpq.br/7551030263039033
Wessel, Mairieli Santos
https://orcid.org/0000-0001-8619-726X
https://lattes.cnpq.br/2533898351621787
Wiese, Igor Scaliante
https://orcid.org/0000-0001-9943-5570
https://lattes.cnpq.br/0447444423694007
dc.contributor.author.fl_str_mv Oliveira, Bruno Alves de
dc.subject.por.fl_str_mv Linguística computacional
Inteligência artificial
Processamento de linguagem natural
Computational linguistics
Artificial intelligence
Natural language processing (Computer science)
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Ciência da Computação
topic Linguística computacional
Inteligência artificial
Processamento de linguagem natural
Computational linguistics
Artificial intelligence
Natural language processing (Computer science)
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Ciência da Computação
description The popularization of Large Language Models (LLMs) has transformed software engineering, enabling programmers of varying proficiency levels to obtain support in code comprehension and implementation tasks. The primary objective of this research was to understand how different developer profiles interact with these tools, investigating the influence of experience and cognitive style (measured by the GenderMag method) on prompt construction and problem-solving strategies. The methodology consisted of an empirical study involving 27 participants, comprising both students and professionals from various nationalities. Initially, participants completed sociodemographic and cognitive profile questionnaires to be classified into GenderMag personas (Abi and Tim). Subsequently, they performed six development and debugging tasks on a fork of the TodoMVC project within a 40-minute time limit, utilizing GitHub Copilot freely. A mixed-methods data analysis was employed, evaluating quantitative aspects (linguistic metrics and interaction counts) and qualitative aspects (prompt type classification). The results indicated that linguistic effort in prompt formulation is adaptive: more complex tasks result in greater verbosity, although the language remains accessible, with an estimated reading level between the 8th and 9th grades. Qualitatively, the predominant prompt category wasthe "Open Question,"suggesting that users utilize the LLM primarily as a tutor to understand code context rather than merely as a solution generator. Comparative analysis revealed a statistically significant association between the user profile and the type of interaction: TIM profile users tend to be more direct and concise, whereas ABI users are more verbose. Furthermore, experience acted as a moderating factor: ABI novices resorted to excessively long prompts to compensate for a lack of technical vocabulary, while experienced professionals of the same profile overcame expected risk aversion, adopting more objective instructions. It is concluded that interaction with AI-based programming assistants is not uniform, being significantly influenced by the combination of cognitive style and the users’ experience level. This study highlights the need for more inclusive LLM tools capable of assisting in intent synthesis for verbose users and emphasizes the importance of developers enhancing their technical vocabulary for more efficient communication with intelligent agents.
publishDate 2025
dc.date.none.fl_str_mv 2025-12-16
2026-03-03T13:12:46Z
2026-03-03T13:12:46Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv OLIVEIRA, Bruno Alves de. Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código. 2025. Dissertação (Mestrado em Ciência da Computação) - Universidade Tecnológica Federal do Paraná, Campo Mourão, 2025.
http://repositorio.utfpr.edu.br/jspui/handle/1/39539
identifier_str_mv OLIVEIRA, Bruno Alves de. Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código. 2025. Dissertação (Mestrado em Ciência da Computação) - Universidade Tecnológica Federal do Paraná, Campo Mourão, 2025.
url http://repositorio.utfpr.edu.br/jspui/handle/1/39539
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv https://creativecommons.org/licenses/by-nc/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv https://creativecommons.org/licenses/by-nc/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Campo Mourao
Brasil
Programa de Pós-Graduação em Ciência da Computação
UTFPR
publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Campo Mourao
Brasil
Programa de Pós-Graduação em Ciência da Computação
UTFPR
dc.source.none.fl_str_mv reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
instname:Universidade Tecnológica Federal do Paraná (UTFPR)
instacron:UTFPR
instname_str Universidade Tecnológica Federal do Paraná (UTFPR)
instacron_str UTFPR
institution UTFPR
reponame_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
collection Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository.name.fl_str_mv Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)
repository.mail.fl_str_mv riut@utfpr.edu.br || sibi@utfpr.edu.br
_version_ 1879057130283073536