Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código
| Ano de defesa: | 2025 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Tecnológica Federal do Paraná
Campo Mourao Brasil Programa de Pós-Graduação em Ciência da Computação UTFPR |
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | http://repositorio.utfpr.edu.br/jspui/handle/1/39539 |
Resumo: | The popularization of Large Language Models (LLMs) has transformed software engineering, enabling programmers of varying proficiency levels to obtain support in code comprehension and implementation tasks. The primary objective of this research was to understand how different developer profiles interact with these tools, investigating the influence of experience and cognitive style (measured by the GenderMag method) on prompt construction and problem-solving strategies. The methodology consisted of an empirical study involving 27 participants, comprising both students and professionals from various nationalities. Initially, participants completed sociodemographic and cognitive profile questionnaires to be classified into GenderMag personas (Abi and Tim). Subsequently, they performed six development and debugging tasks on a fork of the TodoMVC project within a 40-minute time limit, utilizing GitHub Copilot freely. A mixed-methods data analysis was employed, evaluating quantitative aspects (linguistic metrics and interaction counts) and qualitative aspects (prompt type classification). The results indicated that linguistic effort in prompt formulation is adaptive: more complex tasks result in greater verbosity, although the language remains accessible, with an estimated reading level between the 8th and 9th grades. Qualitatively, the predominant prompt category wasthe "Open Question,"suggesting that users utilize the LLM primarily as a tutor to understand code context rather than merely as a solution generator. Comparative analysis revealed a statistically significant association between the user profile and the type of interaction: TIM profile users tend to be more direct and concise, whereas ABI users are more verbose. Furthermore, experience acted as a moderating factor: ABI novices resorted to excessively long prompts to compensate for a lack of technical vocabulary, while experienced professionals of the same profile overcame expected risk aversion, adopting more objective instructions. It is concluded that interaction with AI-based programming assistants is not uniform, being significantly influenced by the combination of cognitive style and the users’ experience level. This study highlights the need for more inclusive LLM tools capable of assisting in intent synthesis for verbose users and emphasizes the importance of developers enhancing their technical vocabulary for more efficient communication with intelligent agents. |
| id |
UTFPR-12_1fe899ccab55149397b99dac878b059e |
|---|---|
| oai_identifier_str |
oai:repositorio.utfpr.edu.br:1/39539 |
| network_acronym_str |
UTFPR-12 |
| network_name_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository_id_str |
|
| spelling |
Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de códigoA study of prompt patterns used in Large Language Models during programming and code comprehension tasksLinguística computacionalInteligência artificialProcessamento de linguagem naturalComputational linguisticsArtificial intelligenceNatural language processing (Computer science)CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOCiência da ComputaçãoThe popularization of Large Language Models (LLMs) has transformed software engineering, enabling programmers of varying proficiency levels to obtain support in code comprehension and implementation tasks. The primary objective of this research was to understand how different developer profiles interact with these tools, investigating the influence of experience and cognitive style (measured by the GenderMag method) on prompt construction and problem-solving strategies. The methodology consisted of an empirical study involving 27 participants, comprising both students and professionals from various nationalities. Initially, participants completed sociodemographic and cognitive profile questionnaires to be classified into GenderMag personas (Abi and Tim). Subsequently, they performed six development and debugging tasks on a fork of the TodoMVC project within a 40-minute time limit, utilizing GitHub Copilot freely. A mixed-methods data analysis was employed, evaluating quantitative aspects (linguistic metrics and interaction counts) and qualitative aspects (prompt type classification). The results indicated that linguistic effort in prompt formulation is adaptive: more complex tasks result in greater verbosity, although the language remains accessible, with an estimated reading level between the 8th and 9th grades. Qualitatively, the predominant prompt category wasthe "Open Question,"suggesting that users utilize the LLM primarily as a tutor to understand code context rather than merely as a solution generator. Comparative analysis revealed a statistically significant association between the user profile and the type of interaction: TIM profile users tend to be more direct and concise, whereas ABI users are more verbose. Furthermore, experience acted as a moderating factor: ABI novices resorted to excessively long prompts to compensate for a lack of technical vocabulary, while experienced professionals of the same profile overcame expected risk aversion, adopting more objective instructions. It is concluded that interaction with AI-based programming assistants is not uniform, being significantly influenced by the combination of cognitive style and the users’ experience level. This study highlights the need for more inclusive LLM tools capable of assisting in intent synthesis for verbose users and emphasizes the importance of developers enhancing their technical vocabulary for more efficient communication with intelligent agents.A popularização dos Modelos de Linguagem de Grande Escala (LLMs) tem transformado a engenharia de software, permitindo que programadores de diversos níveis obtenham suporte em tarefas de compreensão e implementação de código. O objetivo principal desta pesquisa foi compreender como diferentes perfis de desenvolvedores interagem com essas ferramentas, investigando a influência da experiência e do estilo cognitivo (mensurado pelo método GenderMag) na construção de prompts e nas estratégias de resolução de problemas. A metodologia consistiu em um estudo empírico com estudantes e profissionais de diferentes nacionalidades, totalizando 27 participantes. Inicialmente, os participantes responderam a questionários sociodemográficos e de perfil cognitivo para classificação nas personas GenderMag (Abi e Tim). Em seguida, realizaram seis tarefas de desenvolvimento e correção de bugs em uma cópia do projeto TodoMVC, com tempo limite de 40 minutos, utilizando o Copilot livremente. A análise dos dados foi mista, avaliando aspectos quantitativos (métricas linguísticas e contagem de interações) e qualitativos (classificação dos tipos de prompt). Os resultados indicaram que o esforço linguístico na elaboração dos prompts é adaptativo: tarefas mais complexas resultam em maior verbosidade, embora a linguagem permaneça acessível, com nível escolar estimado entre a 8ª e a 9ª série. Qualitativamente, a categoria de prompt predominante foi a "Pergunta Aberta", sugerindo que os usuários utilizam a LLM principalmente como um tutor para compreender o contexto do código, e não apenas como gerador de soluções. A análise comparativa revelou uma associação estatisticamente significativa entre o perfil e o tipo de interação: usuários com perfil TIM tendem a ser mais diretos e concisos, enquanto usuários ABI são mais verbosos. Além disso, a experiência atuou como fator moderador, onde novatos do perfil Abi recorreram a prompts excessivamente longos para compensar a falta de vocabulário técnico, enquanto profissionais experientes desse mesmo perfil superaram a aversão ao risco esperada, adotando instruções mais objetivas. Conclui-se que a interação com assistentes de programação baseados em Inteligência Artificial não se apresenta de maneira uniforme, sendo significativamente influenciada pela combinação entre o estilo cognitivo e o nível de experiência dos usuários. O estudo aponta a necessidade de ferramentas de LLM mais inclusivas, capazes de auxiliar na síntese de intenção para usuários verbosos, e destaca a importância de os desenvolvedores aprimorarem seu vocabulário técnico para uma comunicação mais eficiente com os agentes inteligentes.Universidade Tecnológica Federal do ParanáCampo MouraoBrasilPrograma de Pós-Graduação em Ciência da ComputaçãoUTFPRWiese, Igor Scaliantehttps://orcid.org/0000-0001-9943-5570https://lattes.cnpq.br/0447444423694007Polato, Ivaniltonhttps://orcid.org/0000-0003-1762-7742https://lattes.cnpq.br/7551030263039033Wessel, Mairieli Santoshttps://orcid.org/0000-0001-8619-726Xhttps://lattes.cnpq.br/2533898351621787Wiese, Igor Scaliantehttps://orcid.org/0000-0001-9943-5570https://lattes.cnpq.br/0447444423694007Oliveira, Bruno Alves de2026-03-03T13:12:46Z2026-03-03T13:12:46Z2025-12-16info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfOLIVEIRA, Bruno Alves de. Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código. 2025. Dissertação (Mestrado em Ciência da Computação) - Universidade Tecnológica Federal do Paraná, Campo Mourão, 2025.http://repositorio.utfpr.edu.br/jspui/handle/1/39539porhttps://creativecommons.org/licenses/by-nc/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2026-03-04T06:13:32Zoai:repositorio.utfpr.edu.br:1/39539Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2026-03-04T06:13:32Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false |
| dc.title.none.fl_str_mv |
Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código A study of prompt patterns used in Large Language Models during programming and code comprehension tasks |
| title |
Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código |
| spellingShingle |
Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código Oliveira, Bruno Alves de Linguística computacional Inteligência artificial Processamento de linguagem natural Computational linguistics Artificial intelligence Natural language processing (Computer science) CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Ciência da Computação |
| title_short |
Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código |
| title_full |
Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código |
| title_fullStr |
Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código |
| title_full_unstemmed |
Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código |
| title_sort |
Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código |
| author |
Oliveira, Bruno Alves de |
| author_facet |
Oliveira, Bruno Alves de |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Wiese, Igor Scaliante https://orcid.org/0000-0001-9943-5570 https://lattes.cnpq.br/0447444423694007 Polato, Ivanilton https://orcid.org/0000-0003-1762-7742 https://lattes.cnpq.br/7551030263039033 Wessel, Mairieli Santos https://orcid.org/0000-0001-8619-726X https://lattes.cnpq.br/2533898351621787 Wiese, Igor Scaliante https://orcid.org/0000-0001-9943-5570 https://lattes.cnpq.br/0447444423694007 |
| dc.contributor.author.fl_str_mv |
Oliveira, Bruno Alves de |
| dc.subject.por.fl_str_mv |
Linguística computacional Inteligência artificial Processamento de linguagem natural Computational linguistics Artificial intelligence Natural language processing (Computer science) CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Ciência da Computação |
| topic |
Linguística computacional Inteligência artificial Processamento de linguagem natural Computational linguistics Artificial intelligence Natural language processing (Computer science) CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Ciência da Computação |
| description |
The popularization of Large Language Models (LLMs) has transformed software engineering, enabling programmers of varying proficiency levels to obtain support in code comprehension and implementation tasks. The primary objective of this research was to understand how different developer profiles interact with these tools, investigating the influence of experience and cognitive style (measured by the GenderMag method) on prompt construction and problem-solving strategies. The methodology consisted of an empirical study involving 27 participants, comprising both students and professionals from various nationalities. Initially, participants completed sociodemographic and cognitive profile questionnaires to be classified into GenderMag personas (Abi and Tim). Subsequently, they performed six development and debugging tasks on a fork of the TodoMVC project within a 40-minute time limit, utilizing GitHub Copilot freely. A mixed-methods data analysis was employed, evaluating quantitative aspects (linguistic metrics and interaction counts) and qualitative aspects (prompt type classification). The results indicated that linguistic effort in prompt formulation is adaptive: more complex tasks result in greater verbosity, although the language remains accessible, with an estimated reading level between the 8th and 9th grades. Qualitatively, the predominant prompt category wasthe "Open Question,"suggesting that users utilize the LLM primarily as a tutor to understand code context rather than merely as a solution generator. Comparative analysis revealed a statistically significant association between the user profile and the type of interaction: TIM profile users tend to be more direct and concise, whereas ABI users are more verbose. Furthermore, experience acted as a moderating factor: ABI novices resorted to excessively long prompts to compensate for a lack of technical vocabulary, while experienced professionals of the same profile overcame expected risk aversion, adopting more objective instructions. It is concluded that interaction with AI-based programming assistants is not uniform, being significantly influenced by the combination of cognitive style and the users’ experience level. This study highlights the need for more inclusive LLM tools capable of assisting in intent synthesis for verbose users and emphasizes the importance of developers enhancing their technical vocabulary for more efficient communication with intelligent agents. |
| publishDate |
2025 |
| dc.date.none.fl_str_mv |
2025-12-16 2026-03-03T13:12:46Z 2026-03-03T13:12:46Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
OLIVEIRA, Bruno Alves de. Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código. 2025. Dissertação (Mestrado em Ciência da Computação) - Universidade Tecnológica Federal do Paraná, Campo Mourão, 2025. http://repositorio.utfpr.edu.br/jspui/handle/1/39539 |
| identifier_str_mv |
OLIVEIRA, Bruno Alves de. Um estudo dos padrões de prompt usados em modelos grandes de linguagens durante a realização de tarefas de programação e compreensão de código. 2025. Dissertação (Mestrado em Ciência da Computação) - Universidade Tecnológica Federal do Paraná, Campo Mourão, 2025. |
| url |
http://repositorio.utfpr.edu.br/jspui/handle/1/39539 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
https://creativecommons.org/licenses/by-nc/4.0/ info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
https://creativecommons.org/licenses/by-nc/4.0/ |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Campo Mourao Brasil Programa de Pós-Graduação em Ciência da Computação UTFPR |
| publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Campo Mourao Brasil Programa de Pós-Graduação em Ciência da Computação UTFPR |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) instname:Universidade Tecnológica Federal do Paraná (UTFPR) instacron:UTFPR |
| instname_str |
Universidade Tecnológica Federal do Paraná (UTFPR) |
| instacron_str |
UTFPR |
| institution |
UTFPR |
| reponame_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| collection |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository.name.fl_str_mv |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR) |
| repository.mail.fl_str_mv |
riut@utfpr.edu.br || sibi@utfpr.edu.br |
| _version_ |
1879057130283073536 |