Um estudo de caracterização de contribuidores e suas contribuições de teste em projetos de código aberto

Detalhes bibliográficos
Ano de defesa: 2023
Autor(a) principal: Souza, Hugo Henrique Fumero de
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Tecnológica Federal do Paraná
Campo Mourao
Brasil
Programa de Pós-Graduação em Ciência da Computação
UTFPR
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: http://repositorio.utfpr.edu.br/jspui/handle/1/33615
Resumo: Even though open-source software projects exhibit some distinct characteristics from industry projects, the dedication of maintainers and contributors to achieving a high level of software quality remains constant. To this end, testing is among the primary practices in these communities. During the development activity, most repositories emphasize the need to submit, along with the developed code, tests that ensure the quality and accuracy of the coded item. We observed that the contribution of tests during development is not as common. In this work, we aim to characterize test contributors in open-source software projects and determine the percentage of pull requests containing bug fixes that also include automated tests. For this purpose, we conducted a quantitative study - characterizing projects, contributors, and their contributions - and a qualitative study with selected contributors identified from the characterization. We found that only 7.87% of bug fix PRs contain some form of test scenario improvement. Furthermore, we identified five test contributor profiles: Contributor in Motion, Scenario Updater, Library Specialist, Comment Analyst and the strategic Evolution Contributor. To reach these conclusions, we developed the PRAnalyzer tool, which allows for the analysis of code in PRs, extracting critical information such as the quantity of asserts, imports, blank lines, and contributed code. Additionally, as a valuable resource for the academic community, we provide a comprehensive dataset containing information on over 400,000 PRs and their characteristics.
id UTFPR-12_9f7a9d6dbe455a0fdf383eecee07146a
oai_identifier_str oai:repositorio.utfpr.edu.br:1/33615
network_acronym_str UTFPR-12
network_name_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository_id_str
spelling Um estudo de caracterização de contribuidores e suas contribuições de teste em projetos de código abertoA characterization study of contributors and their testing contributions in open source projectsSoftware livreGitHub (Programa de computador)Software - TestesFree computer softwareCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOCiência da ComputaçãoEven though open-source software projects exhibit some distinct characteristics from industry projects, the dedication of maintainers and contributors to achieving a high level of software quality remains constant. To this end, testing is among the primary practices in these communities. During the development activity, most repositories emphasize the need to submit, along with the developed code, tests that ensure the quality and accuracy of the coded item. We observed that the contribution of tests during development is not as common. In this work, we aim to characterize test contributors in open-source software projects and determine the percentage of pull requests containing bug fixes that also include automated tests. For this purpose, we conducted a quantitative study - characterizing projects, contributors, and their contributions - and a qualitative study with selected contributors identified from the characterization. We found that only 7.87% of bug fix PRs contain some form of test scenario improvement. Furthermore, we identified five test contributor profiles: Contributor in Motion, Scenario Updater, Library Specialist, Comment Analyst and the strategic Evolution Contributor. To reach these conclusions, we developed the PRAnalyzer tool, which allows for the analysis of code in PRs, extracting critical information such as the quantity of asserts, imports, blank lines, and contributed code. Additionally, as a valuable resource for the academic community, we provide a comprehensive dataset containing information on over 400,000 PRs and their characteristics.Mesmo projetos de software livre possuindo algumas características diferentes de projetos da indústria, o empenho de mantenedores e contribuidores para alcançar um alto nível de qualidade do software é constante. Para tanto, testes estão entre as principais práticas das comunidades. Assim, durante a atividade de desenvolvimento a maioria dos repositórios enfatizam a necessidade de enviar junto com o código desenvolvido, testes que garantem a qualidade e a exatidão do item codificado. No entanto, constatamos que não é tão comum a contribuição de testes durante o desenvolvimento. Buscamos neste trabalho caracterizar os contribuidores de testes em projetos de software livre e verificar o percentual pull requests de correções de bugs que contenham também testes automatizados. Para isto, conduzimos um estudo quantitativo – de caracterização dos projetos, contribuidores e suas contribuições – e, também, um estudo qualitativo com contribuidores selecionados a partir da caracterização. Identificamos que apenas 7,87% das PRs de correções de defeitos possuem algum tipo de evolução de cenários de testes. Além disto, foi possível identificar cinco perfis de contribuidores de teste: Contribuidor Movimentação, Atualizador de Cenários, Especialista em Bibliotecas, Analista Comentário e o estratégico Contribuidor de Evolução. Para chegar a essas conclusões, desenvolvemos a ferramenta PRAnalyzer, que permite analisar o código presente em PRs, extraindo informações cruciais, como a quantidade de asserts, imports, linhas em branco e código contribuído. Além disso, como um recurso valioso para a comunidade acadêmica, disponibilizamos um dataset abrangente, contendo informações de mais de 400.000 PRs e suas características.Universidade Tecnológica Federal do ParanáCampo MouraoBrasilPrograma de Pós-Graduação em Ciência da ComputaçãoUTFPRWiese, Igor Scaliantehttps://orcid.org/0000-0001-9943-5570http://lattes.cnpq.br/0447444423694007Guerra, Eduardo Martinshttp://lattes.cnpq.br/3413978291577451Wiese, Igor Scaliantehttps://orcid.org/0000-0001-9943-5570http://lattes.cnpq.br/0447444423694007Silva, Marco Aurelio Graciottohttps://orcid.org/0000-0002-1737-8240https://lattes.cnpq.br/938329003685317Garcia, Rogério Eduardohttps://orcid.org/0000-0003-1248-528Xhttp://lattes.cnpq.br/8031012573259361Nakamura, Walter Takashihttp://lattes.cnpq.br/1260559733538481Souza, Hugo Henrique Fumero de2024-03-14T20:31:47Z2024-03-14T20:31:47Z2023-11-13info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfSOUZA, Hugo Henrique Fumero de. Um estudo de caracterização de contribuidores e suas contribuições de teste em projetos de código aberto. 2023. Dissertação (Mestrado em Ciência da Computação) - Universidade Tecnológica Federal do Paraná, Campo Mourão, 2023.http://repositorio.utfpr.edu.br/jspui/handle/1/33615porhttps://creativecommons.org/licenses/by-nc/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2024-03-15T06:08:07Zoai:repositorio.utfpr.edu.br:1/33615Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2024-03-15T06:08:07Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false
dc.title.none.fl_str_mv Um estudo de caracterização de contribuidores e suas contribuições de teste em projetos de código aberto
A characterization study of contributors and their testing contributions in open source projects
title Um estudo de caracterização de contribuidores e suas contribuições de teste em projetos de código aberto
spellingShingle Um estudo de caracterização de contribuidores e suas contribuições de teste em projetos de código aberto
Souza, Hugo Henrique Fumero de
Software livre
GitHub (Programa de computador)
Software - Testes
Free computer software
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Ciência da Computação
title_short Um estudo de caracterização de contribuidores e suas contribuições de teste em projetos de código aberto
title_full Um estudo de caracterização de contribuidores e suas contribuições de teste em projetos de código aberto
title_fullStr Um estudo de caracterização de contribuidores e suas contribuições de teste em projetos de código aberto
title_full_unstemmed Um estudo de caracterização de contribuidores e suas contribuições de teste em projetos de código aberto
title_sort Um estudo de caracterização de contribuidores e suas contribuições de teste em projetos de código aberto
author Souza, Hugo Henrique Fumero de
author_facet Souza, Hugo Henrique Fumero de
author_role author
dc.contributor.none.fl_str_mv Wiese, Igor Scaliante
https://orcid.org/0000-0001-9943-5570
http://lattes.cnpq.br/0447444423694007
Guerra, Eduardo Martins
http://lattes.cnpq.br/3413978291577451
Wiese, Igor Scaliante
https://orcid.org/0000-0001-9943-5570
http://lattes.cnpq.br/0447444423694007
Silva, Marco Aurelio Graciotto
https://orcid.org/0000-0002-1737-8240
https://lattes.cnpq.br/938329003685317
Garcia, Rogério Eduardo
https://orcid.org/0000-0003-1248-528X
http://lattes.cnpq.br/8031012573259361
Nakamura, Walter Takashi
http://lattes.cnpq.br/1260559733538481
dc.contributor.author.fl_str_mv Souza, Hugo Henrique Fumero de
dc.subject.por.fl_str_mv Software livre
GitHub (Programa de computador)
Software - Testes
Free computer software
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Ciência da Computação
topic Software livre
GitHub (Programa de computador)
Software - Testes
Free computer software
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Ciência da Computação
description Even though open-source software projects exhibit some distinct characteristics from industry projects, the dedication of maintainers and contributors to achieving a high level of software quality remains constant. To this end, testing is among the primary practices in these communities. During the development activity, most repositories emphasize the need to submit, along with the developed code, tests that ensure the quality and accuracy of the coded item. We observed that the contribution of tests during development is not as common. In this work, we aim to characterize test contributors in open-source software projects and determine the percentage of pull requests containing bug fixes that also include automated tests. For this purpose, we conducted a quantitative study - characterizing projects, contributors, and their contributions - and a qualitative study with selected contributors identified from the characterization. We found that only 7.87% of bug fix PRs contain some form of test scenario improvement. Furthermore, we identified five test contributor profiles: Contributor in Motion, Scenario Updater, Library Specialist, Comment Analyst and the strategic Evolution Contributor. To reach these conclusions, we developed the PRAnalyzer tool, which allows for the analysis of code in PRs, extracting critical information such as the quantity of asserts, imports, blank lines, and contributed code. Additionally, as a valuable resource for the academic community, we provide a comprehensive dataset containing information on over 400,000 PRs and their characteristics.
publishDate 2023
dc.date.none.fl_str_mv 2023-11-13
2024-03-14T20:31:47Z
2024-03-14T20:31:47Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv SOUZA, Hugo Henrique Fumero de. Um estudo de caracterização de contribuidores e suas contribuições de teste em projetos de código aberto. 2023. Dissertação (Mestrado em Ciência da Computação) - Universidade Tecnológica Federal do Paraná, Campo Mourão, 2023.
http://repositorio.utfpr.edu.br/jspui/handle/1/33615
identifier_str_mv SOUZA, Hugo Henrique Fumero de. Um estudo de caracterização de contribuidores e suas contribuições de teste em projetos de código aberto. 2023. Dissertação (Mestrado em Ciência da Computação) - Universidade Tecnológica Federal do Paraná, Campo Mourão, 2023.
url http://repositorio.utfpr.edu.br/jspui/handle/1/33615
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv https://creativecommons.org/licenses/by-nc/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv https://creativecommons.org/licenses/by-nc/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Campo Mourao
Brasil
Programa de Pós-Graduação em Ciência da Computação
UTFPR
publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Campo Mourao
Brasil
Programa de Pós-Graduação em Ciência da Computação
UTFPR
dc.source.none.fl_str_mv reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
instname:Universidade Tecnológica Federal do Paraná (UTFPR)
instacron:UTFPR
instname_str Universidade Tecnológica Federal do Paraná (UTFPR)
instacron_str UTFPR
institution UTFPR
reponame_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
collection Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository.name.fl_str_mv Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)
repository.mail.fl_str_mv riut@utfpr.edu.br || sibi@utfpr.edu.br
_version_ 1850498258872303616