Uma investigação do custo envolvido na identificação manual de mutantes equivalentes

• Ano de defesa: 2019
• Autor(a) principal: Carvalho, Juliana Botelho de
• Orientador(a): Durelli, Rafael Serapilha
• Banca de defesa: Durelli, Rafael Serapilha, Durelli, Vinicius Humberto Serapilha, Oliveira, Lucas Bueno Ruas de, Parreira Junior, Paulo Afonso, Pereira, Marluce Rodrigues
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de Lavras
• Programa de Pós-Graduação: Programa de Pós-Graduação em Ciência da Computação
• Departamento: Departamento de Ciência da Computação
• País: brasil
• Palavras-chave em Português: Teste de mutação (Computação); Mutantes equivalentes - Custo da análise manual; Mutation testing; Equivalents mutants; Cost of manual analysis
• Área do conhecimento CNPq: Ciência da Computação
• Link de acesso: https://repositorio.ufla.br/handle/1/38547

O teste de mutação consiste em mudar o sistema de software a ser testado por meio da apli- cação de operadores de mutação. Como resultado, a aplicação de tais operadores gera versões diferentes desse sistema. Essas versões são denominadas mutantes. Os mutantes são utiliza- dos para verificar se os casos de teste, construídos para o sistema de software, são capazes de identificar essas alterações efetuadas no código original, verificando a qualidade do conjunto de testes. Caso os testes de unidade sejam capazes de detectar todas as alterações, os mutantes são mortos e o conjunto de testes é suficiente; caso alguns mutantes não sejam mortos, é necessária a análise desses mutantes para verificar se novos casos de teste são necessários para detectar as alterações ou se os mutantes vivos são equivalentes ao código original, ou seja, se geram a mesma saída que o código original. Um problema do teste de mutação é o custo envolvido em identificar se esses mutantes são equivalentes ao sistema de software original. A identificação dos mutantes equivalentes é indecidível, portanto, normalmente a análise é conduzida manu- almente, o que consome horas de um analista. Dessa forma, esta pesquisa investigou o custo humano envolvido na análise manual dos mutantes para a verificação da equivalência entre os códigos original e mutante. Para verificar o custo manual da análise, a ferramenta DiffMutA- nalyze foi desenvolvida, a fim de comparar dois tipos de análise: utilizando a DiffMutAnalyze com a manual, ou seja, sem o uso de uma ferramenta específica para auxiliar a inspeção dos mutantes com os códigos originais. Na DiffMutAnalyze está incluída a ferramenta Major para geração dos mutantes, desse modo, somente projetos Java podem ser inseridos na ferramenta, pois a Major é uma ferramenta para realização da mutação em projetos Java. Por meio do experimento realizado, é possível verificar o tempo gasto com a análise manual e verificar a diferença dessa análise com a análise por meio de uma ferramenta de apoio computacional. Tal ferramenta tem como propósito possibilitar que programas originais e mutantes sejam compa- rados lado a lado, facilitando a análise manual dos mutantes, uma vez que na ferramenta, o local da mutação é evidenciado para o usuário. Para realizar essa comparação das análises manual e por meio da DiffMutAnalyze, um experimento foi conduzido. Como resultado do experimento, em geral, os sujeitos participantes gastaram em média 31 minutos e 30 segundos para realizar a análise manual dos mutantes, quando a análise foi realizada por meio da DiffMutAnalyze, o tempo médio foi de 14 minutos. Dessa forma, a análise realizada por meio da DiffMutAnalyze foi reduzida em mais de 50% do tempo. Portanto, a utilização de uma ferramenta para auxiliar a verificação da identificação dos mutantes equivalentes, reduz o custo dessa análise. Além disso, foi verificado que a ferramenta ajuda na realização do teste de mutação, uma vez que a mutação do código original é realizada automaticamente e os mutantes sobreviventes aos testes de unida- des são disponibilizados para inspeção. Com isso, a comparação dos códigos original e mutante se torna mais rápida, pois na ferramenta, os códigos são disponibilizados automaticamente e a alteração efetuada é identificada pela DiffMutAnalyze. Assim, o analista não necessita procurar o local da alteração realizada pelos operadores de mutação.