Análise de completude dos relatos de experimentos em elasticidade na computação em nuvem: um mapeamento sistemático

• Ano de defesa: 2015
• Autor(a) principal: BARREIROS, Helaine Solange Lins
• Orientador(a): GARCIA, Vinicius Cardoso
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Helaine Solange Lins Barreiros
• Programa de Pós-Graduação: Programa de Pos Graduacao em Ciencia da Computacao
• País: Brasil
• Palavras-chave em Português: Engenharia de Software; Computação em Nuvem; Elasticidade; Engenharia de Software Experimental; Experimentos; Software Engineering; Cloud Computing; Elasticity; Experiments
• Link de acesso: https://repositorio.ufpe.br/handle/123456789/17692

Contexto: Para que os leitores possam avaliar a validade de um estudo empírico, replicar seus resultados, ou para que editores possam julgar efetivamente o verdadeiro potencial de impacto da pesquisa, os autores devem relatar e documentar cuidadosamente elementos da pesquisa como: motivação, objetivo, método, análise dos dados, resultados, conclusões e limitações. Infelizmente autores têm indicado que a comunicação dos resultados de estudos empíricos (EE) na computação em nuvem (CN) omitem informações relevantes destes elementos de pesquisa.Tais inconveniências na comunicação dos resultados destes estudos, ampliadas a todo um campo de pesquisa, podem levar a um conjunto potencial de evidências fracas ou ilusórias para futuras pesquisas científicas. Objetivo: Apesar de críticas aos relatos dos estudos empíricos serem evidenciadas, até o presente momento, não foi realizada uma caracterização das informações omitidas pelos autores. Neste sentido, o presente estudo tem como objetivo apresentar um esforço primeiro que analisa nos relatos a apresentação dos elementos de pesquisa acima citados, considerados essenciais para a análise da validade e protencial de uma pesquisa empírica. Analisar a forma de apresentação dos resultados é um primeiro passo relevante para a compreensão do cenário atual da prática dos relatos dos estudos empíricos. Assim, foi analisado nos relatos o grau de completude: o quão presentes estão as informações dos elementos da pesquisa em seus relatos. Afim de realizar uma análise mais profunda, o foco inicial da pesquisa foi direcionado ao método empírico de experimentação, com foco nas avaliações da característica de elasticidade da CN. Método: Através de um mapeamento sistemático da literatura (MSL) foram identificados os experimentos em elasticidade na computação em nuvem e, através de instrumento de avaliação criado com base em orientações existentes para se reportar experimentos na engenharia de software experimental, a completude de seus relatos foi avaliada. Resultado: Após a avaliação inicial de 3.611 estudos, foram selecionados e analisados os relatos de 59 experimentos. Constatamos que em geral os autores omitem informações relacionadas ao planejamento da pesquisa, coleta dos dados, procedimentos de execução, instrumentação, análise dos dados, relação dos resultados com pesquisas anteriores, ameaças à validade e generalização dos resultados. Em relação ao índice de completude o maior grau foi 6.67 em uma escala de 0 a 10, sendo considerada baixa em valores quantitativos. Também foi realizada uma breve análise qualitativa que revela que, ainda que reportadas, muitas das informações apresentadas pelos relatos são superficiais e dificultam a interpretação, validação, generalização e replicação dos resultados dos estudos.