Melhorando o processamento de dados com Hadoop na nuvem através do uso transparente de instâncias oportunistas com qualidade de serviço.

• Ano de defesa: 2016
• Autor(a) principal: NÓBREGA, Telles Mota Vidal.
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de Campina Grande; Brasil; Centro de Engenharia Elétrica e Informática - CEEI; PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO; UFCG
• Palavras-chave em Português: Computação na Nuvem; Processamento de Dados; Hadoop; Instâncias Oportunistas; Cloud Computing; Data Processing; Opportunistic Instances; Ciência da computação; Ciências
• Link de acesso: https://dspace.sti.ufcg.edu.br/handle/riufcg/629

Nuvens computacionais oferecem para usuários a facilidade de aquisição de recursos por meio da internet de forma rápida, barata e segura. Entretanto, grande parte das nuvens se mantém ociosa devido à reserva de recursos. Visando a aumentar a utilização da nuvem, provedores de nuvem criaram um modelo de instâncias que reusam recursos ociosos, conhecidas como instâncias oportunistas. Essas instâncias são mais baratas que as instâncias de recursos dedicados, porém voláteis, podendo ser preemptadas do usuário a qualquer momento, o que as torna inadequadas para alguns tipos de aplicação. Processamento de dados, seguindo a tendência de outras aplicações, tem sido migrado para nuvem e pode ser beneficiado por instâncias oportunistas, devido à sua natureza tolerante à falha, resultando na criação de clusters a um custo menor comparado à instâncias com recursos dedicados.Este trabalho propõe a utilização dos recursos ociosos para a criação de um outro modelo de instâncias oportunistas. Esse modelo visa a criação de instâncias oportunistas com qualidade de serviço, que são instâncias criadas baseadas em uma predição do estado da nuvem. A predição é realizada a partir de dados históricos de utilização de recursos como CPU e memória RAM e assim diminuindo o risco de perder instâncias antes do fim do processamento. Ainda com a existência do preditor, o risco de perda de uma máquina existe e para esse caso propomos a utilização de migração viva, movendo a máquina virtual de servidor, evitando assim a destruição da mesma. Com nossa abordagem, utilizando apenas duas instâncias oportunistas durante os experimentos, obtivemos uma diminuição no tempo de processamento de dados de 10% em um cluster com 2 workers e 1 master. Além disso, ao utilizar a migração, temos uma melhora de aproximadamente 70% no tempo de processamento em comparação com os casos onde uma instância é perdida.