A tuning approach based on evolutionary algorithm and data sampling for boosting performance of mapreduce programs

Detalhes bibliográficos
Ano de defesa: 2013
Autor(a) principal: Kepe, Tiago Rodrigo
Orientador(a): Almeida, Eduardo Cunha de, 1977-
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Sistemas de reconhecimento de padrões
Ciência da computação
Banco de dados
Processamento eletronico de dados - Processamento
Link de acesso: https://hdl.handle.net/1884/36783
Resumo: Orientador : Prof. Dr. Eduardo C. de Almeida
id UFPR_60f36c4a0be9657ace56beaaa2a43070
oai_identifier_str oai:acervodigital.ufpr.br:1884/36783
network_acronym_str UFPR
network_name_str Repositório Institucional da UFPR
repository_id_str
spelling Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em InformáticaAlmeida, Eduardo Cunha de, 1977-Kepe, Tiago Rodrigo2025-04-28T21:26:40Z2025-04-28T21:26:40Z2013https://hdl.handle.net/1884/36783Orientador : Prof. Dr. Eduardo C. de AlmeidaDissertação (mestrado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa: Curitiba, 25/08/2014Inclui referênciasResumo: O software de processamento de dados Apache Hadoop está introduzido em um ambiente complexo composto de enormes cluster de máquinas, grandes conjuntos de dados e vários programas de processamento. Administrar tal ambiente demanda tempo, é dispendioso e requer usuários experts. Por isso, falta de conhecimento pode ocasionar falhas de configurações degradando a performance do cluster de processamento. Realmente, usuários gastam muito tempo configurando o ambiente em vez de focar na análise dos dados. Para resolver questões de má configuração nós propomos uma solução, cujo objetivo é ajustar parâmetros de desempenho de programas executados sobre o Hadoop em ambientes Big Data. Para alcançar isto, nosso mecanismo de ajuste de desempenho inspira-se em duas ideias-chave: (1) um algoritmo evolucionário para gerar e testar novas configurações de jobs, e (2) amostragem de dados para reduzir o custo do processo de ajuste de desempenho. A partir dessas ideias desenvolvemos um framework para testar configurações usuais de programas e obter uma nova configuração mais ajustada ao estado atual do ambiente. Resultados experimentais mostram ganho na performance de jobs comparado com as configurações padrão e _regras de ouro_ do Hadoop. Além disso, os experimentos comprovam a acurácia da nossa solução no que se refere ao custo para obter uma melhor configuração e a qualidade da configuração alcançada.Abstract: The Apache Hadoop data processing software is immersed in a complex environment composed of huge machine clusters, large data sets, and several processing jobs. Managing a Hadoop environment is time consuming, toilsome and requires expert users. Thus, lack of knowledge may entail miscongurations degrading the cluster performance. Indeed, users spend a lot of time tuning the system instead of focusing on data analysis. To address misconguration issues we propose a solution implemented on top of Hadoop. The goal is presenting a tuning mechanism for Hadoop jobs on Big Data environments. To achieve this, our tuning mechanism is inspired by two key ideas: (1) an evolutionary algorithm to generate and test new job congurations, and (2) data sampling to reduce the cost of the tuning process. From these ideas we developed a framework for testing usual job congurations and get a new conguration suitable to the current state of the environment. Experimental results show gains in job performance against the Hadoop's default conguration and the rules of thumb. Besides, the experiments prove the accuracy of our solution which is the relation between the cost to obtain a better conguration and the quality of the conguration reached.51f. : il., tabs., grafs.application/pdfDisponível em formato digitalSistemas de reconhecimento de padrõesCiência da computaçãoBanco de dadosProcessamento eletronico de dados - ProcessamentoA tuning approach based on evolutionary algorithm and data sampling for boosting performance of mapreduce programsinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisporreponame:Repositório Institucional da UFPRinstname:Universidade Federal do Paraná (UFPR)instacron:UFPRinfo:eu-repo/semantics/openAccessTHUMBNAILR - D - TIAGO RODRIGO KEPE.pdf.jpgGenerated Thumbnailimage/jpeg1159https://acervodigital.ufpr.br/bitstream/1884/36783/1/R%20-%20D%20-%20TIAGO%20RODRIGO%20KEPE.pdf.jpg076aa82f280f56e5840cfd7492dde0a2MD51open accessTEXTR - D - TIAGO RODRIGO KEPE.pdf.txtExtracted Texttext/plain86402https://acervodigital.ufpr.br/bitstream/1884/36783/2/R%20-%20D%20-%20TIAGO%20RODRIGO%20KEPE.pdf.txtc391be1bddfcdcd6e187d8bc7576aa4bMD52open accessORIGINALR - D - TIAGO RODRIGO KEPE.pdfapplication/pdf995486https://acervodigital.ufpr.br/bitstream/1884/36783/3/R%20-%20D%20-%20TIAGO%20RODRIGO%20KEPE.pdf8c7346baaa18926cf27b2ea81a8c1744MD53open access1884/367832025-04-28 18:26:40.285open accessoai:acervodigital.ufpr.br:1884/36783Repositório InstitucionalPUBhttp://acervodigital.ufpr.br/oai/requestinformacaodigital@ufpr.bropendoar:3082025-04-28T21:26:40Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)false
dc.title.pt_BR.fl_str_mv A tuning approach based on evolutionary algorithm and data sampling for boosting performance of mapreduce programs
title A tuning approach based on evolutionary algorithm and data sampling for boosting performance of mapreduce programs
spellingShingle A tuning approach based on evolutionary algorithm and data sampling for boosting performance of mapreduce programs
Kepe, Tiago Rodrigo
Sistemas de reconhecimento de padrões
Ciência da computação
Banco de dados
Processamento eletronico de dados - Processamento
title_short A tuning approach based on evolutionary algorithm and data sampling for boosting performance of mapreduce programs
title_full A tuning approach based on evolutionary algorithm and data sampling for boosting performance of mapreduce programs
title_fullStr A tuning approach based on evolutionary algorithm and data sampling for boosting performance of mapreduce programs
title_full_unstemmed A tuning approach based on evolutionary algorithm and data sampling for boosting performance of mapreduce programs
title_sort A tuning approach based on evolutionary algorithm and data sampling for boosting performance of mapreduce programs
author Kepe, Tiago Rodrigo
author_facet Kepe, Tiago Rodrigo
author_role author
dc.contributor.other.pt_BR.fl_str_mv Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em Informática
dc.contributor.advisor1.fl_str_mv Almeida, Eduardo Cunha de, 1977-
dc.contributor.author.fl_str_mv Kepe, Tiago Rodrigo
contributor_str_mv Almeida, Eduardo Cunha de, 1977-
dc.subject.por.fl_str_mv Sistemas de reconhecimento de padrões
Ciência da computação
Banco de dados
Processamento eletronico de dados - Processamento
topic Sistemas de reconhecimento de padrões
Ciência da computação
Banco de dados
Processamento eletronico de dados - Processamento
description Orientador : Prof. Dr. Eduardo C. de Almeida
publishDate 2013
dc.date.issued.fl_str_mv 2013
dc.date.accessioned.fl_str_mv 2025-04-28T21:26:40Z
dc.date.available.fl_str_mv 2025-04-28T21:26:40Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1884/36783
url https://hdl.handle.net/1884/36783
dc.language.iso.fl_str_mv por
language por
dc.relation.pt_BR.fl_str_mv Disponível em formato digital
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 51f. : il., tabs., grafs.
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPR
instname:Universidade Federal do Paraná (UFPR)
instacron:UFPR
instname_str Universidade Federal do Paraná (UFPR)
instacron_str UFPR
institution UFPR
reponame_str Repositório Institucional da UFPR
collection Repositório Institucional da UFPR
bitstream.url.fl_str_mv https://acervodigital.ufpr.br/bitstream/1884/36783/1/R%20-%20D%20-%20TIAGO%20RODRIGO%20KEPE.pdf.jpg
https://acervodigital.ufpr.br/bitstream/1884/36783/2/R%20-%20D%20-%20TIAGO%20RODRIGO%20KEPE.pdf.txt
https://acervodigital.ufpr.br/bitstream/1884/36783/3/R%20-%20D%20-%20TIAGO%20RODRIGO%20KEPE.pdf
bitstream.checksum.fl_str_mv 076aa82f280f56e5840cfd7492dde0a2
c391be1bddfcdcd6e187d8bc7576aa4b
8c7346baaa18926cf27b2ea81a8c1744
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)
repository.mail.fl_str_mv informacaodigital@ufpr.br
_version_ 1847526143749521408

Registros relacionados