Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas

Detalhes bibliográficos
Ano de defesa: 2019
Autor(a) principal: YADAV, Rajeev Ranjan lattes
Orientador(a): SOUSA, Erica Teixeira Gomes de
Banca de defesa: LINS, Fernando Antonio Aires, TAVARES, Eduardo Antonio Guimarães
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal Rural de Pernambuco
Programa de Pós-Graduação: Programa de Pós-Graduação em Informática Aplicada
Departamento: Departamento de Estatística e Informática
País: Brasil
Palavras-chave em Português:
Área do conhecimento CNPq:
Link de acesso: http://www.tede2.ufrpe.br:8080/tede2/handle/tede2/8556
Resumo: Cloud computing is emerging as the main mechanism for processing large amounts of data. In this context, private clouds provide efficient infrastructures that support the analysis of data sets generated by different sources, such as social networks, health data, and climatology data. Understanding how Big Data parsing behaves in private cloud environments is an important approach to identifying critical performance and cost factors in these environments. Performance and cost evaluation provides support to manage these environments by considering performance metrics such as processor and memory utilization of virtual machines, and cost metrics such as infrastructure cost, power consumption cost and software cost of these environments. This paper presents a strategy based on a methodology and models to evaluate Big Data transactions supported by a pool of resources provided by the infrastructure of the private cloud. A methodology is proposed to evaluate the performance and cost of Big Data environments in private clouds. This methodology presents activities such as understanding and configuring the Big Data environment in the private cloud, the design of experiments, performance, and energy consumption measurement, performance modeling and cost modeling. A performance model is based on stochastic Petri nets is proposed to estimate resources utilization of virtual machines and cost models consider the cost of deploying a private cloud, costs associated with the energy consumption of the data set analysis, and costs related to the acquisition of related software. The case study illustrates the applicability of the methodology, performance model, and cost models in a real private cloud and provides important information about these topics, such as identifying factors that most impact processor utilization and virtual machine memory, and the energy consumption in these environments. The case study considered the analysis of a data set composed by opinions of the Twitter social network users regarding the 2018 Brazilian’s presidential election.
id URPE_defd1b242b4d3ff300523278847ba748
oai_identifier_str oai:tede2:tede2/8556
network_acronym_str URPE
network_name_str Biblioteca Digital de Teses e Dissertações da UFRPE
repository_id_str
spelling SOUSA, Erica Teixeira Gomes deLINS, Fernando Antonio AiresTAVARES, Eduardo Antonio Guimarãeshttp://lattes.cnpq.br/5587981243932732YADAV, Rajeev Ranjan2022-03-30T13:40:35Z2019-04-29YADAV, Rajeev Ranjan. Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas. 2019. 115 f. Dissertação (Programa de Pós-Graduação em Informática Aplicada) - Universidade Federal Rural de Pernambuco, Recife.http://www.tede2.ufrpe.br:8080/tede2/handle/tede2/8556Cloud computing is emerging as the main mechanism for processing large amounts of data. In this context, private clouds provide efficient infrastructures that support the analysis of data sets generated by different sources, such as social networks, health data, and climatology data. Understanding how Big Data parsing behaves in private cloud environments is an important approach to identifying critical performance and cost factors in these environments. Performance and cost evaluation provides support to manage these environments by considering performance metrics such as processor and memory utilization of virtual machines, and cost metrics such as infrastructure cost, power consumption cost and software cost of these environments. This paper presents a strategy based on a methodology and models to evaluate Big Data transactions supported by a pool of resources provided by the infrastructure of the private cloud. A methodology is proposed to evaluate the performance and cost of Big Data environments in private clouds. This methodology presents activities such as understanding and configuring the Big Data environment in the private cloud, the design of experiments, performance, and energy consumption measurement, performance modeling and cost modeling. A performance model is based on stochastic Petri nets is proposed to estimate resources utilization of virtual machines and cost models consider the cost of deploying a private cloud, costs associated with the energy consumption of the data set analysis, and costs related to the acquisition of related software. The case study illustrates the applicability of the methodology, performance model, and cost models in a real private cloud and provides important information about these topics, such as identifying factors that most impact processor utilization and virtual machine memory, and the energy consumption in these environments. The case study considered the analysis of a data set composed by opinions of the Twitter social network users regarding the 2018 Brazilian’s presidential election.A computação em nuvem está emergindo como o principal mecanismo para processar grandes quantidades de dados de forma eficiente. Nesse contexto, as nuvens privadas fornecem infraestruturas que suportam a análise de conjuntos de dados gerados por diferentes fontes, como redes sociais, dados de saúde e dados climatológicos. Compreender como a análise de Big Data se comporta em infraestruturas de nuvem privada, é uma abordagem importante para identificar fatores críticos para o desempenho e custo nestes ambientes. Neste contexto, a avaliação de desempenho e custo propicia o suporte para o gerenciamento destes ambientes considerando métricas de desempenho, como tempos de execução e utilização de processador e de memória de máquinas virtuais da nuvem privada, e métricas de custo, como custo de infraestrutura, de consumo de energia elétrica e de software. Este trabalho apresenta uma estratégia baseada em uma metodologia e modelos para avaliação de desempenho e de custo de ambientes que executam transações Big Data suportados por um pool de recursos provisionados pela infraestrutura de nuvem privada. Uma metologia foi proposta para avaliação de desempenho e custo de ambientes big data na nuvem privada. Essa metodolgia contempla atividades como entendimento e configuração do ambiente Big data na nuvem privada, planejamento de experimentos, medição de desempenho e consumo de energia, modelagem de desempenho e modelagem de custo. Um modelo de desempenho baseado em redes de Petri estocásticas é proposto para avaliar a utilização de processadores e memória de máquinas virtuais e os modelos de custo consideram o custo para implantar uma nuvem privada, custos associados ao consumo de energia da análise dos data sets e custos de relacionados à aquisição de software. O estudo de caso ilustra a aplicabilidade da metodologia, do modelo de desempenho e dos modelos de custo em uma nuvem privada e fornece informações importantes sobre o desempenho e custo, como identificação de fatores que mais impactam na utilização de processadores e de memória de máquinas virtuais e no consumo de energia nestes ambientes. O estudo de caso considerou a análise de um data set composto de opiniões de usuários da rede social Twitter sobre as eleições presidenciais do Brasil em 2018.Submitted by Mario BC (mario@bc.ufrpe.br) on 2022-03-30T13:40:35Z No. of bitstreams: 1 Rajeev Ranjan Yadav.pdf: 4270180 bytes, checksum: b65c573cbddd322f6a85a5c8fa8f4c96 (MD5)Made available in DSpace on 2022-03-30T13:40:35Z (GMT). No. of bitstreams: 1 Rajeev Ranjan Yadav.pdf: 4270180 bytes, checksum: b65c573cbddd322f6a85a5c8fa8f4c96 (MD5) Previous issue date: 2019-04-29application/pdfporUniversidade Federal Rural de PernambucoPrograma de Pós-Graduação em Informática AplicadaUFRPEBrasilDepartamento de Estatística e InformáticaAvaliação de desempenhoComputação em nuvemAvaliação de custoBig dataCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOUma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadasinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis-8268485641417162699600600600-67745551403961205013671711205811204509info:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRPEinstname:Universidade Federal Rural de Pernambuco (UFRPE)instacron:UFRPEORIGINALRajeev Ranjan Yadav.pdfRajeev Ranjan Yadav.pdfapplication/pdf4270180http://www.tede2.ufrpe.br:8080/tede2/bitstream/tede2/8556/2/Rajeev+Ranjan+Yadav.pdfb65c573cbddd322f6a85a5c8fa8f4c96MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82165http://www.tede2.ufrpe.br:8080/tede2/bitstream/tede2/8556/1/license.txtbd3efa91386c1718a7f26a329fdcb468MD51tede2/85562022-03-30 10:40:35.308oai:tede2:tede2/8556Tk9UQTogQ09MT1FVRSBBUVVJIEEgU1VBIFBSw5NQUklBIExJQ0VOw4dBCkVzdGEgbGljZW7Dp2EgZGUgZXhlbXBsbyDDqSBmb3JuZWNpZGEgYXBlbmFzIHBhcmEgZmlucyBpbmZvcm1hdGl2b3MuCgpMSUNFTsOHQSBERSBESVNUUklCVUnDh8ODTyBOw4NPLUVYQ0xVU0lWQQoKQ29tIGEgYXByZXNlbnRhw6fDo28gZGVzdGEgbGljZW7Dp2EsIHZvY8OqIChvIGF1dG9yIChlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSDDoCBVbml2ZXJzaWRhZGUgClhYWCAoU2lnbGEgZGEgVW5pdmVyc2lkYWRlKSBvIGRpcmVpdG8gbsOjby1leGNsdXNpdm8gZGUgcmVwcm9kdXppciwgIHRyYWR1emlyIChjb25mb3JtZSBkZWZpbmlkbyBhYmFpeG8pLCBlL291IApkaXN0cmlidWlyIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyAoaW5jbHVpbmRvIG8gcmVzdW1vKSBwb3IgdG9kbyBvIG11bmRvIG5vIGZvcm1hdG8gaW1wcmVzc28gZSBlbGV0csO0bmljbyBlIAplbSBxdWFscXVlciBtZWlvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KClZvY8OqIGNvbmNvcmRhIHF1ZSBhIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhbnNwb3IgYSBzdWEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIApwYXJhIHF1YWxxdWVyIG1laW8gb3UgZm9ybWF0byBwYXJhIGZpbnMgZGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIHRhbWLDqW0gY29uY29yZGEgcXVlIGEgU2lnbGEgZGUgVW5pdmVyc2lkYWRlIHBvZGUgbWFudGVyIG1haXMgZGUgdW1hIGPDs3BpYSBhIHN1YSB0ZXNlIG91IApkaXNzZXJ0YcOnw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyAKbmVzdGEgbGljZW7Dp2EuIFZvY8OqIHRhbWLDqW0gZGVjbGFyYSBxdWUgbyBkZXDDs3NpdG8gZGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyBuw6NvLCBxdWUgc2VqYSBkZSBzZXUgCmNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiAKZGVjbGFyYSBxdWUgb2J0ZXZlIGEgcGVybWlzc8OjbyBpcnJlc3RyaXRhIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBwYXJhIGNvbmNlZGVyIMOgIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSAKb3MgZGlyZWl0b3MgYXByZXNlbnRhZG9zIG5lc3RhIGxpY2Vuw6dhLCBlIHF1ZSBlc3NlIG1hdGVyaWFsIGRlIHByb3ByaWVkYWRlIGRlIHRlcmNlaXJvcyBlc3TDoSBjbGFyYW1lbnRlIAppZGVudGlmaWNhZG8gZSByZWNvbmhlY2lkbyBubyB0ZXh0byBvdSBubyBjb250ZcO6ZG8gZGEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIG9yYSBkZXBvc2l0YWRhLgoKQ0FTTyBBIFRFU0UgT1UgRElTU0VSVEHDh8ODTyBPUkEgREVQT1NJVEFEQSBURU5IQSBTSURPIFJFU1VMVEFETyBERSBVTSBQQVRST0PDjU5JTyBPVSAKQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PIFFVRSBOw4NPIFNFSkEgQSBTSUdMQSBERSAKVU5JVkVSU0lEQURFLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyAKVEFNQsOJTSBBUyBERU1BSVMgT0JSSUdBw4fDlUVTIEVYSUdJREFTIFBPUiBDT05UUkFUTyBPVSBBQ09SRE8uCgpBIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSBzZSBjb21wcm9tZXRlIGEgaWRlbnRpZmljYXIgY2xhcmFtZW50ZSBvIHNldSBub21lIChzKSBvdSBvKHMpIG5vbWUocykgZG8ocykgCmRldGVudG9yKGVzKSBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIGFsw6ltIGRhcXVlbGFzIApjb25jZWRpZGFzIHBvciBlc3RhIGxpY2Vuw6dhLgo=Biblioteca Digital de Teses e Dissertaçõeshttp://www.tede2.ufrpe.br:8080/tede/PUBhttp://www.tede2.ufrpe.br:8080/oai/requestbdtd@ufrpe.br ||bdtd@ufrpe.bropendoar:2024-05-28T12:37:08.854605Biblioteca Digital de Teses e Dissertações da UFRPE - Universidade Federal Rural de Pernambuco (UFRPE)false
dc.title.por.fl_str_mv Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas
title Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas
spellingShingle Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas
YADAV, Rajeev Ranjan
Avaliação de desempenho
Computação em nuvem
Avaliação de custo
Big data
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
title_short Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas
title_full Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas
title_fullStr Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas
title_full_unstemmed Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas
title_sort Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas
author YADAV, Rajeev Ranjan
author_facet YADAV, Rajeev Ranjan
author_role author
dc.contributor.advisor1.fl_str_mv SOUSA, Erica Teixeira Gomes de
dc.contributor.referee1.fl_str_mv LINS, Fernando Antonio Aires
dc.contributor.referee2.fl_str_mv TAVARES, Eduardo Antonio Guimarães
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/5587981243932732
dc.contributor.author.fl_str_mv YADAV, Rajeev Ranjan
contributor_str_mv SOUSA, Erica Teixeira Gomes de
LINS, Fernando Antonio Aires
TAVARES, Eduardo Antonio Guimarães
dc.subject.por.fl_str_mv Avaliação de desempenho
Computação em nuvem
Avaliação de custo
Big data
topic Avaliação de desempenho
Computação em nuvem
Avaliação de custo
Big data
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
dc.subject.cnpq.fl_str_mv CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
description Cloud computing is emerging as the main mechanism for processing large amounts of data. In this context, private clouds provide efficient infrastructures that support the analysis of data sets generated by different sources, such as social networks, health data, and climatology data. Understanding how Big Data parsing behaves in private cloud environments is an important approach to identifying critical performance and cost factors in these environments. Performance and cost evaluation provides support to manage these environments by considering performance metrics such as processor and memory utilization of virtual machines, and cost metrics such as infrastructure cost, power consumption cost and software cost of these environments. This paper presents a strategy based on a methodology and models to evaluate Big Data transactions supported by a pool of resources provided by the infrastructure of the private cloud. A methodology is proposed to evaluate the performance and cost of Big Data environments in private clouds. This methodology presents activities such as understanding and configuring the Big Data environment in the private cloud, the design of experiments, performance, and energy consumption measurement, performance modeling and cost modeling. A performance model is based on stochastic Petri nets is proposed to estimate resources utilization of virtual machines and cost models consider the cost of deploying a private cloud, costs associated with the energy consumption of the data set analysis, and costs related to the acquisition of related software. The case study illustrates the applicability of the methodology, performance model, and cost models in a real private cloud and provides important information about these topics, such as identifying factors that most impact processor utilization and virtual machine memory, and the energy consumption in these environments. The case study considered the analysis of a data set composed by opinions of the Twitter social network users regarding the 2018 Brazilian’s presidential election.
publishDate 2019
dc.date.issued.fl_str_mv 2019-04-29
dc.date.accessioned.fl_str_mv 2022-03-30T13:40:35Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv YADAV, Rajeev Ranjan. Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas. 2019. 115 f. Dissertação (Programa de Pós-Graduação em Informática Aplicada) - Universidade Federal Rural de Pernambuco, Recife.
dc.identifier.uri.fl_str_mv http://www.tede2.ufrpe.br:8080/tede2/handle/tede2/8556
identifier_str_mv YADAV, Rajeev Ranjan. Uma estratégia para avaliação de desempenho e custo de ambientes big data em infraestruturas de nuvens privadas. 2019. 115 f. Dissertação (Programa de Pós-Graduação em Informática Aplicada) - Universidade Federal Rural de Pernambuco, Recife.
url http://www.tede2.ufrpe.br:8080/tede2/handle/tede2/8556
dc.language.iso.fl_str_mv por
language por
dc.relation.program.fl_str_mv -8268485641417162699
dc.relation.confidence.fl_str_mv 600
600
600
dc.relation.department.fl_str_mv -6774555140396120501
dc.relation.cnpq.fl_str_mv 3671711205811204509
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal Rural de Pernambuco
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Informática Aplicada
dc.publisher.initials.fl_str_mv UFRPE
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Departamento de Estatística e Informática
publisher.none.fl_str_mv Universidade Federal Rural de Pernambuco
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFRPE
instname:Universidade Federal Rural de Pernambuco (UFRPE)
instacron:UFRPE
instname_str Universidade Federal Rural de Pernambuco (UFRPE)
instacron_str UFRPE
institution UFRPE
reponame_str Biblioteca Digital de Teses e Dissertações da UFRPE
collection Biblioteca Digital de Teses e Dissertações da UFRPE
bitstream.url.fl_str_mv http://www.tede2.ufrpe.br:8080/tede2/bitstream/tede2/8556/2/Rajeev+Ranjan+Yadav.pdf
http://www.tede2.ufrpe.br:8080/tede2/bitstream/tede2/8556/1/license.txt
bitstream.checksum.fl_str_mv b65c573cbddd322f6a85a5c8fa8f4c96
bd3efa91386c1718a7f26a329fdcb468
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFRPE - Universidade Federal Rural de Pernambuco (UFRPE)
repository.mail.fl_str_mv bdtd@ufrpe.br ||bdtd@ufrpe.br
_version_ 1810103658629562368