Otimizando a utilização de ambientes de nuvem PaaS usando uma abordagem preditiva.

Detalhes bibliográficos
Ano de defesa: 2016
Autor(a) principal: TRUTA, Ítalo Henrique Costa. lattes
Orientador(a): BRITO, Andrey Elísio Monteiro. lattes, LOPES, Raquel Vigolvino. lattes
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de Campina Grande
Programa de Pós-Graduação: PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
Departamento: Centro de Engenharia Elétrica e Informática - CEEI
País: Brasil
Palavras-chave em Português:
Área do conhecimento CNPq:
Link de acesso: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/798
Resumo: Seguindo a tendência de diversas áreas da computação, o processamento de Big Data também foi movido para a nuvem, devido à flexibilidade e facilidade que o modelo de computação na nuvem oferece, especialmente no modelo PaaS, onde os usuários podem executar suas aplicações Big Data de maneira mais fácil e barata. Centros computacionais de nuvem necessitam fazer um gerenciamento adequado de recursos para fazer melhor aproveitamento do aparato disponível, bem como minimizar custo operacional, já que grande parte dos recursos disponíveis passam a maior parte do tempo ociosos. Muito dessa ociosidade se deve ao sistema de cotas, que considera alocação estática de recursos, ao invés de observar se os recursos estão sendo, de fato, utilizados. O trabalho apresentado nesta dissertação propõe uma solução para melhor gerenciamento de recursos em nuvens voltadas para processamento de dados com o modelo PaaS. Esse procedimento é feito por meio de abordagens preditivas tanto a nível operacional, estimando a carga dos servidores que compõem a nuvem em instantes futuros com base na utilização real no momento e em dados históricos, e a nível de aplicação, estimando a duração de tarefas de processamento em lote usando um agrupamento baseado em dados de aplicações previamente executadas. Com estes dados, a abordagem proposta é capaz de tomar decisões não-triviais na medida em que o usuário submete aplicações para execução, tais como acelerar a tarefa, caso haja recursos sobrando no momento, adiá-la, caso não haja recursos no momento mas tenha previsão de que haverá em um curto prazo, ou rejeitá-la, caso não haja recursos no momento da chegada, nem previsão de haver nas próximas janelas de execução. Fazendo uso dessa abordagem, em comparação com o caso usual, controlado pelo sistema de cotas estáticas de recurso, obtivemos um acréscimo médio de mais de 10% dos recursos da nuvem, com um acréscimo no custo operacional de apenas 1%, considerando a não-proporcionalidade de energia, também avaliada nos nossos experimentos. Além disso, houve um aumento de 20% na taxa de requisições de tarefas processadas com sucesso, o que acarretou em um acréscimo no faturamento líıquido entre 10 e 20%.
id UFCG_b3e1b8db0a1767ec1768927f9b6477b5
oai_identifier_str oai:localhost:riufcg/798
network_acronym_str UFCG
network_name_str Biblioteca Digital de Teses e Dissertações da UFCG
repository_id_str
spelling BRITO, Andrey Elísio Monteiro.BRITO, Andreyhttp://lattes.cnpq.br/2634324830901340LOPES, Raquel Vigolvino.LOPES, R. V.http://lattes.cnpq.br/0577503698179302TRUTA, I. H. C.http://lattes.cnpq.br/1270674095045709TRUTA, Ítalo Henrique Costa.Seguindo a tendência de diversas áreas da computação, o processamento de Big Data também foi movido para a nuvem, devido à flexibilidade e facilidade que o modelo de computação na nuvem oferece, especialmente no modelo PaaS, onde os usuários podem executar suas aplicações Big Data de maneira mais fácil e barata. Centros computacionais de nuvem necessitam fazer um gerenciamento adequado de recursos para fazer melhor aproveitamento do aparato disponível, bem como minimizar custo operacional, já que grande parte dos recursos disponíveis passam a maior parte do tempo ociosos. Muito dessa ociosidade se deve ao sistema de cotas, que considera alocação estática de recursos, ao invés de observar se os recursos estão sendo, de fato, utilizados. O trabalho apresentado nesta dissertação propõe uma solução para melhor gerenciamento de recursos em nuvens voltadas para processamento de dados com o modelo PaaS. Esse procedimento é feito por meio de abordagens preditivas tanto a nível operacional, estimando a carga dos servidores que compõem a nuvem em instantes futuros com base na utilização real no momento e em dados históricos, e a nível de aplicação, estimando a duração de tarefas de processamento em lote usando um agrupamento baseado em dados de aplicações previamente executadas. Com estes dados, a abordagem proposta é capaz de tomar decisões não-triviais na medida em que o usuário submete aplicações para execução, tais como acelerar a tarefa, caso haja recursos sobrando no momento, adiá-la, caso não haja recursos no momento mas tenha previsão de que haverá em um curto prazo, ou rejeitá-la, caso não haja recursos no momento da chegada, nem previsão de haver nas próximas janelas de execução. Fazendo uso dessa abordagem, em comparação com o caso usual, controlado pelo sistema de cotas estáticas de recurso, obtivemos um acréscimo médio de mais de 10% dos recursos da nuvem, com um acréscimo no custo operacional de apenas 1%, considerando a não-proporcionalidade de energia, também avaliada nos nossos experimentos. Além disso, houve um aumento de 20% na taxa de requisições de tarefas processadas com sucesso, o que acarretou em um acréscimo no faturamento líıquido entre 10 e 20%.Following the trend of many computing areas, Big Data processing has also been moved to the cloud, due to the flexibility and easiness the cloud model provides, specially in the PaaS model, where users can run their Big Data applications in an even easier and cheaper way. Cloud computing data centers need to have proper resource management in order to make best usage of available capabilities and minimize operational cost, as a large portion of the computational resources is idle most of the time. This idleness is mostly caused by the quota management system, which only considers static resource allocation, instead of looking whether the resources are indeed used. In this work, we propose a solution to better manage the resources in PaaS cloud environments, focused on data processing. This management is made through predictive approaches, both in operational level, forecasting the workload of cloud servers in next time windows (based on the current utilization and historical data), and at application level, estimating the makespan of batch data processing applications with a clustering algorithm based on previously executed jobs characteristics. With those data, the proposed solution is able to take a set of non-trivial decisions, such as accelerating the job if more resources than requested are available, postponing the job when resources are only available in next time windows,or rejecting it, when there are not enough resources at the moment, neither in next windows. With this approach, when compared to the usual case, regulated by static resource quotas, we obtained a 10% increase of average CPU and RAM utilization across the cloud, with an operation cost increase of only 1%, considering the non-proportionality of power consuming, also observed in our experiments. Besides that, the system also showed a 20% increase in the average success fully processed jobs, occasioning a profit i ncrement between 10% and 20%.Submitted by Maria Medeiros (maria.dilva1@ufcg.edu.br) on 2018-05-24T13:02:21Z No. of bitstreams: 1 ÍTALO HENRIQUE COSTA TRUTA - DISSERTAÇÃO (PPGCC) 2016.pdf: 1851862 bytes, checksum: 077c5179782b3aa8aa14351d49baee9e (MD5)Made available in DSpace on 2018-05-24T13:02:21Z (GMT). No. of bitstreams: 1 ÍTALO HENRIQUE COSTA TRUTA - DISSERTAÇÃO (PPGCC) 2016.pdf: 1851862 bytes, checksum: 077c5179782b3aa8aa14351d49baee9e (MD5) Previous issue date: 2016Universidade Federal de Campina GrandePÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃOUFCGBrasilCentro de Engenharia Elétrica e Informática - CEEICiênciasCiência da Computação.Rede de Computadores.Computação na Nuvem.Processamento de Dados - Modelo PaaS.Otimizando a utilização de ambientes de nuvem PaaS usando uma abordagem preditiva.20162018-05-24T13:02:21Z2018-05-242018-05-24T13:02:21Zhttp://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/798TRUTA, I. H. C. Otimizando a utilização de ambientes de nuvem PaaS usando uma abordagem preditiva. 2016. 75 f. Dissertação (Mestrado em Ciência da Computação) – Programa de Pós-Graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2016. Disponível em: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/798info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisporinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFCGinstname:Universidade Federal de Campina Grande (UFCG)instacron:UFCGORIGINALÍTALO HENRIQUE COSTA TRUTA - DISSERTAÇÃO (PPGCC) 2016.pdfÍTALO HENRIQUE COSTA TRUTA - DISSERTAÇÃO (PPGCC) 2016.pdfapplication/pdf1745834http://dspace.sti.ufcg.edu.br:8080/xmlui/bitstream/riufcg/798/3/%C3%8DTALO+HENRIQUE+COSTA+TRUTA+-+DISSERTA%C3%87%C3%83O+%28PPGCC%29+2016.pdf6dfb02de25dd249990fcfcca3994c26eMD53LICENSElicense.txtlicense.txttext/plain; charset=utf-81748http://dspace.sti.ufcg.edu.br:8080/xmlui/bitstream/riufcg/798/2/license.txt8a4605be74aa9ea9d79846c1fba20a33MD52riufcg/7982022-06-02 20:47:32.656oai:localhost:riufcg/798Tk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=Biblioteca Digital de Teses e Dissertaçõeshttp://bdtd.ufcg.edu.br/PUBhttp://dspace.sti.ufcg.edu.br:8080/oai/requestbdtd@setor.ufcg.edu.br || bdtd@setor.ufcg.edu.bropendoar:48512022-06-02T23:47:32Biblioteca Digital de Teses e Dissertações da UFCG - Universidade Federal de Campina Grande (UFCG)false
dc.title.pt_BR.fl_str_mv Otimizando a utilização de ambientes de nuvem PaaS usando uma abordagem preditiva.
title Otimizando a utilização de ambientes de nuvem PaaS usando uma abordagem preditiva.
spellingShingle Otimizando a utilização de ambientes de nuvem PaaS usando uma abordagem preditiva.
TRUTA, Ítalo Henrique Costa.
Ciências
Ciência da Computação.
Rede de Computadores.
Computação na Nuvem.
Processamento de Dados - Modelo PaaS.
title_short Otimizando a utilização de ambientes de nuvem PaaS usando uma abordagem preditiva.
title_full Otimizando a utilização de ambientes de nuvem PaaS usando uma abordagem preditiva.
title_fullStr Otimizando a utilização de ambientes de nuvem PaaS usando uma abordagem preditiva.
title_full_unstemmed Otimizando a utilização de ambientes de nuvem PaaS usando uma abordagem preditiva.
title_sort Otimizando a utilização de ambientes de nuvem PaaS usando uma abordagem preditiva.
author TRUTA, Ítalo Henrique Costa.
author_facet TRUTA, Ítalo Henrique Costa.
author_role author
dc.contributor.advisor2ID.pt_BR.fl_str_mv LOPES, R. V.
dc.contributor.advisor1.fl_str_mv BRITO, Andrey Elísio Monteiro.
dc.contributor.advisor1ID.fl_str_mv BRITO, Andrey
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/2634324830901340
dc.contributor.advisor2.fl_str_mv LOPES, Raquel Vigolvino.
dc.contributor.advisor2Lattes.fl_str_mv http://lattes.cnpq.br/0577503698179302
dc.contributor.authorID.fl_str_mv TRUTA, I. H. C.
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/1270674095045709
dc.contributor.author.fl_str_mv TRUTA, Ítalo Henrique Costa.
contributor_str_mv BRITO, Andrey Elísio Monteiro.
LOPES, Raquel Vigolvino.
dc.subject.cnpq.fl_str_mv Ciências
Ciência da Computação.
topic Ciências
Ciência da Computação.
Rede de Computadores.
Computação na Nuvem.
Processamento de Dados - Modelo PaaS.
dc.subject.por.fl_str_mv Rede de Computadores.
Computação na Nuvem.
Processamento de Dados - Modelo PaaS.
description Seguindo a tendência de diversas áreas da computação, o processamento de Big Data também foi movido para a nuvem, devido à flexibilidade e facilidade que o modelo de computação na nuvem oferece, especialmente no modelo PaaS, onde os usuários podem executar suas aplicações Big Data de maneira mais fácil e barata. Centros computacionais de nuvem necessitam fazer um gerenciamento adequado de recursos para fazer melhor aproveitamento do aparato disponível, bem como minimizar custo operacional, já que grande parte dos recursos disponíveis passam a maior parte do tempo ociosos. Muito dessa ociosidade se deve ao sistema de cotas, que considera alocação estática de recursos, ao invés de observar se os recursos estão sendo, de fato, utilizados. O trabalho apresentado nesta dissertação propõe uma solução para melhor gerenciamento de recursos em nuvens voltadas para processamento de dados com o modelo PaaS. Esse procedimento é feito por meio de abordagens preditivas tanto a nível operacional, estimando a carga dos servidores que compõem a nuvem em instantes futuros com base na utilização real no momento e em dados históricos, e a nível de aplicação, estimando a duração de tarefas de processamento em lote usando um agrupamento baseado em dados de aplicações previamente executadas. Com estes dados, a abordagem proposta é capaz de tomar decisões não-triviais na medida em que o usuário submete aplicações para execução, tais como acelerar a tarefa, caso haja recursos sobrando no momento, adiá-la, caso não haja recursos no momento mas tenha previsão de que haverá em um curto prazo, ou rejeitá-la, caso não haja recursos no momento da chegada, nem previsão de haver nas próximas janelas de execução. Fazendo uso dessa abordagem, em comparação com o caso usual, controlado pelo sistema de cotas estáticas de recurso, obtivemos um acréscimo médio de mais de 10% dos recursos da nuvem, com um acréscimo no custo operacional de apenas 1%, considerando a não-proporcionalidade de energia, também avaliada nos nossos experimentos. Além disso, houve um aumento de 20% na taxa de requisições de tarefas processadas com sucesso, o que acarretou em um acréscimo no faturamento líıquido entre 10 e 20%.
publishDate 2016
dc.date.issued.fl_str_mv 2016
dc.date.accessioned.fl_str_mv 2018-05-24T13:02:21Z
dc.date.available.fl_str_mv 2018-05-24
2018-05-24T13:02:21Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/798
dc.identifier.citation.fl_str_mv TRUTA, I. H. C. Otimizando a utilização de ambientes de nuvem PaaS usando uma abordagem preditiva. 2016. 75 f. Dissertação (Mestrado em Ciência da Computação) – Programa de Pós-Graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2016. Disponível em: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/798
url http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/798
identifier_str_mv TRUTA, I. H. C. Otimizando a utilização de ambientes de nuvem PaaS usando uma abordagem preditiva. 2016. 75 f. Dissertação (Mestrado em Ciência da Computação) – Programa de Pós-Graduação em Ciência da Computação, Centro de Engenharia Elétrica e Informática, Universidade Federal de Campina Grande, Paraíba, Brasil, 2016. Disponível em: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/798
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Campina Grande
dc.publisher.program.fl_str_mv PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
dc.publisher.initials.fl_str_mv UFCG
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Centro de Engenharia Elétrica e Informática - CEEI
publisher.none.fl_str_mv Universidade Federal de Campina Grande
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFCG
instname:Universidade Federal de Campina Grande (UFCG)
instacron:UFCG
instname_str Universidade Federal de Campina Grande (UFCG)
instacron_str UFCG
institution UFCG
reponame_str Biblioteca Digital de Teses e Dissertações da UFCG
collection Biblioteca Digital de Teses e Dissertações da UFCG
bitstream.url.fl_str_mv http://dspace.sti.ufcg.edu.br:8080/xmlui/bitstream/riufcg/798/3/%C3%8DTALO+HENRIQUE+COSTA+TRUTA+-+DISSERTA%C3%87%C3%83O+%28PPGCC%29+2016.pdf
http://dspace.sti.ufcg.edu.br:8080/xmlui/bitstream/riufcg/798/2/license.txt
bitstream.checksum.fl_str_mv 6dfb02de25dd249990fcfcca3994c26e
8a4605be74aa9ea9d79846c1fba20a33
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFCG - Universidade Federal de Campina Grande (UFCG)
repository.mail.fl_str_mv bdtd@setor.ufcg.edu.br || bdtd@setor.ufcg.edu.br
_version_ 1797044597472362496