Otimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizados

Detalhes bibliográficos
Ano de defesa: 2017
Autor(a) principal: Fonseca, Fábio Miguel Blasak da lattes
Orientador(a): De Rose, César Augusto Fonticielha lattes
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Pontifícia Universidade Católica do Rio Grande do Sul
Programa de Pós-Graduação: Programa de Pós-Graduação em Ciência da Computação
Departamento: Escola Politécnica
País: Brasil
Palavras-chave em Português:
Área do conhecimento CNPq:
Link de acesso: http://tede2.pucrs.br/tede2/handle/tede/7945
Resumo: The growing need to extend IT (Information Technology) resources to meet business needs has raised concerns about how to increase capacity with lower cost and greater use of data center. Therefore, in order to avoid underutilization of infrastructure resources virtualization is a trend towards cost reduction and consolidation of the server infrastructure, thus taking advantage of existing assets. However, with virtualization growth, there is a problem related to resources concurrence in consolidated environments, where diskintensive applications such as databases can be impacted in this type of environment, if they do not have their resources managed properly, can generate performance degradation and increasing execution time respectively. In order to optimize performance and reduce I/O contention, Kassiano J.M. [19] presented a study on the acceleration of Hadoop applications through manual adjustment of disk resource allocation, showing that it is possible to get performance gains. Therefore, proposed work follows this line of study, however, with objective of optimizing the execution of database applications in virtualized environments with shared resources, applying a dynamic adjustment policy of disk resources allocation. It aims to distribute disk resources optimally through an algorithm, avoiding that one or more processes consume all disk resources, while others wait to be executed or are being executed without minimum of appropriate disk resources, thus, taking more time to complete their execution. In order to demonstrate this scenario, workloads of OLTP (Online Transaction Processing) and DW (Data Warehouse) databases have been evaluated using the Orion data load simulator [24] and real captured data from a loading test provided by a large IT company in partnership with PUCRS University (Pontifical Catholic University of Rio Grande do Sul), through the Oracle RAT (Real Application Testing) [25]. Laboratory tests have been performed using the following test scenarios: without adjustment of disk resources, with static adjustment of disk resources and through a dynamic adjustment policy of disk resources based on performance metrics. In this case, it can be observed that dynamic policy obtained the best result among the other test groups, generating a gain of 23% for OLTP database workloads, 21% for DW database workloads and 18% for environments with different types of workloads in concurrency like DW and OLTP.
id P_RS_503c975b44116aaa2d2a4d407d7d76d0
oai_identifier_str oai:tede2.pucrs.br:tede/7945
network_acronym_str P_RS
network_name_str Biblioteca Digital de Teses e Dissertações da PUC_RS
repository_id_str
spelling De Rose, César Augusto Fonticielhahttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4723497Z5http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K8062275P8Fonseca, Fábio Miguel Blasak da2018-04-13T16:28:48Z2017-08-11http://tede2.pucrs.br/tede2/handle/tede/7945The growing need to extend IT (Information Technology) resources to meet business needs has raised concerns about how to increase capacity with lower cost and greater use of data center. Therefore, in order to avoid underutilization of infrastructure resources virtualization is a trend towards cost reduction and consolidation of the server infrastructure, thus taking advantage of existing assets. However, with virtualization growth, there is a problem related to resources concurrence in consolidated environments, where diskintensive applications such as databases can be impacted in this type of environment, if they do not have their resources managed properly, can generate performance degradation and increasing execution time respectively. In order to optimize performance and reduce I/O contention, Kassiano J.M. [19] presented a study on the acceleration of Hadoop applications through manual adjustment of disk resource allocation, showing that it is possible to get performance gains. Therefore, proposed work follows this line of study, however, with objective of optimizing the execution of database applications in virtualized environments with shared resources, applying a dynamic adjustment policy of disk resources allocation. It aims to distribute disk resources optimally through an algorithm, avoiding that one or more processes consume all disk resources, while others wait to be executed or are being executed without minimum of appropriate disk resources, thus, taking more time to complete their execution. In order to demonstrate this scenario, workloads of OLTP (Online Transaction Processing) and DW (Data Warehouse) databases have been evaluated using the Orion data load simulator [24] and real captured data from a loading test provided by a large IT company in partnership with PUCRS University (Pontifical Catholic University of Rio Grande do Sul), through the Oracle RAT (Real Application Testing) [25]. Laboratory tests have been performed using the following test scenarios: without adjustment of disk resources, with static adjustment of disk resources and through a dynamic adjustment policy of disk resources based on performance metrics. In this case, it can be observed that dynamic policy obtained the best result among the other test groups, generating a gain of 23% for OLTP database workloads, 21% for DW database workloads and 18% for environments with different types of workloads in concurrency like DW and OLTP.A crescente necessidade de extensão dos recursos de TI (Tecnologia da Informação) para atender as demandas do negócio, geraram uma preocupação de como aumentar a capacidade com menor custo e maior aproveitamento do data center. Portanto, a fim de evitar a subutilização de recursos de infraestrutura a virtualização é uma tendência para redução de custos e consolidar a infraestrutura de servidores, aproveitando assim os ativos existentes. Entretanto, com o crescimento da virtualização, surge um problema relacionado a concorrência por recursos em ambientes consolidados, onde aplicações com uso intensivo de disco, como bancos de dados, podem ser impactados neste tipo de ambiente, caso não tenham os seus recursos gerenciados apropriadamente, podendo gerar degradação no desempenho e consequentemente aumentando o tempo de execução. A fim de otimizar performance e reduzir a contenção de E/S (Entrada/Saída), Kassiano J. M. [19] apresentou um estudo sobre a aceleração de aplicações Hadoop através de ajuste manual na alocação de recursos de disco, mostrando que é possível obter ganhos de performance. Logo, o trabalho proposto, segue esta linha de estudo, entretanto, com o objetivo de otimizar a execução de aplicações de banco de dados em ambientes virtualizados com recursos compartilhados, aplicando uma política de ajuste dinâmico de alocação de recursos de disco, a qual visa acelerar ainda mais os ganhos de performance. Essa política tem por objetivo distribuir os recursos de disco de forma otimizada, conforme algoritmo aplicado, evitando que um ou mais processos consumam todos os recursos de disco, enquanto outros aguardam para serem executados ou executam com o mínimo de recursos de disco apropriados, por isso, levando maior tempo para concluir o processamento. Para evidenciar esta situação, foram avaliados workloads de banco de dados do tipo OLTP (Online Transaction Processing) e DW (Data Warehouse), utilizando o simulador de cargas de dados Orion [24] e com dados reais capturados de um teste de carga cedidos por uma empresa de TI de grande porte, em parceria com a universidade PUCRS (Pontifícia Universidade Católica do Rio Grande do Sul), através do recurso Oracle RAT (Real Application Testing) [25]. Foram realizados testes em laboratório utilizando os seguintes cenários de teste: sem ajuste de recursos de disco, com ajuste estático de recursos de disco e através de uma política de ajuste dinâmico de recursos de disco com base em métricas deperformance. A partir disso, pode-se observar que a política dinâmica obteve o melhor resultado entre os demais grupos de teste, gerando um ganho de 23% para a execução de workloads de banco de dados OLTP, 21% para workloads de banco de dados DW e 18% durante a execução de ambientes com workloads de tipos diferentes em concorrência, exemplo: DW e OLTP.Submitted by PPG Ciência da Computação (ppgcc@pucrs.br) on 2018-04-10T19:11:33Z No. of bitstreams: 1 FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf: 2321276 bytes, checksum: 333d6e8a8d369d82fe548927b2edaad3 (MD5)Approved for entry into archive by Tatiana Lopes (tatiana.lopes@pucrs.br) on 2018-04-13T16:22:42Z (GMT) No. of bitstreams: 1 FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf: 2321276 bytes, checksum: 333d6e8a8d369d82fe548927b2edaad3 (MD5)Made available in DSpace on 2018-04-13T16:28:48Z (GMT). No. of bitstreams: 1 FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf: 2321276 bytes, checksum: 333d6e8a8d369d82fe548927b2edaad3 (MD5) Previous issue date: 2017-08-11application/pdfhttp://tede2.pucrs.br:80/tede2/retrieve/171479/FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf.jpgporPontifícia Universidade Católica do Rio Grande do SulPrograma de Pós-Graduação em Ciência da ComputaçãoPUCRSBrasilEscola PolitécnicaAlocação de RecursosVirtualizaçãoContenção de DiscoBanco de DadosCIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAOOtimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizadosinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisTrabalho não apresenta restrição para publicação1974996533081274470500500-862078257083325301info:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da PUC_RSinstname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)instacron:PUC_RSTHUMBNAILFABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf.jpgFABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf.jpgimage/jpeg5183http://tede2.pucrs.br/tede2/bitstream/tede/7945/4/FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf.jpgc45e093fa216e58c8d2f13d9614ca569MD54TEXTFABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf.txtFABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf.txttext/plain223171http://tede2.pucrs.br/tede2/bitstream/tede/7945/3/FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf.txt09f090624f6d3e4f72dbb60e4b569dd9MD53ORIGINALFABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdfFABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdfapplication/pdf2321276http://tede2.pucrs.br/tede2/bitstream/tede/7945/2/FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf333d6e8a8d369d82fe548927b2edaad3MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-8610http://tede2.pucrs.br/tede2/bitstream/tede/7945/1/license.txt5a9d6006225b368ef605ba16b4f6d1beMD51tede/79452018-04-13 20:01:24.191oai:tede2.pucrs.br:tede/7945QXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2HDp8OjbyBFbGV0csO0bmljYTogQ29tIGJhc2Ugbm8gZGlzcG9zdG8gbmEgTGVpIEZlZGVyYWwgbsK6OS42MTAsIGRlIDE5IGRlIGZldmVyZWlybyBkZSAxOTk4LCBvIGF1dG9yIEFVVE9SSVpBIGEgcHVibGljYcOnw6NvIGVsZXRyw7RuaWNhIGRhIHByZXNlbnRlIG9icmEgbm8gYWNlcnZvIGRhIEJpYmxpb3RlY2EgRGlnaXRhbCBkYSBQb250aWbDrWNpYSBVbml2ZXJzaWRhZGUgQ2F0w7NsaWNhIGRvIFJpbyBHcmFuZGUgZG8gU3VsLCBzZWRpYWRhIGEgQXYuIElwaXJhbmdhIDY2ODEsIFBvcnRvIEFsZWdyZSwgUmlvIEdyYW5kZSBkbyBTdWwsIGNvbSByZWdpc3RybyBkZSBDTlBKIDg4NjMwNDEzMDAwMi04MSBiZW0gY29tbyBlbSBvdXRyYXMgYmlibGlvdGVjYXMgZGlnaXRhaXMsIG5hY2lvbmFpcyBlIGludGVybmFjaW9uYWlzLCBjb25zw7NyY2lvcyBlIHJlZGVzIMOgcyBxdWFpcyBhIGJpYmxpb3RlY2EgZGEgUFVDUlMgcG9zc2EgYSB2aXIgcGFydGljaXBhciwgc2VtIMO0bnVzIGFsdXNpdm8gYW9zIGRpcmVpdG9zIGF1dG9yYWlzLCBhIHTDrXR1bG8gZGUgZGl2dWxnYcOnw6NvIGRhIHByb2R1w6fDo28gY2llbnTDrWZpY2EuCg==Biblioteca Digital de Teses e Dissertaçõeshttp://tede2.pucrs.br/tede2/PRIhttps://tede2.pucrs.br/oai/requestbiblioteca.central@pucrs.br||opendoar:2018-04-13T23:01:24Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)false
dc.title.por.fl_str_mv Otimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizados
title Otimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizados
spellingShingle Otimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizados
Fonseca, Fábio Miguel Blasak da
Alocação de Recursos
Virtualização
Contenção de Disco
Banco de Dados
CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO
title_short Otimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizados
title_full Otimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizados
title_fullStr Otimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizados
title_full_unstemmed Otimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizados
title_sort Otimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizados
author Fonseca, Fábio Miguel Blasak da
author_facet Fonseca, Fábio Miguel Blasak da
author_role author
dc.contributor.advisor1.fl_str_mv De Rose, César Augusto Fonticielha
dc.contributor.advisor1Lattes.fl_str_mv http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4723497Z5
dc.contributor.authorLattes.fl_str_mv http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K8062275P8
dc.contributor.author.fl_str_mv Fonseca, Fábio Miguel Blasak da
contributor_str_mv De Rose, César Augusto Fonticielha
dc.subject.por.fl_str_mv Alocação de Recursos
Virtualização
Contenção de Disco
Banco de Dados
topic Alocação de Recursos
Virtualização
Contenção de Disco
Banco de Dados
CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO
dc.subject.cnpq.fl_str_mv CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO
description The growing need to extend IT (Information Technology) resources to meet business needs has raised concerns about how to increase capacity with lower cost and greater use of data center. Therefore, in order to avoid underutilization of infrastructure resources virtualization is a trend towards cost reduction and consolidation of the server infrastructure, thus taking advantage of existing assets. However, with virtualization growth, there is a problem related to resources concurrence in consolidated environments, where diskintensive applications such as databases can be impacted in this type of environment, if they do not have their resources managed properly, can generate performance degradation and increasing execution time respectively. In order to optimize performance and reduce I/O contention, Kassiano J.M. [19] presented a study on the acceleration of Hadoop applications through manual adjustment of disk resource allocation, showing that it is possible to get performance gains. Therefore, proposed work follows this line of study, however, with objective of optimizing the execution of database applications in virtualized environments with shared resources, applying a dynamic adjustment policy of disk resources allocation. It aims to distribute disk resources optimally through an algorithm, avoiding that one or more processes consume all disk resources, while others wait to be executed or are being executed without minimum of appropriate disk resources, thus, taking more time to complete their execution. In order to demonstrate this scenario, workloads of OLTP (Online Transaction Processing) and DW (Data Warehouse) databases have been evaluated using the Orion data load simulator [24] and real captured data from a loading test provided by a large IT company in partnership with PUCRS University (Pontifical Catholic University of Rio Grande do Sul), through the Oracle RAT (Real Application Testing) [25]. Laboratory tests have been performed using the following test scenarios: without adjustment of disk resources, with static adjustment of disk resources and through a dynamic adjustment policy of disk resources based on performance metrics. In this case, it can be observed that dynamic policy obtained the best result among the other test groups, generating a gain of 23% for OLTP database workloads, 21% for DW database workloads and 18% for environments with different types of workloads in concurrency like DW and OLTP.
publishDate 2017
dc.date.issued.fl_str_mv 2017-08-11
dc.date.accessioned.fl_str_mv 2018-04-13T16:28:48Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://tede2.pucrs.br/tede2/handle/tede/7945
url http://tede2.pucrs.br/tede2/handle/tede/7945
dc.language.iso.fl_str_mv por
language por
dc.relation.program.fl_str_mv 1974996533081274470
dc.relation.confidence.fl_str_mv 500
500
dc.relation.cnpq.fl_str_mv -862078257083325301
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Pontifícia Universidade Católica do Rio Grande do Sul
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Ciência da Computação
dc.publisher.initials.fl_str_mv PUCRS
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Escola Politécnica
publisher.none.fl_str_mv Pontifícia Universidade Católica do Rio Grande do Sul
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da PUC_RS
instname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)
instacron:PUC_RS
instname_str Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)
instacron_str PUC_RS
institution PUC_RS
reponame_str Biblioteca Digital de Teses e Dissertações da PUC_RS
collection Biblioteca Digital de Teses e Dissertações da PUC_RS
bitstream.url.fl_str_mv http://tede2.pucrs.br/tede2/bitstream/tede/7945/4/FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf.jpg
http://tede2.pucrs.br/tede2/bitstream/tede/7945/3/FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf.txt
http://tede2.pucrs.br/tede2/bitstream/tede/7945/2/FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf
http://tede2.pucrs.br/tede2/bitstream/tede/7945/1/license.txt
bitstream.checksum.fl_str_mv c45e093fa216e58c8d2f13d9614ca569
09f090624f6d3e4f72dbb60e4b569dd9
333d6e8a8d369d82fe548927b2edaad3
5a9d6006225b368ef605ba16b4f6d1be
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)
repository.mail.fl_str_mv biblioteca.central@pucrs.br||
_version_ 1799765507233021952