Otimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizados
Ano de defesa: | 2017 |
---|---|
Autor(a) principal: | |
Orientador(a): | |
Banca de defesa: | |
Tipo de documento: | Dissertação |
Tipo de acesso: | Acesso aberto |
Idioma: | por |
Instituição de defesa: |
Pontifícia Universidade Católica do Rio Grande do Sul
|
Programa de Pós-Graduação: |
Programa de Pós-Graduação em Ciência da Computação
|
Departamento: |
Escola Politécnica
|
País: |
Brasil
|
Palavras-chave em Português: | |
Área do conhecimento CNPq: | |
Link de acesso: | http://tede2.pucrs.br/tede2/handle/tede/7945 |
Resumo: | The growing need to extend IT (Information Technology) resources to meet business needs has raised concerns about how to increase capacity with lower cost and greater use of data center. Therefore, in order to avoid underutilization of infrastructure resources virtualization is a trend towards cost reduction and consolidation of the server infrastructure, thus taking advantage of existing assets. However, with virtualization growth, there is a problem related to resources concurrence in consolidated environments, where diskintensive applications such as databases can be impacted in this type of environment, if they do not have their resources managed properly, can generate performance degradation and increasing execution time respectively. In order to optimize performance and reduce I/O contention, Kassiano J.M. [19] presented a study on the acceleration of Hadoop applications through manual adjustment of disk resource allocation, showing that it is possible to get performance gains. Therefore, proposed work follows this line of study, however, with objective of optimizing the execution of database applications in virtualized environments with shared resources, applying a dynamic adjustment policy of disk resources allocation. It aims to distribute disk resources optimally through an algorithm, avoiding that one or more processes consume all disk resources, while others wait to be executed or are being executed without minimum of appropriate disk resources, thus, taking more time to complete their execution. In order to demonstrate this scenario, workloads of OLTP (Online Transaction Processing) and DW (Data Warehouse) databases have been evaluated using the Orion data load simulator [24] and real captured data from a loading test provided by a large IT company in partnership with PUCRS University (Pontifical Catholic University of Rio Grande do Sul), through the Oracle RAT (Real Application Testing) [25]. Laboratory tests have been performed using the following test scenarios: without adjustment of disk resources, with static adjustment of disk resources and through a dynamic adjustment policy of disk resources based on performance metrics. In this case, it can be observed that dynamic policy obtained the best result among the other test groups, generating a gain of 23% for OLTP database workloads, 21% for DW database workloads and 18% for environments with different types of workloads in concurrency like DW and OLTP. |
id |
P_RS_503c975b44116aaa2d2a4d407d7d76d0 |
---|---|
oai_identifier_str |
oai:tede2.pucrs.br:tede/7945 |
network_acronym_str |
P_RS |
network_name_str |
Biblioteca Digital de Teses e Dissertações da PUC_RS |
repository_id_str |
|
spelling |
De Rose, César Augusto Fonticielhahttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4723497Z5http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K8062275P8Fonseca, Fábio Miguel Blasak da2018-04-13T16:28:48Z2017-08-11http://tede2.pucrs.br/tede2/handle/tede/7945The growing need to extend IT (Information Technology) resources to meet business needs has raised concerns about how to increase capacity with lower cost and greater use of data center. Therefore, in order to avoid underutilization of infrastructure resources virtualization is a trend towards cost reduction and consolidation of the server infrastructure, thus taking advantage of existing assets. However, with virtualization growth, there is a problem related to resources concurrence in consolidated environments, where diskintensive applications such as databases can be impacted in this type of environment, if they do not have their resources managed properly, can generate performance degradation and increasing execution time respectively. In order to optimize performance and reduce I/O contention, Kassiano J.M. [19] presented a study on the acceleration of Hadoop applications through manual adjustment of disk resource allocation, showing that it is possible to get performance gains. Therefore, proposed work follows this line of study, however, with objective of optimizing the execution of database applications in virtualized environments with shared resources, applying a dynamic adjustment policy of disk resources allocation. It aims to distribute disk resources optimally through an algorithm, avoiding that one or more processes consume all disk resources, while others wait to be executed or are being executed without minimum of appropriate disk resources, thus, taking more time to complete their execution. In order to demonstrate this scenario, workloads of OLTP (Online Transaction Processing) and DW (Data Warehouse) databases have been evaluated using the Orion data load simulator [24] and real captured data from a loading test provided by a large IT company in partnership with PUCRS University (Pontifical Catholic University of Rio Grande do Sul), through the Oracle RAT (Real Application Testing) [25]. Laboratory tests have been performed using the following test scenarios: without adjustment of disk resources, with static adjustment of disk resources and through a dynamic adjustment policy of disk resources based on performance metrics. In this case, it can be observed that dynamic policy obtained the best result among the other test groups, generating a gain of 23% for OLTP database workloads, 21% for DW database workloads and 18% for environments with different types of workloads in concurrency like DW and OLTP.A crescente necessidade de extensão dos recursos de TI (Tecnologia da Informação) para atender as demandas do negócio, geraram uma preocupação de como aumentar a capacidade com menor custo e maior aproveitamento do data center. Portanto, a fim de evitar a subutilização de recursos de infraestrutura a virtualização é uma tendência para redução de custos e consolidar a infraestrutura de servidores, aproveitando assim os ativos existentes. Entretanto, com o crescimento da virtualização, surge um problema relacionado a concorrência por recursos em ambientes consolidados, onde aplicações com uso intensivo de disco, como bancos de dados, podem ser impactados neste tipo de ambiente, caso não tenham os seus recursos gerenciados apropriadamente, podendo gerar degradação no desempenho e consequentemente aumentando o tempo de execução. A fim de otimizar performance e reduzir a contenção de E/S (Entrada/Saída), Kassiano J. M. [19] apresentou um estudo sobre a aceleração de aplicações Hadoop através de ajuste manual na alocação de recursos de disco, mostrando que é possível obter ganhos de performance. Logo, o trabalho proposto, segue esta linha de estudo, entretanto, com o objetivo de otimizar a execução de aplicações de banco de dados em ambientes virtualizados com recursos compartilhados, aplicando uma política de ajuste dinâmico de alocação de recursos de disco, a qual visa acelerar ainda mais os ganhos de performance. Essa política tem por objetivo distribuir os recursos de disco de forma otimizada, conforme algoritmo aplicado, evitando que um ou mais processos consumam todos os recursos de disco, enquanto outros aguardam para serem executados ou executam com o mínimo de recursos de disco apropriados, por isso, levando maior tempo para concluir o processamento. Para evidenciar esta situação, foram avaliados workloads de banco de dados do tipo OLTP (Online Transaction Processing) e DW (Data Warehouse), utilizando o simulador de cargas de dados Orion [24] e com dados reais capturados de um teste de carga cedidos por uma empresa de TI de grande porte, em parceria com a universidade PUCRS (Pontifícia Universidade Católica do Rio Grande do Sul), através do recurso Oracle RAT (Real Application Testing) [25]. Foram realizados testes em laboratório utilizando os seguintes cenários de teste: sem ajuste de recursos de disco, com ajuste estático de recursos de disco e através de uma política de ajuste dinâmico de recursos de disco com base em métricas deperformance. A partir disso, pode-se observar que a política dinâmica obteve o melhor resultado entre os demais grupos de teste, gerando um ganho de 23% para a execução de workloads de banco de dados OLTP, 21% para workloads de banco de dados DW e 18% durante a execução de ambientes com workloads de tipos diferentes em concorrência, exemplo: DW e OLTP.Submitted by PPG Ciência da Computação (ppgcc@pucrs.br) on 2018-04-10T19:11:33Z No. of bitstreams: 1 FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf: 2321276 bytes, checksum: 333d6e8a8d369d82fe548927b2edaad3 (MD5)Approved for entry into archive by Tatiana Lopes (tatiana.lopes@pucrs.br) on 2018-04-13T16:22:42Z (GMT) No. of bitstreams: 1 FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf: 2321276 bytes, checksum: 333d6e8a8d369d82fe548927b2edaad3 (MD5)Made available in DSpace on 2018-04-13T16:28:48Z (GMT). No. of bitstreams: 1 FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf: 2321276 bytes, checksum: 333d6e8a8d369d82fe548927b2edaad3 (MD5) Previous issue date: 2017-08-11application/pdfhttp://tede2.pucrs.br:80/tede2/retrieve/171479/FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf.jpgporPontifícia Universidade Católica do Rio Grande do SulPrograma de Pós-Graduação em Ciência da ComputaçãoPUCRSBrasilEscola PolitécnicaAlocação de RecursosVirtualizaçãoContenção de DiscoBanco de DadosCIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAOOtimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizadosinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisTrabalho não apresenta restrição para publicação1974996533081274470500500-862078257083325301info:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da PUC_RSinstname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)instacron:PUC_RSTHUMBNAILFABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf.jpgFABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf.jpgimage/jpeg5183http://tede2.pucrs.br/tede2/bitstream/tede/7945/4/FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf.jpgc45e093fa216e58c8d2f13d9614ca569MD54TEXTFABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf.txtFABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf.txttext/plain223171http://tede2.pucrs.br/tede2/bitstream/tede/7945/3/FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf.txt09f090624f6d3e4f72dbb60e4b569dd9MD53ORIGINALFABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdfFABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdfapplication/pdf2321276http://tede2.pucrs.br/tede2/bitstream/tede/7945/2/FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf333d6e8a8d369d82fe548927b2edaad3MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-8610http://tede2.pucrs.br/tede2/bitstream/tede/7945/1/license.txt5a9d6006225b368ef605ba16b4f6d1beMD51tede/79452018-04-13 20:01:24.191oai:tede2.pucrs.br:tede/7945QXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2HDp8OjbyBFbGV0csO0bmljYTogQ29tIGJhc2Ugbm8gZGlzcG9zdG8gbmEgTGVpIEZlZGVyYWwgbsK6OS42MTAsIGRlIDE5IGRlIGZldmVyZWlybyBkZSAxOTk4LCBvIGF1dG9yIEFVVE9SSVpBIGEgcHVibGljYcOnw6NvIGVsZXRyw7RuaWNhIGRhIHByZXNlbnRlIG9icmEgbm8gYWNlcnZvIGRhIEJpYmxpb3RlY2EgRGlnaXRhbCBkYSBQb250aWbDrWNpYSBVbml2ZXJzaWRhZGUgQ2F0w7NsaWNhIGRvIFJpbyBHcmFuZGUgZG8gU3VsLCBzZWRpYWRhIGEgQXYuIElwaXJhbmdhIDY2ODEsIFBvcnRvIEFsZWdyZSwgUmlvIEdyYW5kZSBkbyBTdWwsIGNvbSByZWdpc3RybyBkZSBDTlBKIDg4NjMwNDEzMDAwMi04MSBiZW0gY29tbyBlbSBvdXRyYXMgYmlibGlvdGVjYXMgZGlnaXRhaXMsIG5hY2lvbmFpcyBlIGludGVybmFjaW9uYWlzLCBjb25zw7NyY2lvcyBlIHJlZGVzIMOgcyBxdWFpcyBhIGJpYmxpb3RlY2EgZGEgUFVDUlMgcG9zc2EgYSB2aXIgcGFydGljaXBhciwgc2VtIMO0bnVzIGFsdXNpdm8gYW9zIGRpcmVpdG9zIGF1dG9yYWlzLCBhIHTDrXR1bG8gZGUgZGl2dWxnYcOnw6NvIGRhIHByb2R1w6fDo28gY2llbnTDrWZpY2EuCg==Biblioteca Digital de Teses e Dissertaçõeshttp://tede2.pucrs.br/tede2/PRIhttps://tede2.pucrs.br/oai/requestbiblioteca.central@pucrs.br||opendoar:2018-04-13T23:01:24Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)false |
dc.title.por.fl_str_mv |
Otimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizados |
title |
Otimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizados |
spellingShingle |
Otimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizados Fonseca, Fábio Miguel Blasak da Alocação de Recursos Virtualização Contenção de Disco Banco de Dados CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO |
title_short |
Otimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizados |
title_full |
Otimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizados |
title_fullStr |
Otimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizados |
title_full_unstemmed |
Otimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizados |
title_sort |
Otimizando a execução de aplicações de banco de dados através de uma melhor alocação de recursos de disco em ambientes virtualizados |
author |
Fonseca, Fábio Miguel Blasak da |
author_facet |
Fonseca, Fábio Miguel Blasak da |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
De Rose, César Augusto Fonticielha |
dc.contributor.advisor1Lattes.fl_str_mv |
http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4723497Z5 |
dc.contributor.authorLattes.fl_str_mv |
http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K8062275P8 |
dc.contributor.author.fl_str_mv |
Fonseca, Fábio Miguel Blasak da |
contributor_str_mv |
De Rose, César Augusto Fonticielha |
dc.subject.por.fl_str_mv |
Alocação de Recursos Virtualização Contenção de Disco Banco de Dados |
topic |
Alocação de Recursos Virtualização Contenção de Disco Banco de Dados CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO |
dc.subject.cnpq.fl_str_mv |
CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO |
description |
The growing need to extend IT (Information Technology) resources to meet business needs has raised concerns about how to increase capacity with lower cost and greater use of data center. Therefore, in order to avoid underutilization of infrastructure resources virtualization is a trend towards cost reduction and consolidation of the server infrastructure, thus taking advantage of existing assets. However, with virtualization growth, there is a problem related to resources concurrence in consolidated environments, where diskintensive applications such as databases can be impacted in this type of environment, if they do not have their resources managed properly, can generate performance degradation and increasing execution time respectively. In order to optimize performance and reduce I/O contention, Kassiano J.M. [19] presented a study on the acceleration of Hadoop applications through manual adjustment of disk resource allocation, showing that it is possible to get performance gains. Therefore, proposed work follows this line of study, however, with objective of optimizing the execution of database applications in virtualized environments with shared resources, applying a dynamic adjustment policy of disk resources allocation. It aims to distribute disk resources optimally through an algorithm, avoiding that one or more processes consume all disk resources, while others wait to be executed or are being executed without minimum of appropriate disk resources, thus, taking more time to complete their execution. In order to demonstrate this scenario, workloads of OLTP (Online Transaction Processing) and DW (Data Warehouse) databases have been evaluated using the Orion data load simulator [24] and real captured data from a loading test provided by a large IT company in partnership with PUCRS University (Pontifical Catholic University of Rio Grande do Sul), through the Oracle RAT (Real Application Testing) [25]. Laboratory tests have been performed using the following test scenarios: without adjustment of disk resources, with static adjustment of disk resources and through a dynamic adjustment policy of disk resources based on performance metrics. In this case, it can be observed that dynamic policy obtained the best result among the other test groups, generating a gain of 23% for OLTP database workloads, 21% for DW database workloads and 18% for environments with different types of workloads in concurrency like DW and OLTP. |
publishDate |
2017 |
dc.date.issued.fl_str_mv |
2017-08-11 |
dc.date.accessioned.fl_str_mv |
2018-04-13T16:28:48Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://tede2.pucrs.br/tede2/handle/tede/7945 |
url |
http://tede2.pucrs.br/tede2/handle/tede/7945 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.program.fl_str_mv |
1974996533081274470 |
dc.relation.confidence.fl_str_mv |
500 500 |
dc.relation.cnpq.fl_str_mv |
-862078257083325301 |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Pontifícia Universidade Católica do Rio Grande do Sul |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Ciência da Computação |
dc.publisher.initials.fl_str_mv |
PUCRS |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
Escola Politécnica |
publisher.none.fl_str_mv |
Pontifícia Universidade Católica do Rio Grande do Sul |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da PUC_RS instname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS) instacron:PUC_RS |
instname_str |
Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS) |
instacron_str |
PUC_RS |
institution |
PUC_RS |
reponame_str |
Biblioteca Digital de Teses e Dissertações da PUC_RS |
collection |
Biblioteca Digital de Teses e Dissertações da PUC_RS |
bitstream.url.fl_str_mv |
http://tede2.pucrs.br/tede2/bitstream/tede/7945/4/FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf.jpg http://tede2.pucrs.br/tede2/bitstream/tede/7945/3/FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf.txt http://tede2.pucrs.br/tede2/bitstream/tede/7945/2/FABIO_MIGUEL_BLASAK_DA_FONSECA_DIS.pdf http://tede2.pucrs.br/tede2/bitstream/tede/7945/1/license.txt |
bitstream.checksum.fl_str_mv |
c45e093fa216e58c8d2f13d9614ca569 09f090624f6d3e4f72dbb60e4b569dd9 333d6e8a8d369d82fe548927b2edaad3 5a9d6006225b368ef605ba16b4f6d1be |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS) |
repository.mail.fl_str_mv |
biblioteca.central@pucrs.br|| |
_version_ |
1799765507233021952 |