Implantação de bancos de dados distribuídos em um cluster de baixo consumo

Detalhes bibliográficos
Ano de defesa: 2022
Autor(a) principal: Silva, Lucas Ferreira da
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
dARK ID: ark:/26339/00130000120z3
Idioma: por
Instituição de defesa: Universidade Federal de Santa Maria
Brasil
Ciência da Computação
UFSM
Programa de Pós-Graduação em Ciência da Computação
Centro de Tecnologia
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: http://repositorio.ufsm.br/handle/1/26668
Resumo: The constant technological advances, Web technologies, mobile devices and the popularization of the IoT (Internet of Things), have caused an exponential growth in the volume of data never seen before. This scenario, although positive from a technological point of view, brings many challenges to data processing and storage centers, making necessary the adoption of tools and technologies most adapted to deal with this paradigm. Thus, distributed databases are the most suitable solution for this scenario, since characteristics such as horizontal scalability, elasticity and high availability allow such technologies to keep up with the growing data volume and sources. However, in the same way that the volume of data increases, also increases the demands of computational power, investment, space and energy consumption of the infrastructures as a whole to provide the environment of the distributed databases. In that way, this work explores the use of a low-power cluster composed of SBCs (Single Board Computers), for the implementation of distributed databases, in order to validate the feasibility of using this type of cluster as a compact, cheap and with lower energy consumption alternative for the common data center infrastructures. In that way, this work explores the use of a low-power cluster composed of SBCs (Single Board Computers), for the implementation of distributed databases, in order to validate the feasibility of using this type of cluster as a compact, cheap and with lower energy consumption alternative for the common data center infrastructures. Fifteen Raspberry Pi 3 B devices were used to compose the cluster, which supports a virtualization layer of Docker containers orchestrated by the Docker Swarm tool. The performance of Cassandra, Hbase and PostgreSQL/Citus databases on the SBC cluster was evaluated, using YCSB benchmark workloads to analyze execution time, latency and throughput in scenarios with different replication factors. The results show that, in general, Cassandra outformed the other databases and obtained the best results, showing no influence by the replication factor. The results for Hbase and Citus were heavily penalized by the increase of the replication factor. Furthermore, the results also prove the ability of the low-power cluster to meet the requirements of distributed systems used in real scenarios, allowing to the distributed environment elasticity and high availability.
id UFSM_a47d8ad334120bd10b761e4285d6f857
oai_identifier_str oai:repositorio.ufsm.br:1/26668
network_acronym_str UFSM
network_name_str Manancial - Repositório Digital da UFSM
repository_id_str
spelling Implantação de bancos de dados distribuídos em um cluster de baixo consumoAn evaluation of relational and NoSQL distributed databases on a low-power clusterBancos de dados distribuídosRaspberry PiBaixo-consumoComputadores de placa únicaSBCsDockerDocker SwarmBig dataNoSQLDistributed databasesLow-powerSingle board computersCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOThe constant technological advances, Web technologies, mobile devices and the popularization of the IoT (Internet of Things), have caused an exponential growth in the volume of data never seen before. This scenario, although positive from a technological point of view, brings many challenges to data processing and storage centers, making necessary the adoption of tools and technologies most adapted to deal with this paradigm. Thus, distributed databases are the most suitable solution for this scenario, since characteristics such as horizontal scalability, elasticity and high availability allow such technologies to keep up with the growing data volume and sources. However, in the same way that the volume of data increases, also increases the demands of computational power, investment, space and energy consumption of the infrastructures as a whole to provide the environment of the distributed databases. In that way, this work explores the use of a low-power cluster composed of SBCs (Single Board Computers), for the implementation of distributed databases, in order to validate the feasibility of using this type of cluster as a compact, cheap and with lower energy consumption alternative for the common data center infrastructures. In that way, this work explores the use of a low-power cluster composed of SBCs (Single Board Computers), for the implementation of distributed databases, in order to validate the feasibility of using this type of cluster as a compact, cheap and with lower energy consumption alternative for the common data center infrastructures. Fifteen Raspberry Pi 3 B devices were used to compose the cluster, which supports a virtualization layer of Docker containers orchestrated by the Docker Swarm tool. The performance of Cassandra, Hbase and PostgreSQL/Citus databases on the SBC cluster was evaluated, using YCSB benchmark workloads to analyze execution time, latency and throughput in scenarios with different replication factors. The results show that, in general, Cassandra outformed the other databases and obtained the best results, showing no influence by the replication factor. The results for Hbase and Citus were heavily penalized by the increase of the replication factor. Furthermore, the results also prove the ability of the low-power cluster to meet the requirements of distributed systems used in real scenarios, allowing to the distributed environment elasticity and high availability.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPESOs constantes avanços tecnológicos, o crescimento do uso das tecnologias Web, aumento do número de dispositivos móveis e a popularização da IoT (Internet of Things), têm ocasionado um crescimento exponencial de volume de dados nunca antes visto. Este cenário, apesar de positivo sob o ponto de vista tecnológico, traz inúmeros desafios para os centros de processamento e armazenamento de dados, fazendo-se necessária a adoção das ferramentas e tecnologias mais adaptadas a lidar com esse paradigma. Assim, os bancos de dados distribuídos apresentam-se como a solução mais adequada para esse contexto, já que características como escalabilidade horizontal, elasticidade e alta disponibilidade possibilitam que tais tecnologias consigam acompanhar o crescimento vertiginoso do volume e fontes dos dados. Entretanto, da mesma forma que o volume de dados aumenta, aumentam também as demandas de poder computacional, investimento, espaço e consumo energético das infraestruturas como um todo para propiciar a implantação dos bancos de dados distribuídos. Pensando nisso, neste trabalho é explorada a utilização de um cluster de baixo consumo composto por SBCs (Computadores de Placa Única), para a implantação de bancos de dados distribuídos, com o intuito de validar a viabilidade do uso desse tipo de cluster como uma alternativa compacta, barata e com menor consumo energético para composição das infraestruturas dos data centers. Foram utilizados 15 dispositivos Raspberry Pi 3 B para compor o cluster, o qual sustenta uma camada de virtualização por contêineres Docker orquestrados pela ferramenta Docker Swarm. Foram avaliados os desempenhos dos bancos de dados Cassandra, Hbase e PostgreSQL/Citus sobre o cluster de SBCs, sendo utilizadas cargas de trabalho do benchmark YCSB para analisar tempo de execução, latência e throughput em cenários com diferentes fatores de replicação. Os resultados mostram que, no geral, dentre os bancos de dados escolhidos o Cassandra obteve os melhores resultados, além de não demonstrar influência do fator de replicação no seu desempenho. Por outro lado, os resultados para o Hbase e Citus foram fortemente penalizados pelo aumento do fator de replicação. Ademais, a experimentação conduzida evidenciou a capacidade do cluster de baixo consumo de atender as exigências dos sistemas distribuídos utilizados em cenários reais, permitindo ao ambiente distribuído elasticidade e alta disponibilidade.Universidade Federal de Santa MariaBrasilCiência da ComputaçãoUFSMPrograma de Pós-Graduação em Ciência da ComputaçãoCentro de TecnologiaLima, João Vicente Ferreirahttp://lattes.cnpq.br/6266546896929217Charao, Andrea SchwertnerSchepke, ClaudioSilva, Lucas Ferreira da2022-10-25T18:25:35Z2022-10-25T18:25:35Z2022-09-23info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://repositorio.ufsm.br/handle/1/26668ark:/26339/00130000120z3porAttribution-NonCommercial-NoDerivatives 4.0 Internationalinfo:eu-repo/semantics/openAccessreponame:Manancial - Repositório Digital da UFSMinstname:Universidade Federal de Santa Maria (UFSM)instacron:UFSM2022-10-25T18:29:29Zoai:repositorio.ufsm.br:1/26668Biblioteca Digital de Teses e Dissertaçõeshttps://repositorio.ufsm.br/PUBhttps://repositorio.ufsm.br/oai/requestatendimento.sib@ufsm.br||tedebc@gmail.com||manancial@ufsm.bropendoar:2022-10-25T18:29:29Manancial - Repositório Digital da UFSM - Universidade Federal de Santa Maria (UFSM)false
dc.title.none.fl_str_mv Implantação de bancos de dados distribuídos em um cluster de baixo consumo
An evaluation of relational and NoSQL distributed databases on a low-power cluster
title Implantação de bancos de dados distribuídos em um cluster de baixo consumo
spellingShingle Implantação de bancos de dados distribuídos em um cluster de baixo consumo
Silva, Lucas Ferreira da
Bancos de dados distribuídos
Raspberry Pi
Baixo-consumo
Computadores de placa única
SBCs
Docker
Docker Swarm
Big data
NoSQL
Distributed databases
Low-power
Single board computers
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
title_short Implantação de bancos de dados distribuídos em um cluster de baixo consumo
title_full Implantação de bancos de dados distribuídos em um cluster de baixo consumo
title_fullStr Implantação de bancos de dados distribuídos em um cluster de baixo consumo
title_full_unstemmed Implantação de bancos de dados distribuídos em um cluster de baixo consumo
title_sort Implantação de bancos de dados distribuídos em um cluster de baixo consumo
author Silva, Lucas Ferreira da
author_facet Silva, Lucas Ferreira da
author_role author
dc.contributor.none.fl_str_mv Lima, João Vicente Ferreira
http://lattes.cnpq.br/6266546896929217
Charao, Andrea Schwertner
Schepke, Claudio
dc.contributor.author.fl_str_mv Silva, Lucas Ferreira da
dc.subject.por.fl_str_mv Bancos de dados distribuídos
Raspberry Pi
Baixo-consumo
Computadores de placa única
SBCs
Docker
Docker Swarm
Big data
NoSQL
Distributed databases
Low-power
Single board computers
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
topic Bancos de dados distribuídos
Raspberry Pi
Baixo-consumo
Computadores de placa única
SBCs
Docker
Docker Swarm
Big data
NoSQL
Distributed databases
Low-power
Single board computers
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
description The constant technological advances, Web technologies, mobile devices and the popularization of the IoT (Internet of Things), have caused an exponential growth in the volume of data never seen before. This scenario, although positive from a technological point of view, brings many challenges to data processing and storage centers, making necessary the adoption of tools and technologies most adapted to deal with this paradigm. Thus, distributed databases are the most suitable solution for this scenario, since characteristics such as horizontal scalability, elasticity and high availability allow such technologies to keep up with the growing data volume and sources. However, in the same way that the volume of data increases, also increases the demands of computational power, investment, space and energy consumption of the infrastructures as a whole to provide the environment of the distributed databases. In that way, this work explores the use of a low-power cluster composed of SBCs (Single Board Computers), for the implementation of distributed databases, in order to validate the feasibility of using this type of cluster as a compact, cheap and with lower energy consumption alternative for the common data center infrastructures. In that way, this work explores the use of a low-power cluster composed of SBCs (Single Board Computers), for the implementation of distributed databases, in order to validate the feasibility of using this type of cluster as a compact, cheap and with lower energy consumption alternative for the common data center infrastructures. Fifteen Raspberry Pi 3 B devices were used to compose the cluster, which supports a virtualization layer of Docker containers orchestrated by the Docker Swarm tool. The performance of Cassandra, Hbase and PostgreSQL/Citus databases on the SBC cluster was evaluated, using YCSB benchmark workloads to analyze execution time, latency and throughput in scenarios with different replication factors. The results show that, in general, Cassandra outformed the other databases and obtained the best results, showing no influence by the replication factor. The results for Hbase and Citus were heavily penalized by the increase of the replication factor. Furthermore, the results also prove the ability of the low-power cluster to meet the requirements of distributed systems used in real scenarios, allowing to the distributed environment elasticity and high availability.
publishDate 2022
dc.date.none.fl_str_mv 2022-10-25T18:25:35Z
2022-10-25T18:25:35Z
2022-09-23
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://repositorio.ufsm.br/handle/1/26668
dc.identifier.dark.fl_str_mv ark:/26339/00130000120z3
url http://repositorio.ufsm.br/handle/1/26668
identifier_str_mv ark:/26339/00130000120z3
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution-NonCommercial-NoDerivatives 4.0 International
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-NoDerivatives 4.0 International
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal de Santa Maria
Brasil
Ciência da Computação
UFSM
Programa de Pós-Graduação em Ciência da Computação
Centro de Tecnologia
publisher.none.fl_str_mv Universidade Federal de Santa Maria
Brasil
Ciência da Computação
UFSM
Programa de Pós-Graduação em Ciência da Computação
Centro de Tecnologia
dc.source.none.fl_str_mv reponame:Manancial - Repositório Digital da UFSM
instname:Universidade Federal de Santa Maria (UFSM)
instacron:UFSM
instname_str Universidade Federal de Santa Maria (UFSM)
instacron_str UFSM
institution UFSM
reponame_str Manancial - Repositório Digital da UFSM
collection Manancial - Repositório Digital da UFSM
repository.name.fl_str_mv Manancial - Repositório Digital da UFSM - Universidade Federal de Santa Maria (UFSM)
repository.mail.fl_str_mv atendimento.sib@ufsm.br||tedebc@gmail.com||manancial@ufsm.br
_version_ 1847153480135868416