Implantação de bancos de dados distribuídos em um cluster de baixo consumo
| Ano de defesa: | 2022 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| dARK ID: | ark:/26339/00130000120z3 |
| Idioma: | por |
| Instituição de defesa: |
Universidade Federal de Santa Maria
Brasil Ciência da Computação UFSM Programa de Pós-Graduação em Ciência da Computação Centro de Tecnologia |
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | http://repositorio.ufsm.br/handle/1/26668 |
Resumo: | The constant technological advances, Web technologies, mobile devices and the popularization of the IoT (Internet of Things), have caused an exponential growth in the volume of data never seen before. This scenario, although positive from a technological point of view, brings many challenges to data processing and storage centers, making necessary the adoption of tools and technologies most adapted to deal with this paradigm. Thus, distributed databases are the most suitable solution for this scenario, since characteristics such as horizontal scalability, elasticity and high availability allow such technologies to keep up with the growing data volume and sources. However, in the same way that the volume of data increases, also increases the demands of computational power, investment, space and energy consumption of the infrastructures as a whole to provide the environment of the distributed databases. In that way, this work explores the use of a low-power cluster composed of SBCs (Single Board Computers), for the implementation of distributed databases, in order to validate the feasibility of using this type of cluster as a compact, cheap and with lower energy consumption alternative for the common data center infrastructures. In that way, this work explores the use of a low-power cluster composed of SBCs (Single Board Computers), for the implementation of distributed databases, in order to validate the feasibility of using this type of cluster as a compact, cheap and with lower energy consumption alternative for the common data center infrastructures. Fifteen Raspberry Pi 3 B devices were used to compose the cluster, which supports a virtualization layer of Docker containers orchestrated by the Docker Swarm tool. The performance of Cassandra, Hbase and PostgreSQL/Citus databases on the SBC cluster was evaluated, using YCSB benchmark workloads to analyze execution time, latency and throughput in scenarios with different replication factors. The results show that, in general, Cassandra outformed the other databases and obtained the best results, showing no influence by the replication factor. The results for Hbase and Citus were heavily penalized by the increase of the replication factor. Furthermore, the results also prove the ability of the low-power cluster to meet the requirements of distributed systems used in real scenarios, allowing to the distributed environment elasticity and high availability. |
| id |
UFSM_a47d8ad334120bd10b761e4285d6f857 |
|---|---|
| oai_identifier_str |
oai:repositorio.ufsm.br:1/26668 |
| network_acronym_str |
UFSM |
| network_name_str |
Manancial - Repositório Digital da UFSM |
| repository_id_str |
|
| spelling |
Implantação de bancos de dados distribuídos em um cluster de baixo consumoAn evaluation of relational and NoSQL distributed databases on a low-power clusterBancos de dados distribuídosRaspberry PiBaixo-consumoComputadores de placa únicaSBCsDockerDocker SwarmBig dataNoSQLDistributed databasesLow-powerSingle board computersCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOThe constant technological advances, Web technologies, mobile devices and the popularization of the IoT (Internet of Things), have caused an exponential growth in the volume of data never seen before. This scenario, although positive from a technological point of view, brings many challenges to data processing and storage centers, making necessary the adoption of tools and technologies most adapted to deal with this paradigm. Thus, distributed databases are the most suitable solution for this scenario, since characteristics such as horizontal scalability, elasticity and high availability allow such technologies to keep up with the growing data volume and sources. However, in the same way that the volume of data increases, also increases the demands of computational power, investment, space and energy consumption of the infrastructures as a whole to provide the environment of the distributed databases. In that way, this work explores the use of a low-power cluster composed of SBCs (Single Board Computers), for the implementation of distributed databases, in order to validate the feasibility of using this type of cluster as a compact, cheap and with lower energy consumption alternative for the common data center infrastructures. In that way, this work explores the use of a low-power cluster composed of SBCs (Single Board Computers), for the implementation of distributed databases, in order to validate the feasibility of using this type of cluster as a compact, cheap and with lower energy consumption alternative for the common data center infrastructures. Fifteen Raspberry Pi 3 B devices were used to compose the cluster, which supports a virtualization layer of Docker containers orchestrated by the Docker Swarm tool. The performance of Cassandra, Hbase and PostgreSQL/Citus databases on the SBC cluster was evaluated, using YCSB benchmark workloads to analyze execution time, latency and throughput in scenarios with different replication factors. The results show that, in general, Cassandra outformed the other databases and obtained the best results, showing no influence by the replication factor. The results for Hbase and Citus were heavily penalized by the increase of the replication factor. Furthermore, the results also prove the ability of the low-power cluster to meet the requirements of distributed systems used in real scenarios, allowing to the distributed environment elasticity and high availability.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPESOs constantes avanços tecnológicos, o crescimento do uso das tecnologias Web, aumento do número de dispositivos móveis e a popularização da IoT (Internet of Things), têm ocasionado um crescimento exponencial de volume de dados nunca antes visto. Este cenário, apesar de positivo sob o ponto de vista tecnológico, traz inúmeros desafios para os centros de processamento e armazenamento de dados, fazendo-se necessária a adoção das ferramentas e tecnologias mais adaptadas a lidar com esse paradigma. Assim, os bancos de dados distribuídos apresentam-se como a solução mais adequada para esse contexto, já que características como escalabilidade horizontal, elasticidade e alta disponibilidade possibilitam que tais tecnologias consigam acompanhar o crescimento vertiginoso do volume e fontes dos dados. Entretanto, da mesma forma que o volume de dados aumenta, aumentam também as demandas de poder computacional, investimento, espaço e consumo energético das infraestruturas como um todo para propiciar a implantação dos bancos de dados distribuídos. Pensando nisso, neste trabalho é explorada a utilização de um cluster de baixo consumo composto por SBCs (Computadores de Placa Única), para a implantação de bancos de dados distribuídos, com o intuito de validar a viabilidade do uso desse tipo de cluster como uma alternativa compacta, barata e com menor consumo energético para composição das infraestruturas dos data centers. Foram utilizados 15 dispositivos Raspberry Pi 3 B para compor o cluster, o qual sustenta uma camada de virtualização por contêineres Docker orquestrados pela ferramenta Docker Swarm. Foram avaliados os desempenhos dos bancos de dados Cassandra, Hbase e PostgreSQL/Citus sobre o cluster de SBCs, sendo utilizadas cargas de trabalho do benchmark YCSB para analisar tempo de execução, latência e throughput em cenários com diferentes fatores de replicação. Os resultados mostram que, no geral, dentre os bancos de dados escolhidos o Cassandra obteve os melhores resultados, além de não demonstrar influência do fator de replicação no seu desempenho. Por outro lado, os resultados para o Hbase e Citus foram fortemente penalizados pelo aumento do fator de replicação. Ademais, a experimentação conduzida evidenciou a capacidade do cluster de baixo consumo de atender as exigências dos sistemas distribuídos utilizados em cenários reais, permitindo ao ambiente distribuído elasticidade e alta disponibilidade.Universidade Federal de Santa MariaBrasilCiência da ComputaçãoUFSMPrograma de Pós-Graduação em Ciência da ComputaçãoCentro de TecnologiaLima, João Vicente Ferreirahttp://lattes.cnpq.br/6266546896929217Charao, Andrea SchwertnerSchepke, ClaudioSilva, Lucas Ferreira da2022-10-25T18:25:35Z2022-10-25T18:25:35Z2022-09-23info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://repositorio.ufsm.br/handle/1/26668ark:/26339/00130000120z3porAttribution-NonCommercial-NoDerivatives 4.0 Internationalinfo:eu-repo/semantics/openAccessreponame:Manancial - Repositório Digital da UFSMinstname:Universidade Federal de Santa Maria (UFSM)instacron:UFSM2022-10-25T18:29:29Zoai:repositorio.ufsm.br:1/26668Biblioteca Digital de Teses e Dissertaçõeshttps://repositorio.ufsm.br/PUBhttps://repositorio.ufsm.br/oai/requestatendimento.sib@ufsm.br||tedebc@gmail.com||manancial@ufsm.bropendoar:2022-10-25T18:29:29Manancial - Repositório Digital da UFSM - Universidade Federal de Santa Maria (UFSM)false |
| dc.title.none.fl_str_mv |
Implantação de bancos de dados distribuídos em um cluster de baixo consumo An evaluation of relational and NoSQL distributed databases on a low-power cluster |
| title |
Implantação de bancos de dados distribuídos em um cluster de baixo consumo |
| spellingShingle |
Implantação de bancos de dados distribuídos em um cluster de baixo consumo Silva, Lucas Ferreira da Bancos de dados distribuídos Raspberry Pi Baixo-consumo Computadores de placa única SBCs Docker Docker Swarm Big data NoSQL Distributed databases Low-power Single board computers CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
| title_short |
Implantação de bancos de dados distribuídos em um cluster de baixo consumo |
| title_full |
Implantação de bancos de dados distribuídos em um cluster de baixo consumo |
| title_fullStr |
Implantação de bancos de dados distribuídos em um cluster de baixo consumo |
| title_full_unstemmed |
Implantação de bancos de dados distribuídos em um cluster de baixo consumo |
| title_sort |
Implantação de bancos de dados distribuídos em um cluster de baixo consumo |
| author |
Silva, Lucas Ferreira da |
| author_facet |
Silva, Lucas Ferreira da |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Lima, João Vicente Ferreira http://lattes.cnpq.br/6266546896929217 Charao, Andrea Schwertner Schepke, Claudio |
| dc.contributor.author.fl_str_mv |
Silva, Lucas Ferreira da |
| dc.subject.por.fl_str_mv |
Bancos de dados distribuídos Raspberry Pi Baixo-consumo Computadores de placa única SBCs Docker Docker Swarm Big data NoSQL Distributed databases Low-power Single board computers CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
| topic |
Bancos de dados distribuídos Raspberry Pi Baixo-consumo Computadores de placa única SBCs Docker Docker Swarm Big data NoSQL Distributed databases Low-power Single board computers CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
| description |
The constant technological advances, Web technologies, mobile devices and the popularization of the IoT (Internet of Things), have caused an exponential growth in the volume of data never seen before. This scenario, although positive from a technological point of view, brings many challenges to data processing and storage centers, making necessary the adoption of tools and technologies most adapted to deal with this paradigm. Thus, distributed databases are the most suitable solution for this scenario, since characteristics such as horizontal scalability, elasticity and high availability allow such technologies to keep up with the growing data volume and sources. However, in the same way that the volume of data increases, also increases the demands of computational power, investment, space and energy consumption of the infrastructures as a whole to provide the environment of the distributed databases. In that way, this work explores the use of a low-power cluster composed of SBCs (Single Board Computers), for the implementation of distributed databases, in order to validate the feasibility of using this type of cluster as a compact, cheap and with lower energy consumption alternative for the common data center infrastructures. In that way, this work explores the use of a low-power cluster composed of SBCs (Single Board Computers), for the implementation of distributed databases, in order to validate the feasibility of using this type of cluster as a compact, cheap and with lower energy consumption alternative for the common data center infrastructures. Fifteen Raspberry Pi 3 B devices were used to compose the cluster, which supports a virtualization layer of Docker containers orchestrated by the Docker Swarm tool. The performance of Cassandra, Hbase and PostgreSQL/Citus databases on the SBC cluster was evaluated, using YCSB benchmark workloads to analyze execution time, latency and throughput in scenarios with different replication factors. The results show that, in general, Cassandra outformed the other databases and obtained the best results, showing no influence by the replication factor. The results for Hbase and Citus were heavily penalized by the increase of the replication factor. Furthermore, the results also prove the ability of the low-power cluster to meet the requirements of distributed systems used in real scenarios, allowing to the distributed environment elasticity and high availability. |
| publishDate |
2022 |
| dc.date.none.fl_str_mv |
2022-10-25T18:25:35Z 2022-10-25T18:25:35Z 2022-09-23 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
http://repositorio.ufsm.br/handle/1/26668 |
| dc.identifier.dark.fl_str_mv |
ark:/26339/00130000120z3 |
| url |
http://repositorio.ufsm.br/handle/1/26668 |
| identifier_str_mv |
ark:/26339/00130000120z3 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
Attribution-NonCommercial-NoDerivatives 4.0 International info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
Attribution-NonCommercial-NoDerivatives 4.0 International |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade Federal de Santa Maria Brasil Ciência da Computação UFSM Programa de Pós-Graduação em Ciência da Computação Centro de Tecnologia |
| publisher.none.fl_str_mv |
Universidade Federal de Santa Maria Brasil Ciência da Computação UFSM Programa de Pós-Graduação em Ciência da Computação Centro de Tecnologia |
| dc.source.none.fl_str_mv |
reponame:Manancial - Repositório Digital da UFSM instname:Universidade Federal de Santa Maria (UFSM) instacron:UFSM |
| instname_str |
Universidade Federal de Santa Maria (UFSM) |
| instacron_str |
UFSM |
| institution |
UFSM |
| reponame_str |
Manancial - Repositório Digital da UFSM |
| collection |
Manancial - Repositório Digital da UFSM |
| repository.name.fl_str_mv |
Manancial - Repositório Digital da UFSM - Universidade Federal de Santa Maria (UFSM) |
| repository.mail.fl_str_mv |
atendimento.sib@ufsm.br||tedebc@gmail.com||manancial@ufsm.br |
| _version_ |
1847153480135868416 |