Uma abordagem baseada em métricas para explorar alternativas de esquemas de dados no processo de conversão de RDB para NoSQL
| Ano de defesa: | 2020 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Tese |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Federal do Paraná
Dois Vizinhos Brasil Programa de Pós-Graduação em Informática UFPR |
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | http://repositorio.utfpr.edu.br/jspui/handle/1/32143 |
Resumo: | With the emergence of new applications, new requirements on storage systems have also emerged. Scenarios involving structured, semi-structured and unstructured data are increasingly common. Relational databases, widely used to store data from different applications, no longer adequately address all issues imposed by different scenarios. As an alternative, NoSQL databases have emerged, which are flexible in relation to the data model and designed to provide high scalability and availability. Relational databases and NoSQL databases will coexist for a long period of time and, as a consequence, new approaches to converting the relational model to NoSQL data models have been proposed. However, most of these approaches are aimed at converting relational data to a specific NoSQL data model and provide little support for customizing the conversion process, such as selection of fields, tables, instances, and other aspects related to the customization of the data schema produced. In addition, there are several ways to structure the data (or ways to define data schemas) when converting RDB to NoSQL. The choice of the appropriate data schema is not trivial and involves several aspects, such as the data access pattern, the desired level of data redundancy, the size of the resulting NoSQL database, the application maintenance effort, among others. This thesis defines an approach to convert and migrate relational data to document-oriented and column family NoSQL models, composed of an evaluation step of candidate NoSQL schemas. The approach uses directed acyclic graphs (DAG) to specify the structure of the entities that will be migrated to the NoSQL data model and also to represent the application’s access pattern (queries). To evaluate candidate schemas, a set of metrics and scores was defined, which aims to measure the coverage of the NoSQL schema in relation to the set of queries. As NoSQL schema and query are defined through DAGs, it is possible to perform evaluations and comparisons objectively. To evaluate the approach, we performed experiments involving RDB to NoSQL conversion scenarios composed by different candidate NoSQL schemas. The results of the experiments showed that the approach is effective to identify scenarios in which there is a greater effort to implement the queries, assisting the user in the process of selecting NoSQL schemas, before executing the data migration. |
| id |
UTFPR-12_dddc064764ca15972bedbadebc90e6ba |
|---|---|
| oai_identifier_str |
oai:repositorio.utfpr.edu.br:1/32143 |
| network_acronym_str |
UTFPR-12 |
| network_name_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository_id_str |
|
| spelling |
Uma abordagem baseada em métricas para explorar alternativas de esquemas de dados no processo de conversão de RDB para NoSQLA metrics-based approach to exploring data schema alternatives in the process of converting RDB to NoSQLBanco de dadosBanco de dados não relacionaisBanco de dados relacionaisData basesBanco de dados não relacionaisRelational databasesCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOINFORMÁTICA (40001016034P5)With the emergence of new applications, new requirements on storage systems have also emerged. Scenarios involving structured, semi-structured and unstructured data are increasingly common. Relational databases, widely used to store data from different applications, no longer adequately address all issues imposed by different scenarios. As an alternative, NoSQL databases have emerged, which are flexible in relation to the data model and designed to provide high scalability and availability. Relational databases and NoSQL databases will coexist for a long period of time and, as a consequence, new approaches to converting the relational model to NoSQL data models have been proposed. However, most of these approaches are aimed at converting relational data to a specific NoSQL data model and provide little support for customizing the conversion process, such as selection of fields, tables, instances, and other aspects related to the customization of the data schema produced. In addition, there are several ways to structure the data (or ways to define data schemas) when converting RDB to NoSQL. The choice of the appropriate data schema is not trivial and involves several aspects, such as the data access pattern, the desired level of data redundancy, the size of the resulting NoSQL database, the application maintenance effort, among others. This thesis defines an approach to convert and migrate relational data to document-oriented and column family NoSQL models, composed of an evaluation step of candidate NoSQL schemas. The approach uses directed acyclic graphs (DAG) to specify the structure of the entities that will be migrated to the NoSQL data model and also to represent the application’s access pattern (queries). To evaluate candidate schemas, a set of metrics and scores was defined, which aims to measure the coverage of the NoSQL schema in relation to the set of queries. As NoSQL schema and query are defined through DAGs, it is possible to perform evaluations and comparisons objectively. To evaluate the approach, we performed experiments involving RDB to NoSQL conversion scenarios composed by different candidate NoSQL schemas. The results of the experiments showed that the approach is effective to identify scenarios in which there is a greater effort to implement the queries, assisting the user in the process of selecting NoSQL schemas, before executing the data migration.Com o surgimento de novas aplicações surgiram também novos requisitos sobre os sistemas de armazenamento. Cenários envolvendo dados estruturados, semiestruturados e não-estruturados são cada vez mais comuns. Os bancos de dados relacionais (RDB, do inglês Relational Database), amplamente usados para armazenar dados de diversas aplicações, já não atendem de forma adequada todas as questões impostas pelos diferentes cenários. Como alternativa surgiram os bancos de dados NoSQL (do inglês, Not only SQL), flexíveis em relação ao modelo de dados e projetados para fornecer alta escalabilidade e disponibilidade. Bancos de dados relacionais e bancos de dados NoSQL coexistirão por longo período de tempo e, como consequência, novas abordagens para converter o modelo relacional para modelos de dados NoSQL foram propostas. No entanto, a maioria dessas abordagens se destina a conversão de dados relacionais para um modelo de dados NoSQL específico e fornecem pouco suporte para customizações do processo de conversão, como seleção de campos, tabelas, instâncias e outros aspectos relativos à customização do esquema de dados produzido. Além disso, há diversas formas de estruturar os dados (ou definir esquemas de dados) ao converter RDB para NoSQL. A escolha do esquema de dados adequado não é trivial e envolve vários aspectos, como o padrão de acesso aos dados, o nível de redundância de dados desejado, o tamanho do banco de dados NoSQL resultante, o esforço de manutenção da aplicação, dentre outros. Nesta tese é definida uma abordagem para converter e migrar dados relacionais para bases NoSQL orientadas a documentos e família de colunas, composta por uma etapa de avaliação de esquemas NoSQL candidatos. A abordagem usa grafos acíclicos direcionados (DAG, do inglês Directed Acyclic Graph) para especificar a estrutura das entidades que serão migradas para o modelo de dados NoSQL e, também, para representar o padrão de acesso da aplicação (consultas). Para avaliar a abordagem foram realizados experimentos envolvendo cenários de conversão de RDB para NoSQL compostos por diferentes esquemas NoSQL candidatos. Os resultados dos experimentos mostraram que a abordagem é eficaz para identificar cenários em que há maior esforço de implementação das consultas, auxiliando o usuário no processo de seleção de esquemas NoSQL, antes de migrar de dados.Universidade Federal do ParanáDois VizinhosBrasilPrograma de Pós-Graduação em InformáticaUFPRPeres, Leticia Marahttps://orcid.org/0000-0002-8922-6975http://lattes.cnpq.br/4936370324386031Fabro, Marcos Didonet Delhttps://orcid.org/0000-0002-8573-6281http://lattes.cnpq.br/4720333397291573Gomes Junior, Luiz Celsohttps://orcid.org/0000-0002-1534-9032http://lattes.cnpq.br/0370301102971417Sunye, Marcos Sfairhttps://orcid.org/0000-0002-2568-5697http://lattes.cnpq.br/3748260693106586Peres, Leticia Marahttps://orcid.org/0000-0002-8922-6975http://lattes.cnpq.br/4936370324386031Almeida, Eduardo Cunha dehttps://orcid.org/0000-0002-6644-956Xhttp://lattes.cnpq.br/0130205470596637Lucrédio, Danielhttps://orcid.org/0000-0002-1360-4036http://lattes.cnpq.br/9090396559596221Kuszera, Evandro Miguel2023-08-18T13:19:06Z2023-08-18T13:19:06Z2020-10-21info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfKUSZERA, Evandro Miguel. Uma abordagem baseada em métricas para explorar alternativas de esquemas de dados no processo de conversão de RDB para NoSQL. 2020. Tese (Doutorado em Informática) - Universidade Federal do Paraná, Curitiba, 2020.http://repositorio.utfpr.edu.br/jspui/handle/1/32143porhttps://hdl.handle.net/1884/69879Attribution-NonCommercial 4.0 Internationalhttp://creativecommons.org/licenses/by-nc/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2023-08-19T06:07:26Zoai:repositorio.utfpr.edu.br:1/32143Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2023-08-19T06:07:26Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false |
| dc.title.none.fl_str_mv |
Uma abordagem baseada em métricas para explorar alternativas de esquemas de dados no processo de conversão de RDB para NoSQL A metrics-based approach to exploring data schema alternatives in the process of converting RDB to NoSQL |
| title |
Uma abordagem baseada em métricas para explorar alternativas de esquemas de dados no processo de conversão de RDB para NoSQL |
| spellingShingle |
Uma abordagem baseada em métricas para explorar alternativas de esquemas de dados no processo de conversão de RDB para NoSQL Kuszera, Evandro Miguel Banco de dados Banco de dados não relacionais Banco de dados relacionais Data bases Banco de dados não relacionais Relational databases CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO INFORMÁTICA (40001016034P5) |
| title_short |
Uma abordagem baseada em métricas para explorar alternativas de esquemas de dados no processo de conversão de RDB para NoSQL |
| title_full |
Uma abordagem baseada em métricas para explorar alternativas de esquemas de dados no processo de conversão de RDB para NoSQL |
| title_fullStr |
Uma abordagem baseada em métricas para explorar alternativas de esquemas de dados no processo de conversão de RDB para NoSQL |
| title_full_unstemmed |
Uma abordagem baseada em métricas para explorar alternativas de esquemas de dados no processo de conversão de RDB para NoSQL |
| title_sort |
Uma abordagem baseada em métricas para explorar alternativas de esquemas de dados no processo de conversão de RDB para NoSQL |
| author |
Kuszera, Evandro Miguel |
| author_facet |
Kuszera, Evandro Miguel |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Peres, Leticia Mara https://orcid.org/0000-0002-8922-6975 http://lattes.cnpq.br/4936370324386031 Fabro, Marcos Didonet Del https://orcid.org/0000-0002-8573-6281 http://lattes.cnpq.br/4720333397291573 Gomes Junior, Luiz Celso https://orcid.org/0000-0002-1534-9032 http://lattes.cnpq.br/0370301102971417 Sunye, Marcos Sfair https://orcid.org/0000-0002-2568-5697 http://lattes.cnpq.br/3748260693106586 Peres, Leticia Mara https://orcid.org/0000-0002-8922-6975 http://lattes.cnpq.br/4936370324386031 Almeida, Eduardo Cunha de https://orcid.org/0000-0002-6644-956X http://lattes.cnpq.br/0130205470596637 Lucrédio, Daniel https://orcid.org/0000-0002-1360-4036 http://lattes.cnpq.br/9090396559596221 |
| dc.contributor.author.fl_str_mv |
Kuszera, Evandro Miguel |
| dc.subject.por.fl_str_mv |
Banco de dados Banco de dados não relacionais Banco de dados relacionais Data bases Banco de dados não relacionais Relational databases CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO INFORMÁTICA (40001016034P5) |
| topic |
Banco de dados Banco de dados não relacionais Banco de dados relacionais Data bases Banco de dados não relacionais Relational databases CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO INFORMÁTICA (40001016034P5) |
| description |
With the emergence of new applications, new requirements on storage systems have also emerged. Scenarios involving structured, semi-structured and unstructured data are increasingly common. Relational databases, widely used to store data from different applications, no longer adequately address all issues imposed by different scenarios. As an alternative, NoSQL databases have emerged, which are flexible in relation to the data model and designed to provide high scalability and availability. Relational databases and NoSQL databases will coexist for a long period of time and, as a consequence, new approaches to converting the relational model to NoSQL data models have been proposed. However, most of these approaches are aimed at converting relational data to a specific NoSQL data model and provide little support for customizing the conversion process, such as selection of fields, tables, instances, and other aspects related to the customization of the data schema produced. In addition, there are several ways to structure the data (or ways to define data schemas) when converting RDB to NoSQL. The choice of the appropriate data schema is not trivial and involves several aspects, such as the data access pattern, the desired level of data redundancy, the size of the resulting NoSQL database, the application maintenance effort, among others. This thesis defines an approach to convert and migrate relational data to document-oriented and column family NoSQL models, composed of an evaluation step of candidate NoSQL schemas. The approach uses directed acyclic graphs (DAG) to specify the structure of the entities that will be migrated to the NoSQL data model and also to represent the application’s access pattern (queries). To evaluate candidate schemas, a set of metrics and scores was defined, which aims to measure the coverage of the NoSQL schema in relation to the set of queries. As NoSQL schema and query are defined through DAGs, it is possible to perform evaluations and comparisons objectively. To evaluate the approach, we performed experiments involving RDB to NoSQL conversion scenarios composed by different candidate NoSQL schemas. The results of the experiments showed that the approach is effective to identify scenarios in which there is a greater effort to implement the queries, assisting the user in the process of selecting NoSQL schemas, before executing the data migration. |
| publishDate |
2020 |
| dc.date.none.fl_str_mv |
2020-10-21 2023-08-18T13:19:06Z 2023-08-18T13:19:06Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
| format |
doctoralThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
KUSZERA, Evandro Miguel. Uma abordagem baseada em métricas para explorar alternativas de esquemas de dados no processo de conversão de RDB para NoSQL. 2020. Tese (Doutorado em Informática) - Universidade Federal do Paraná, Curitiba, 2020. http://repositorio.utfpr.edu.br/jspui/handle/1/32143 |
| identifier_str_mv |
KUSZERA, Evandro Miguel. Uma abordagem baseada em métricas para explorar alternativas de esquemas de dados no processo de conversão de RDB para NoSQL. 2020. Tese (Doutorado em Informática) - Universidade Federal do Paraná, Curitiba, 2020. |
| url |
http://repositorio.utfpr.edu.br/jspui/handle/1/32143 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.relation.none.fl_str_mv |
https://hdl.handle.net/1884/69879 |
| dc.rights.driver.fl_str_mv |
Attribution-NonCommercial 4.0 International http://creativecommons.org/licenses/by-nc/4.0/ info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
Attribution-NonCommercial 4.0 International http://creativecommons.org/licenses/by-nc/4.0/ |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade Federal do Paraná Dois Vizinhos Brasil Programa de Pós-Graduação em Informática UFPR |
| publisher.none.fl_str_mv |
Universidade Federal do Paraná Dois Vizinhos Brasil Programa de Pós-Graduação em Informática UFPR |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) instname:Universidade Tecnológica Federal do Paraná (UTFPR) instacron:UTFPR |
| instname_str |
Universidade Tecnológica Federal do Paraná (UTFPR) |
| instacron_str |
UTFPR |
| institution |
UTFPR |
| reponame_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| collection |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository.name.fl_str_mv |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR) |
| repository.mail.fl_str_mv |
riut@utfpr.edu.br || sibi@utfpr.edu.br |
| _version_ |
1850498368582713344 |