Estratégia para extração, transformação e armazenamento em Data Warehouse ativo baseada em políticas configuráveis de propagação de dados

Detalhes bibliográficos
Ano de defesa: 2013
Autor(a) principal: Scarpelini Neto, Paulo [UNESP]
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Estadual Paulista (Unesp)
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Banco de dados
Armazenamento de dados
Sistemas de suporte de decisão
Database
Link de acesso: http://hdl.handle.net/11449/98682
Resumo: Em arquiteturas de Data Warehouse os dados são integrados periodicamente por meio da execução de processos de Extração, Transformação e Armazenamento – ETA. A atualização desses dados de forma periódica provoca um problema referente à desatualização das informações, uma vez que as ferramentas ETAs são executadas geralmente uma vez ao dia. A crescente necessidade do mundo corporativo por análises sobre dados cada vez mais recentes evidencia a necessidade de arquiteturas DW que possuam um maior grau de atualização. Nesse contexto, surgiram os DW ativos cujo intervalo de tempo entre as execuções do processo ETAs diminuem significativamente. Para suportar o aumento da frequência das atualizações, surge a necessidade de criação de critérios para priorização dos dados a serem transferidos, uma vez que a transferência de todo e qualquer dado inserido nas fontes pode sobrecarregar os sistemas envolvidos. O trabalho proposto consiste na construção de uma estratégia denominada ETA-PoCon, que tem como objetivo a execução do processo ETA em DW ativos. A estratégia distingue-se das existentes, pois possui políticas configuráveis de propagação de informações com base em parâmetros como intervalo de tempo em que a informação deve ser transferida, volume que deve ser propagado e relevância dos dados em relação às informações contidas no repositório. É demonstrado por meio dos experimentos executados que a aplicação da estratégia proporciona uma redução considerável no número de transferência de dados ao DW, uma vez que em todos os resultados a redução no total de atualizações foi superior a 60%
id UNSP_1d347ffcf9d76270fd973ce3daa48d4e
oai_identifier_str oai:repositorio.unesp.br:11449/98682
network_acronym_str UNSP
network_name_str Repositório Institucional da UNESP
repository_id_str
spelling Estratégia para extração, transformação e armazenamento em Data Warehouse ativo baseada em políticas configuráveis de propagação de dadosBanco de dadosArmazenamento de dadosSistemas de suporte de decisãoDatabaseEm arquiteturas de Data Warehouse os dados são integrados periodicamente por meio da execução de processos de Extração, Transformação e Armazenamento – ETA. A atualização desses dados de forma periódica provoca um problema referente à desatualização das informações, uma vez que as ferramentas ETAs são executadas geralmente uma vez ao dia. A crescente necessidade do mundo corporativo por análises sobre dados cada vez mais recentes evidencia a necessidade de arquiteturas DW que possuam um maior grau de atualização. Nesse contexto, surgiram os DW ativos cujo intervalo de tempo entre as execuções do processo ETAs diminuem significativamente. Para suportar o aumento da frequência das atualizações, surge a necessidade de criação de critérios para priorização dos dados a serem transferidos, uma vez que a transferência de todo e qualquer dado inserido nas fontes pode sobrecarregar os sistemas envolvidos. O trabalho proposto consiste na construção de uma estratégia denominada ETA-PoCon, que tem como objetivo a execução do processo ETA em DW ativos. A estratégia distingue-se das existentes, pois possui políticas configuráveis de propagação de informações com base em parâmetros como intervalo de tempo em que a informação deve ser transferida, volume que deve ser propagado e relevância dos dados em relação às informações contidas no repositório. É demonstrado por meio dos experimentos executados que a aplicação da estratégia proporciona uma redução considerável no número de transferência de dados ao DW, uma vez que em todos os resultados a redução no total de atualizações foi superior a 60%In Data Warehouse (DW) architectures data are periodically integrated by means of execution of Extraction, Transformation and Load (ETL) processes which lead to the problem of outdated information. The growing necessity in the corporate world for analysis of constantly renewed data bespeaks of the need for DW architectures with higher level of freshness. In that context, active DWs appeared having a significant reduction of the interval of time between the executions of ETL processes. To support the increased frequency of the refreshment it’s necessary to create criteria to prioritise the data to be transferred, since a transfer of all and any data from the sources would overload the systems. This work consists of the construction of a strategy called ETL-PoCon to execute ETL processes in active DWs. The original contribution of this work is to provide a strategy that considerably reduces the quantity of data transfers to active DWs, besides maintaining a satisfactory level of data freshness. Said reduction is obtained by means of configurable policies of data propagation based on parameters such as: the time in which the data must be transferred, the volume to be propagated and the relevance of the data regarding to the information stored in the DW. Experiments have shown that the ETL-PoCon strategy significantly contributes towards a reduction of the overload on the systems involved in the active DW environment, since all results presented a reduction higher than 60% in the amount of DW refreshmentsUniversidade Estadual Paulista (Unesp)Valêncio, Carlos Roberto [UNESP]Universidade Estadual Paulista (Unesp)Scarpelini Neto, Paulo [UNESP]2014-06-11T19:29:40Z2014-06-11T19:29:40Z2013-02-21info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis65 f. : il. color., gráfs., tabs.application/pdfSCARPELINI NETO, Paulo. Estratégia para extração, transformação e armazenamento em Data Warehouse ativo baseada em políticas configuráveis de propagação de dados. 2013. 65 f. Dissertação (mestrado) - Universidade Estadual Paulista Julio de Mesquita Filho, Instituto de Biociências, Letras e Ciências Exatas, 2013.http://hdl.handle.net/11449/98682000713646scarpelinineto_p_me_sjrp.pdf33004153073P2Alephreponame:Repositório Institucional da UNESPinstname:Universidade Estadual Paulista (UNESP)instacron:UNESPporinfo:eu-repo/semantics/openAccess2024-11-05T13:26:01Zoai:repositorio.unesp.br:11449/98682Repositório InstitucionalPUBhttp://repositorio.unesp.br/oai/requestrepositoriounesp@unesp.bropendoar:29462024-11-05T13:26:01Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)false
dc.title.none.fl_str_mv Estratégia para extração, transformação e armazenamento em Data Warehouse ativo baseada em políticas configuráveis de propagação de dados
title Estratégia para extração, transformação e armazenamento em Data Warehouse ativo baseada em políticas configuráveis de propagação de dados
spellingShingle Estratégia para extração, transformação e armazenamento em Data Warehouse ativo baseada em políticas configuráveis de propagação de dados
Scarpelini Neto, Paulo [UNESP]
Banco de dados
Armazenamento de dados
Sistemas de suporte de decisão
Database
title_short Estratégia para extração, transformação e armazenamento em Data Warehouse ativo baseada em políticas configuráveis de propagação de dados
title_full Estratégia para extração, transformação e armazenamento em Data Warehouse ativo baseada em políticas configuráveis de propagação de dados
title_fullStr Estratégia para extração, transformação e armazenamento em Data Warehouse ativo baseada em políticas configuráveis de propagação de dados
title_full_unstemmed Estratégia para extração, transformação e armazenamento em Data Warehouse ativo baseada em políticas configuráveis de propagação de dados
title_sort Estratégia para extração, transformação e armazenamento em Data Warehouse ativo baseada em políticas configuráveis de propagação de dados
author Scarpelini Neto, Paulo [UNESP]
author_facet Scarpelini Neto, Paulo [UNESP]
author_role author
dc.contributor.none.fl_str_mv Valêncio, Carlos Roberto [UNESP]
Universidade Estadual Paulista (Unesp)
dc.contributor.author.fl_str_mv Scarpelini Neto, Paulo [UNESP]
dc.subject.por.fl_str_mv Banco de dados
Armazenamento de dados
Sistemas de suporte de decisão
Database
topic Banco de dados
Armazenamento de dados
Sistemas de suporte de decisão
Database
description Em arquiteturas de Data Warehouse os dados são integrados periodicamente por meio da execução de processos de Extração, Transformação e Armazenamento – ETA. A atualização desses dados de forma periódica provoca um problema referente à desatualização das informações, uma vez que as ferramentas ETAs são executadas geralmente uma vez ao dia. A crescente necessidade do mundo corporativo por análises sobre dados cada vez mais recentes evidencia a necessidade de arquiteturas DW que possuam um maior grau de atualização. Nesse contexto, surgiram os DW ativos cujo intervalo de tempo entre as execuções do processo ETAs diminuem significativamente. Para suportar o aumento da frequência das atualizações, surge a necessidade de criação de critérios para priorização dos dados a serem transferidos, uma vez que a transferência de todo e qualquer dado inserido nas fontes pode sobrecarregar os sistemas envolvidos. O trabalho proposto consiste na construção de uma estratégia denominada ETA-PoCon, que tem como objetivo a execução do processo ETA em DW ativos. A estratégia distingue-se das existentes, pois possui políticas configuráveis de propagação de informações com base em parâmetros como intervalo de tempo em que a informação deve ser transferida, volume que deve ser propagado e relevância dos dados em relação às informações contidas no repositório. É demonstrado por meio dos experimentos executados que a aplicação da estratégia proporciona uma redução considerável no número de transferência de dados ao DW, uma vez que em todos os resultados a redução no total de atualizações foi superior a 60%
publishDate 2013
dc.date.none.fl_str_mv 2013-02-21
2014-06-11T19:29:40Z
2014-06-11T19:29:40Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv SCARPELINI NETO, Paulo. Estratégia para extração, transformação e armazenamento em Data Warehouse ativo baseada em políticas configuráveis de propagação de dados. 2013. 65 f. Dissertação (mestrado) - Universidade Estadual Paulista Julio de Mesquita Filho, Instituto de Biociências, Letras e Ciências Exatas, 2013.
http://hdl.handle.net/11449/98682
000713646
scarpelinineto_p_me_sjrp.pdf
33004153073P2
identifier_str_mv SCARPELINI NETO, Paulo. Estratégia para extração, transformação e armazenamento em Data Warehouse ativo baseada em políticas configuráveis de propagação de dados. 2013. 65 f. Dissertação (mestrado) - Universidade Estadual Paulista Julio de Mesquita Filho, Instituto de Biociências, Letras e Ciências Exatas, 2013.
000713646
scarpelinineto_p_me_sjrp.pdf
33004153073P2
url http://hdl.handle.net/11449/98682
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 65 f. : il. color., gráfs., tabs.
application/pdf
dc.publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
dc.source.none.fl_str_mv Aleph
reponame:Repositório Institucional da UNESP
instname:Universidade Estadual Paulista (UNESP)
instacron:UNESP
instname_str Universidade Estadual Paulista (UNESP)
instacron_str UNESP
institution UNESP
reponame_str Repositório Institucional da UNESP
collection Repositório Institucional da UNESP
repository.name.fl_str_mv Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)
repository.mail.fl_str_mv repositoriounesp@unesp.br
_version_ 1854954926876131328

Registros relacionados