Adaptação de algoritmos de processamento de dados ambientais para o contexto de Big Data

Detalhes bibliográficos
Ano de defesa: 2015
Autor(a) principal: Campos, Guilherme Falcão da Silva
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de Mato Grosso
Brasil
Instituto de Física (IF)
UFMT CUC - Cuiabá
Programa de Pós-Graduação em Física Ambiental
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
MapReduce
Hadoop
Wavelets
Dimensão fractal
Dados ambientais
CNPQ::CIENCIAS EXATAS E DA TERRA::FISICA
Fractal dimension
Environmental data
Link de acesso: http://ri.ufmt.br/handle/1/275
Resumo: Environmental research depend on sensor generated data to create time series regarding the variables that are being analyzed. The amount of data tends to increase as more and more sensors are created and installed. After some time the datasets become huge and requires new ways to process and store the data. This work seeks to find ways to avoid these issues using a technological solution able to store and process large amounts of data. The solution used is Apache Hadoop, a tool which purpose is to solve Big Data problems. In order to evaluate the tool were used different datasets and time series analysis algorithms. The analysis of chaotic and non-chaotic time series were implemented. These implementations were: the wavelet transform, similarity search using Euclidean distance function, the calculus of the box-counting dimension and the calculus of the correlation dimension. Those implementations were adapted for the MapReduce parallel processing paradigm.
id UFMT_a40d82c67ce3af59f07cd09756468b26
oai_identifier_str oai:localhost:1/275
network_acronym_str UFMT
network_name_str Repositório Institucional da UFMT
repository_id_str
spelling Adaptação de algoritmos de processamento de dados ambientais para o contexto de Big DataMapReduceHadoopWaveletsDimensão fractalDados ambientaisCNPQ::CIENCIAS EXATAS E DA TERRA::FISICAMapReduceHadoopWaveletsFractal dimensionEnvironmental dataEnvironmental research depend on sensor generated data to create time series regarding the variables that are being analyzed. The amount of data tends to increase as more and more sensors are created and installed. After some time the datasets become huge and requires new ways to process and store the data. This work seeks to find ways to avoid these issues using a technological solution able to store and process large amounts of data. The solution used is Apache Hadoop, a tool which purpose is to solve Big Data problems. In order to evaluate the tool were used different datasets and time series analysis algorithms. The analysis of chaotic and non-chaotic time series were implemented. These implementations were: the wavelet transform, similarity search using Euclidean distance function, the calculus of the box-counting dimension and the calculus of the correlation dimension. Those implementations were adapted for the MapReduce parallel processing paradigm.Pesquisas ambientais dependem de dados de sensores para a criação das séries temporais referentes às variáveis analisadas. A quantidade de dados tende a aumentar, cada vez mais, à medida que novos sensores são criados e instalados. Com o passar do tempo os conjuntos de dados se tornam massivos, requerendo novas formas de armazenamento e processamento. Este trabalho busca meios de se contornar esses problemas utilizando uma solução tecnológica capaz de armazenar e processar grandes quantidades de dados. A solução tecnológica utilizada é o Apache Hadoop, uma ferramenta voltada a problemas de Big Data. Com a finalidade de avaliar a ferramenta foram utilizados diferentes conjuntos de dados e adaptados diferentes algoritmos usados na análise de séries temporais. Foram implementados analises de séries caóticas e não caóticas. As implementações foram a transformada de wavelet, uma busca por similaridade usando a função de distância Euclidiana, cálculo da dimensão box-counting e o cálculo da dimensão de correlação. Essas implementações foram adaptadas para utilizar o paradigma de processamento distribuído MapReduce.Universidade Federal de Mato GrossoBrasilInstituto de Física (IF)UFMT CUC - CuiabáPrograma de Pós-Graduação em Física AmbientalFigueiredo, Josiel Maimone dehttp://lattes.cnpq.br/1242386923227672Figueiredo, Josiel Maimone de568.019.391-49http://lattes.cnpq.br/1242386923227672Gomes, Raphael de Souza Rosa011.912.491-23http://lattes.cnpq.br/7352154839166198568.019.391-49Vieira, Marcos Rodrigues258.758.878-26http://lattes.cnpq.br/3387494140723481Campos, Guilherme Falcão da Silva2017-05-04T15:41:39Z2016-03-072017-05-04T15:41:39Z2015-11-23info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisCAMPOS, Guilherme Falcão da Silva. Adaptação de algoritmos de processamento de dados ambientais para o contexto de Big Data. 2015. v, 57 f. Dissertação (Mestrado em Física Ambiental) - Universidade Federal de Mato Grosso, Instituto de Física, Cuiabá, 2015.http://ri.ufmt.br/handle/1/275porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFMTinstname:Universidade Federal de Mato Grosso (UFMT)instacron:UFMT2017-05-06T07:00:22Zoai:localhost:1/275Repositório InstitucionalPUBhttp://ri.ufmt.br/oai/requestjordanbiblio@gmail.comopendoar:2017-05-06T07:00:22Repositório Institucional da UFMT - Universidade Federal de Mato Grosso (UFMT)false
dc.title.none.fl_str_mv Adaptação de algoritmos de processamento de dados ambientais para o contexto de Big Data
title Adaptação de algoritmos de processamento de dados ambientais para o contexto de Big Data
spellingShingle Adaptação de algoritmos de processamento de dados ambientais para o contexto de Big Data
Campos, Guilherme Falcão da Silva
MapReduce
Hadoop
Wavelets
Dimensão fractal
Dados ambientais
CNPQ::CIENCIAS EXATAS E DA TERRA::FISICA
MapReduce
Hadoop
Wavelets
Fractal dimension
Environmental data
title_short Adaptação de algoritmos de processamento de dados ambientais para o contexto de Big Data
title_full Adaptação de algoritmos de processamento de dados ambientais para o contexto de Big Data
title_fullStr Adaptação de algoritmos de processamento de dados ambientais para o contexto de Big Data
title_full_unstemmed Adaptação de algoritmos de processamento de dados ambientais para o contexto de Big Data
title_sort Adaptação de algoritmos de processamento de dados ambientais para o contexto de Big Data
author Campos, Guilherme Falcão da Silva
author_facet Campos, Guilherme Falcão da Silva
author_role author
dc.contributor.none.fl_str_mv Figueiredo, Josiel Maimone de
http://lattes.cnpq.br/1242386923227672
Figueiredo, Josiel Maimone de
568.019.391-49
http://lattes.cnpq.br/1242386923227672
Gomes, Raphael de Souza Rosa
011.912.491-23
http://lattes.cnpq.br/7352154839166198
568.019.391-49
Vieira, Marcos Rodrigues
258.758.878-26
http://lattes.cnpq.br/3387494140723481
dc.contributor.author.fl_str_mv Campos, Guilherme Falcão da Silva
dc.subject.por.fl_str_mv MapReduce
Hadoop
Wavelets
Dimensão fractal
Dados ambientais
CNPQ::CIENCIAS EXATAS E DA TERRA::FISICA
MapReduce
Hadoop
Wavelets
Fractal dimension
Environmental data
topic MapReduce
Hadoop
Wavelets
Dimensão fractal
Dados ambientais
CNPQ::CIENCIAS EXATAS E DA TERRA::FISICA
MapReduce
Hadoop
Wavelets
Fractal dimension
Environmental data
description Environmental research depend on sensor generated data to create time series regarding the variables that are being analyzed. The amount of data tends to increase as more and more sensors are created and installed. After some time the datasets become huge and requires new ways to process and store the data. This work seeks to find ways to avoid these issues using a technological solution able to store and process large amounts of data. The solution used is Apache Hadoop, a tool which purpose is to solve Big Data problems. In order to evaluate the tool were used different datasets and time series analysis algorithms. The analysis of chaotic and non-chaotic time series were implemented. These implementations were: the wavelet transform, similarity search using Euclidean distance function, the calculus of the box-counting dimension and the calculus of the correlation dimension. Those implementations were adapted for the MapReduce parallel processing paradigm.
publishDate 2015
dc.date.none.fl_str_mv 2015-11-23
2016-03-07
2017-05-04T15:41:39Z
2017-05-04T15:41:39Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv CAMPOS, Guilherme Falcão da Silva. Adaptação de algoritmos de processamento de dados ambientais para o contexto de Big Data. 2015. v, 57 f. Dissertação (Mestrado em Física Ambiental) - Universidade Federal de Mato Grosso, Instituto de Física, Cuiabá, 2015.
http://ri.ufmt.br/handle/1/275
identifier_str_mv CAMPOS, Guilherme Falcão da Silva. Adaptação de algoritmos de processamento de dados ambientais para o contexto de Big Data. 2015. v, 57 f. Dissertação (Mestrado em Física Ambiental) - Universidade Federal de Mato Grosso, Instituto de Física, Cuiabá, 2015.
url http://ri.ufmt.br/handle/1/275
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Mato Grosso
Brasil
Instituto de Física (IF)
UFMT CUC - Cuiabá
Programa de Pós-Graduação em Física Ambiental
publisher.none.fl_str_mv Universidade Federal de Mato Grosso
Brasil
Instituto de Física (IF)
UFMT CUC - Cuiabá
Programa de Pós-Graduação em Física Ambiental
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFMT
instname:Universidade Federal de Mato Grosso (UFMT)
instacron:UFMT
instname_str Universidade Federal de Mato Grosso (UFMT)
instacron_str UFMT
institution UFMT
reponame_str Repositório Institucional da UFMT
collection Repositório Institucional da UFMT
repository.name.fl_str_mv Repositório Institucional da UFMT - Universidade Federal de Mato Grosso (UFMT)
repository.mail.fl_str_mv jordanbiblio@gmail.com
_version_ 1856657510082019328

Registros relacionados