Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados

Detalhes bibliográficos
Ano de defesa: 2017
Autor(a) principal: Mendes, Renê de Ávila lattes
Orientador(a): Silva, Leandro Augusto da lattes
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Presbiteriana Mackenzie
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Área do conhecimento CNPq:
Link de acesso: http://dspace.mackenzie.br/handle/10899/24467
Resumo: To properly deal with volume, velocity and variety data dimensions in educational contexts is a major concern for Educational Institutions and both Educational Data Mining and Learning Analytics Researchers have cooperated to properly address this challenge which is popularly called Big Data. Hardware developments have been made to increase computing power, storage capacity and efficiency in energy use. New technologies in databases, file systems and distributed systems, as well as developments in data transmission techniques, data management, data analysis and visualization have been trying to overcome the challenge of processing, storing and analyzing large volumes of data and the inability to meet simultaneously the requirements of consistency, availability and tolerance of partitions. Although the architecture definition is the main task in a Big Data system design, objective guidelines for the selection of the architecture and the tools for the implementation of Big Data systems were not found in the literature. The present research aims to analyze the main architectures for both batch and stream processing and to use one of them in the construction of a Big Data environment, providing important orientations to Researchers, Technicians and Managers. Academic data and logs of the Virtual Learning Environment Moodle of an Academic Unit of a Higher Education Institution are used.
id UPM_6b67da13ce16025a4934604dbaf595ca
oai_identifier_str oai:dspace.mackenzie.br:10899/24467
network_acronym_str UPM
network_name_str Repositório Digital do Mackenzie
repository_id_str
spelling Mendes, Renê de Ávilahttp://lattes.cnpq.br/1396385111251741Silva, Leandro Augusto dahttp://lattes.cnpq.br/50575884269254642018-02-22T13:28:09Z2020-05-28T18:08:52Z2020-05-28T18:08:52Z2017-02-09MENDES, Renê de Ávila. Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados. 2017. 88 f. Dissertação( Engenharia Elétrica) - Universidade Presbiteriana Mackenzie, São Paulo.http://dspace.mackenzie.br/handle/10899/24467To properly deal with volume, velocity and variety data dimensions in educational contexts is a major concern for Educational Institutions and both Educational Data Mining and Learning Analytics Researchers have cooperated to properly address this challenge which is popularly called Big Data. Hardware developments have been made to increase computing power, storage capacity and efficiency in energy use. New technologies in databases, file systems and distributed systems, as well as developments in data transmission techniques, data management, data analysis and visualization have been trying to overcome the challenge of processing, storing and analyzing large volumes of data and the inability to meet simultaneously the requirements of consistency, availability and tolerance of partitions. Although the architecture definition is the main task in a Big Data system design, objective guidelines for the selection of the architecture and the tools for the implementation of Big Data systems were not found in the literature. The present research aims to analyze the main architectures for both batch and stream processing and to use one of them in the construction of a Big Data environment, providing important orientations to Researchers, Technicians and Managers. Academic data and logs of the Virtual Learning Environment Moodle of an Academic Unit of a Higher Education Institution are used.Lidar adequadamente com as dimensões de volume, velocidade e variedade dos dados no contexto educacional é um importante desafio para as Instituições de Ensino, e Pesquisadores das áreas de Mineração de Dados Educacionais e Learning Analytics têm cooperado para tratar adequadamente este desafio, popularmente chamado de Big Data. Desenvolvimentos em hardware têm sido feitos para aumentar o poder computacional, a capacidade de armazenamento e a eficiência no uso de energia. Novas tecnologias de bancos de dados, sistemas de arquivos e sistemas distribuídos, além do desenvolvimento de técnicas de transmissão, administração, análise e visualização de dados têm tentado vencer o desafio de processar, armazenar e analisar grandes volumes de dados e a impossibilidade de atender simultaneamente os requisitos de consistência, disponibilidade e tolerância a partições. Embora a definição da arquitetura seja a principal tarefa em um projeto de sistema Big Data, não foram encontradas na literatura orientações objetivas para a seleção da arquitetura e das ferramentas para a implementação de aplicações Big Data. A presente pesquisa tem por objetivo analisar as principais arquiteturas para processamento em lote e em fluxo e utilizar uma delas na construção de um ambiente Big Data, fornecendo importantes orientações a Pesquisadores, Técnicos e Gestores. São utilizados dados acadêmicos e logs do Ambiente Virtual de Aprendizagem Moodle de uma Unidade Acadêmica de uma Instituição de Ensino Superior.application/pdfporUniversidade Presbiteriana Mackenziehttp://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessbig dataeducational data miningarquitetura lambdamoodleCNPQ::ENGENHARIASAplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dadosinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://tede.mackenzie.br/jspui/retrieve/15655/REN%c3%8a%20DE%20%c3%81VILA%20MENDES.pdf.jpgbig dataeducational data mininglambda architecturemoodlereponame:Repositório Digital do Mackenzieinstname:Universidade Presbiteriana Mackenzie (MACKENZIE)instacron:MACKENZIELopes, Fábio Silvahttp://lattes.cnpq.br/2302666201616083Pimentel, Edson Pinheirohttp://lattes.cnpq.br/6163089025212520BrasilEscola de Engenharia Mackenzie (EE)UPMEngenharia ElétricaORIGINALRENÊ DE ÁVILA MENDES.pdfRENÊ DE ÁVILA MENDES.pdfapplication/pdf2131162https://dspace.mackenzie.br/bitstreams/24b5aed1-ee83-41a7-a5e6-a66dbaca4122/download9693254f7be3605e13b56769fdbf432fMD51trueAnonymousREADTEXTRENÊ DE ÁVILA MENDES.pdf.txtRENÊ DE ÁVILA MENDES.pdf.txtExtracted texttext/plain167758https://dspace.mackenzie.br/bitstreams/5c78eb06-e9d3-44e0-af6c-ee2c7367552b/downloadf737b96646bca69df9a7da9a636a3fdcMD52falseAnonymousREADTHUMBNAILRENÊ DE ÁVILA MENDES.pdf.jpgRENÊ DE ÁVILA MENDES.pdf.jpgGenerated Thumbnailimage/jpeg1305https://dspace.mackenzie.br/bitstreams/9541c48f-bcfd-447f-a55b-33876d4b274c/downloadf6256ddfb7fd1bb6b3f2159b24fbdba3MD53falseAnonymousREAD10899/244672022-03-14T21:07:59.969Zhttp://creativecommons.org/licenses/by-nc-nd/4.0/Acesso Abertoopen.accessoai:dspace.mackenzie.br:10899/24467https://dspace.mackenzie.brBiblioteca Digital de Teses e Dissertaçõeshttp://tede.mackenzie.br/jspui/PRIhttps://adelpha-api.mackenzie.br/server/oai/repositorio@mackenzie.br||paola.damato@mackenzie.bropendoar:102772022-03-14T21:07:59Repositório Digital do Mackenzie - Universidade Presbiteriana Mackenzie (MACKENZIE)false
dc.title.por.fl_str_mv Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados
title Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados
spellingShingle Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados
Mendes, Renê de Ávila
big data
educational data mining
arquitetura lambda
moodle
CNPQ::ENGENHARIAS
title_short Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados
title_full Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados
title_fullStr Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados
title_full_unstemmed Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados
title_sort Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados
author Mendes, Renê de Ávila
author_facet Mendes, Renê de Ávila
author_role author
dc.contributor.author.fl_str_mv Mendes, Renê de Ávila
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/1396385111251741
dc.contributor.advisor1.fl_str_mv Silva, Leandro Augusto da
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/5057588426925464
contributor_str_mv Silva, Leandro Augusto da
dc.subject.por.fl_str_mv big data
educational data mining
arquitetura lambda
moodle
topic big data
educational data mining
arquitetura lambda
moodle
CNPQ::ENGENHARIAS
dc.subject.cnpq.fl_str_mv CNPQ::ENGENHARIAS
description To properly deal with volume, velocity and variety data dimensions in educational contexts is a major concern for Educational Institutions and both Educational Data Mining and Learning Analytics Researchers have cooperated to properly address this challenge which is popularly called Big Data. Hardware developments have been made to increase computing power, storage capacity and efficiency in energy use. New technologies in databases, file systems and distributed systems, as well as developments in data transmission techniques, data management, data analysis and visualization have been trying to overcome the challenge of processing, storing and analyzing large volumes of data and the inability to meet simultaneously the requirements of consistency, availability and tolerance of partitions. Although the architecture definition is the main task in a Big Data system design, objective guidelines for the selection of the architecture and the tools for the implementation of Big Data systems were not found in the literature. The present research aims to analyze the main architectures for both batch and stream processing and to use one of them in the construction of a Big Data environment, providing important orientations to Researchers, Technicians and Managers. Academic data and logs of the Virtual Learning Environment Moodle of an Academic Unit of a Higher Education Institution are used.
publishDate 2017
dc.date.issued.fl_str_mv 2017-02-09
dc.date.accessioned.fl_str_mv 2018-02-22T13:28:09Z
2020-05-28T18:08:52Z
dc.date.available.fl_str_mv 2020-05-28T18:08:52Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv MENDES, Renê de Ávila. Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados. 2017. 88 f. Dissertação( Engenharia Elétrica) - Universidade Presbiteriana Mackenzie, São Paulo.
dc.identifier.uri.fl_str_mv http://dspace.mackenzie.br/handle/10899/24467
identifier_str_mv MENDES, Renê de Ávila. Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados. 2017. 88 f. Dissertação( Engenharia Elétrica) - Universidade Presbiteriana Mackenzie, São Paulo.
url http://dspace.mackenzie.br/handle/10899/24467
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Presbiteriana Mackenzie
publisher.none.fl_str_mv Universidade Presbiteriana Mackenzie
dc.source.none.fl_str_mv reponame:Repositório Digital do Mackenzie
instname:Universidade Presbiteriana Mackenzie (MACKENZIE)
instacron:MACKENZIE
instname_str Universidade Presbiteriana Mackenzie (MACKENZIE)
instacron_str MACKENZIE
institution MACKENZIE
reponame_str Repositório Digital do Mackenzie
collection Repositório Digital do Mackenzie
bitstream.url.fl_str_mv https://dspace.mackenzie.br/bitstreams/24b5aed1-ee83-41a7-a5e6-a66dbaca4122/download
https://dspace.mackenzie.br/bitstreams/5c78eb06-e9d3-44e0-af6c-ee2c7367552b/download
https://dspace.mackenzie.br/bitstreams/9541c48f-bcfd-447f-a55b-33876d4b274c/download
bitstream.checksum.fl_str_mv 9693254f7be3605e13b56769fdbf432f
f737b96646bca69df9a7da9a636a3fdc
f6256ddfb7fd1bb6b3f2159b24fbdba3
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositório Digital do Mackenzie - Universidade Presbiteriana Mackenzie (MACKENZIE)
repository.mail.fl_str_mv repositorio@mackenzie.br||paola.damato@mackenzie.br
_version_ 1863649802168827904