Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados
| Ano de defesa: | 2017 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Presbiteriana Mackenzie
|
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Área do conhecimento CNPq: | |
| Link de acesso: | http://dspace.mackenzie.br/handle/10899/24467 |
Resumo: | To properly deal with volume, velocity and variety data dimensions in educational contexts is a major concern for Educational Institutions and both Educational Data Mining and Learning Analytics Researchers have cooperated to properly address this challenge which is popularly called Big Data. Hardware developments have been made to increase computing power, storage capacity and efficiency in energy use. New technologies in databases, file systems and distributed systems, as well as developments in data transmission techniques, data management, data analysis and visualization have been trying to overcome the challenge of processing, storing and analyzing large volumes of data and the inability to meet simultaneously the requirements of consistency, availability and tolerance of partitions. Although the architecture definition is the main task in a Big Data system design, objective guidelines for the selection of the architecture and the tools for the implementation of Big Data systems were not found in the literature. The present research aims to analyze the main architectures for both batch and stream processing and to use one of them in the construction of a Big Data environment, providing important orientations to Researchers, Technicians and Managers. Academic data and logs of the Virtual Learning Environment Moodle of an Academic Unit of a Higher Education Institution are used. |
| id |
UPM_6b67da13ce16025a4934604dbaf595ca |
|---|---|
| oai_identifier_str |
oai:dspace.mackenzie.br:10899/24467 |
| network_acronym_str |
UPM |
| network_name_str |
Repositório Digital do Mackenzie |
| repository_id_str |
|
| spelling |
Mendes, Renê de Ávilahttp://lattes.cnpq.br/1396385111251741Silva, Leandro Augusto dahttp://lattes.cnpq.br/50575884269254642018-02-22T13:28:09Z2020-05-28T18:08:52Z2020-05-28T18:08:52Z2017-02-09MENDES, Renê de Ávila. Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados. 2017. 88 f. Dissertação( Engenharia Elétrica) - Universidade Presbiteriana Mackenzie, São Paulo.http://dspace.mackenzie.br/handle/10899/24467To properly deal with volume, velocity and variety data dimensions in educational contexts is a major concern for Educational Institutions and both Educational Data Mining and Learning Analytics Researchers have cooperated to properly address this challenge which is popularly called Big Data. Hardware developments have been made to increase computing power, storage capacity and efficiency in energy use. New technologies in databases, file systems and distributed systems, as well as developments in data transmission techniques, data management, data analysis and visualization have been trying to overcome the challenge of processing, storing and analyzing large volumes of data and the inability to meet simultaneously the requirements of consistency, availability and tolerance of partitions. Although the architecture definition is the main task in a Big Data system design, objective guidelines for the selection of the architecture and the tools for the implementation of Big Data systems were not found in the literature. The present research aims to analyze the main architectures for both batch and stream processing and to use one of them in the construction of a Big Data environment, providing important orientations to Researchers, Technicians and Managers. Academic data and logs of the Virtual Learning Environment Moodle of an Academic Unit of a Higher Education Institution are used.Lidar adequadamente com as dimensões de volume, velocidade e variedade dos dados no contexto educacional é um importante desafio para as Instituições de Ensino, e Pesquisadores das áreas de Mineração de Dados Educacionais e Learning Analytics têm cooperado para tratar adequadamente este desafio, popularmente chamado de Big Data. Desenvolvimentos em hardware têm sido feitos para aumentar o poder computacional, a capacidade de armazenamento e a eficiência no uso de energia. Novas tecnologias de bancos de dados, sistemas de arquivos e sistemas distribuídos, além do desenvolvimento de técnicas de transmissão, administração, análise e visualização de dados têm tentado vencer o desafio de processar, armazenar e analisar grandes volumes de dados e a impossibilidade de atender simultaneamente os requisitos de consistência, disponibilidade e tolerância a partições. Embora a definição da arquitetura seja a principal tarefa em um projeto de sistema Big Data, não foram encontradas na literatura orientações objetivas para a seleção da arquitetura e das ferramentas para a implementação de aplicações Big Data. A presente pesquisa tem por objetivo analisar as principais arquiteturas para processamento em lote e em fluxo e utilizar uma delas na construção de um ambiente Big Data, fornecendo importantes orientações a Pesquisadores, Técnicos e Gestores. São utilizados dados acadêmicos e logs do Ambiente Virtual de Aprendizagem Moodle de uma Unidade Acadêmica de uma Instituição de Ensino Superior.application/pdfporUniversidade Presbiteriana Mackenziehttp://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessbig dataeducational data miningarquitetura lambdamoodleCNPQ::ENGENHARIASAplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dadosinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://tede.mackenzie.br/jspui/retrieve/15655/REN%c3%8a%20DE%20%c3%81VILA%20MENDES.pdf.jpgbig dataeducational data mininglambda architecturemoodlereponame:Repositório Digital do Mackenzieinstname:Universidade Presbiteriana Mackenzie (MACKENZIE)instacron:MACKENZIELopes, Fábio Silvahttp://lattes.cnpq.br/2302666201616083Pimentel, Edson Pinheirohttp://lattes.cnpq.br/6163089025212520BrasilEscola de Engenharia Mackenzie (EE)UPMEngenharia ElétricaORIGINALRENÊ DE ÁVILA MENDES.pdfRENÊ DE ÁVILA MENDES.pdfapplication/pdf2131162https://dspace.mackenzie.br/bitstreams/24b5aed1-ee83-41a7-a5e6-a66dbaca4122/download9693254f7be3605e13b56769fdbf432fMD51trueAnonymousREADTEXTRENÊ DE ÁVILA MENDES.pdf.txtRENÊ DE ÁVILA MENDES.pdf.txtExtracted texttext/plain167758https://dspace.mackenzie.br/bitstreams/5c78eb06-e9d3-44e0-af6c-ee2c7367552b/downloadf737b96646bca69df9a7da9a636a3fdcMD52falseAnonymousREADTHUMBNAILRENÊ DE ÁVILA MENDES.pdf.jpgRENÊ DE ÁVILA MENDES.pdf.jpgGenerated Thumbnailimage/jpeg1305https://dspace.mackenzie.br/bitstreams/9541c48f-bcfd-447f-a55b-33876d4b274c/downloadf6256ddfb7fd1bb6b3f2159b24fbdba3MD53falseAnonymousREAD10899/244672022-03-14T21:07:59.969Zhttp://creativecommons.org/licenses/by-nc-nd/4.0/Acesso Abertoopen.accessoai:dspace.mackenzie.br:10899/24467https://dspace.mackenzie.brBiblioteca Digital de Teses e Dissertaçõeshttp://tede.mackenzie.br/jspui/PRIhttps://adelpha-api.mackenzie.br/server/oai/repositorio@mackenzie.br||paola.damato@mackenzie.bropendoar:102772022-03-14T21:07:59Repositório Digital do Mackenzie - Universidade Presbiteriana Mackenzie (MACKENZIE)false |
| dc.title.por.fl_str_mv |
Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados |
| title |
Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados |
| spellingShingle |
Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados Mendes, Renê de Ávila big data educational data mining arquitetura lambda moodle CNPQ::ENGENHARIAS |
| title_short |
Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados |
| title_full |
Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados |
| title_fullStr |
Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados |
| title_full_unstemmed |
Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados |
| title_sort |
Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados |
| author |
Mendes, Renê de Ávila |
| author_facet |
Mendes, Renê de Ávila |
| author_role |
author |
| dc.contributor.author.fl_str_mv |
Mendes, Renê de Ávila |
| dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/1396385111251741 |
| dc.contributor.advisor1.fl_str_mv |
Silva, Leandro Augusto da |
| dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/5057588426925464 |
| contributor_str_mv |
Silva, Leandro Augusto da |
| dc.subject.por.fl_str_mv |
big data educational data mining arquitetura lambda moodle |
| topic |
big data educational data mining arquitetura lambda moodle CNPQ::ENGENHARIAS |
| dc.subject.cnpq.fl_str_mv |
CNPQ::ENGENHARIAS |
| description |
To properly deal with volume, velocity and variety data dimensions in educational contexts is a major concern for Educational Institutions and both Educational Data Mining and Learning Analytics Researchers have cooperated to properly address this challenge which is popularly called Big Data. Hardware developments have been made to increase computing power, storage capacity and efficiency in energy use. New technologies in databases, file systems and distributed systems, as well as developments in data transmission techniques, data management, data analysis and visualization have been trying to overcome the challenge of processing, storing and analyzing large volumes of data and the inability to meet simultaneously the requirements of consistency, availability and tolerance of partitions. Although the architecture definition is the main task in a Big Data system design, objective guidelines for the selection of the architecture and the tools for the implementation of Big Data systems were not found in the literature. The present research aims to analyze the main architectures for both batch and stream processing and to use one of them in the construction of a Big Data environment, providing important orientations to Researchers, Technicians and Managers. Academic data and logs of the Virtual Learning Environment Moodle of an Academic Unit of a Higher Education Institution are used. |
| publishDate |
2017 |
| dc.date.issued.fl_str_mv |
2017-02-09 |
| dc.date.accessioned.fl_str_mv |
2018-02-22T13:28:09Z 2020-05-28T18:08:52Z |
| dc.date.available.fl_str_mv |
2020-05-28T18:08:52Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.citation.fl_str_mv |
MENDES, Renê de Ávila. Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados. 2017. 88 f. Dissertação( Engenharia Elétrica) - Universidade Presbiteriana Mackenzie, São Paulo. |
| dc.identifier.uri.fl_str_mv |
http://dspace.mackenzie.br/handle/10899/24467 |
| identifier_str_mv |
MENDES, Renê de Ávila. Aplicação da arquitetura lambda na construção de um ambiente big data educacional para análise de dados. 2017. 88 f. Dissertação( Engenharia Elétrica) - Universidade Presbiteriana Mackenzie, São Paulo. |
| url |
http://dspace.mackenzie.br/handle/10899/24467 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/4.0/ info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-nd/4.0/ |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade Presbiteriana Mackenzie |
| publisher.none.fl_str_mv |
Universidade Presbiteriana Mackenzie |
| dc.source.none.fl_str_mv |
reponame:Repositório Digital do Mackenzie instname:Universidade Presbiteriana Mackenzie (MACKENZIE) instacron:MACKENZIE |
| instname_str |
Universidade Presbiteriana Mackenzie (MACKENZIE) |
| instacron_str |
MACKENZIE |
| institution |
MACKENZIE |
| reponame_str |
Repositório Digital do Mackenzie |
| collection |
Repositório Digital do Mackenzie |
| bitstream.url.fl_str_mv |
https://dspace.mackenzie.br/bitstreams/24b5aed1-ee83-41a7-a5e6-a66dbaca4122/download https://dspace.mackenzie.br/bitstreams/5c78eb06-e9d3-44e0-af6c-ee2c7367552b/download https://dspace.mackenzie.br/bitstreams/9541c48f-bcfd-447f-a55b-33876d4b274c/download |
| bitstream.checksum.fl_str_mv |
9693254f7be3605e13b56769fdbf432f f737b96646bca69df9a7da9a636a3fdc f6256ddfb7fd1bb6b3f2159b24fbdba3 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositório Digital do Mackenzie - Universidade Presbiteriana Mackenzie (MACKENZIE) |
| repository.mail.fl_str_mv |
repositorio@mackenzie.br||paola.damato@mackenzie.br |
| _version_ |
1863649802168827904 |