Uma proposta de arquitetura para tratamento de dados não estruturados no âmbito dos institutos federais de educação

Detalhes bibliográficos
Ano de defesa: 2017
Autor(a) principal: JAHN, Giovani Felipe
Orientador(a): GARCIA, Vinícius Cardoso
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de Pernambuco
Programa de Pós-Graduação: Programa de Pos Graduacao em Ciencia da Computacao
Departamento: Não Informado pela instituição
País: Brasil
Palavras-chave em Português:
Engenharia de software
Arquitetura de software
Link de acesso: https://repositorio.ufpe.br/handle/123456789/28002
Resumo: Uma das tendências para resolver os diversos problemas e desafios gerados pelo contexto do Big Data é o movimento denominado NoSQL (Not only SQL), o qual promove diversas soluções inovadoras de armazenamento e processamento de grande volume de dados. Os trabalhos disponíveis na literatura relacionados a NoSQL explicam, além do seu surgimento, sistemas disponíveis para a manipulação de dados que necessitam de um poder de processamento eficiente, escalável e amplo. O que também impulsiona a criação de sistemas de tratamento de dados NoSQL é a sua inferência a dados complexos, semiestruturados ou não estruturados, presentes hoje em redes sociais, sensores, logs de Internet, entre outros. Em face dos desafios sobre a manipulação e processamento de dados neste contexto, um novo conjunto de plataformas de ferramentas voltadas para Big Data tem sido proposto. Muitas delas na forma open source ou de licenças livres revelando-se excelentes veículos para o desenvolvimento de soluções para tratamento de dados desta natureza. Este trabalho, proposto no Programa de Mestrado Profissional em Ciência da Computação, na linha de pesquisa Redes de Computadores, objetiva apresentar uma arquitetura de referência para tratamento de dados não estruturados, inerentes à realidade dos institutos federais de educação, para que possam prover análise sobre dados oriundos de redes sociais. Inicialmente, a revisão bibliográfica expõe os conceitos, linguagens e ferramentas das principais tecnologias a respeito de NoSQL. Produtos como Hadoop, Hive, HBase e outros denotam a grande quantidade de soluções NoSQL disponíveis no mercado para uma escolha futura na implementação de aplicações e são consideradas neste trabalho. A seguir, um levantamento de dados institucionais mostra que o tratamento de dados não estruturados ainda é considerado um ineditismo para estas instituições. Foi utilizada uma abordagem metodológica teórico-conceitual, agregando-se paradigmas do método DSR (Design Science Research) para dar à pesquisa um conhecimento sólido e potencialmente relevante quando da elaboração de uma proposta de arquitetura de referência para tratamento de dados não estruturados no âmbito dos institutos federais de educação. A realização de um adequado enquadramento conceitual e tecnológico sobre as ferramentas open source fomentaram esta proposta, a qual por sua vez, passa por avaliação e crivo de especialistas.
id UFPE_f6f04bccc53f77419c6bfec504a65207
oai_identifier_str oai:repositorio.ufpe.br:123456789/28002
network_acronym_str UFPE
network_name_str Repositório Institucional da UFPE
repository_id_str
spelling JAHN, Giovani Felipehttp://lattes.cnpq.br/5478160292712974http://lattes.cnpq.br/6613487636748832GARCIA, Vinícius Cardoso2018-12-05T17:49:14Z2018-12-05T17:49:14Z2017-06-14https://repositorio.ufpe.br/handle/123456789/28002Uma das tendências para resolver os diversos problemas e desafios gerados pelo contexto do Big Data é o movimento denominado NoSQL (Not only SQL), o qual promove diversas soluções inovadoras de armazenamento e processamento de grande volume de dados. Os trabalhos disponíveis na literatura relacionados a NoSQL explicam, além do seu surgimento, sistemas disponíveis para a manipulação de dados que necessitam de um poder de processamento eficiente, escalável e amplo. O que também impulsiona a criação de sistemas de tratamento de dados NoSQL é a sua inferência a dados complexos, semiestruturados ou não estruturados, presentes hoje em redes sociais, sensores, logs de Internet, entre outros. Em face dos desafios sobre a manipulação e processamento de dados neste contexto, um novo conjunto de plataformas de ferramentas voltadas para Big Data tem sido proposto. Muitas delas na forma open source ou de licenças livres revelando-se excelentes veículos para o desenvolvimento de soluções para tratamento de dados desta natureza. Este trabalho, proposto no Programa de Mestrado Profissional em Ciência da Computação, na linha de pesquisa Redes de Computadores, objetiva apresentar uma arquitetura de referência para tratamento de dados não estruturados, inerentes à realidade dos institutos federais de educação, para que possam prover análise sobre dados oriundos de redes sociais. Inicialmente, a revisão bibliográfica expõe os conceitos, linguagens e ferramentas das principais tecnologias a respeito de NoSQL. Produtos como Hadoop, Hive, HBase e outros denotam a grande quantidade de soluções NoSQL disponíveis no mercado para uma escolha futura na implementação de aplicações e são consideradas neste trabalho. A seguir, um levantamento de dados institucionais mostra que o tratamento de dados não estruturados ainda é considerado um ineditismo para estas instituições. Foi utilizada uma abordagem metodológica teórico-conceitual, agregando-se paradigmas do método DSR (Design Science Research) para dar à pesquisa um conhecimento sólido e potencialmente relevante quando da elaboração de uma proposta de arquitetura de referência para tratamento de dados não estruturados no âmbito dos institutos federais de educação. A realização de um adequado enquadramento conceitual e tecnológico sobre as ferramentas open source fomentaram esta proposta, a qual por sua vez, passa por avaliação e crivo de especialistas.One of the trends to solve the various problems and challenges generated by the Big Data context is the movement called NoSQL (Not only SQL), which promotes several innovative solutions for storing and processing large volumes of data. The work available in the literature related to NoSQL explains its emergence in the context of large amount of data generated and consequently, systems available for the manipulation of this data that need an efficient, scalable and broad processing power. What also drives the creation of NoSQL data processing systems is their inference to complex, semi-structured or unstructured data, present in social networks, sensors, Internet logs, among others. Given the challenges of manipulating and processing immense data in this context, a new set of tool platforms geared to Big Data have been proposed. Many of them in the open source form, proving to be excellent vehicles for the development of data processing solutions of this nature. This work, proposed in the Master Program in Computer Science, in the research line Computer Networks, aims to present a reference architecture for the treatment of unstructured data, inherent to the reality of the federal institutes of education, so that they can provide analysis on these data come from social networks, as well as content from various sources on the Internet. Initially, the bibliographic review exposes the concepts, languages and tools of the main technologies regarding NoSQL. Products such as Hadoop, Hive, HBase and others denote the large number of NoSQL solutions available in the market for a future choice in the implementation of applications and are considered in this work. Next, a survey of institutional data shows that the treatment of unstructured data is still considered an unpublished data for these institutions. A conceptual theoretical methodological approach was used, adding paradigms of the DSR (Design Science Research) method to give the research a solid and potentially relevant knowledge when elaborating a proposal of reference architecture for the treatment of unstructured data within such institutes. The realization of an adequate conceptual and technological framework on the open source tools fomented this proposal, which in turn, passes through evaluation and selection of specialists.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessEngenharia de softwareArquitetura de softwareUma proposta de arquitetura para tratamento de dados não estruturados no âmbito dos institutos federais de educaçãoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPETHUMBNAILDISSERTAÇÃO Giovani Felipe Jahn.pdf.jpgDISSERTAÇÃO Giovani Felipe Jahn.pdf.jpgGenerated Thumbnailimage/jpeg1373https://repositorio.ufpe.br/bitstream/123456789/28002/6/DISSERTA%c3%87%c3%83O%20Giovani%20Felipe%20Jahn.pdf.jpg90f4fe7e588e6c6bb6ea0cceebfac01cMD56ORIGINALDISSERTAÇÃO Giovani Felipe Jahn.pdfDISSERTAÇÃO Giovani Felipe Jahn.pdfapplication/pdf2060249https://repositorio.ufpe.br/bitstream/123456789/28002/1/DISSERTA%c3%87%c3%83O%20Giovani%20Felipe%20Jahn.pdfcb80862df06be3377782578a6d558c63MD51LICENSElicense.txtlicense.txttext/plain; charset=utf-82311https://repositorio.ufpe.br/bitstream/123456789/28002/3/license.txt4b8a02c7f2818eaf00dcf2260dd5eb08MD53CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/28002/4/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD54TEXTDISSERTAÇÃO Giovani Felipe Jahn.pdf.txtDISSERTAÇÃO Giovani Felipe Jahn.pdf.txtExtracted texttext/plain264293https://repositorio.ufpe.br/bitstream/123456789/28002/5/DISSERTA%c3%87%c3%83O%20Giovani%20Felipe%20Jahn.pdf.txt95782704b461101bc2b6f77c49f84c8fMD55123456789/280022019-10-25 09:48:40.645oai:repositorio.ufpe.br:123456789/28002TGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKClRvZG8gZGVwb3NpdGFudGUgZGUgbWF0ZXJpYWwgbm8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgKFJJKSBkZXZlIGNvbmNlZGVyLCDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIChVRlBFKSwgdW1hIExpY2Vuw6dhIGRlIERpc3RyaWJ1acOnw6NvIE7Do28gRXhjbHVzaXZhIHBhcmEgbWFudGVyIGUgdG9ybmFyIGFjZXNzw612ZWlzIG9zIHNldXMgZG9jdW1lbnRvcywgZW0gZm9ybWF0byBkaWdpdGFsLCBuZXN0ZSByZXBvc2l0w7NyaW8uCgpDb20gYSBjb25jZXNzw6NvIGRlc3RhIGxpY2Vuw6dhIG7Do28gZXhjbHVzaXZhLCBvIGRlcG9zaXRhbnRlIG1hbnTDqW0gdG9kb3Mgb3MgZGlyZWl0b3MgZGUgYXV0b3IuCl9fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXwoKTGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKCkFvIGNvbmNvcmRhciBjb20gZXN0YSBsaWNlbsOnYSBlIGFjZWl0w6EtbGEsIHZvY8OqIChhdXRvciBvdSBkZXRlbnRvciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMpOgoKYSkgRGVjbGFyYSBxdWUgY29uaGVjZSBhIHBvbMOtdGljYSBkZSBjb3B5cmlnaHQgZGEgZWRpdG9yYSBkbyBzZXUgZG9jdW1lbnRvOwpiKSBEZWNsYXJhIHF1ZSBjb25oZWNlIGUgYWNlaXRhIGFzIERpcmV0cml6ZXMgcGFyYSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEU7CmMpIENvbmNlZGUgw6AgVUZQRSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZGUgYXJxdWl2YXIsIHJlcHJvZHV6aXIsIGNvbnZlcnRlciAoY29tbyBkZWZpbmlkbyBhIHNlZ3VpciksIGNvbXVuaWNhciBlL291IGRpc3RyaWJ1aXIsIG5vIFJJLCBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vL2Fic3RyYWN0KSBlbSBmb3JtYXRvIGRpZ2l0YWwgb3UgcG9yIG91dHJvIG1laW87CmQpIERlY2xhcmEgcXVlIGF1dG9yaXphIGEgVUZQRSBhIGFycXVpdmFyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXN0ZSBkb2N1bWVudG8gZSBjb252ZXJ0w6otbG8sIHNlbSBhbHRlcmFyIG8gc2V1IGNvbnRlw7pkbywgcGFyYSBxdWFscXVlciBmb3JtYXRvIGRlIGZpY2hlaXJvLCBtZWlvIG91IHN1cG9ydGUsIHBhcmEgZWZlaXRvcyBkZSBzZWd1cmFuw6dhLCBwcmVzZXJ2YcOnw6NvIChiYWNrdXApIGUgYWNlc3NvOwplKSBEZWNsYXJhIHF1ZSBvIGRvY3VtZW50byBzdWJtZXRpZG8gw6kgbyBzZXUgdHJhYmFsaG8gb3JpZ2luYWwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBhIHRlcmNlaXJvcyBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2Ugb3MgZGlyZWl0b3MgZGUgb3V0cmEgcGVzc29hIG91IGVudGlkYWRlOwpmKSBEZWNsYXJhIHF1ZSwgbm8gY2FzbyBkbyBkb2N1bWVudG8gc3VibWV0aWRvIGNvbnRlciBtYXRlcmlhbCBkbyBxdWFsIG7Do28gZGV0w6ltIG9zIGRpcmVpdG9zIGRlCmF1dG9yLCBvYnRldmUgYSBhdXRvcml6YcOnw6NvIGlycmVzdHJpdGEgZG8gcmVzcGVjdGl2byBkZXRlbnRvciBkZXNzZXMgZGlyZWl0b3MgcGFyYSBjZWRlciDDoApVRlBFIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgTGljZW7Dp2EgZSBhdXRvcml6YXIgYSB1bml2ZXJzaWRhZGUgYSB1dGlsaXrDoS1sb3MgbGVnYWxtZW50ZS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBlc3NlIG1hdGVyaWFsIGN1am9zIGRpcmVpdG9zIHPDo28gZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRvIGRvY3VtZW50byBlbnRyZWd1ZTsKZykgU2UgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgYmFzZWFkbyBlbSB0cmFiYWxobyBmaW5hbmNpYWRvIG91IGFwb2lhZG8gcG9yIG91dHJhIGluc3RpdHVpw6fDo28gcXVlIG7Do28gYSBVRlBFLMKgZGVjbGFyYSBxdWUgY3VtcHJpdSBxdWFpc3F1ZXIgb2JyaWdhw6fDtWVzIGV4aWdpZGFzIHBlbG8gcmVzcGVjdGl2byBjb250cmF0byBvdSBhY29yZG8uCgpBIFVGUEUgaWRlbnRpZmljYXLDoSBjbGFyYW1lbnRlIG8ocykgbm9tZShzKSBkbyhzKSBhdXRvciAoZXMpIGRvcyBkaXJlaXRvcyBkbyBkb2N1bWVudG8gZW50cmVndWUgZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvLCBwYXJhIGFsw6ltIGRvIHByZXZpc3RvIG5hIGFsw61uZWEgYykuCg==Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212019-10-25T12:48:40Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false
dc.title.pt_BR.fl_str_mv Uma proposta de arquitetura para tratamento de dados não estruturados no âmbito dos institutos federais de educação
title Uma proposta de arquitetura para tratamento de dados não estruturados no âmbito dos institutos federais de educação
spellingShingle Uma proposta de arquitetura para tratamento de dados não estruturados no âmbito dos institutos federais de educação
JAHN, Giovani Felipe
Engenharia de software
Arquitetura de software
title_short Uma proposta de arquitetura para tratamento de dados não estruturados no âmbito dos institutos federais de educação
title_full Uma proposta de arquitetura para tratamento de dados não estruturados no âmbito dos institutos federais de educação
title_fullStr Uma proposta de arquitetura para tratamento de dados não estruturados no âmbito dos institutos federais de educação
title_full_unstemmed Uma proposta de arquitetura para tratamento de dados não estruturados no âmbito dos institutos federais de educação
title_sort Uma proposta de arquitetura para tratamento de dados não estruturados no âmbito dos institutos federais de educação
author JAHN, Giovani Felipe
author_facet JAHN, Giovani Felipe
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/5478160292712974
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/6613487636748832
dc.contributor.author.fl_str_mv JAHN, Giovani Felipe
dc.contributor.advisor1.fl_str_mv GARCIA, Vinícius Cardoso
contributor_str_mv GARCIA, Vinícius Cardoso
dc.subject.por.fl_str_mv Engenharia de software
Arquitetura de software
topic Engenharia de software
Arquitetura de software
description Uma das tendências para resolver os diversos problemas e desafios gerados pelo contexto do Big Data é o movimento denominado NoSQL (Not only SQL), o qual promove diversas soluções inovadoras de armazenamento e processamento de grande volume de dados. Os trabalhos disponíveis na literatura relacionados a NoSQL explicam, além do seu surgimento, sistemas disponíveis para a manipulação de dados que necessitam de um poder de processamento eficiente, escalável e amplo. O que também impulsiona a criação de sistemas de tratamento de dados NoSQL é a sua inferência a dados complexos, semiestruturados ou não estruturados, presentes hoje em redes sociais, sensores, logs de Internet, entre outros. Em face dos desafios sobre a manipulação e processamento de dados neste contexto, um novo conjunto de plataformas de ferramentas voltadas para Big Data tem sido proposto. Muitas delas na forma open source ou de licenças livres revelando-se excelentes veículos para o desenvolvimento de soluções para tratamento de dados desta natureza. Este trabalho, proposto no Programa de Mestrado Profissional em Ciência da Computação, na linha de pesquisa Redes de Computadores, objetiva apresentar uma arquitetura de referência para tratamento de dados não estruturados, inerentes à realidade dos institutos federais de educação, para que possam prover análise sobre dados oriundos de redes sociais. Inicialmente, a revisão bibliográfica expõe os conceitos, linguagens e ferramentas das principais tecnologias a respeito de NoSQL. Produtos como Hadoop, Hive, HBase e outros denotam a grande quantidade de soluções NoSQL disponíveis no mercado para uma escolha futura na implementação de aplicações e são consideradas neste trabalho. A seguir, um levantamento de dados institucionais mostra que o tratamento de dados não estruturados ainda é considerado um ineditismo para estas instituições. Foi utilizada uma abordagem metodológica teórico-conceitual, agregando-se paradigmas do método DSR (Design Science Research) para dar à pesquisa um conhecimento sólido e potencialmente relevante quando da elaboração de uma proposta de arquitetura de referência para tratamento de dados não estruturados no âmbito dos institutos federais de educação. A realização de um adequado enquadramento conceitual e tecnológico sobre as ferramentas open source fomentaram esta proposta, a qual por sua vez, passa por avaliação e crivo de especialistas.
publishDate 2017
dc.date.issued.fl_str_mv 2017-06-14
dc.date.accessioned.fl_str_mv 2018-12-05T17:49:14Z
dc.date.available.fl_str_mv 2018-12-05T17:49:14Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufpe.br/handle/123456789/28002
url https://repositorio.ufpe.br/handle/123456789/28002
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.publisher.program.fl_str_mv Programa de Pos Graduacao em Ciencia da Computacao
dc.publisher.initials.fl_str_mv UFPE
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPE
instname:Universidade Federal de Pernambuco (UFPE)
instacron:UFPE
instname_str Universidade Federal de Pernambuco (UFPE)
instacron_str UFPE
institution UFPE
reponame_str Repositório Institucional da UFPE
collection Repositório Institucional da UFPE
bitstream.url.fl_str_mv https://repositorio.ufpe.br/bitstream/123456789/28002/6/DISSERTA%c3%87%c3%83O%20Giovani%20Felipe%20Jahn.pdf.jpg
https://repositorio.ufpe.br/bitstream/123456789/28002/1/DISSERTA%c3%87%c3%83O%20Giovani%20Felipe%20Jahn.pdf
https://repositorio.ufpe.br/bitstream/123456789/28002/3/license.txt
https://repositorio.ufpe.br/bitstream/123456789/28002/4/license_rdf
https://repositorio.ufpe.br/bitstream/123456789/28002/5/DISSERTA%c3%87%c3%83O%20Giovani%20Felipe%20Jahn.pdf.txt
bitstream.checksum.fl_str_mv 90f4fe7e588e6c6bb6ea0cceebfac01c
cb80862df06be3377782578a6d558c63
4b8a02c7f2818eaf00dcf2260dd5eb08
e39d27027a6cc9cb039ad269a5db8e34
95782704b461101bc2b6f77c49f84c8f
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)
repository.mail.fl_str_mv attena@ufpe.br
_version_ 1797782359222779904

Registros relacionados