Um ambiente extensível de apoio à construção de ferramenta ETL
| Ano de defesa: | 2004 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Federal de Pernambuco
|
| Programa de Pós-Graduação: |
Programa de Pos Graduacao em Ciencia da Computacao
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Brasil
|
| Palavras-chave em Português: | |
| Link de acesso: | https://repositorio.ufpe.br/handle/123456789/46647 |
Resumo: | A maioria das organizações tem feito uso da tecnologia para controlar os seus negócios. Isto tem implicado num crescente número de sistemas transacionais que estão gerando um grande volume de dados. Devido à necessidade de uma melhor gestão, as organizações estão sendo forçadas a se tornarem mais competitivas, o que as têm levado a explorar o potencial informacional destes seus dados operacionais, extraindo-lhes informações estratégicas e gerenciais que estão sendo armazenadas em Data Warehouse e Data Marts. Durante o ciclo de desenvolvimento destes Data Warehouses, a etapa que consome maiores esforços e recursos é a implementação do processo ETL, do acrônimo em inglês Extract, Transform and Load. Por isto, muitas organizações estão optando pelo uso de ferramentas específicas, projetadas para auxiliar o desenvolvimento do processo de povoamento dos Data Warehouse. O fato é que estas ferramentas são muitas vezes onerosas e nem sempre atendem a todos os requisitos definidos para o processo ETL e por isto a necessidade de se criar um ambiente mais flexível e capaz de fornecer uma solução ajustada à realidade de cada projeto. Este trabalho visa apresentar um ambiente extensível capaz de oferecer um framework open source para a construção de ferramentas ETL. Este ambiente permite a implementação de funcionalidades voltadas ao processo ETL e a incorporação de novas estruturas e componentes de forma colaborativa e ordenada, criando um ciclo de desenvolvimento evolutivo e compartilhado. O material foi montado de forma que os primeiros textos exibem os principais conceitos sobre Data Warehouse. Em seguida, é apresenta uma pesquisa onde foram levantados os aspectos avaliativos a serem adotados pelas organizações durante a aquisição de ferramentas ETL e mostradas as principais características de algumas ferramentas disponíveis atualmente. A dissertação termina descrevendo o ambiente de apoio à construção de ferramentas ETL, através de sua arquitetura, suas funcionalidades e seus aspectos evolutivos. |
| id |
UFPE_e635f5f5cf98c59e06c1126c7cfc1390 |
|---|---|
| oai_identifier_str |
oai:repositorio.ufpe.br:123456789/46647 |
| network_acronym_str |
UFPE |
| network_name_str |
Repositório Institucional da UFPE |
| repository_id_str |
|
| spelling |
MELO, Elson Rodolfo dehttp://lattes.cnpq.br/0021305245657334http://lattes.cnpq.br/4356746517473725http://lattes.cnpq.br/2153962690732683FONSECA, DécioBARROS, Roberto Souto Maior de2022-09-22T13:07:03Z2022-09-22T13:07:03Z2004-02-27MELO, Elson Rodolfo de. Um ambiente extensível de apoio à construção de ferramenta ETL. 2004. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2004.https://repositorio.ufpe.br/handle/123456789/46647A maioria das organizações tem feito uso da tecnologia para controlar os seus negócios. Isto tem implicado num crescente número de sistemas transacionais que estão gerando um grande volume de dados. Devido à necessidade de uma melhor gestão, as organizações estão sendo forçadas a se tornarem mais competitivas, o que as têm levado a explorar o potencial informacional destes seus dados operacionais, extraindo-lhes informações estratégicas e gerenciais que estão sendo armazenadas em Data Warehouse e Data Marts. Durante o ciclo de desenvolvimento destes Data Warehouses, a etapa que consome maiores esforços e recursos é a implementação do processo ETL, do acrônimo em inglês Extract, Transform and Load. Por isto, muitas organizações estão optando pelo uso de ferramentas específicas, projetadas para auxiliar o desenvolvimento do processo de povoamento dos Data Warehouse. O fato é que estas ferramentas são muitas vezes onerosas e nem sempre atendem a todos os requisitos definidos para o processo ETL e por isto a necessidade de se criar um ambiente mais flexível e capaz de fornecer uma solução ajustada à realidade de cada projeto. Este trabalho visa apresentar um ambiente extensível capaz de oferecer um framework open source para a construção de ferramentas ETL. Este ambiente permite a implementação de funcionalidades voltadas ao processo ETL e a incorporação de novas estruturas e componentes de forma colaborativa e ordenada, criando um ciclo de desenvolvimento evolutivo e compartilhado. O material foi montado de forma que os primeiros textos exibem os principais conceitos sobre Data Warehouse. Em seguida, é apresenta uma pesquisa onde foram levantados os aspectos avaliativos a serem adotados pelas organizações durante a aquisição de ferramentas ETL e mostradas as principais características de algumas ferramentas disponíveis atualmente. A dissertação termina descrevendo o ambiente de apoio à construção de ferramentas ETL, através de sua arquitetura, suas funcionalidades e seus aspectos evolutivos.Most organizations have made use of technology to control their business. This has implied an increasing number of transactional systems that are generating a largevolume of data. Due to the need for better management, organizations are being forced to become more competitive, which has led them to explore the informational potential of their operational data, extracting strategic and managerial information from them that are being stored in Data Warehouse and data. marts. During the development cycle of these Data Warehouses, the step that consumes most efforts and resources is the implementation of the ETL process, which stands for Extract, Transform and Load. For this reason, many organizations are opting for the use of specific tools, designed to help the development of the Data Warehouse population process. The fact is that these tools are often expensive and do not always meet all the requirements defined for the ETL process and therefore the need to create a more flexible environment capable of providing a solution adjusted to the reality of each project. This work aims to present an extensible environment capable of offering an open-source framework for building ETL tools. This environment allows the implementation of functionalities aimed at the ETL process and the incorporation of new structures and components in a collaborative and orderly manner, creating an evolutionary and shared development cycle. The material has been assembled in such a way that the first texts show the main concepts about Data Warehouse. Then, a research is presented where the evaluative aspects to be adopted by organizations during the acquisition of ETL tools were raised and the main characteristics of some tools currently available are shown. The dissertation ends by describing the support environment for the construction of ETL tools, through its architecture, its functionalities, and its evolutionary aspects.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessData WarehouseFerramenta ETLAmbiente desenvolvimento extensívelUm ambiente extensível de apoio à construção de ferramenta ETLinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPEORIGINALDISSERTAÇÃO Elson Rodolfo de Melo.pdfDISSERTAÇÃO Elson Rodolfo de Melo.pdfapplication/pdf1739178https://repositorio.ufpe.br/bitstream/123456789/46647/1/DISSERTA%c3%87%c3%83O%20Elson%20Rodolfo%20de%20Melo.pdf2f7ba8224af0f169820970a74c1789f1MD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/46647/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52TEXTDISSERTAÇÃO Elson Rodolfo de Melo.pdf.txtDISSERTAÇÃO Elson Rodolfo de Melo.pdf.txtExtracted texttext/plain254478https://repositorio.ufpe.br/bitstream/123456789/46647/4/DISSERTA%c3%87%c3%83O%20Elson%20Rodolfo%20de%20Melo.pdf.txtb085e327814ee96da6775f7533fc14eeMD54THUMBNAILDISSERTAÇÃO Elson Rodolfo de Melo.pdf.jpgDISSERTAÇÃO Elson Rodolfo de Melo.pdf.jpgGenerated Thumbnailimage/jpeg1202https://repositorio.ufpe.br/bitstream/123456789/46647/5/DISSERTA%c3%87%c3%83O%20Elson%20Rodolfo%20de%20Melo.pdf.jpgc60821c0a9ceb3f307908fd5c16765caMD55LICENSElicense.txtlicense.txttext/plain; charset=utf-82142https://repositorio.ufpe.br/bitstream/123456789/46647/3/license.txt6928b9260b07fb2755249a5ca9903395MD53123456789/466472022-09-23 03:25:07.074oai:repositorio.ufpe.br:123456789/46647VGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2HDp8OjbyBkZSBEb2N1bWVudG9zIG5vIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUKIAoKRGVjbGFybyBlc3RhciBjaWVudGUgZGUgcXVlIGVzdGUgVGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyB0ZW0gbyBvYmpldGl2byBkZSBkaXZ1bGdhw6fDo28gZG9zIGRvY3VtZW50b3MgZGVwb3NpdGFkb3Mgbm8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRSBlIGRlY2xhcm8gcXVlOgoKSSAtICBvIGNvbnRlw7pkbyBkaXNwb25pYmlsaXphZG8gw6kgZGUgcmVzcG9uc2FiaWxpZGFkZSBkZSBzdWEgYXV0b3JpYTsKCklJIC0gbyBjb250ZcO6ZG8gw6kgb3JpZ2luYWwsIGUgc2UgbyB0cmFiYWxobyBlL291IHBhbGF2cmFzIGRlIG91dHJhcyBwZXNzb2FzIGZvcmFtIHV0aWxpemFkb3MsIGVzdGFzIGZvcmFtIGRldmlkYW1lbnRlIHJlY29uaGVjaWRhczsKCklJSSAtIHF1YW5kbyB0cmF0YXItc2UgZGUgVHJhYmFsaG8gZGUgQ29uY2x1c8OjbyBkZSBDdXJzbywgRGlzc2VydGHDp8OjbyBvdSBUZXNlOiBvIGFycXVpdm8gZGVwb3NpdGFkbyBjb3JyZXNwb25kZSDDoCB2ZXJzw6NvIGZpbmFsIGRvIHRyYWJhbGhvOwoKSVYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIFRyYWJhbGhvIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28sIERpc3NlcnRhw6fDo28gb3UgVGVzZTogZXN0b3UgY2llbnRlIGRlIHF1ZSBhIGFsdGVyYcOnw6NvIGRhIG1vZGFsaWRhZGUgZGUgYWNlc3NvIGFvIGRvY3VtZW50byBhcMOzcyBvIGRlcMOzc2l0byBlIGFudGVzIGRlIGZpbmRhciBvIHBlcsOtb2RvIGRlIGVtYmFyZ28sIHF1YW5kbyBmb3IgZXNjb2xoaWRvIGFjZXNzbyByZXN0cml0bywgc2Vyw6EgcGVybWl0aWRhIG1lZGlhbnRlIHNvbGljaXRhw6fDo28gZG8gKGEpIGF1dG9yIChhKSBhbyBTaXN0ZW1hIEludGVncmFkbyBkZSBCaWJsaW90ZWNhcyBkYSBVRlBFIChTSUIvVUZQRSkuCgogClBhcmEgdHJhYmFsaG9zIGVtIEFjZXNzbyBBYmVydG86CgpOYSBxdWFsaWRhZGUgZGUgdGl0dWxhciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGUgYXV0b3IgcXVlIHJlY2FlbSBzb2JyZSBlc3RlIGRvY3VtZW50bywgZnVuZGFtZW50YWRvIG5hIExlaSBkZSBEaXJlaXRvIEF1dG9yYWwgbm8gOS42MTAsIGRlIDE5IGRlIGZldmVyZWlybyBkZSAxOTk4LCBhcnQuIDI5LCBpbmNpc28gSUlJLCBhdXRvcml6byBhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIFBlcm5hbWJ1Y28gYSBkaXNwb25pYmlsaXphciBncmF0dWl0YW1lbnRlLCBzZW0gcmVzc2FyY2ltZW50byBkb3MgZGlyZWl0b3MgYXV0b3JhaXMsIHBhcmEgZmlucyBkZSBsZWl0dXJhLCBpbXByZXNzw6NvIGUvb3UgZG93bmxvYWQgKGFxdWlzacOnw6NvKSBhdHJhdsOpcyBkbyBzaXRlIGRvIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUgbm8gZW5kZXJlw6dvIGh0dHA6Ly93d3cucmVwb3NpdG9yaW8udWZwZS5iciwgYSBwYXJ0aXIgZGEgZGF0YSBkZSBkZXDDs3NpdG8uCgogClBhcmEgdHJhYmFsaG9zIGVtIEFjZXNzbyBSZXN0cml0bzoKCk5hIHF1YWxpZGFkZSBkZSB0aXR1bGFyIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBkZSBhdXRvciBxdWUgcmVjYWVtIHNvYnJlIGVzdGUgZG9jdW1lbnRvLCBmdW5kYW1lbnRhZG8gbmEgTGVpIGRlIERpcmVpdG8gQXV0b3JhbCBubyA5LjYxMCBkZSAxOSBkZSBmZXZlcmVpcm8gZGUgMTk5OCwgYXJ0LiAyOSwgaW5jaXNvIElJSSwgYXV0b3Jpem8gYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIGEgZGlzcG9uaWJpbGl6YXIgZ3JhdHVpdGFtZW50ZSwgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkIChhcXVpc2nDp8OjbykgYXRyYXbDqXMgZG8gc2l0ZSBkbyBSZXBvc2l0w7NyaW8gRGlnaXRhbCBkYSBVRlBFIG5vIGVuZGVyZcOnbyBodHRwOi8vd3d3LnJlcG9zaXRvcmlvLnVmcGUuYnIsIHF1YW5kbyBmaW5kYXIgbyBwZXLDrW9kbyBkZSBlbWJhcmdvIGNvbmRpemVudGUgYW8gdGlwbyBkZSBkb2N1bWVudG8sIGNvbmZvcm1lIGluZGljYWRvIG5vIGNhbXBvIERhdGEgZGUgRW1iYXJnby4KRepositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212022-09-23T06:25:07Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false |
| dc.title.pt_BR.fl_str_mv |
Um ambiente extensível de apoio à construção de ferramenta ETL |
| title |
Um ambiente extensível de apoio à construção de ferramenta ETL |
| spellingShingle |
Um ambiente extensível de apoio à construção de ferramenta ETL MELO, Elson Rodolfo de Data Warehouse Ferramenta ETL Ambiente desenvolvimento extensível |
| title_short |
Um ambiente extensível de apoio à construção de ferramenta ETL |
| title_full |
Um ambiente extensível de apoio à construção de ferramenta ETL |
| title_fullStr |
Um ambiente extensível de apoio à construção de ferramenta ETL |
| title_full_unstemmed |
Um ambiente extensível de apoio à construção de ferramenta ETL |
| title_sort |
Um ambiente extensível de apoio à construção de ferramenta ETL |
| author |
MELO, Elson Rodolfo de |
| author_facet |
MELO, Elson Rodolfo de |
| author_role |
author |
| dc.contributor.authorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/0021305245657334 |
| dc.contributor.advisorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/4356746517473725 |
| dc.contributor.advisor-coLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/2153962690732683 |
| dc.contributor.author.fl_str_mv |
MELO, Elson Rodolfo de |
| dc.contributor.advisor1.fl_str_mv |
FONSECA, Décio |
| dc.contributor.advisor-co1.fl_str_mv |
BARROS, Roberto Souto Maior de |
| contributor_str_mv |
FONSECA, Décio BARROS, Roberto Souto Maior de |
| dc.subject.por.fl_str_mv |
Data Warehouse Ferramenta ETL Ambiente desenvolvimento extensível |
| topic |
Data Warehouse Ferramenta ETL Ambiente desenvolvimento extensível |
| description |
A maioria das organizações tem feito uso da tecnologia para controlar os seus negócios. Isto tem implicado num crescente número de sistemas transacionais que estão gerando um grande volume de dados. Devido à necessidade de uma melhor gestão, as organizações estão sendo forçadas a se tornarem mais competitivas, o que as têm levado a explorar o potencial informacional destes seus dados operacionais, extraindo-lhes informações estratégicas e gerenciais que estão sendo armazenadas em Data Warehouse e Data Marts. Durante o ciclo de desenvolvimento destes Data Warehouses, a etapa que consome maiores esforços e recursos é a implementação do processo ETL, do acrônimo em inglês Extract, Transform and Load. Por isto, muitas organizações estão optando pelo uso de ferramentas específicas, projetadas para auxiliar o desenvolvimento do processo de povoamento dos Data Warehouse. O fato é que estas ferramentas são muitas vezes onerosas e nem sempre atendem a todos os requisitos definidos para o processo ETL e por isto a necessidade de se criar um ambiente mais flexível e capaz de fornecer uma solução ajustada à realidade de cada projeto. Este trabalho visa apresentar um ambiente extensível capaz de oferecer um framework open source para a construção de ferramentas ETL. Este ambiente permite a implementação de funcionalidades voltadas ao processo ETL e a incorporação de novas estruturas e componentes de forma colaborativa e ordenada, criando um ciclo de desenvolvimento evolutivo e compartilhado. O material foi montado de forma que os primeiros textos exibem os principais conceitos sobre Data Warehouse. Em seguida, é apresenta uma pesquisa onde foram levantados os aspectos avaliativos a serem adotados pelas organizações durante a aquisição de ferramentas ETL e mostradas as principais características de algumas ferramentas disponíveis atualmente. A dissertação termina descrevendo o ambiente de apoio à construção de ferramentas ETL, através de sua arquitetura, suas funcionalidades e seus aspectos evolutivos. |
| publishDate |
2004 |
| dc.date.issued.fl_str_mv |
2004-02-27 |
| dc.date.accessioned.fl_str_mv |
2022-09-22T13:07:03Z |
| dc.date.available.fl_str_mv |
2022-09-22T13:07:03Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.citation.fl_str_mv |
MELO, Elson Rodolfo de. Um ambiente extensível de apoio à construção de ferramenta ETL. 2004. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2004. |
| dc.identifier.uri.fl_str_mv |
https://repositorio.ufpe.br/handle/123456789/46647 |
| identifier_str_mv |
MELO, Elson Rodolfo de. Um ambiente extensível de apoio à construção de ferramenta ETL. 2004. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2004. |
| url |
https://repositorio.ufpe.br/handle/123456789/46647 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
| eu_rights_str_mv |
openAccess |
| dc.publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
| dc.publisher.program.fl_str_mv |
Programa de Pos Graduacao em Ciencia da Computacao |
| dc.publisher.initials.fl_str_mv |
UFPE |
| dc.publisher.country.fl_str_mv |
Brasil |
| publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFPE instname:Universidade Federal de Pernambuco (UFPE) instacron:UFPE |
| instname_str |
Universidade Federal de Pernambuco (UFPE) |
| instacron_str |
UFPE |
| institution |
UFPE |
| reponame_str |
Repositório Institucional da UFPE |
| collection |
Repositório Institucional da UFPE |
| bitstream.url.fl_str_mv |
https://repositorio.ufpe.br/bitstream/123456789/46647/1/DISSERTA%c3%87%c3%83O%20Elson%20Rodolfo%20de%20Melo.pdf https://repositorio.ufpe.br/bitstream/123456789/46647/2/license_rdf https://repositorio.ufpe.br/bitstream/123456789/46647/4/DISSERTA%c3%87%c3%83O%20Elson%20Rodolfo%20de%20Melo.pdf.txt https://repositorio.ufpe.br/bitstream/123456789/46647/5/DISSERTA%c3%87%c3%83O%20Elson%20Rodolfo%20de%20Melo.pdf.jpg https://repositorio.ufpe.br/bitstream/123456789/46647/3/license.txt |
| bitstream.checksum.fl_str_mv |
2f7ba8224af0f169820970a74c1789f1 e39d27027a6cc9cb039ad269a5db8e34 b085e327814ee96da6775f7533fc14ee c60821c0a9ceb3f307908fd5c16765ca 6928b9260b07fb2755249a5ca9903395 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE) |
| repository.mail.fl_str_mv |
attena@ufpe.br |
| _version_ |
1862741647961358336 |