Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo.

Detalhes bibliográficos
Ano de defesa: 2012
Autor(a) principal: Moreira, Angélica Aparecida
Orientador(a): Lima, Joubert de Castro
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Programa de Pós-Graduação em Ciência da Computação. Departamento de Ciência da Computação, Instituto de Ciências Exatas e Biológicas, Universidade Federal de Ouro Preto.
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: http://www.repositorio.ufop.br/handle/123456789/3448
Resumo: A abordagem PnP (Pipe ’n Prune) é considerada uma das abordagens mais promissoras da literatura para computação de cubos em arquiteturas de computadores com memória distribuída. Infelizmente, a abordagem PnP gera uma enorme quantidade de dados redundantes. No geral, a PnP não considera a uniformidade nos dados, denominada skew. Não considerar o skew no particionamento da carga de trabalho impõe máxima redundância de dados, mesmo com dados uniformes. Diante deste cenário, foi desenvolvida a abordagem P2CDM (acrônimo de Parallel Cube Computation with Distributed Memory), que possui comunicação minimizada e gera redundância de dados sob demanda, dependendo do grau de uniformidade dos dados. Neste sentido, a abordagem P2CDM permite a computação de cubos completos a partir de um certo grau de uniformidade nos dados e cubos parciais quando o grau de uniformidade nos dados ultrapassar um limite predefinido. Os experimentos demonstram que as abordagens PnP e P2CDM possuem acelerações similares, porém a abordagem P2CDM ´e 20-25% mais rápida e consome 30-40% menos memória em cada nó do cluster, quando comparada com a abordagem PnP.
id UFOP_5dea6ed27af533dcc4ad5e63c3fa87a2
oai_identifier_str oai:repositorio.ufop.br:123456789/3448
network_acronym_str UFOP
network_name_str Repositório Institucional da UFOP
repository_id_str
spelling Moreira, Angélica AparecidaLima, Joubert de Castro2014-02-06T11:03:00Z2014-02-06T11:03:00Z2012MOREIRA, A. A. Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo. 2012. 43 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Ouro Preto, Ouro Preto, 2012.http://www.repositorio.ufop.br/handle/123456789/3448A abordagem PnP (Pipe ’n Prune) é considerada uma das abordagens mais promissoras da literatura para computação de cubos em arquiteturas de computadores com memória distribuída. Infelizmente, a abordagem PnP gera uma enorme quantidade de dados redundantes. No geral, a PnP não considera a uniformidade nos dados, denominada skew. Não considerar o skew no particionamento da carga de trabalho impõe máxima redundância de dados, mesmo com dados uniformes. Diante deste cenário, foi desenvolvida a abordagem P2CDM (acrônimo de Parallel Cube Computation with Distributed Memory), que possui comunicação minimizada e gera redundância de dados sob demanda, dependendo do grau de uniformidade dos dados. Neste sentido, a abordagem P2CDM permite a computação de cubos completos a partir de um certo grau de uniformidade nos dados e cubos parciais quando o grau de uniformidade nos dados ultrapassar um limite predefinido. Os experimentos demonstram que as abordagens PnP e P2CDM possuem acelerações similares, porém a abordagem P2CDM ´e 20-25% mais rápida e consome 30-40% menos memória em cada nó do cluster, quando comparada com a abordagem PnP.The PnP (Pipe ’n Prune) approach is considered one of the most promising approaches for cube computation over distributed memory computer architectures. Unfortunately, it generates a huge amount of redundant data. In general, PnP does not consider data uniformity, named skew, when partitioning its workload and, thus, it imposes a maximum data redundancy even with uniform data. Due to this scenario, we implement P2CDM (acronym for Parallel Cube Computation with Distributed Memory) approach which has minimized communication and low data redundancy, depending on the data skew. In this sense, P2CDM approach enables full cube computation from a input data with low skew and partial cube computation from high skew input data. Our experiments demonstrated that both approaches have similar speedup, but P2CDM approach is 20-25% faster and consumes 30-40% less memory at each host of the cluster, when compared to the PnP approach.Programa de Pós-Graduação em Ciência da Computação. Departamento de Ciência da Computação, Instituto de Ciências Exatas e Biológicas, Universidade Federal de Ouro Preto.Computação de alto desempenhoBanco de dados - armazém de dados - cubo de dadosProcessamento analítico online - OLAPRepresentação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo.info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisAutorização concedida ao Repositório Institucional da UFOP pelo autor(a), 19/02/2013, com as seguintes condições: disponível sob Licença Creative Commons 3.0, que permite copiar, distribuir e transmitir o trabalho, desde que seja citado o autor e licenciante. Não permite o uso para fins comerciais nem a adaptação desta.info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFOPinstname:Universidade Federal de Ouro Preto (UFOP)instacron:UFOPLICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://www.repositorio.ufop.br/bitstreams/727ff564-3e87-492d-921d-144b741c5088/download8a4605be74aa9ea9d79846c1fba20a33MD55falseAnonymousREADCC-LICENSElicense_urllicense_urltext/plain; charset=utf-849https://www.repositorio.ufop.br/bitstreams/3ac2aa9a-e823-4fa4-8eab-db69f23ad156/download4afdbb8c545fd630ea7db775da747b2fMD52falseAnonymousREADlicense_textlicense_texttext/html; charset=utf-820897https://www.repositorio.ufop.br/bitstreams/438e5cdb-4c71-458a-9460-30e761448ade/downloadcacef289032c21aa1c91eb2a79bcf151MD53falseAnonymousREADlicense_rdflicense_rdfapplication/rdf+xml; charset=utf-823148https://www.repositorio.ufop.br/bitstreams/39c5ade4-29d7-4dda-a71b-23a54a69e2a5/download9da0b6dfac957114c6a7714714b86306MD54falseAnonymousREADORIGINALDISSERTAÇÃO_RepresentaçãoComputaçãoCubos.pdfDISSERTAÇÃO_RepresentaçãoComputaçãoCubos.pdfapplication/pdf1049302https://www.repositorio.ufop.br/bitstreams/be1962c0-39d7-4ca9-b291-0e55efa6b083/download7aef6252f46a8a9139add04d8b4f6b18MD51trueAnonymousREADTEXTDISSERTAÇÃO_RepresentaçãoComputaçãoCubos.pdf.txtDISSERTAÇÃO_RepresentaçãoComputaçãoCubos.pdf.txtExtracted texttext/plain82533https://www.repositorio.ufop.br/bitstreams/90409fcb-a175-4f57-9274-4d8adcc349f1/download97ca16c121d690e5ab91ca869d5235ccMD56falseAnonymousREADTHUMBNAILDISSERTAÇÃO_RepresentaçãoComputaçãoCubos.pdf.jpgDISSERTAÇÃO_RepresentaçãoComputaçãoCubos.pdf.jpgGenerated Thumbnailimage/jpeg3276https://www.repositorio.ufop.br/bitstreams/c73a91fd-0c32-4731-9916-e02d5b9a1ccb/downloadb5c86088178acdd8e96bc09cea33dfc5MD57falseAnonymousREAD123456789/34482024-11-10 12:51:16.188open.accessoai:repositorio.ufop.br:123456789/3448https://www.repositorio.ufop.brRepositório InstitucionalPUBhttp://www.repositorio.ufop.br/oai/requestrepositorio@ufop.edu.bropendoar:32332024-11-10T15:51:16Repositório Institucional da UFOP - Universidade Federal de Ouro Preto (UFOP)falseTk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=
dc.title.pt_BR.fl_str_mv Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo.
title Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo.
spellingShingle Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo.
Moreira, Angélica Aparecida
Computação de alto desempenho
Banco de dados - armazém de dados - cubo de dados
Processamento analítico online - OLAP
title_short Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo.
title_full Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo.
title_fullStr Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo.
title_full_unstemmed Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo.
title_sort Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo.
author Moreira, Angélica Aparecida
author_facet Moreira, Angélica Aparecida
author_role author
dc.contributor.author.fl_str_mv Moreira, Angélica Aparecida
dc.contributor.advisor1.fl_str_mv Lima, Joubert de Castro
contributor_str_mv Lima, Joubert de Castro
dc.subject.por.fl_str_mv Computação de alto desempenho
Banco de dados - armazém de dados - cubo de dados
Processamento analítico online - OLAP
topic Computação de alto desempenho
Banco de dados - armazém de dados - cubo de dados
Processamento analítico online - OLAP
description A abordagem PnP (Pipe ’n Prune) é considerada uma das abordagens mais promissoras da literatura para computação de cubos em arquiteturas de computadores com memória distribuída. Infelizmente, a abordagem PnP gera uma enorme quantidade de dados redundantes. No geral, a PnP não considera a uniformidade nos dados, denominada skew. Não considerar o skew no particionamento da carga de trabalho impõe máxima redundância de dados, mesmo com dados uniformes. Diante deste cenário, foi desenvolvida a abordagem P2CDM (acrônimo de Parallel Cube Computation with Distributed Memory), que possui comunicação minimizada e gera redundância de dados sob demanda, dependendo do grau de uniformidade dos dados. Neste sentido, a abordagem P2CDM permite a computação de cubos completos a partir de um certo grau de uniformidade nos dados e cubos parciais quando o grau de uniformidade nos dados ultrapassar um limite predefinido. Os experimentos demonstram que as abordagens PnP e P2CDM possuem acelerações similares, porém a abordagem P2CDM ´e 20-25% mais rápida e consome 30-40% menos memória em cada nó do cluster, quando comparada com a abordagem PnP.
publishDate 2012
dc.date.issued.fl_str_mv 2012
dc.date.accessioned.fl_str_mv 2014-02-06T11:03:00Z
dc.date.available.fl_str_mv 2014-02-06T11:03:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv MOREIRA, A. A. Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo. 2012. 43 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Ouro Preto, Ouro Preto, 2012.
dc.identifier.uri.fl_str_mv http://www.repositorio.ufop.br/handle/123456789/3448
identifier_str_mv MOREIRA, A. A. Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo. 2012. 43 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Ouro Preto, Ouro Preto, 2012.
url http://www.repositorio.ufop.br/handle/123456789/3448
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Programa de Pós-Graduação em Ciência da Computação. Departamento de Ciência da Computação, Instituto de Ciências Exatas e Biológicas, Universidade Federal de Ouro Preto.
publisher.none.fl_str_mv Programa de Pós-Graduação em Ciência da Computação. Departamento de Ciência da Computação, Instituto de Ciências Exatas e Biológicas, Universidade Federal de Ouro Preto.
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFOP
instname:Universidade Federal de Ouro Preto (UFOP)
instacron:UFOP
instname_str Universidade Federal de Ouro Preto (UFOP)
instacron_str UFOP
institution UFOP
reponame_str Repositório Institucional da UFOP
collection Repositório Institucional da UFOP
bitstream.url.fl_str_mv https://www.repositorio.ufop.br/bitstreams/727ff564-3e87-492d-921d-144b741c5088/download
https://www.repositorio.ufop.br/bitstreams/3ac2aa9a-e823-4fa4-8eab-db69f23ad156/download
https://www.repositorio.ufop.br/bitstreams/438e5cdb-4c71-458a-9460-30e761448ade/download
https://www.repositorio.ufop.br/bitstreams/39c5ade4-29d7-4dda-a71b-23a54a69e2a5/download
https://www.repositorio.ufop.br/bitstreams/be1962c0-39d7-4ca9-b291-0e55efa6b083/download
https://www.repositorio.ufop.br/bitstreams/90409fcb-a175-4f57-9274-4d8adcc349f1/download
https://www.repositorio.ufop.br/bitstreams/c73a91fd-0c32-4731-9916-e02d5b9a1ccb/download
bitstream.checksum.fl_str_mv 8a4605be74aa9ea9d79846c1fba20a33
4afdbb8c545fd630ea7db775da747b2f
cacef289032c21aa1c91eb2a79bcf151
9da0b6dfac957114c6a7714714b86306
7aef6252f46a8a9139add04d8b4f6b18
97ca16c121d690e5ab91ca869d5235cc
b5c86088178acdd8e96bc09cea33dfc5
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFOP - Universidade Federal de Ouro Preto (UFOP)
repository.mail.fl_str_mv repositorio@ufop.edu.br
_version_ 1862724404129038336