Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo.
| Ano de defesa: | 2012 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Programa de Pós-Graduação em Ciência da Computação. Departamento de Ciência da Computação, Instituto de Ciências Exatas e Biológicas, Universidade Federal de Ouro Preto.
|
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | http://www.repositorio.ufop.br/handle/123456789/3448 |
Resumo: | A abordagem PnP (Pipe ’n Prune) é considerada uma das abordagens mais promissoras da literatura para computação de cubos em arquiteturas de computadores com memória distribuída. Infelizmente, a abordagem PnP gera uma enorme quantidade de dados redundantes. No geral, a PnP não considera a uniformidade nos dados, denominada skew. Não considerar o skew no particionamento da carga de trabalho impõe máxima redundância de dados, mesmo com dados uniformes. Diante deste cenário, foi desenvolvida a abordagem P2CDM (acrônimo de Parallel Cube Computation with Distributed Memory), que possui comunicação minimizada e gera redundância de dados sob demanda, dependendo do grau de uniformidade dos dados. Neste sentido, a abordagem P2CDM permite a computação de cubos completos a partir de um certo grau de uniformidade nos dados e cubos parciais quando o grau de uniformidade nos dados ultrapassar um limite predefinido. Os experimentos demonstram que as abordagens PnP e P2CDM possuem acelerações similares, porém a abordagem P2CDM ´e 20-25% mais rápida e consome 30-40% menos memória em cada nó do cluster, quando comparada com a abordagem PnP. |
| id |
UFOP_5dea6ed27af533dcc4ad5e63c3fa87a2 |
|---|---|
| oai_identifier_str |
oai:repositorio.ufop.br:123456789/3448 |
| network_acronym_str |
UFOP |
| network_name_str |
Repositório Institucional da UFOP |
| repository_id_str |
|
| spelling |
Moreira, Angélica AparecidaLima, Joubert de Castro2014-02-06T11:03:00Z2014-02-06T11:03:00Z2012MOREIRA, A. A. Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo. 2012. 43 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Ouro Preto, Ouro Preto, 2012.http://www.repositorio.ufop.br/handle/123456789/3448A abordagem PnP (Pipe ’n Prune) é considerada uma das abordagens mais promissoras da literatura para computação de cubos em arquiteturas de computadores com memória distribuída. Infelizmente, a abordagem PnP gera uma enorme quantidade de dados redundantes. No geral, a PnP não considera a uniformidade nos dados, denominada skew. Não considerar o skew no particionamento da carga de trabalho impõe máxima redundância de dados, mesmo com dados uniformes. Diante deste cenário, foi desenvolvida a abordagem P2CDM (acrônimo de Parallel Cube Computation with Distributed Memory), que possui comunicação minimizada e gera redundância de dados sob demanda, dependendo do grau de uniformidade dos dados. Neste sentido, a abordagem P2CDM permite a computação de cubos completos a partir de um certo grau de uniformidade nos dados e cubos parciais quando o grau de uniformidade nos dados ultrapassar um limite predefinido. Os experimentos demonstram que as abordagens PnP e P2CDM possuem acelerações similares, porém a abordagem P2CDM ´e 20-25% mais rápida e consome 30-40% menos memória em cada nó do cluster, quando comparada com a abordagem PnP.The PnP (Pipe ’n Prune) approach is considered one of the most promising approaches for cube computation over distributed memory computer architectures. Unfortunately, it generates a huge amount of redundant data. In general, PnP does not consider data uniformity, named skew, when partitioning its workload and, thus, it imposes a maximum data redundancy even with uniform data. Due to this scenario, we implement P2CDM (acronym for Parallel Cube Computation with Distributed Memory) approach which has minimized communication and low data redundancy, depending on the data skew. In this sense, P2CDM approach enables full cube computation from a input data with low skew and partial cube computation from high skew input data. Our experiments demonstrated that both approaches have similar speedup, but P2CDM approach is 20-25% faster and consumes 30-40% less memory at each host of the cluster, when compared to the PnP approach.Programa de Pós-Graduação em Ciência da Computação. Departamento de Ciência da Computação, Instituto de Ciências Exatas e Biológicas, Universidade Federal de Ouro Preto.Computação de alto desempenhoBanco de dados - armazém de dados - cubo de dadosProcessamento analítico online - OLAPRepresentação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo.info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisAutorização concedida ao Repositório Institucional da UFOP pelo autor(a), 19/02/2013, com as seguintes condições: disponível sob Licença Creative Commons 3.0, que permite copiar, distribuir e transmitir o trabalho, desde que seja citado o autor e licenciante. Não permite o uso para fins comerciais nem a adaptação desta.info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFOPinstname:Universidade Federal de Ouro Preto (UFOP)instacron:UFOPLICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://www.repositorio.ufop.br/bitstreams/727ff564-3e87-492d-921d-144b741c5088/download8a4605be74aa9ea9d79846c1fba20a33MD55falseAnonymousREADCC-LICENSElicense_urllicense_urltext/plain; charset=utf-849https://www.repositorio.ufop.br/bitstreams/3ac2aa9a-e823-4fa4-8eab-db69f23ad156/download4afdbb8c545fd630ea7db775da747b2fMD52falseAnonymousREADlicense_textlicense_texttext/html; charset=utf-820897https://www.repositorio.ufop.br/bitstreams/438e5cdb-4c71-458a-9460-30e761448ade/downloadcacef289032c21aa1c91eb2a79bcf151MD53falseAnonymousREADlicense_rdflicense_rdfapplication/rdf+xml; charset=utf-823148https://www.repositorio.ufop.br/bitstreams/39c5ade4-29d7-4dda-a71b-23a54a69e2a5/download9da0b6dfac957114c6a7714714b86306MD54falseAnonymousREADORIGINALDISSERTAÇÃO_RepresentaçãoComputaçãoCubos.pdfDISSERTAÇÃO_RepresentaçãoComputaçãoCubos.pdfapplication/pdf1049302https://www.repositorio.ufop.br/bitstreams/be1962c0-39d7-4ca9-b291-0e55efa6b083/download7aef6252f46a8a9139add04d8b4f6b18MD51trueAnonymousREADTEXTDISSERTAÇÃO_RepresentaçãoComputaçãoCubos.pdf.txtDISSERTAÇÃO_RepresentaçãoComputaçãoCubos.pdf.txtExtracted texttext/plain82533https://www.repositorio.ufop.br/bitstreams/90409fcb-a175-4f57-9274-4d8adcc349f1/download97ca16c121d690e5ab91ca869d5235ccMD56falseAnonymousREADTHUMBNAILDISSERTAÇÃO_RepresentaçãoComputaçãoCubos.pdf.jpgDISSERTAÇÃO_RepresentaçãoComputaçãoCubos.pdf.jpgGenerated Thumbnailimage/jpeg3276https://www.repositorio.ufop.br/bitstreams/c73a91fd-0c32-4731-9916-e02d5b9a1ccb/downloadb5c86088178acdd8e96bc09cea33dfc5MD57falseAnonymousREAD123456789/34482024-11-10 12:51:16.188open.accessoai:repositorio.ufop.br:123456789/3448https://www.repositorio.ufop.brRepositório InstitucionalPUBhttp://www.repositorio.ufop.br/oai/requestrepositorio@ufop.edu.bropendoar:32332024-11-10T15:51:16Repositório Institucional da UFOP - Universidade Federal de Ouro Preto (UFOP)falseTk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo= |
| dc.title.pt_BR.fl_str_mv |
Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo. |
| title |
Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo. |
| spellingShingle |
Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo. Moreira, Angélica Aparecida Computação de alto desempenho Banco de dados - armazém de dados - cubo de dados Processamento analítico online - OLAP |
| title_short |
Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo. |
| title_full |
Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo. |
| title_fullStr |
Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo. |
| title_full_unstemmed |
Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo. |
| title_sort |
Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo. |
| author |
Moreira, Angélica Aparecida |
| author_facet |
Moreira, Angélica Aparecida |
| author_role |
author |
| dc.contributor.author.fl_str_mv |
Moreira, Angélica Aparecida |
| dc.contributor.advisor1.fl_str_mv |
Lima, Joubert de Castro |
| contributor_str_mv |
Lima, Joubert de Castro |
| dc.subject.por.fl_str_mv |
Computação de alto desempenho Banco de dados - armazém de dados - cubo de dados Processamento analítico online - OLAP |
| topic |
Computação de alto desempenho Banco de dados - armazém de dados - cubo de dados Processamento analítico online - OLAP |
| description |
A abordagem PnP (Pipe ’n Prune) é considerada uma das abordagens mais promissoras da literatura para computação de cubos em arquiteturas de computadores com memória distribuída. Infelizmente, a abordagem PnP gera uma enorme quantidade de dados redundantes. No geral, a PnP não considera a uniformidade nos dados, denominada skew. Não considerar o skew no particionamento da carga de trabalho impõe máxima redundância de dados, mesmo com dados uniformes. Diante deste cenário, foi desenvolvida a abordagem P2CDM (acrônimo de Parallel Cube Computation with Distributed Memory), que possui comunicação minimizada e gera redundância de dados sob demanda, dependendo do grau de uniformidade dos dados. Neste sentido, a abordagem P2CDM permite a computação de cubos completos a partir de um certo grau de uniformidade nos dados e cubos parciais quando o grau de uniformidade nos dados ultrapassar um limite predefinido. Os experimentos demonstram que as abordagens PnP e P2CDM possuem acelerações similares, porém a abordagem P2CDM ´e 20-25% mais rápida e consome 30-40% menos memória em cada nó do cluster, quando comparada com a abordagem PnP. |
| publishDate |
2012 |
| dc.date.issued.fl_str_mv |
2012 |
| dc.date.accessioned.fl_str_mv |
2014-02-06T11:03:00Z |
| dc.date.available.fl_str_mv |
2014-02-06T11:03:00Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.citation.fl_str_mv |
MOREIRA, A. A. Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo. 2012. 43 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Ouro Preto, Ouro Preto, 2012. |
| dc.identifier.uri.fl_str_mv |
http://www.repositorio.ufop.br/handle/123456789/3448 |
| identifier_str_mv |
MOREIRA, A. A. Representação e computação de cubos de dados completos ou parciais em clusters de computadores de baixo custo. 2012. 43 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Ouro Preto, Ouro Preto, 2012. |
| url |
http://www.repositorio.ufop.br/handle/123456789/3448 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
| eu_rights_str_mv |
openAccess |
| dc.publisher.none.fl_str_mv |
Programa de Pós-Graduação em Ciência da Computação. Departamento de Ciência da Computação, Instituto de Ciências Exatas e Biológicas, Universidade Federal de Ouro Preto. |
| publisher.none.fl_str_mv |
Programa de Pós-Graduação em Ciência da Computação. Departamento de Ciência da Computação, Instituto de Ciências Exatas e Biológicas, Universidade Federal de Ouro Preto. |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFOP instname:Universidade Federal de Ouro Preto (UFOP) instacron:UFOP |
| instname_str |
Universidade Federal de Ouro Preto (UFOP) |
| instacron_str |
UFOP |
| institution |
UFOP |
| reponame_str |
Repositório Institucional da UFOP |
| collection |
Repositório Institucional da UFOP |
| bitstream.url.fl_str_mv |
https://www.repositorio.ufop.br/bitstreams/727ff564-3e87-492d-921d-144b741c5088/download https://www.repositorio.ufop.br/bitstreams/3ac2aa9a-e823-4fa4-8eab-db69f23ad156/download https://www.repositorio.ufop.br/bitstreams/438e5cdb-4c71-458a-9460-30e761448ade/download https://www.repositorio.ufop.br/bitstreams/39c5ade4-29d7-4dda-a71b-23a54a69e2a5/download https://www.repositorio.ufop.br/bitstreams/be1962c0-39d7-4ca9-b291-0e55efa6b083/download https://www.repositorio.ufop.br/bitstreams/90409fcb-a175-4f57-9274-4d8adcc349f1/download https://www.repositorio.ufop.br/bitstreams/c73a91fd-0c32-4731-9916-e02d5b9a1ccb/download |
| bitstream.checksum.fl_str_mv |
8a4605be74aa9ea9d79846c1fba20a33 4afdbb8c545fd630ea7db775da747b2f cacef289032c21aa1c91eb2a79bcf151 9da0b6dfac957114c6a7714714b86306 7aef6252f46a8a9139add04d8b4f6b18 97ca16c121d690e5ab91ca869d5235cc b5c86088178acdd8e96bc09cea33dfc5 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositório Institucional da UFOP - Universidade Federal de Ouro Preto (UFOP) |
| repository.mail.fl_str_mv |
repositorio@ufop.edu.br |
| _version_ |
1862724404129038336 |