Uma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externa
Ano de defesa: | 2014 |
---|---|
Autor(a) principal: | |
Orientador(a): | |
Banca de defesa: | , |
Tipo de documento: | Dissertação |
Tipo de acesso: | Acesso aberto |
Idioma: | por |
Instituição de defesa: |
Universidade Federal de Viçosa
|
Programa de Pós-Graduação: |
Mestrado em Ciência da Nutrição
|
Departamento: |
Valor nutricional de alimentos e de dietas; Nutrição nas enfermidades agudas e crônicas não transmis
|
País: |
BR
|
Palavras-chave em Português: | |
Palavras-chave em Inglês: | |
Área do conhecimento CNPq: | |
Link de acesso: | http://locus.ufv.br/handle/123456789/2798 |
Resumo: | This Work presents a new library, named TiledMatrix, to support the development of applications that process large matrices stored in external memory. The library is based on some strategies similar to cache memory management and its basic purpose is to allow that an application, designed for internal memory processing, can be adapted for external memory. It provides an interface for external memory access that is similar to the traditional method to access a matrix Moreover, it divides the matrix into tWo-dimensional blocks, Where the blocks are organized in the disk to take advantage of access pattern of applications. In order to reduce the transfer time of a block to and from the disk, TiledMatrix uses an algorithm for compression/decompression of data that Was implemented in parallel to further improve the efñciency of the library. The TiledMatrix Was implemented and tested in some applications that require intensive matrix processing such asz computing the transposed matrix and the computation of Viewshed, ñow accumulation and median. These applications Were implemented in two Versionsz one using TiledMatrix and another one using the Segment library that is included in GRASS, an open source GIS. In average, they Were 7 times faster With TiledMatrix and, in some cases, more than 18 times faster. The TiledMatrix performance Was also compared With the ArcGLSÍ For these tests, it Was considered only two applications that are included in ArcGIS: the Uiewshed and the ñow accumulation. As tests have shown, in some cases, the applications Were more than 200 times faster using the TiledMatrix. |
id |
UFV_a177738f33a73e1fbe5b67e2462acd32 |
---|---|
oai_identifier_str |
oai:locus.ufv.br:123456789/2798 |
network_acronym_str |
UFV |
network_name_str |
LOCUS Repositório Institucional da UFV |
repository_id_str |
|
spelling |
Silveira, Jaqueline Alvarengahttp://lattes.cnpq.br/2848235330286220Andrade, Marcus Vinícius Alvimhttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4785900Z5Ribeiro, Carlos Antônio Alvares Soareshttp://lattes.cnpq.br/0257744922714589Ferreira, Ricardo dos Santoshttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4723626E52015-03-26T13:12:01Z2015-01-222015-03-26T13:12:01Z2014-06-27SILVEIRA, Jaqueline Alvarenga. A library to support the development of applications that process huge matrices in external memory. 2014. 82 f. Dissertação (Mestrado em Valor nutricional de alimentos e de dietas; Nutrição nas enfermidades agudas e crônicas não transmis) - Universidade Federal de Viçosa, Viçosa, 2014.http://locus.ufv.br/handle/123456789/2798This Work presents a new library, named TiledMatrix, to support the development of applications that process large matrices stored in external memory. The library is based on some strategies similar to cache memory management and its basic purpose is to allow that an application, designed for internal memory processing, can be adapted for external memory. It provides an interface for external memory access that is similar to the traditional method to access a matrix Moreover, it divides the matrix into tWo-dimensional blocks, Where the blocks are organized in the disk to take advantage of access pattern of applications. In order to reduce the transfer time of a block to and from the disk, TiledMatrix uses an algorithm for compression/decompression of data that Was implemented in parallel to further improve the efñciency of the library. The TiledMatrix Was implemented and tested in some applications that require intensive matrix processing such asz computing the transposed matrix and the computation of Viewshed, ñow accumulation and median. These applications Were implemented in two Versionsz one using TiledMatrix and another one using the Segment library that is included in GRASS, an open source GIS. In average, they Were 7 times faster With TiledMatrix and, in some cases, more than 18 times faster. The TiledMatrix performance Was also compared With the ArcGLSÍ For these tests, it Was considered only two applications that are included in ArcGIS: the Uiewshed and the ñow accumulation. As tests have shown, in some cases, the applications Were more than 200 times faster using the TiledMatrix.Este trabalho apresenta uma biblioteca, chamada TiledMatrix, para auxiliar o desenvolvimento de aplicações que processam grandes matrizes armazenadas na memória externa. A biblioteca é baseada em algumas estratégias similares ao gerenciamento de uma memória cache e seu objetivo básico é permitir que uma aplicação, desenvolvida para processamento na memória interna, possa ser adaptada para ser processada na memória externa. Ela oferece uma interface para acessar a memória externa similar ao tradicional método de acesso a uma matriz. Além disso, ela divide a matriz em blocos bidimensionais, sendo que os blocos são organizados no disco de modo a tirar proveito do padrão de acesso das aplicações. A fim de reduzir o tempo de transferência do bloco para e do disco, a TiledMatrix utiliza um algoritmo de compressão/descompressão de dados que foi implementado em paralelo para melhorar ainda mais a eficiência da biblioteca. Assim, a TiledMatrix foi implementada e testada em algumas aplicações que requerem intensivo processamento de matrizes tais como: calcular a transposta da matriz, calcular a área de Visibilidade, fluxo acumulado e filrto da mediana. Estas aplicações foram implementadas em duas Versões: uma usando a TiledMatrix e outra usando a Segment, uma biblioteca que está incluída no GRASS, um sistema de informação geográfica open sourca Em média, elas foram 7 Vezes mais rápidas com a TiledMatrix e, em alguns casos, foram em torno de 18 Vezes mais rápidas. A TiledMatrix também foi avaliada com 0 ArcGIS e considerou-se duas aplicações que estão incluídas no ArcGIS: calcular a área de Visibilidade e 0 ñuxo acumulado. Como os testes mostraram, em alguns casos, as aplicações foram mais do que 200 Vezes mais rápidas ao utilizarem a TiledMatrix.Coordenação de Aperfeiçoamento de Pessoal de Nível Superiorapplication/pdfporUniversidade Federal de ViçosaMestrado em Ciência da NutriçãoUFVBRValor nutricional de alimentos e de dietas; Nutrição nas enfermidades agudas e crônicas não transmisProcessamento de dadosAlgoritmosMemória cacheSistemas de informaçãoData processingAlgorithmsCache memoryInformation systemsCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOUma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externaA library to support the development of applications that process huge matrices in external memoryinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:LOCUS Repositório Institucional da UFVinstname:Universidade Federal de Viçosa (UFV)instacron:UFVORIGINALtexto completo.pdfapplication/pdf2849735https://locus.ufv.br//bitstream/123456789/2798/1/texto%20completo.pdf8b03cb7850564a3761ead1cb4674ccc2MD51TEXTtexto completo.pdf.txttexto completo.pdf.txtExtracted texttext/plain292249https://locus.ufv.br//bitstream/123456789/2798/2/texto%20completo.pdf.txtca1ceb62bd6de5abac4554076a61a51fMD52THUMBNAILtexto completo.pdf.jpgtexto completo.pdf.jpgIM Thumbnailimage/jpeg3865https://locus.ufv.br//bitstream/123456789/2798/3/texto%20completo.pdf.jpga6edb68e8498c2d9646e2dd57e4bc988MD53123456789/27982016-04-08 23:13:03.934oai:locus.ufv.br:123456789/2798Repositório InstitucionalPUBhttps://www.locus.ufv.br/oai/requestfabiojreis@ufv.bropendoar:21452016-04-09T02:13:03LOCUS Repositório Institucional da UFV - Universidade Federal de Viçosa (UFV)false |
dc.title.por.fl_str_mv |
Uma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externa |
dc.title.alternative.eng.fl_str_mv |
A library to support the development of applications that process huge matrices in external memory |
title |
Uma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externa |
spellingShingle |
Uma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externa Silveira, Jaqueline Alvarenga Processamento de dados Algoritmos Memória cache Sistemas de informação Data processing Algorithms Cache memory Information systems CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
title_short |
Uma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externa |
title_full |
Uma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externa |
title_fullStr |
Uma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externa |
title_full_unstemmed |
Uma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externa |
title_sort |
Uma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externa |
author |
Silveira, Jaqueline Alvarenga |
author_facet |
Silveira, Jaqueline Alvarenga |
author_role |
author |
dc.contributor.authorLattes.por.fl_str_mv |
http://lattes.cnpq.br/2848235330286220 |
dc.contributor.author.fl_str_mv |
Silveira, Jaqueline Alvarenga |
dc.contributor.advisor1.fl_str_mv |
Andrade, Marcus Vinícius Alvim |
dc.contributor.advisor1Lattes.fl_str_mv |
http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4785900Z5 |
dc.contributor.referee1.fl_str_mv |
Ribeiro, Carlos Antônio Alvares Soares |
dc.contributor.referee1Lattes.fl_str_mv |
http://lattes.cnpq.br/0257744922714589 |
dc.contributor.referee2.fl_str_mv |
Ferreira, Ricardo dos Santos |
dc.contributor.referee2Lattes.fl_str_mv |
http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4723626E5 |
contributor_str_mv |
Andrade, Marcus Vinícius Alvim Ribeiro, Carlos Antônio Alvares Soares Ferreira, Ricardo dos Santos |
dc.subject.por.fl_str_mv |
Processamento de dados Algoritmos Memória cache Sistemas de informação |
topic |
Processamento de dados Algoritmos Memória cache Sistemas de informação Data processing Algorithms Cache memory Information systems CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
dc.subject.eng.fl_str_mv |
Data processing Algorithms Cache memory Information systems |
dc.subject.cnpq.fl_str_mv |
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
description |
This Work presents a new library, named TiledMatrix, to support the development of applications that process large matrices stored in external memory. The library is based on some strategies similar to cache memory management and its basic purpose is to allow that an application, designed for internal memory processing, can be adapted for external memory. It provides an interface for external memory access that is similar to the traditional method to access a matrix Moreover, it divides the matrix into tWo-dimensional blocks, Where the blocks are organized in the disk to take advantage of access pattern of applications. In order to reduce the transfer time of a block to and from the disk, TiledMatrix uses an algorithm for compression/decompression of data that Was implemented in parallel to further improve the efñciency of the library. The TiledMatrix Was implemented and tested in some applications that require intensive matrix processing such asz computing the transposed matrix and the computation of Viewshed, ñow accumulation and median. These applications Were implemented in two Versionsz one using TiledMatrix and another one using the Segment library that is included in GRASS, an open source GIS. In average, they Were 7 times faster With TiledMatrix and, in some cases, more than 18 times faster. The TiledMatrix performance Was also compared With the ArcGLSÍ For these tests, it Was considered only two applications that are included in ArcGIS: the Uiewshed and the ñow accumulation. As tests have shown, in some cases, the applications Were more than 200 times faster using the TiledMatrix. |
publishDate |
2014 |
dc.date.issued.fl_str_mv |
2014-06-27 |
dc.date.accessioned.fl_str_mv |
2015-03-26T13:12:01Z |
dc.date.available.fl_str_mv |
2015-01-22 2015-03-26T13:12:01Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
SILVEIRA, Jaqueline Alvarenga. A library to support the development of applications that process huge matrices in external memory. 2014. 82 f. Dissertação (Mestrado em Valor nutricional de alimentos e de dietas; Nutrição nas enfermidades agudas e crônicas não transmis) - Universidade Federal de Viçosa, Viçosa, 2014. |
dc.identifier.uri.fl_str_mv |
http://locus.ufv.br/handle/123456789/2798 |
identifier_str_mv |
SILVEIRA, Jaqueline Alvarenga. A library to support the development of applications that process huge matrices in external memory. 2014. 82 f. Dissertação (Mestrado em Valor nutricional de alimentos e de dietas; Nutrição nas enfermidades agudas e crônicas não transmis) - Universidade Federal de Viçosa, Viçosa, 2014. |
url |
http://locus.ufv.br/handle/123456789/2798 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Universidade Federal de Viçosa |
dc.publisher.program.fl_str_mv |
Mestrado em Ciência da Nutrição |
dc.publisher.initials.fl_str_mv |
UFV |
dc.publisher.country.fl_str_mv |
BR |
dc.publisher.department.fl_str_mv |
Valor nutricional de alimentos e de dietas; Nutrição nas enfermidades agudas e crônicas não transmis |
publisher.none.fl_str_mv |
Universidade Federal de Viçosa |
dc.source.none.fl_str_mv |
reponame:LOCUS Repositório Institucional da UFV instname:Universidade Federal de Viçosa (UFV) instacron:UFV |
instname_str |
Universidade Federal de Viçosa (UFV) |
instacron_str |
UFV |
institution |
UFV |
reponame_str |
LOCUS Repositório Institucional da UFV |
collection |
LOCUS Repositório Institucional da UFV |
bitstream.url.fl_str_mv |
https://locus.ufv.br//bitstream/123456789/2798/1/texto%20completo.pdf https://locus.ufv.br//bitstream/123456789/2798/2/texto%20completo.pdf.txt https://locus.ufv.br//bitstream/123456789/2798/3/texto%20completo.pdf.jpg |
bitstream.checksum.fl_str_mv |
8b03cb7850564a3761ead1cb4674ccc2 ca1ceb62bd6de5abac4554076a61a51f a6edb68e8498c2d9646e2dd57e4bc988 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 |
repository.name.fl_str_mv |
LOCUS Repositório Institucional da UFV - Universidade Federal de Viçosa (UFV) |
repository.mail.fl_str_mv |
fabiojreis@ufv.br |
_version_ |
1794528619357274112 |