Uma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externa

Detalhes bibliográficos
Ano de defesa: 2014
Autor(a) principal: Silveira, Jaqueline Alvarenga
Orientador(a): Andrade, Marcus Vinícius Alvim lattes
Banca de defesa: Ribeiro, Carlos Antônio Alvares Soares lattes, Ferreira, Ricardo dos Santos lattes
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de Viçosa
Programa de Pós-Graduação: Mestrado em Ciência da Nutrição
Departamento: Valor nutricional de alimentos e de dietas; Nutrição nas enfermidades agudas e crônicas não transmis
País: BR
Palavras-chave em Português:
Palavras-chave em Inglês:
Área do conhecimento CNPq:
Link de acesso: http://locus.ufv.br/handle/123456789/2798
Resumo: This Work presents a new library, named TiledMatrix, to support the development of applications that process large matrices stored in external memory. The library is based on some strategies similar to cache memory management and its basic purpose is to allow that an application, designed for internal memory processing, can be adapted for external memory. It provides an interface for external memory access that is similar to the traditional method to access a matrix Moreover, it divides the matrix into tWo-dimensional blocks, Where the blocks are organized in the disk to take advantage of access pattern of applications. In order to reduce the transfer time of a block to and from the disk, TiledMatrix uses an algorithm for compression/decompression of data that Was implemented in parallel to further improve the efñciency of the library. The TiledMatrix Was implemented and tested in some applications that require intensive matrix processing such asz computing the transposed matrix and the computation of Viewshed, ñow accumulation and median. These applications Were implemented in two Versionsz one using TiledMatrix and another one using the Segment library that is included in GRASS, an open source GIS. In average, they Were 7 times faster With TiledMatrix and, in some cases, more than 18 times faster. The TiledMatrix performance Was also compared With the ArcGLSÍ For these tests, it Was considered only two applications that are included in ArcGIS: the Uiewshed and the ñow accumulation. As tests have shown, in some cases, the applications Were more than 200 times faster using the TiledMatrix.
id UFV_a177738f33a73e1fbe5b67e2462acd32
oai_identifier_str oai:locus.ufv.br:123456789/2798
network_acronym_str UFV
network_name_str LOCUS Repositório Institucional da UFV
repository_id_str
spelling Silveira, Jaqueline Alvarengahttp://lattes.cnpq.br/2848235330286220Andrade, Marcus Vinícius Alvimhttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4785900Z5Ribeiro, Carlos Antônio Alvares Soareshttp://lattes.cnpq.br/0257744922714589Ferreira, Ricardo dos Santoshttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4723626E52015-03-26T13:12:01Z2015-01-222015-03-26T13:12:01Z2014-06-27SILVEIRA, Jaqueline Alvarenga. A library to support the development of applications that process huge matrices in external memory. 2014. 82 f. Dissertação (Mestrado em Valor nutricional de alimentos e de dietas; Nutrição nas enfermidades agudas e crônicas não transmis) - Universidade Federal de Viçosa, Viçosa, 2014.http://locus.ufv.br/handle/123456789/2798This Work presents a new library, named TiledMatrix, to support the development of applications that process large matrices stored in external memory. The library is based on some strategies similar to cache memory management and its basic purpose is to allow that an application, designed for internal memory processing, can be adapted for external memory. It provides an interface for external memory access that is similar to the traditional method to access a matrix Moreover, it divides the matrix into tWo-dimensional blocks, Where the blocks are organized in the disk to take advantage of access pattern of applications. In order to reduce the transfer time of a block to and from the disk, TiledMatrix uses an algorithm for compression/decompression of data that Was implemented in parallel to further improve the efñciency of the library. The TiledMatrix Was implemented and tested in some applications that require intensive matrix processing such asz computing the transposed matrix and the computation of Viewshed, ñow accumulation and median. These applications Were implemented in two Versionsz one using TiledMatrix and another one using the Segment library that is included in GRASS, an open source GIS. In average, they Were 7 times faster With TiledMatrix and, in some cases, more than 18 times faster. The TiledMatrix performance Was also compared With the ArcGLSÍ For these tests, it Was considered only two applications that are included in ArcGIS: the Uiewshed and the ñow accumulation. As tests have shown, in some cases, the applications Were more than 200 times faster using the TiledMatrix.Este trabalho apresenta uma biblioteca, chamada TiledMatrix, para auxiliar o desenvolvimento de aplicações que processam grandes matrizes armazenadas na memória externa. A biblioteca é baseada em algumas estratégias similares ao gerenciamento de uma memória cache e seu objetivo básico é permitir que uma aplicação, desenvolvida para processamento na memória interna, possa ser adaptada para ser processada na memória externa. Ela oferece uma interface para acessar a memória externa similar ao tradicional método de acesso a uma matriz. Além disso, ela divide a matriz em blocos bidimensionais, sendo que os blocos são organizados no disco de modo a tirar proveito do padrão de acesso das aplicações. A fim de reduzir o tempo de transferência do bloco para e do disco, a TiledMatrix utiliza um algoritmo de compressão/descompressão de dados que foi implementado em paralelo para melhorar ainda mais a eficiência da biblioteca. Assim, a TiledMatrix foi implementada e testada em algumas aplicações que requerem intensivo processamento de matrizes tais como: calcular a transposta da matriz, calcular a área de Visibilidade, fluxo acumulado e filrto da mediana. Estas aplicações foram implementadas em duas Versões: uma usando a TiledMatrix e outra usando a Segment, uma biblioteca que está incluída no GRASS, um sistema de informação geográfica open sourca Em média, elas foram 7 Vezes mais rápidas com a TiledMatrix e, em alguns casos, foram em torno de 18 Vezes mais rápidas. A TiledMatrix também foi avaliada com 0 ArcGIS e considerou-se duas aplicações que estão incluídas no ArcGIS: calcular a área de Visibilidade e 0 ñuxo acumulado. Como os testes mostraram, em alguns casos, as aplicações foram mais do que 200 Vezes mais rápidas ao utilizarem a TiledMatrix.Coordenação de Aperfeiçoamento de Pessoal de Nível Superiorapplication/pdfporUniversidade Federal de ViçosaMestrado em Ciência da NutriçãoUFVBRValor nutricional de alimentos e de dietas; Nutrição nas enfermidades agudas e crônicas não transmisProcessamento de dadosAlgoritmosMemória cacheSistemas de informaçãoData processingAlgorithmsCache memoryInformation systemsCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOUma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externaA library to support the development of applications that process huge matrices in external memoryinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:LOCUS Repositório Institucional da UFVinstname:Universidade Federal de Viçosa (UFV)instacron:UFVORIGINALtexto completo.pdfapplication/pdf2849735https://locus.ufv.br//bitstream/123456789/2798/1/texto%20completo.pdf8b03cb7850564a3761ead1cb4674ccc2MD51TEXTtexto completo.pdf.txttexto completo.pdf.txtExtracted texttext/plain292249https://locus.ufv.br//bitstream/123456789/2798/2/texto%20completo.pdf.txtca1ceb62bd6de5abac4554076a61a51fMD52THUMBNAILtexto completo.pdf.jpgtexto completo.pdf.jpgIM Thumbnailimage/jpeg3865https://locus.ufv.br//bitstream/123456789/2798/3/texto%20completo.pdf.jpga6edb68e8498c2d9646e2dd57e4bc988MD53123456789/27982016-04-08 23:13:03.934oai:locus.ufv.br:123456789/2798Repositório InstitucionalPUBhttps://www.locus.ufv.br/oai/requestfabiojreis@ufv.bropendoar:21452016-04-09T02:13:03LOCUS Repositório Institucional da UFV - Universidade Federal de Viçosa (UFV)false
dc.title.por.fl_str_mv Uma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externa
dc.title.alternative.eng.fl_str_mv A library to support the development of applications that process huge matrices in external memory
title Uma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externa
spellingShingle Uma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externa
Silveira, Jaqueline Alvarenga
Processamento de dados
Algoritmos
Memória cache
Sistemas de informação
Data processing
Algorithms
Cache memory
Information systems
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
title_short Uma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externa
title_full Uma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externa
title_fullStr Uma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externa
title_full_unstemmed Uma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externa
title_sort Uma biblioteca para auxiliar o desenvolvimento de aplicações que processam grandes matrizes na memória externa
author Silveira, Jaqueline Alvarenga
author_facet Silveira, Jaqueline Alvarenga
author_role author
dc.contributor.authorLattes.por.fl_str_mv http://lattes.cnpq.br/2848235330286220
dc.contributor.author.fl_str_mv Silveira, Jaqueline Alvarenga
dc.contributor.advisor1.fl_str_mv Andrade, Marcus Vinícius Alvim
dc.contributor.advisor1Lattes.fl_str_mv http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4785900Z5
dc.contributor.referee1.fl_str_mv Ribeiro, Carlos Antônio Alvares Soares
dc.contributor.referee1Lattes.fl_str_mv http://lattes.cnpq.br/0257744922714589
dc.contributor.referee2.fl_str_mv Ferreira, Ricardo dos Santos
dc.contributor.referee2Lattes.fl_str_mv http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4723626E5
contributor_str_mv Andrade, Marcus Vinícius Alvim
Ribeiro, Carlos Antônio Alvares Soares
Ferreira, Ricardo dos Santos
dc.subject.por.fl_str_mv Processamento de dados
Algoritmos
Memória cache
Sistemas de informação
topic Processamento de dados
Algoritmos
Memória cache
Sistemas de informação
Data processing
Algorithms
Cache memory
Information systems
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
dc.subject.eng.fl_str_mv Data processing
Algorithms
Cache memory
Information systems
dc.subject.cnpq.fl_str_mv CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
description This Work presents a new library, named TiledMatrix, to support the development of applications that process large matrices stored in external memory. The library is based on some strategies similar to cache memory management and its basic purpose is to allow that an application, designed for internal memory processing, can be adapted for external memory. It provides an interface for external memory access that is similar to the traditional method to access a matrix Moreover, it divides the matrix into tWo-dimensional blocks, Where the blocks are organized in the disk to take advantage of access pattern of applications. In order to reduce the transfer time of a block to and from the disk, TiledMatrix uses an algorithm for compression/decompression of data that Was implemented in parallel to further improve the efñciency of the library. The TiledMatrix Was implemented and tested in some applications that require intensive matrix processing such asz computing the transposed matrix and the computation of Viewshed, ñow accumulation and median. These applications Were implemented in two Versionsz one using TiledMatrix and another one using the Segment library that is included in GRASS, an open source GIS. In average, they Were 7 times faster With TiledMatrix and, in some cases, more than 18 times faster. The TiledMatrix performance Was also compared With the ArcGLSÍ For these tests, it Was considered only two applications that are included in ArcGIS: the Uiewshed and the ñow accumulation. As tests have shown, in some cases, the applications Were more than 200 times faster using the TiledMatrix.
publishDate 2014
dc.date.issued.fl_str_mv 2014-06-27
dc.date.accessioned.fl_str_mv 2015-03-26T13:12:01Z
dc.date.available.fl_str_mv 2015-01-22
2015-03-26T13:12:01Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv SILVEIRA, Jaqueline Alvarenga. A library to support the development of applications that process huge matrices in external memory. 2014. 82 f. Dissertação (Mestrado em Valor nutricional de alimentos e de dietas; Nutrição nas enfermidades agudas e crônicas não transmis) - Universidade Federal de Viçosa, Viçosa, 2014.
dc.identifier.uri.fl_str_mv http://locus.ufv.br/handle/123456789/2798
identifier_str_mv SILVEIRA, Jaqueline Alvarenga. A library to support the development of applications that process huge matrices in external memory. 2014. 82 f. Dissertação (Mestrado em Valor nutricional de alimentos e de dietas; Nutrição nas enfermidades agudas e crônicas não transmis) - Universidade Federal de Viçosa, Viçosa, 2014.
url http://locus.ufv.br/handle/123456789/2798
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal de Viçosa
dc.publisher.program.fl_str_mv Mestrado em Ciência da Nutrição
dc.publisher.initials.fl_str_mv UFV
dc.publisher.country.fl_str_mv BR
dc.publisher.department.fl_str_mv Valor nutricional de alimentos e de dietas; Nutrição nas enfermidades agudas e crônicas não transmis
publisher.none.fl_str_mv Universidade Federal de Viçosa
dc.source.none.fl_str_mv reponame:LOCUS Repositório Institucional da UFV
instname:Universidade Federal de Viçosa (UFV)
instacron:UFV
instname_str Universidade Federal de Viçosa (UFV)
instacron_str UFV
institution UFV
reponame_str LOCUS Repositório Institucional da UFV
collection LOCUS Repositório Institucional da UFV
bitstream.url.fl_str_mv https://locus.ufv.br//bitstream/123456789/2798/1/texto%20completo.pdf
https://locus.ufv.br//bitstream/123456789/2798/2/texto%20completo.pdf.txt
https://locus.ufv.br//bitstream/123456789/2798/3/texto%20completo.pdf.jpg
bitstream.checksum.fl_str_mv 8b03cb7850564a3761ead1cb4674ccc2
ca1ceb62bd6de5abac4554076a61a51f
a6edb68e8498c2d9646e2dd57e4bc988
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv LOCUS Repositório Institucional da UFV - Universidade Federal de Viçosa (UFV)
repository.mail.fl_str_mv fabiojreis@ufv.br
_version_ 1794528619357274112