Estudo comparativo do desempenho de bibliotecas para redes neurais convolucionais em diferentes microarquiteturas de GPU
Ano de defesa: | 2020 |
---|---|
Autor(a) principal: | |
Orientador(a): | |
Banca de defesa: | |
Tipo de documento: | Dissertação |
Tipo de acesso: | Acesso aberto |
Idioma: | por |
Instituição de defesa: |
Não Informado pela instituição
|
Programa de Pós-Graduação: |
Pós-Graduação em Ciência da Computação
|
Departamento: |
Não Informado pela instituição
|
País: |
Não Informado pela instituição
|
Palavras-chave em Português: | |
Palavras-chave em Inglês: | |
Área do conhecimento CNPq: | |
Link de acesso: | https://ri.ufs.br/jspui/handle/riufs/14129 |
Resumo: | Context: The popularization of Deep Learning and the Deep Inference spurred the development of tools for the implementation of Convolutional Neural Networks (CNNs) as specific libraries for the development of CNNs, the popularization also stimulated the development of GPUs with CNN acceleration capabilities. Developers and scientists working with CNNs need experimental scientific studies that point out which library is most suitable for a particular GPU microarchitecture. Objective: Compare the performance of the CNTK, PyTorch, TensorFlow1.15 and TensorFlow 2.2 libraries in different GPU microarchitectures (Kepler, Maxwell, Pascal and Turing) using LeNet-5 CNN and the MNIST dataset. Method: Initially, a systematic mapping was carried out as a way to identify and systematize the main benchmarks, then an experiment was carried out evaluating the impact of the Keras API on the performance of the libraries used in the comparative study and lastly, four experiments were carried out comparing the libraries, each experiment was performed in a computational environment accelerated by a GPU with a different microarchitecture. Results: For the systematic mapping, it was identified that the classic CNN architectures such as LeNet-5 and AlexNet are the most used as benchmarks, also showed that the most used data benchmarking sets are ImageNet, MNIST and CIFAR-10. The experiment on the impact of the Keras API showed that the API negatively impacts the performance of all the tested libraries. In the comparative study of the libraries’ performance, the PyTorch library presented the performance performance and the CNTK, TensorFlow 1.15 and TensorFlow 2.2 libraries alternated between the three shorter execution times. Conclusion: The results show that the PyTorch library presents a low level of use of GPU and uses a large amount of sec memory compared to other libraries that showed a higher performance. |
id |
UFS-2_4c9495110dd1290748e92d08c233c4e4 |
---|---|
oai_identifier_str |
oai:ufs.br:riufs/14129 |
network_acronym_str |
UFS-2 |
network_name_str |
Repositório Institucional da UFS |
repository_id_str |
|
spelling |
Florencio, Felipe de AlmeidaOrdonez, Edward David Moreno2021-04-27T20:21:22Z2021-04-27T20:21:22Z2020-09-27FLORENCIO, Felipe de Almeida. Estudo comparativo do desempenho de bibliotecas para redes neurais convolucionais em diferentes microarquiteturas de GPU. 2020. 147 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Sergipe, São Cristóvão, Sergipe, 2020.https://ri.ufs.br/jspui/handle/riufs/14129Autorização para publicação no Repositório da Universidade Federal de Sergipe (RI-UFS), concedida pelo autor.Context: The popularization of Deep Learning and the Deep Inference spurred the development of tools for the implementation of Convolutional Neural Networks (CNNs) as specific libraries for the development of CNNs, the popularization also stimulated the development of GPUs with CNN acceleration capabilities. Developers and scientists working with CNNs need experimental scientific studies that point out which library is most suitable for a particular GPU microarchitecture. Objective: Compare the performance of the CNTK, PyTorch, TensorFlow1.15 and TensorFlow 2.2 libraries in different GPU microarchitectures (Kepler, Maxwell, Pascal and Turing) using LeNet-5 CNN and the MNIST dataset. Method: Initially, a systematic mapping was carried out as a way to identify and systematize the main benchmarks, then an experiment was carried out evaluating the impact of the Keras API on the performance of the libraries used in the comparative study and lastly, four experiments were carried out comparing the libraries, each experiment was performed in a computational environment accelerated by a GPU with a different microarchitecture. Results: For the systematic mapping, it was identified that the classic CNN architectures such as LeNet-5 and AlexNet are the most used as benchmarks, also showed that the most used data benchmarking sets are ImageNet, MNIST and CIFAR-10. The experiment on the impact of the Keras API showed that the API negatively impacts the performance of all the tested libraries. In the comparative study of the libraries’ performance, the PyTorch library presented the performance performance and the CNTK, TensorFlow 1.15 and TensorFlow 2.2 libraries alternated between the three shorter execution times. Conclusion: The results show that the PyTorch library presents a low level of use of GPU and uses a large amount of sec memory compared to other libraries that showed a higher performance.Contexto: A popularização da Deep Learning e da Deep Inference impulsionou o desenvolvimento de ferramentas para implementação de Redes Neurais Convolucionais (CNNs, do inglês Convolutional Neural Networks) como bibliotecas específicas para o desenvolvimento de CNNs, a popularização também estimulou o desenvolvimento de GPUs com recursos de aceleração de CNNs. Os desenvolvedores e cientistas que trabalham com CNNs precisam de estudos científicos experimentais que apontem qual a biblioteca mais adequada para determinada microarquitetura de GPU. Objetivos: Comparar o desempenho das bibliotecas CNTK, PyTorch, TensorFlow 1.15 e TensorFlow 2.2 em diferentes microarquiteturas de GPU (Kepler, Maxwell, Pascal e Turing) utilizando a CNN LeNet-5 e o dataset MNIST. Metodologia: Inicialmente, foi realizado um mapeamento sistemático como forma de identificar e sistematizar os principais benchmarks, em seguida foi realizado um experimento avaliando o impacto da API Keras no desempenho das bibliotecas utilizadas no estudo comparativo e por último foram realizados quatro experimentos comparando as bibliotecas, cada experimento foi realizado em um ambiente acelerado por uma GPU com uma microarquitetura diferente. Resultados: Para o mapeamento sistemático, foi identificado que as arquiteturas clássicas de CNN como LeNet-5 e AlexNet são as mais utilizadas como benchmarks, também mostrou que os datasets mais utilizados em benchmarking são o ImageNet, MNIST e CIFAR-10. O experimento sobre o impacto da API Keras mostrou que a API impacta negativamente no desempenho de todas as bibliotecas testadas. No estudo comparativo de desempenho das bibliotecas, a biblioteca PyTorch apresentou o pior desempenho e as bibliotecas CNTK, TensorFlow 1.15 e TensorFlow 2.2 alternaram entre os três menores tempos de execução. Conclusão: Os resultados evidenciam que a biblioteca PyTorch apresenta um baixo nível de utilização da GPU e utiliza uma grande quantidade de memória se comparada as outras bibliotecas que apresentaram um desempenho superior.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPESSão Cristóvão, SEporComputaçãoInteligência artificialRedes neuraisBiblioteca de aprendizagem profundaAvaliação de desempenhoGraphic processing unitBenchmarkingConvolutional neural networkCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOEstudo comparativo do desempenho de bibliotecas para redes neurais convolucionais em diferentes microarquiteturas de GPUinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisPós-Graduação em Ciência da ComputaçãoUniversidade Federal de Sergipereponame:Repositório Institucional da UFSinstname:Universidade Federal de Sergipe (UFS)instacron:UFSinfo:eu-repo/semantics/openAccessTEXTFELIPE_ALMEIDA_FLORENCIO.pdf.txtFELIPE_ALMEIDA_FLORENCIO.pdf.txtExtracted texttext/plain281379https://ri.ufs.br/jspui/bitstream/riufs/14129/3/FELIPE_ALMEIDA_FLORENCIO.pdf.txt7d9f14abbce460e8cd8eb1c0ac5f912bMD53THUMBNAILFELIPE_ALMEIDA_FLORENCIO.pdf.jpgFELIPE_ALMEIDA_FLORENCIO.pdf.jpgGenerated Thumbnailimage/jpeg1363https://ri.ufs.br/jspui/bitstream/riufs/14129/4/FELIPE_ALMEIDA_FLORENCIO.pdf.jpgd61a73b588820ad0df241522ea606839MD54LICENSElicense.txtlicense.txttext/plain; charset=utf-81475https://ri.ufs.br/jspui/bitstream/riufs/14129/1/license.txt098cbbf65c2c15e1fb2e49c5d306a44cMD51ORIGINALFELIPE_ALMEIDA_FLORENCIO.pdfFELIPE_ALMEIDA_FLORENCIO.pdfapplication/pdf3450904https://ri.ufs.br/jspui/bitstream/riufs/14129/2/FELIPE_ALMEIDA_FLORENCIO.pdf546c87a59c067e6a9a0f676f7a38a5c0MD52riufs/141292021-04-28 15:56:12.679oai:ufs.br:riufs/14129TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEKCkNvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvcihlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBTZXJnaXBlIG8gZGlyZWl0byBuw6NvLWV4Y2x1c2l2byBkZSByZXByb2R1emlyIHNldSB0cmFiYWxobyBubyBmb3JtYXRvIGVsZXRyw7RuaWNvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KClZvY8OqIGNvbmNvcmRhIHF1ZSBhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIFNlcmdpcGUgcG9kZSwgc2VtIGFsdGVyYXIgbyBjb250ZcO6ZG8sIHRyYW5zcG9yIHNldSB0cmFiYWxobyBwYXJhIHF1YWxxdWVyIG1laW8gb3UgZm9ybWF0byBwYXJhIGZpbnMgZGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIHRhbWLDqW0gY29uY29yZGEgcXVlIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgU2VyZ2lwZSBwb2RlIG1hbnRlciBtYWlzIGRlIHVtYSBjw7NwaWEgZGUgc2V1IHRyYWJhbGhvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIHNldSB0cmFiYWxobyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gVm9jw6ogdGFtYsOpbSBkZWNsYXJhIHF1ZSBvIGRlcMOzc2l0bywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgbsOjbyBpbmZyaW5nZSBkaXJlaXRvcyBhdXRvcmFpcyBkZSBuaW5ndcOpbS4KCkNhc28gbyB0cmFiYWxobyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiBkZWNsYXJhIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgw6AgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgU2VyZ2lwZSBvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvLgoKQSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBTZXJnaXBlIHNlIGNvbXByb21ldGUgYSBpZGVudGlmaWNhciBjbGFyYW1lbnRlIG8gc2V1IG5vbWUocykgb3UgbyhzKSBub21lKHMpIGRvKHMpIApkZXRlbnRvcihlcykgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRvIHRyYWJhbGhvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIGFsw6ltIGRhcXVlbGFzIGNvbmNlZGlkYXMgcG9yIGVzdGEgbGljZW7Dp2EuIAo=Repositório InstitucionalPUBhttps://ri.ufs.br/oai/requestrepositorio@academico.ufs.bropendoar:2021-04-28T18:56:12Repositório Institucional da UFS - Universidade Federal de Sergipe (UFS)false |
dc.title.pt_BR.fl_str_mv |
Estudo comparativo do desempenho de bibliotecas para redes neurais convolucionais em diferentes microarquiteturas de GPU |
title |
Estudo comparativo do desempenho de bibliotecas para redes neurais convolucionais em diferentes microarquiteturas de GPU |
spellingShingle |
Estudo comparativo do desempenho de bibliotecas para redes neurais convolucionais em diferentes microarquiteturas de GPU Florencio, Felipe de Almeida Computação Inteligência artificial Redes neurais Biblioteca de aprendizagem profunda Avaliação de desempenho Graphic processing unit Benchmarking Convolutional neural network CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
title_short |
Estudo comparativo do desempenho de bibliotecas para redes neurais convolucionais em diferentes microarquiteturas de GPU |
title_full |
Estudo comparativo do desempenho de bibliotecas para redes neurais convolucionais em diferentes microarquiteturas de GPU |
title_fullStr |
Estudo comparativo do desempenho de bibliotecas para redes neurais convolucionais em diferentes microarquiteturas de GPU |
title_full_unstemmed |
Estudo comparativo do desempenho de bibliotecas para redes neurais convolucionais em diferentes microarquiteturas de GPU |
title_sort |
Estudo comparativo do desempenho de bibliotecas para redes neurais convolucionais em diferentes microarquiteturas de GPU |
author |
Florencio, Felipe de Almeida |
author_facet |
Florencio, Felipe de Almeida |
author_role |
author |
dc.contributor.author.fl_str_mv |
Florencio, Felipe de Almeida |
dc.contributor.advisor1.fl_str_mv |
Ordonez, Edward David Moreno |
contributor_str_mv |
Ordonez, Edward David Moreno |
dc.subject.por.fl_str_mv |
Computação Inteligência artificial Redes neurais Biblioteca de aprendizagem profunda Avaliação de desempenho |
topic |
Computação Inteligência artificial Redes neurais Biblioteca de aprendizagem profunda Avaliação de desempenho Graphic processing unit Benchmarking Convolutional neural network CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
dc.subject.eng.fl_str_mv |
Graphic processing unit Benchmarking Convolutional neural network |
dc.subject.cnpq.fl_str_mv |
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
description |
Context: The popularization of Deep Learning and the Deep Inference spurred the development of tools for the implementation of Convolutional Neural Networks (CNNs) as specific libraries for the development of CNNs, the popularization also stimulated the development of GPUs with CNN acceleration capabilities. Developers and scientists working with CNNs need experimental scientific studies that point out which library is most suitable for a particular GPU microarchitecture. Objective: Compare the performance of the CNTK, PyTorch, TensorFlow1.15 and TensorFlow 2.2 libraries in different GPU microarchitectures (Kepler, Maxwell, Pascal and Turing) using LeNet-5 CNN and the MNIST dataset. Method: Initially, a systematic mapping was carried out as a way to identify and systematize the main benchmarks, then an experiment was carried out evaluating the impact of the Keras API on the performance of the libraries used in the comparative study and lastly, four experiments were carried out comparing the libraries, each experiment was performed in a computational environment accelerated by a GPU with a different microarchitecture. Results: For the systematic mapping, it was identified that the classic CNN architectures such as LeNet-5 and AlexNet are the most used as benchmarks, also showed that the most used data benchmarking sets are ImageNet, MNIST and CIFAR-10. The experiment on the impact of the Keras API showed that the API negatively impacts the performance of all the tested libraries. In the comparative study of the libraries’ performance, the PyTorch library presented the performance performance and the CNTK, TensorFlow 1.15 and TensorFlow 2.2 libraries alternated between the three shorter execution times. Conclusion: The results show that the PyTorch library presents a low level of use of GPU and uses a large amount of sec memory compared to other libraries that showed a higher performance. |
publishDate |
2020 |
dc.date.issued.fl_str_mv |
2020-09-27 |
dc.date.accessioned.fl_str_mv |
2021-04-27T20:21:22Z |
dc.date.available.fl_str_mv |
2021-04-27T20:21:22Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
FLORENCIO, Felipe de Almeida. Estudo comparativo do desempenho de bibliotecas para redes neurais convolucionais em diferentes microarquiteturas de GPU. 2020. 147 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Sergipe, São Cristóvão, Sergipe, 2020. |
dc.identifier.uri.fl_str_mv |
https://ri.ufs.br/jspui/handle/riufs/14129 |
dc.identifier.license.pt_BR.fl_str_mv |
Autorização para publicação no Repositório da Universidade Federal de Sergipe (RI-UFS), concedida pelo autor. |
identifier_str_mv |
FLORENCIO, Felipe de Almeida. Estudo comparativo do desempenho de bibliotecas para redes neurais convolucionais em diferentes microarquiteturas de GPU. 2020. 147 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Sergipe, São Cristóvão, Sergipe, 2020. Autorização para publicação no Repositório da Universidade Federal de Sergipe (RI-UFS), concedida pelo autor. |
url |
https://ri.ufs.br/jspui/handle/riufs/14129 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.program.fl_str_mv |
Pós-Graduação em Ciência da Computação |
dc.publisher.initials.fl_str_mv |
Universidade Federal de Sergipe |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFS instname:Universidade Federal de Sergipe (UFS) instacron:UFS |
instname_str |
Universidade Federal de Sergipe (UFS) |
instacron_str |
UFS |
institution |
UFS |
reponame_str |
Repositório Institucional da UFS |
collection |
Repositório Institucional da UFS |
bitstream.url.fl_str_mv |
https://ri.ufs.br/jspui/bitstream/riufs/14129/3/FELIPE_ALMEIDA_FLORENCIO.pdf.txt https://ri.ufs.br/jspui/bitstream/riufs/14129/4/FELIPE_ALMEIDA_FLORENCIO.pdf.jpg https://ri.ufs.br/jspui/bitstream/riufs/14129/1/license.txt https://ri.ufs.br/jspui/bitstream/riufs/14129/2/FELIPE_ALMEIDA_FLORENCIO.pdf |
bitstream.checksum.fl_str_mv |
7d9f14abbce460e8cd8eb1c0ac5f912b d61a73b588820ad0df241522ea606839 098cbbf65c2c15e1fb2e49c5d306a44c 546c87a59c067e6a9a0f676f7a38a5c0 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFS - Universidade Federal de Sergipe (UFS) |
repository.mail.fl_str_mv |
repositorio@academico.ufs.br |
_version_ |
1793351067373666304 |