Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA

Detalhes bibliográficos
Ano de defesa: 2021
Autor(a) principal: ISHIMARU, Pedro Jorge Américo
Orientador(a): BARROS, Edna Natividade da Silva
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de Pernambuco
Programa de Pós-Graduação: Programa de Pos Graduacao em Ciencia da Computacao
Departamento: Não Informado pela instituição
País: Brasil
Palavras-chave em Português:
Link de acesso: https://repositorio.ufpe.br/handle/123456789/44090
Resumo: A Segmentação de regiões livres e superfície do chão é uma questão de grande importân- cia no contexto da robótica e de veículos terrestres autônomos. Este problema, relacionado à área de percepção de espaço, é amplamente discutido na literatura especializada, sendo abordado por meio de diferentes técnicas de processamento de imagem, como uso de Redes Neurais Artificiais, Métodos Estatísticos e Métodos Algébricos para processar vários possíveis tipos de sinais de entrada, como por exemplo, imagens monocromáticas e coloridas, som, La- ser e imagens estéreo. Entretanto, os métodos propostos para realizar segmentação de espaço livre geralmente possuem altos custos computacionais, envolvendo operações de convolução e manipulações matriciais. Portanto, para obter melhores desempenhos, essas técnicas normal- mente são implementadas em plataformas de maior poder computacional. Paradoxalmente, isto pode ser impeditivo para aplicações em robótica e veículos autônomos, uma vez que é comum que tecnologias embarcadas estejam sob rígidas restrições de capacidade computa- cional, memória, consumo de potência e custo. Neste contexto, este trabalho propõe uma arquitetura em FPGA para realizar segmentação da superfície do chão usando técnicas de visão computacional estéreo, isto é, usando mapas de disparidades gerados a partir de um par de imagens estéreo. Foi projetado uma arquitetura em FPGA baseada em um algorimo de referência usando técnicas algébricas que exploram informação tridimensional para detectar regiões de obstáculo, regiões livres e horizonte a partir da extração do perfil característico destes objetos. A validação do algoritmo de referência e do módulo proposto usou o dataset KITTI para detecção de superfície de estrada, que contém imagens do mundo real de cenários automotivos. Os resultados, comparados com outras técnicas da literatura, mostraram uma baixa perda de qualidade, considerando as métricas de precisão e sensitividade, com aumentos significativos, na ordem de 10 vezes, nas taxas de processamento em frames por segundo, consolidando o trabalho como um módulo promissor para aplicações envolvendo robótica e visão computacional estéreo.
id UFPE_1b7c8d294ee7ab9e342c5423cd8576ef
oai_identifier_str oai:repositorio.ufpe.br:123456789/44090
network_acronym_str UFPE
network_name_str Repositório Institucional da UFPE
repository_id_str
spelling ISHIMARU, Pedro Jorge Américohttp://lattes.cnpq.br/1192556688834880http://lattes.cnpq.br/6291354144339437BARROS, Edna Natividade da Silva2022-04-20T17:25:09Z2022-04-20T17:25:09Z2021-08-13ISHIMARU, Pedro Jorge Américo. Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA. 2021. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Pernambuco, Recife, 2021.https://repositorio.ufpe.br/handle/123456789/44090A Segmentação de regiões livres e superfície do chão é uma questão de grande importân- cia no contexto da robótica e de veículos terrestres autônomos. Este problema, relacionado à área de percepção de espaço, é amplamente discutido na literatura especializada, sendo abordado por meio de diferentes técnicas de processamento de imagem, como uso de Redes Neurais Artificiais, Métodos Estatísticos e Métodos Algébricos para processar vários possíveis tipos de sinais de entrada, como por exemplo, imagens monocromáticas e coloridas, som, La- ser e imagens estéreo. Entretanto, os métodos propostos para realizar segmentação de espaço livre geralmente possuem altos custos computacionais, envolvendo operações de convolução e manipulações matriciais. Portanto, para obter melhores desempenhos, essas técnicas normal- mente são implementadas em plataformas de maior poder computacional. Paradoxalmente, isto pode ser impeditivo para aplicações em robótica e veículos autônomos, uma vez que é comum que tecnologias embarcadas estejam sob rígidas restrições de capacidade computa- cional, memória, consumo de potência e custo. Neste contexto, este trabalho propõe uma arquitetura em FPGA para realizar segmentação da superfície do chão usando técnicas de visão computacional estéreo, isto é, usando mapas de disparidades gerados a partir de um par de imagens estéreo. Foi projetado uma arquitetura em FPGA baseada em um algorimo de referência usando técnicas algébricas que exploram informação tridimensional para detectar regiões de obstáculo, regiões livres e horizonte a partir da extração do perfil característico destes objetos. A validação do algoritmo de referência e do módulo proposto usou o dataset KITTI para detecção de superfície de estrada, que contém imagens do mundo real de cenários automotivos. Os resultados, comparados com outras técnicas da literatura, mostraram uma baixa perda de qualidade, considerando as métricas de precisão e sensitividade, com aumentos significativos, na ordem de 10 vezes, nas taxas de processamento em frames por segundo, consolidando o trabalho como um módulo promissor para aplicações envolvendo robótica e visão computacional estéreo.CAPESFree space and ground surface segmentation is an all-important matter regarding the de- sign of robotics and self-driving vehicles. This problem, related to the field of space perception, is widely discussed in specialized literature with several different approaches, such as Artificial Neural Networks, graphs, and image processing techniques to deal with many types of possi- ble input signals, for example, monochromatic and RGB pictures, sound, LASER, and stereo images. However, the proposed methods to perform free space segmentation usually have high computational costs, involving convolutions and matrix manipulation. Thus, in order to achieve acceptable performances, these techniques are typically implemented in more powerful plat- forms. Paradoxically, this could impede applications in robots and autonomous vehicles since these embedded technologies generally are under tight constraints of computational capabili- ties, memory, power consumption, and cost. Given this context, this work proposes an FPGA architecture to perform ground surface segmentation using stereo computer vision techniques, this is, using disparity maps generated from a pair of stereo pictures. The hardware design started from an algorithm that adapts to the implementation in FPGA algebraic techniques that exploit three-dimensional information to detect obstacle regions, free regions, and horizon detection in the image from the algebraic extraction of their profiles. The validation of both algorithm and proposed module used the KITTI dataset for road surface detection, which contains real-world pictures from automotive scenarios. Compared with other techniques, the results showed a low-performance loss regarding precision and recall metrics, with significant improvements in the Frames per Second processing rate, consolidating a promising module for applications involving robotics and stereo computer vision.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessEngenharia da computaçãoSistemas embarcadosVisão computacional estéreoSistemas ciber-físicosDesenvolvimento em FPGADesenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGAinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPEORIGINALDISSERTAÇÃO Pedro Jorge Américo Ishimaru.pdfDISSERTAÇÃO Pedro Jorge Américo Ishimaru.pdfapplication/pdf5060890https://repositorio.ufpe.br/bitstream/123456789/44090/1/DISSERTA%c3%87%c3%83O%20Pedro%20Jorge%20Am%c3%a9rico%20Ishimaru.pdf1c84279eb560ce86988778478058a5baMD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/44090/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82142https://repositorio.ufpe.br/bitstream/123456789/44090/3/license.txt6928b9260b07fb2755249a5ca9903395MD53TEXTDISSERTAÇÃO Pedro Jorge Américo Ishimaru.pdf.txtDISSERTAÇÃO Pedro Jorge Américo Ishimaru.pdf.txtExtracted texttext/plain170513https://repositorio.ufpe.br/bitstream/123456789/44090/4/DISSERTA%c3%87%c3%83O%20Pedro%20Jorge%20Am%c3%a9rico%20Ishimaru.pdf.txtbad36629cf4fd20caf7f0db85762f43eMD54THUMBNAILDISSERTAÇÃO Pedro Jorge Américo Ishimaru.pdf.jpgDISSERTAÇÃO Pedro Jorge Américo Ishimaru.pdf.jpgGenerated Thumbnailimage/jpeg1157https://repositorio.ufpe.br/bitstream/123456789/44090/5/DISSERTA%c3%87%c3%83O%20Pedro%20Jorge%20Am%c3%a9rico%20Ishimaru.pdf.jpg632b66d25987d3e4f6ec83193c18a409MD55123456789/440902022-04-21 02:11:30.692oai:repositorio.ufpe.br:123456789/44090VGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2HDp8OjbyBkZSBEb2N1bWVudG9zIG5vIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUKIAoKRGVjbGFybyBlc3RhciBjaWVudGUgZGUgcXVlIGVzdGUgVGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyB0ZW0gbyBvYmpldGl2byBkZSBkaXZ1bGdhw6fDo28gZG9zIGRvY3VtZW50b3MgZGVwb3NpdGFkb3Mgbm8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRSBlIGRlY2xhcm8gcXVlOgoKSSAtICBvIGNvbnRlw7pkbyBkaXNwb25pYmlsaXphZG8gw6kgZGUgcmVzcG9uc2FiaWxpZGFkZSBkZSBzdWEgYXV0b3JpYTsKCklJIC0gbyBjb250ZcO6ZG8gw6kgb3JpZ2luYWwsIGUgc2UgbyB0cmFiYWxobyBlL291IHBhbGF2cmFzIGRlIG91dHJhcyBwZXNzb2FzIGZvcmFtIHV0aWxpemFkb3MsIGVzdGFzIGZvcmFtIGRldmlkYW1lbnRlIHJlY29uaGVjaWRhczsKCklJSSAtIHF1YW5kbyB0cmF0YXItc2UgZGUgVHJhYmFsaG8gZGUgQ29uY2x1c8OjbyBkZSBDdXJzbywgRGlzc2VydGHDp8OjbyBvdSBUZXNlOiBvIGFycXVpdm8gZGVwb3NpdGFkbyBjb3JyZXNwb25kZSDDoCB2ZXJzw6NvIGZpbmFsIGRvIHRyYWJhbGhvOwoKSVYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIFRyYWJhbGhvIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28sIERpc3NlcnRhw6fDo28gb3UgVGVzZTogZXN0b3UgY2llbnRlIGRlIHF1ZSBhIGFsdGVyYcOnw6NvIGRhIG1vZGFsaWRhZGUgZGUgYWNlc3NvIGFvIGRvY3VtZW50byBhcMOzcyBvIGRlcMOzc2l0byBlIGFudGVzIGRlIGZpbmRhciBvIHBlcsOtb2RvIGRlIGVtYmFyZ28sIHF1YW5kbyBmb3IgZXNjb2xoaWRvIGFjZXNzbyByZXN0cml0bywgc2Vyw6EgcGVybWl0aWRhIG1lZGlhbnRlIHNvbGljaXRhw6fDo28gZG8gKGEpIGF1dG9yIChhKSBhbyBTaXN0ZW1hIEludGVncmFkbyBkZSBCaWJsaW90ZWNhcyBkYSBVRlBFIChTSUIvVUZQRSkuCgogClBhcmEgdHJhYmFsaG9zIGVtIEFjZXNzbyBBYmVydG86CgpOYSBxdWFsaWRhZGUgZGUgdGl0dWxhciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGUgYXV0b3IgcXVlIHJlY2FlbSBzb2JyZSBlc3RlIGRvY3VtZW50bywgZnVuZGFtZW50YWRvIG5hIExlaSBkZSBEaXJlaXRvIEF1dG9yYWwgbm8gOS42MTAsIGRlIDE5IGRlIGZldmVyZWlybyBkZSAxOTk4LCBhcnQuIDI5LCBpbmNpc28gSUlJLCBhdXRvcml6byBhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIFBlcm5hbWJ1Y28gYSBkaXNwb25pYmlsaXphciBncmF0dWl0YW1lbnRlLCBzZW0gcmVzc2FyY2ltZW50byBkb3MgZGlyZWl0b3MgYXV0b3JhaXMsIHBhcmEgZmlucyBkZSBsZWl0dXJhLCBpbXByZXNzw6NvIGUvb3UgZG93bmxvYWQgKGFxdWlzacOnw6NvKSBhdHJhdsOpcyBkbyBzaXRlIGRvIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUgbm8gZW5kZXJlw6dvIGh0dHA6Ly93d3cucmVwb3NpdG9yaW8udWZwZS5iciwgYSBwYXJ0aXIgZGEgZGF0YSBkZSBkZXDDs3NpdG8uCgogClBhcmEgdHJhYmFsaG9zIGVtIEFjZXNzbyBSZXN0cml0bzoKCk5hIHF1YWxpZGFkZSBkZSB0aXR1bGFyIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBkZSBhdXRvciBxdWUgcmVjYWVtIHNvYnJlIGVzdGUgZG9jdW1lbnRvLCBmdW5kYW1lbnRhZG8gbmEgTGVpIGRlIERpcmVpdG8gQXV0b3JhbCBubyA5LjYxMCBkZSAxOSBkZSBmZXZlcmVpcm8gZGUgMTk5OCwgYXJ0LiAyOSwgaW5jaXNvIElJSSwgYXV0b3Jpem8gYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIGEgZGlzcG9uaWJpbGl6YXIgZ3JhdHVpdGFtZW50ZSwgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkIChhcXVpc2nDp8OjbykgYXRyYXbDqXMgZG8gc2l0ZSBkbyBSZXBvc2l0w7NyaW8gRGlnaXRhbCBkYSBVRlBFIG5vIGVuZGVyZcOnbyBodHRwOi8vd3d3LnJlcG9zaXRvcmlvLnVmcGUuYnIsIHF1YW5kbyBmaW5kYXIgbyBwZXLDrW9kbyBkZSBlbWJhcmdvIGNvbmRpemVudGUgYW8gdGlwbyBkZSBkb2N1bWVudG8sIGNvbmZvcm1lIGluZGljYWRvIG5vIGNhbXBvIERhdGEgZGUgRW1iYXJnby4KRepositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212022-04-21T05:11:30Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false
dc.title.pt_BR.fl_str_mv Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA
title Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA
spellingShingle Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA
ISHIMARU, Pedro Jorge Américo
Engenharia da computação
Sistemas embarcados
Visão computacional estéreo
Sistemas ciber-físicos
Desenvolvimento em FPGA
title_short Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA
title_full Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA
title_fullStr Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA
title_full_unstemmed Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA
title_sort Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA
author ISHIMARU, Pedro Jorge Américo
author_facet ISHIMARU, Pedro Jorge Américo
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/1192556688834880
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/6291354144339437
dc.contributor.author.fl_str_mv ISHIMARU, Pedro Jorge Américo
dc.contributor.advisor1.fl_str_mv BARROS, Edna Natividade da Silva
contributor_str_mv BARROS, Edna Natividade da Silva
dc.subject.por.fl_str_mv Engenharia da computação
Sistemas embarcados
Visão computacional estéreo
Sistemas ciber-físicos
Desenvolvimento em FPGA
topic Engenharia da computação
Sistemas embarcados
Visão computacional estéreo
Sistemas ciber-físicos
Desenvolvimento em FPGA
description A Segmentação de regiões livres e superfície do chão é uma questão de grande importân- cia no contexto da robótica e de veículos terrestres autônomos. Este problema, relacionado à área de percepção de espaço, é amplamente discutido na literatura especializada, sendo abordado por meio de diferentes técnicas de processamento de imagem, como uso de Redes Neurais Artificiais, Métodos Estatísticos e Métodos Algébricos para processar vários possíveis tipos de sinais de entrada, como por exemplo, imagens monocromáticas e coloridas, som, La- ser e imagens estéreo. Entretanto, os métodos propostos para realizar segmentação de espaço livre geralmente possuem altos custos computacionais, envolvendo operações de convolução e manipulações matriciais. Portanto, para obter melhores desempenhos, essas técnicas normal- mente são implementadas em plataformas de maior poder computacional. Paradoxalmente, isto pode ser impeditivo para aplicações em robótica e veículos autônomos, uma vez que é comum que tecnologias embarcadas estejam sob rígidas restrições de capacidade computa- cional, memória, consumo de potência e custo. Neste contexto, este trabalho propõe uma arquitetura em FPGA para realizar segmentação da superfície do chão usando técnicas de visão computacional estéreo, isto é, usando mapas de disparidades gerados a partir de um par de imagens estéreo. Foi projetado uma arquitetura em FPGA baseada em um algorimo de referência usando técnicas algébricas que exploram informação tridimensional para detectar regiões de obstáculo, regiões livres e horizonte a partir da extração do perfil característico destes objetos. A validação do algoritmo de referência e do módulo proposto usou o dataset KITTI para detecção de superfície de estrada, que contém imagens do mundo real de cenários automotivos. Os resultados, comparados com outras técnicas da literatura, mostraram uma baixa perda de qualidade, considerando as métricas de precisão e sensitividade, com aumentos significativos, na ordem de 10 vezes, nas taxas de processamento em frames por segundo, consolidando o trabalho como um módulo promissor para aplicações envolvendo robótica e visão computacional estéreo.
publishDate 2021
dc.date.issued.fl_str_mv 2021-08-13
dc.date.accessioned.fl_str_mv 2022-04-20T17:25:09Z
dc.date.available.fl_str_mv 2022-04-20T17:25:09Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv ISHIMARU, Pedro Jorge Américo. Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA. 2021. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Pernambuco, Recife, 2021.
dc.identifier.uri.fl_str_mv https://repositorio.ufpe.br/handle/123456789/44090
identifier_str_mv ISHIMARU, Pedro Jorge Américo. Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA. 2021. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Pernambuco, Recife, 2021.
url https://repositorio.ufpe.br/handle/123456789/44090
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.publisher.program.fl_str_mv Programa de Pos Graduacao em Ciencia da Computacao
dc.publisher.initials.fl_str_mv UFPE
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPE
instname:Universidade Federal de Pernambuco (UFPE)
instacron:UFPE
instname_str Universidade Federal de Pernambuco (UFPE)
instacron_str UFPE
institution UFPE
reponame_str Repositório Institucional da UFPE
collection Repositório Institucional da UFPE
bitstream.url.fl_str_mv https://repositorio.ufpe.br/bitstream/123456789/44090/1/DISSERTA%c3%87%c3%83O%20Pedro%20Jorge%20Am%c3%a9rico%20Ishimaru.pdf
https://repositorio.ufpe.br/bitstream/123456789/44090/2/license_rdf
https://repositorio.ufpe.br/bitstream/123456789/44090/3/license.txt
https://repositorio.ufpe.br/bitstream/123456789/44090/4/DISSERTA%c3%87%c3%83O%20Pedro%20Jorge%20Am%c3%a9rico%20Ishimaru.pdf.txt
https://repositorio.ufpe.br/bitstream/123456789/44090/5/DISSERTA%c3%87%c3%83O%20Pedro%20Jorge%20Am%c3%a9rico%20Ishimaru.pdf.jpg
bitstream.checksum.fl_str_mv 1c84279eb560ce86988778478058a5ba
e39d27027a6cc9cb039ad269a5db8e34
6928b9260b07fb2755249a5ca9903395
bad36629cf4fd20caf7f0db85762f43e
632b66d25987d3e4f6ec83193c18a409
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)
repository.mail.fl_str_mv attena@ufpe.br
_version_ 1862741844510638080