Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA
| Ano de defesa: | 2021 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Federal de Pernambuco
|
| Programa de Pós-Graduação: |
Programa de Pos Graduacao em Ciencia da Computacao
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Brasil
|
| Palavras-chave em Português: | |
| Link de acesso: | https://repositorio.ufpe.br/handle/123456789/44090 |
Resumo: | A Segmentação de regiões livres e superfície do chão é uma questão de grande importân- cia no contexto da robótica e de veículos terrestres autônomos. Este problema, relacionado à área de percepção de espaço, é amplamente discutido na literatura especializada, sendo abordado por meio de diferentes técnicas de processamento de imagem, como uso de Redes Neurais Artificiais, Métodos Estatísticos e Métodos Algébricos para processar vários possíveis tipos de sinais de entrada, como por exemplo, imagens monocromáticas e coloridas, som, La- ser e imagens estéreo. Entretanto, os métodos propostos para realizar segmentação de espaço livre geralmente possuem altos custos computacionais, envolvendo operações de convolução e manipulações matriciais. Portanto, para obter melhores desempenhos, essas técnicas normal- mente são implementadas em plataformas de maior poder computacional. Paradoxalmente, isto pode ser impeditivo para aplicações em robótica e veículos autônomos, uma vez que é comum que tecnologias embarcadas estejam sob rígidas restrições de capacidade computa- cional, memória, consumo de potência e custo. Neste contexto, este trabalho propõe uma arquitetura em FPGA para realizar segmentação da superfície do chão usando técnicas de visão computacional estéreo, isto é, usando mapas de disparidades gerados a partir de um par de imagens estéreo. Foi projetado uma arquitetura em FPGA baseada em um algorimo de referência usando técnicas algébricas que exploram informação tridimensional para detectar regiões de obstáculo, regiões livres e horizonte a partir da extração do perfil característico destes objetos. A validação do algoritmo de referência e do módulo proposto usou o dataset KITTI para detecção de superfície de estrada, que contém imagens do mundo real de cenários automotivos. Os resultados, comparados com outras técnicas da literatura, mostraram uma baixa perda de qualidade, considerando as métricas de precisão e sensitividade, com aumentos significativos, na ordem de 10 vezes, nas taxas de processamento em frames por segundo, consolidando o trabalho como um módulo promissor para aplicações envolvendo robótica e visão computacional estéreo. |
| id |
UFPE_1b7c8d294ee7ab9e342c5423cd8576ef |
|---|---|
| oai_identifier_str |
oai:repositorio.ufpe.br:123456789/44090 |
| network_acronym_str |
UFPE |
| network_name_str |
Repositório Institucional da UFPE |
| repository_id_str |
|
| spelling |
ISHIMARU, Pedro Jorge Américohttp://lattes.cnpq.br/1192556688834880http://lattes.cnpq.br/6291354144339437BARROS, Edna Natividade da Silva2022-04-20T17:25:09Z2022-04-20T17:25:09Z2021-08-13ISHIMARU, Pedro Jorge Américo. Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA. 2021. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Pernambuco, Recife, 2021.https://repositorio.ufpe.br/handle/123456789/44090A Segmentação de regiões livres e superfície do chão é uma questão de grande importân- cia no contexto da robótica e de veículos terrestres autônomos. Este problema, relacionado à área de percepção de espaço, é amplamente discutido na literatura especializada, sendo abordado por meio de diferentes técnicas de processamento de imagem, como uso de Redes Neurais Artificiais, Métodos Estatísticos e Métodos Algébricos para processar vários possíveis tipos de sinais de entrada, como por exemplo, imagens monocromáticas e coloridas, som, La- ser e imagens estéreo. Entretanto, os métodos propostos para realizar segmentação de espaço livre geralmente possuem altos custos computacionais, envolvendo operações de convolução e manipulações matriciais. Portanto, para obter melhores desempenhos, essas técnicas normal- mente são implementadas em plataformas de maior poder computacional. Paradoxalmente, isto pode ser impeditivo para aplicações em robótica e veículos autônomos, uma vez que é comum que tecnologias embarcadas estejam sob rígidas restrições de capacidade computa- cional, memória, consumo de potência e custo. Neste contexto, este trabalho propõe uma arquitetura em FPGA para realizar segmentação da superfície do chão usando técnicas de visão computacional estéreo, isto é, usando mapas de disparidades gerados a partir de um par de imagens estéreo. Foi projetado uma arquitetura em FPGA baseada em um algorimo de referência usando técnicas algébricas que exploram informação tridimensional para detectar regiões de obstáculo, regiões livres e horizonte a partir da extração do perfil característico destes objetos. A validação do algoritmo de referência e do módulo proposto usou o dataset KITTI para detecção de superfície de estrada, que contém imagens do mundo real de cenários automotivos. Os resultados, comparados com outras técnicas da literatura, mostraram uma baixa perda de qualidade, considerando as métricas de precisão e sensitividade, com aumentos significativos, na ordem de 10 vezes, nas taxas de processamento em frames por segundo, consolidando o trabalho como um módulo promissor para aplicações envolvendo robótica e visão computacional estéreo.CAPESFree space and ground surface segmentation is an all-important matter regarding the de- sign of robotics and self-driving vehicles. This problem, related to the field of space perception, is widely discussed in specialized literature with several different approaches, such as Artificial Neural Networks, graphs, and image processing techniques to deal with many types of possi- ble input signals, for example, monochromatic and RGB pictures, sound, LASER, and stereo images. However, the proposed methods to perform free space segmentation usually have high computational costs, involving convolutions and matrix manipulation. Thus, in order to achieve acceptable performances, these techniques are typically implemented in more powerful plat- forms. Paradoxically, this could impede applications in robots and autonomous vehicles since these embedded technologies generally are under tight constraints of computational capabili- ties, memory, power consumption, and cost. Given this context, this work proposes an FPGA architecture to perform ground surface segmentation using stereo computer vision techniques, this is, using disparity maps generated from a pair of stereo pictures. The hardware design started from an algorithm that adapts to the implementation in FPGA algebraic techniques that exploit three-dimensional information to detect obstacle regions, free regions, and horizon detection in the image from the algebraic extraction of their profiles. The validation of both algorithm and proposed module used the KITTI dataset for road surface detection, which contains real-world pictures from automotive scenarios. Compared with other techniques, the results showed a low-performance loss regarding precision and recall metrics, with significant improvements in the Frames per Second processing rate, consolidating a promising module for applications involving robotics and stereo computer vision.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessEngenharia da computaçãoSistemas embarcadosVisão computacional estéreoSistemas ciber-físicosDesenvolvimento em FPGADesenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGAinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPEORIGINALDISSERTAÇÃO Pedro Jorge Américo Ishimaru.pdfDISSERTAÇÃO Pedro Jorge Américo Ishimaru.pdfapplication/pdf5060890https://repositorio.ufpe.br/bitstream/123456789/44090/1/DISSERTA%c3%87%c3%83O%20Pedro%20Jorge%20Am%c3%a9rico%20Ishimaru.pdf1c84279eb560ce86988778478058a5baMD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/44090/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82142https://repositorio.ufpe.br/bitstream/123456789/44090/3/license.txt6928b9260b07fb2755249a5ca9903395MD53TEXTDISSERTAÇÃO Pedro Jorge Américo Ishimaru.pdf.txtDISSERTAÇÃO Pedro Jorge Américo Ishimaru.pdf.txtExtracted texttext/plain170513https://repositorio.ufpe.br/bitstream/123456789/44090/4/DISSERTA%c3%87%c3%83O%20Pedro%20Jorge%20Am%c3%a9rico%20Ishimaru.pdf.txtbad36629cf4fd20caf7f0db85762f43eMD54THUMBNAILDISSERTAÇÃO Pedro Jorge Américo Ishimaru.pdf.jpgDISSERTAÇÃO Pedro Jorge Américo Ishimaru.pdf.jpgGenerated Thumbnailimage/jpeg1157https://repositorio.ufpe.br/bitstream/123456789/44090/5/DISSERTA%c3%87%c3%83O%20Pedro%20Jorge%20Am%c3%a9rico%20Ishimaru.pdf.jpg632b66d25987d3e4f6ec83193c18a409MD55123456789/440902022-04-21 02:11:30.692oai:repositorio.ufpe.br:123456789/44090VGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2HDp8OjbyBkZSBEb2N1bWVudG9zIG5vIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUKIAoKRGVjbGFybyBlc3RhciBjaWVudGUgZGUgcXVlIGVzdGUgVGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyB0ZW0gbyBvYmpldGl2byBkZSBkaXZ1bGdhw6fDo28gZG9zIGRvY3VtZW50b3MgZGVwb3NpdGFkb3Mgbm8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRSBlIGRlY2xhcm8gcXVlOgoKSSAtICBvIGNvbnRlw7pkbyBkaXNwb25pYmlsaXphZG8gw6kgZGUgcmVzcG9uc2FiaWxpZGFkZSBkZSBzdWEgYXV0b3JpYTsKCklJIC0gbyBjb250ZcO6ZG8gw6kgb3JpZ2luYWwsIGUgc2UgbyB0cmFiYWxobyBlL291IHBhbGF2cmFzIGRlIG91dHJhcyBwZXNzb2FzIGZvcmFtIHV0aWxpemFkb3MsIGVzdGFzIGZvcmFtIGRldmlkYW1lbnRlIHJlY29uaGVjaWRhczsKCklJSSAtIHF1YW5kbyB0cmF0YXItc2UgZGUgVHJhYmFsaG8gZGUgQ29uY2x1c8OjbyBkZSBDdXJzbywgRGlzc2VydGHDp8OjbyBvdSBUZXNlOiBvIGFycXVpdm8gZGVwb3NpdGFkbyBjb3JyZXNwb25kZSDDoCB2ZXJzw6NvIGZpbmFsIGRvIHRyYWJhbGhvOwoKSVYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIFRyYWJhbGhvIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28sIERpc3NlcnRhw6fDo28gb3UgVGVzZTogZXN0b3UgY2llbnRlIGRlIHF1ZSBhIGFsdGVyYcOnw6NvIGRhIG1vZGFsaWRhZGUgZGUgYWNlc3NvIGFvIGRvY3VtZW50byBhcMOzcyBvIGRlcMOzc2l0byBlIGFudGVzIGRlIGZpbmRhciBvIHBlcsOtb2RvIGRlIGVtYmFyZ28sIHF1YW5kbyBmb3IgZXNjb2xoaWRvIGFjZXNzbyByZXN0cml0bywgc2Vyw6EgcGVybWl0aWRhIG1lZGlhbnRlIHNvbGljaXRhw6fDo28gZG8gKGEpIGF1dG9yIChhKSBhbyBTaXN0ZW1hIEludGVncmFkbyBkZSBCaWJsaW90ZWNhcyBkYSBVRlBFIChTSUIvVUZQRSkuCgogClBhcmEgdHJhYmFsaG9zIGVtIEFjZXNzbyBBYmVydG86CgpOYSBxdWFsaWRhZGUgZGUgdGl0dWxhciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGUgYXV0b3IgcXVlIHJlY2FlbSBzb2JyZSBlc3RlIGRvY3VtZW50bywgZnVuZGFtZW50YWRvIG5hIExlaSBkZSBEaXJlaXRvIEF1dG9yYWwgbm8gOS42MTAsIGRlIDE5IGRlIGZldmVyZWlybyBkZSAxOTk4LCBhcnQuIDI5LCBpbmNpc28gSUlJLCBhdXRvcml6byBhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIFBlcm5hbWJ1Y28gYSBkaXNwb25pYmlsaXphciBncmF0dWl0YW1lbnRlLCBzZW0gcmVzc2FyY2ltZW50byBkb3MgZGlyZWl0b3MgYXV0b3JhaXMsIHBhcmEgZmlucyBkZSBsZWl0dXJhLCBpbXByZXNzw6NvIGUvb3UgZG93bmxvYWQgKGFxdWlzacOnw6NvKSBhdHJhdsOpcyBkbyBzaXRlIGRvIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUgbm8gZW5kZXJlw6dvIGh0dHA6Ly93d3cucmVwb3NpdG9yaW8udWZwZS5iciwgYSBwYXJ0aXIgZGEgZGF0YSBkZSBkZXDDs3NpdG8uCgogClBhcmEgdHJhYmFsaG9zIGVtIEFjZXNzbyBSZXN0cml0bzoKCk5hIHF1YWxpZGFkZSBkZSB0aXR1bGFyIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBkZSBhdXRvciBxdWUgcmVjYWVtIHNvYnJlIGVzdGUgZG9jdW1lbnRvLCBmdW5kYW1lbnRhZG8gbmEgTGVpIGRlIERpcmVpdG8gQXV0b3JhbCBubyA5LjYxMCBkZSAxOSBkZSBmZXZlcmVpcm8gZGUgMTk5OCwgYXJ0LiAyOSwgaW5jaXNvIElJSSwgYXV0b3Jpem8gYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIGEgZGlzcG9uaWJpbGl6YXIgZ3JhdHVpdGFtZW50ZSwgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkIChhcXVpc2nDp8OjbykgYXRyYXbDqXMgZG8gc2l0ZSBkbyBSZXBvc2l0w7NyaW8gRGlnaXRhbCBkYSBVRlBFIG5vIGVuZGVyZcOnbyBodHRwOi8vd3d3LnJlcG9zaXRvcmlvLnVmcGUuYnIsIHF1YW5kbyBmaW5kYXIgbyBwZXLDrW9kbyBkZSBlbWJhcmdvIGNvbmRpemVudGUgYW8gdGlwbyBkZSBkb2N1bWVudG8sIGNvbmZvcm1lIGluZGljYWRvIG5vIGNhbXBvIERhdGEgZGUgRW1iYXJnby4KRepositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212022-04-21T05:11:30Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false |
| dc.title.pt_BR.fl_str_mv |
Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA |
| title |
Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA |
| spellingShingle |
Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA ISHIMARU, Pedro Jorge Américo Engenharia da computação Sistemas embarcados Visão computacional estéreo Sistemas ciber-físicos Desenvolvimento em FPGA |
| title_short |
Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA |
| title_full |
Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA |
| title_fullStr |
Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA |
| title_full_unstemmed |
Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA |
| title_sort |
Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA |
| author |
ISHIMARU, Pedro Jorge Américo |
| author_facet |
ISHIMARU, Pedro Jorge Américo |
| author_role |
author |
| dc.contributor.authorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/1192556688834880 |
| dc.contributor.advisorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/6291354144339437 |
| dc.contributor.author.fl_str_mv |
ISHIMARU, Pedro Jorge Américo |
| dc.contributor.advisor1.fl_str_mv |
BARROS, Edna Natividade da Silva |
| contributor_str_mv |
BARROS, Edna Natividade da Silva |
| dc.subject.por.fl_str_mv |
Engenharia da computação Sistemas embarcados Visão computacional estéreo Sistemas ciber-físicos Desenvolvimento em FPGA |
| topic |
Engenharia da computação Sistemas embarcados Visão computacional estéreo Sistemas ciber-físicos Desenvolvimento em FPGA |
| description |
A Segmentação de regiões livres e superfície do chão é uma questão de grande importân- cia no contexto da robótica e de veículos terrestres autônomos. Este problema, relacionado à área de percepção de espaço, é amplamente discutido na literatura especializada, sendo abordado por meio de diferentes técnicas de processamento de imagem, como uso de Redes Neurais Artificiais, Métodos Estatísticos e Métodos Algébricos para processar vários possíveis tipos de sinais de entrada, como por exemplo, imagens monocromáticas e coloridas, som, La- ser e imagens estéreo. Entretanto, os métodos propostos para realizar segmentação de espaço livre geralmente possuem altos custos computacionais, envolvendo operações de convolução e manipulações matriciais. Portanto, para obter melhores desempenhos, essas técnicas normal- mente são implementadas em plataformas de maior poder computacional. Paradoxalmente, isto pode ser impeditivo para aplicações em robótica e veículos autônomos, uma vez que é comum que tecnologias embarcadas estejam sob rígidas restrições de capacidade computa- cional, memória, consumo de potência e custo. Neste contexto, este trabalho propõe uma arquitetura em FPGA para realizar segmentação da superfície do chão usando técnicas de visão computacional estéreo, isto é, usando mapas de disparidades gerados a partir de um par de imagens estéreo. Foi projetado uma arquitetura em FPGA baseada em um algorimo de referência usando técnicas algébricas que exploram informação tridimensional para detectar regiões de obstáculo, regiões livres e horizonte a partir da extração do perfil característico destes objetos. A validação do algoritmo de referência e do módulo proposto usou o dataset KITTI para detecção de superfície de estrada, que contém imagens do mundo real de cenários automotivos. Os resultados, comparados com outras técnicas da literatura, mostraram uma baixa perda de qualidade, considerando as métricas de precisão e sensitividade, com aumentos significativos, na ordem de 10 vezes, nas taxas de processamento em frames por segundo, consolidando o trabalho como um módulo promissor para aplicações envolvendo robótica e visão computacional estéreo. |
| publishDate |
2021 |
| dc.date.issued.fl_str_mv |
2021-08-13 |
| dc.date.accessioned.fl_str_mv |
2022-04-20T17:25:09Z |
| dc.date.available.fl_str_mv |
2022-04-20T17:25:09Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.citation.fl_str_mv |
ISHIMARU, Pedro Jorge Américo. Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA. 2021. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Pernambuco, Recife, 2021. |
| dc.identifier.uri.fl_str_mv |
https://repositorio.ufpe.br/handle/123456789/44090 |
| identifier_str_mv |
ISHIMARU, Pedro Jorge Américo. Desenvolvimento de módulo para segmentação de espaço livre em imagens estéreo com prototipação em FPGA. 2021. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Pernambuco, Recife, 2021. |
| url |
https://repositorio.ufpe.br/handle/123456789/44090 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
| eu_rights_str_mv |
openAccess |
| dc.publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
| dc.publisher.program.fl_str_mv |
Programa de Pos Graduacao em Ciencia da Computacao |
| dc.publisher.initials.fl_str_mv |
UFPE |
| dc.publisher.country.fl_str_mv |
Brasil |
| publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFPE instname:Universidade Federal de Pernambuco (UFPE) instacron:UFPE |
| instname_str |
Universidade Federal de Pernambuco (UFPE) |
| instacron_str |
UFPE |
| institution |
UFPE |
| reponame_str |
Repositório Institucional da UFPE |
| collection |
Repositório Institucional da UFPE |
| bitstream.url.fl_str_mv |
https://repositorio.ufpe.br/bitstream/123456789/44090/1/DISSERTA%c3%87%c3%83O%20Pedro%20Jorge%20Am%c3%a9rico%20Ishimaru.pdf https://repositorio.ufpe.br/bitstream/123456789/44090/2/license_rdf https://repositorio.ufpe.br/bitstream/123456789/44090/3/license.txt https://repositorio.ufpe.br/bitstream/123456789/44090/4/DISSERTA%c3%87%c3%83O%20Pedro%20Jorge%20Am%c3%a9rico%20Ishimaru.pdf.txt https://repositorio.ufpe.br/bitstream/123456789/44090/5/DISSERTA%c3%87%c3%83O%20Pedro%20Jorge%20Am%c3%a9rico%20Ishimaru.pdf.jpg |
| bitstream.checksum.fl_str_mv |
1c84279eb560ce86988778478058a5ba e39d27027a6cc9cb039ad269a5db8e34 6928b9260b07fb2755249a5ca9903395 bad36629cf4fd20caf7f0db85762f43e 632b66d25987d3e4f6ec83193c18a409 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE) |
| repository.mail.fl_str_mv |
attena@ufpe.br |
| _version_ |
1862741844510638080 |