Novel deep learning methods applied for unconstrained visual object recognition and 3D modeling from point clouds

Detalhes bibliográficos
Ano de defesa: 2020
Autor(a) principal: Marcon, Marlon
Orientador(a): Silva, Luciano, 1974-
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Visão por computador
Redes neurais (Computação)
Ciência da Computação
Link de acesso: https://hdl.handle.net/1884/69882
Resumo: Orientador: Luciano Silva
id UFPR_dfde9aeeea47e3627633e713ce6ae2f0
oai_identifier_str oai:acervodigital.ufpr.br:1884/69882
network_acronym_str UFPR
network_name_str Repositório Institucional da UFPR
repository_id_str
spelling Marcon, MarlonUniversidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em InformáticaSilva, Luciano, 1974-2021-12-16T11:09:30Z2021-12-16T11:09:30Z2020https://hdl.handle.net/1884/69882Orientador: Luciano SilvaTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa : Curitiba, 09/11/2020Inclui referências: p. 105-117Área de concentração: Ciência da ComputaçãoResumo: Soluções baseadas em aprendizagem profunda evoluíram rapidamente e superaram abordagens clássicas no âmbito da Visão Computacional (VC). Metodologias baseadas em processamento de textura (também chamadas de 2D), são tecnologias maduras com eficiência comprovada em diversos cenários de aplicação. Trabalhar com aprendizagem profunda em aplicações de VC e computação gráfica no contexto 3D não é trivial. Alguns fatores podem ser considerados: encontrar uma representação confiável para os dados; rotular amostras positivas e negativas para situações de aprendizagem supervisionada; e, obter invariância à rotação, induzida durante o treinamento. Processamento em tempo real para aplicações de reconhecimento de objetos e estimativa da pose também são desafiadoras, e métodos tradicionais focam principalmente na acurácia e não provêm tal propriedade. Nesta tese de doutorado, são apresentadas estratégias para lidar com tais situações, e para tal, duas partes principais são apresentadas: a primeira focada no desenvolvimento de técnicas efetivas para aplicações de VC baseadas em características de forma geral, e a segunda, que propõe estratégias para melhorar métodos de reconhecimento de objetos. O descritor LEAD é apresentado, sendo este o primeiro descritor de características local, equivariante à rotação, baseado em aprendizagem não supervisionada a partir de nuvens de pontos. Além disso, esta tese apresenta Compass, o primeiro método para definir e extrair a orientação canônica de formas tridimensionais, utilizando somente aprendizagem profunda. Com a união das duas propostas anteriores, também é apresentado o primeiro descritor local 3D invariante à rotação, baseado em aprendizagem não supervisionada, denominado SOUND. A eficácia das propostas foi avaliada experimentalmente em conjuntos de dados de referência para registro de superfícies 3D, e os resultados demonstram que as propostas deste documento superam outras técnicas não supervisionadas, além de manter-se competitivas com relação às supervisionadas. Relacionado às melhorias nos métodos de reconhecimento de objetos e estimativa da pose, neste trabalho foi proposta uma abordagem que utiliza detecção de objetos salientes, a qual provê melhorias consideráveis em relação a técnicas tradicionais. Resultados confirmam que o método impulsionado pelo uso da saliência, pode acelerar substancialmente o reconhecimento, impactando muito pouco ou até melhorando na acurácia. Também foi conduzido um extensivo estudo relacionado ao uso de arquiteturas baseadas em aprendizagem profunda, como extratores de características independentes, bem como seu desempenho no reconhecimento de objetos tridimensionais. Por fim, um método para detecção de objetos em estimativa da pose com seis graus de liberdade é apresentado. Tal proposta, identifica objetos em imagens RGB-D, extraindo características visuais e estimando a pose de objetos de forma precisa, por meio de descritores locais, e possibilita o processamento em tempo real em aplicações de estimativa da pose. Acredita-se que os avanços apresentados nesta tese, auxiliarão pesquisadores no desenvolvimento de aplicações de VC 3D, em áreas como robótica, direção autônoma e tecnologias assistivas. Palavras-chave: Visão Computacional 3D. Aprendizagem não-supervisionada. Transferência de conhecimento. Modelos computacionais. Redes neurais convolucionais esféricas. Descritores locais. Reconhecimento de objetos em tempo real.Abstract: Deep-learning-based solutions are rapidly evolving and outperforming classical hand-crafted approaches in the Computer Vision (CV) field. Texture-based methodologies (a.k.a 2D) are mature technologies with proven efficiency in several application scenarios. To work with deep learning for 3D CV and graphics applications is not straightforward. Some factors could be considered: finding a reliable representation from data; annotating data with true and false examples in a supervised fashion training; and achieving invariance to rotation induced during training. Real-time processing for 3D object recognition (3DOR) and pose estimation applications is also untrivial, and standard pipelines focus on the accuracy and do not provide such property. In this doctoral thesis, we present some strategies to tackle these issues. We split this dissertation into two main topics: first focusing on developing reliable techniques for generic feature-based CV applications and the second which proposes strategies to improve object recognition methods. We introduce LEAD, the first unsupervised rotation-equivariant 3D local feature descriptor learned from raw point cloud data. We also realize the first end-to-end learning approach to define and extract the canonical orientation of 3D shapes, which we named Compass. With the achievements of both previous methods, we merge them and propose, the first unsupervised rotation-invariant 3D descriptor, called SOUND. We evaluate our proposal's impact experimentally, which outperform existing unsupervised methods and achieve competitive results against the supervised approaches through extensive experiments on standard surface registration datasets. To update the traditional pipeline for object recognition and pose estimation, we propose a boosted pipeline that uses saliency detection algorithms, and we found considerable improvement in such methodology. Results confirm that the boosted pipeline can substantially speed up processing time with limited impacts or even recognition accuracy benefits. We conducted a comprehensive study regarding 2D deep networks as off-the-shelf feature extractors and evaluated their 3DOR's performance. Finally, we propose a novel pipeline to detect objects and estimate their 6DoF pose. To do so, we identify objects in RGB-D images applying visual features and estimate a fine-adjusted object's pose with 3D local descriptors. Our proposal unlocks real-time processing for pose estimation applications. We trust our achievements will help researchers develop 3D CV applications in the robotics, autonomous driving, and assistive technology fields. Keywords: 3D Computer Vision. Unsupervised learning. Transfer learning. Computational models. Spherical CNNs. Local descriptors. Real-time object recognition123 p. : PDF.application/pdfVisão por computadorRedes neurais (Computação)Ciência da ComputaçãoNovel deep learning methods applied for unconstrained visual object recognition and 3D modeling from point cloudsinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisengreponame:Repositório Institucional da UFPRinstname:Universidade Federal do Paraná (UFPR)instacron:UFPRinfo:eu-repo/semantics/openAccessORIGINALR - T - MARLON MARCON.pdfapplication/pdf14632207https://acervodigital.ufpr.br/bitstream/1884/69882/1/R%20-%20T%20-%20MARLON%20MARCON.pdfcc85cd48ad5de448595a330c277e0dabMD51open access1884/698822021-12-16 08:09:30.732open accessoai:acervodigital.ufpr.br:1884/69882Repositório InstitucionalPUBhttp://acervodigital.ufpr.br/oai/requestinformacaodigital@ufpr.bropendoar:3082021-12-16T11:09:30Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)false
dc.title.pt_BR.fl_str_mv Novel deep learning methods applied for unconstrained visual object recognition and 3D modeling from point clouds
title Novel deep learning methods applied for unconstrained visual object recognition and 3D modeling from point clouds
spellingShingle Novel deep learning methods applied for unconstrained visual object recognition and 3D modeling from point clouds
Marcon, Marlon
Visão por computador
Redes neurais (Computação)
Ciência da Computação
title_short Novel deep learning methods applied for unconstrained visual object recognition and 3D modeling from point clouds
title_full Novel deep learning methods applied for unconstrained visual object recognition and 3D modeling from point clouds
title_fullStr Novel deep learning methods applied for unconstrained visual object recognition and 3D modeling from point clouds
title_full_unstemmed Novel deep learning methods applied for unconstrained visual object recognition and 3D modeling from point clouds
title_sort Novel deep learning methods applied for unconstrained visual object recognition and 3D modeling from point clouds
author Marcon, Marlon
author_facet Marcon, Marlon
author_role author
dc.contributor.other.pt_BR.fl_str_mv Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em Informática
dc.contributor.author.fl_str_mv Marcon, Marlon
dc.contributor.advisor1.fl_str_mv Silva, Luciano, 1974-
contributor_str_mv Silva, Luciano, 1974-
dc.subject.por.fl_str_mv Visão por computador
Redes neurais (Computação)
Ciência da Computação
topic Visão por computador
Redes neurais (Computação)
Ciência da Computação
description Orientador: Luciano Silva
publishDate 2020
dc.date.issued.fl_str_mv 2020
dc.date.accessioned.fl_str_mv 2021-12-16T11:09:30Z
dc.date.available.fl_str_mv 2021-12-16T11:09:30Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1884/69882
url https://hdl.handle.net/1884/69882
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 123 p. : PDF.
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPR
instname:Universidade Federal do Paraná (UFPR)
instacron:UFPR
instname_str Universidade Federal do Paraná (UFPR)
instacron_str UFPR
institution UFPR
reponame_str Repositório Institucional da UFPR
collection Repositório Institucional da UFPR
bitstream.url.fl_str_mv https://acervodigital.ufpr.br/bitstream/1884/69882/1/R%20-%20T%20-%20MARLON%20MARCON.pdf
bitstream.checksum.fl_str_mv cc85cd48ad5de448595a330c277e0dab
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)
repository.mail.fl_str_mv informacaodigital@ufpr.br
_version_ 1847526047966298112

Registros relacionados