Reconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutenção

Detalhes bibliográficos
Ano de defesa: 2019
Autor(a) principal: Vidal, Vinicius Ferreira lattes
Orientador(a): Honório, Leonardo de Mello lattes
Banca de defesa: Moreira, António Paulo Gomes Mendes lattes, Cerqueira, Augusto Santiago lattes, Dantas, Mario Antonio Ribeiro lattes
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de Juiz de Fora (UFJF)
Programa de Pós-Graduação: Programa de Pós-graduação em Engenharia Elétrica
Departamento: Faculdade de Engenharia
País: Brasil
Palavras-chave em Português:
Área do conhecimento CNPq:
Link de acesso: https://repositorio.ufjf.br/jspui/handle/ufjf/10290
Resumo: Os avanços na última década na área da visão computacional, em termos tanto de hardware como de software, permitiram a expansão da aplicação da realidade virtual e localização e mapeamento simultâneos (SLAM) de câmeras no ambiente. Com isso diversas áreas foram beneficiadas, incluindo a manutenção de equipamentos. No caso de equipamentos no setor elétrico, diversos defeitos ocasionam aumento relevante de temperatura, que podem ser inspecionados por imagens térmicas, porém cuidados como influência do ambiente e ângulo de visão podem resultar em interpretações errôneas. Esse trabalho traz um sistema que visa atingir essas duas funções: realizar a reconstrução do ambiente real em 3 dimensões no mundo virtual a partir de imagens obtidas por câmeras, o que traz para o escritório a análise do ambiente externo e suas características; e projetar sobre esse modelo 3D dados de temperatura obtidos por uma câmera térmica, a fim de analisar de todos os ângulos o estado do objeto que se deseja avaliar quanto à presença de defeitos. Para isso, um par de câmeras estéreo e uma câmera térmica são alinhadas e sincronizadas para captação de imagens durante inspeção. Cada nuvem de pontos 3D é obtida com a técnica de visão estéreo empregada. Para a união, ou registro dessas nuvens, é empregada uma técnica de Odometria Visual para definir a pose das câmeras segundo as características das imagens do par estéreo, seguida de filtros segundo overlap entre as nuvens. Por fim, em cada nuvem obtida e sincronizada com a imagem térmica, técnicas de visão computacional são usadas para projetar os pontos em 3 dimensões na última e obter assim seu dado de temperatura observado pela câmera. Unindo todas essas técnicas, desenvolvidas com o auxílio do framework ROS em C++, é obtido um modelo virtual com informações visuais e térmicas do ambiente e objeto inspecionado pelo equipamento. Os resultados mostram a confiabilidade das técnicas empregadas, juntamente com modelos obtidos satisfatoriamente em diversos cenários.
id UFJF_6643c011372ce244bf526d06aa29d0b7
oai_identifier_str oai:hermes.cpd.ufjf.br:ufjf/10290
network_acronym_str UFJF
network_name_str Repositório Institucional da UFJF
repository_id_str
spelling Honório, Leonardo de Mellohttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4707900U4Marcato, André Luís Marqueshttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4737297A6Moreira, António Paulo Gomes Mendeshttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4678717H8Cerqueira, Augusto Santiagohttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4763697Y0Dantas, Mario Antonio Ribeirohttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4761699H4http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4318120P9Vidal, Vinicius Ferreira2019-07-11T16:43:22Z2019-06-252019-07-11T16:43:22Z2019-05-13https://repositorio.ufjf.br/jspui/handle/ufjf/10290Os avanços na última década na área da visão computacional, em termos tanto de hardware como de software, permitiram a expansão da aplicação da realidade virtual e localização e mapeamento simultâneos (SLAM) de câmeras no ambiente. Com isso diversas áreas foram beneficiadas, incluindo a manutenção de equipamentos. No caso de equipamentos no setor elétrico, diversos defeitos ocasionam aumento relevante de temperatura, que podem ser inspecionados por imagens térmicas, porém cuidados como influência do ambiente e ângulo de visão podem resultar em interpretações errôneas. Esse trabalho traz um sistema que visa atingir essas duas funções: realizar a reconstrução do ambiente real em 3 dimensões no mundo virtual a partir de imagens obtidas por câmeras, o que traz para o escritório a análise do ambiente externo e suas características; e projetar sobre esse modelo 3D dados de temperatura obtidos por uma câmera térmica, a fim de analisar de todos os ângulos o estado do objeto que se deseja avaliar quanto à presença de defeitos. Para isso, um par de câmeras estéreo e uma câmera térmica são alinhadas e sincronizadas para captação de imagens durante inspeção. Cada nuvem de pontos 3D é obtida com a técnica de visão estéreo empregada. Para a união, ou registro dessas nuvens, é empregada uma técnica de Odometria Visual para definir a pose das câmeras segundo as características das imagens do par estéreo, seguida de filtros segundo overlap entre as nuvens. Por fim, em cada nuvem obtida e sincronizada com a imagem térmica, técnicas de visão computacional são usadas para projetar os pontos em 3 dimensões na última e obter assim seu dado de temperatura observado pela câmera. Unindo todas essas técnicas, desenvolvidas com o auxílio do framework ROS em C++, é obtido um modelo virtual com informações visuais e térmicas do ambiente e objeto inspecionado pelo equipamento. Os resultados mostram a confiabilidade das técnicas empregadas, juntamente com modelos obtidos satisfatoriamente em diversos cenários.The last decade improvements in the area of Computer Vision, in terms of both hardware and software, promoted and expansion in Virtual Reality and cameras Simultaneous Localization and Mapping (SLAM) in the environment, which brings benefits in several areas, including equipment maintenance. In the Electrical Engineering sector case, many flaws result in the equipment temperature raise, which can be inspected by thermal images, although environment influence and image angle of capture may result in wrong information interpretation. This work proposes a system that aims to achieve these two functions: develop the 3 dimensions real environment reconstruction in the virtual world from captured images, which takes the analysis of the external environment characteristics to the office; and project on these 3D models the temperature obtained by a thermal camera, in order to analyze from many angles the equipment state regarding the presence of any faults. Fo that purpose, a pair of stereo cameras and a thermal camera were aligned and synchronized for image capture during the inspection. Every 3D point cloud obtained is obtained via the applied stereo vision algorithm. For cloud accumulation, or registration, a Visual Odometry technique is applied to gather camera pose from stereo image pair characteristics, followed by filters and overlap between clouds analysis. At the end, for each cloud synchronized with the thermal image, computer vision techniques are used to project the 3D points in the last one, and therefore obtain the temperature data observed. Putting all those pieces together, developed in the ROS framework in C++, a visual and thermal virtual model of the object to be inspected is obtained. The results show the reliability of the applied techniques, aside of models obtained in several scenarios.CNPq - Conselho Nacional de Desenvolvimento Científico e TecnológicoporUniversidade Federal de Juiz de Fora (UFJF)Programa de Pós-graduação em Engenharia ElétricaUFJFBrasilFaculdade de Engenhariahttp://creativecommons.org/licenses/by-sa/3.0/br/info:eu-repo/semantics/openAccessCNPQ::ENGENHARIAS::ENGENHARIA ELETRICASLAMModelo tridimensionalManutençãoInspeção térmicaSLAM3D modelMaintenanceThermal inspectionReconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutençãoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisreponame:Repositório Institucional da UFJFinstname:Universidade Federal de Juiz de Fora (UFJF)instacron:UFJFORIGINALviniciusferreiravidal.pdfviniciusferreiravidal.pdfapplication/pdf25831921https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/6/viniciusferreiravidal.pdf377a470c30b4dafb6dc04a79e9a12e35MD56CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-81031https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/7/license_rdf9b85e4235558a2887c2be3998124b615MD57TEXTviniciusferreiravidal.pdf.txtviniciusferreiravidal.pdf.txtExtracted texttext/plain171734https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/9/viniciusferreiravidal.pdf.txt215ddfd35985ddae7ab3a72804caeec0MD59THUMBNAILviniciusferreiravidal.pdf.jpgviniciusferreiravidal.pdf.jpgGenerated Thumbnailimage/jpeg1130https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/10/viniciusferreiravidal.pdf.jpgd59a59c278f9b84e32b68c710ce46227MD510LICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/8/license.txt8a4605be74aa9ea9d79846c1fba20a33MD58ufjf/102902019-07-12 03:07:01.371oai:hermes.cpd.ufjf.br:ufjf/10290Tk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=Repositório InstitucionalPUBhttps://repositorio.ufjf.br/oai/requestopendoar:2019-07-12T06:07:01Repositório Institucional da UFJF - Universidade Federal de Juiz de Fora (UFJF)false
dc.title.pt_BR.fl_str_mv Reconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutenção
title Reconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutenção
spellingShingle Reconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutenção
Vidal, Vinicius Ferreira
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
SLAM
Modelo tridimensional
Manutenção
Inspeção térmica
SLAM
3D model
Maintenance
Thermal inspection
title_short Reconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutenção
title_full Reconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutenção
title_fullStr Reconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutenção
title_full_unstemmed Reconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutenção
title_sort Reconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutenção
author Vidal, Vinicius Ferreira
author_facet Vidal, Vinicius Ferreira
author_role author
dc.contributor.advisor1.fl_str_mv Honório, Leonardo de Mello
dc.contributor.advisor1Lattes.fl_str_mv http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4707900U4
dc.contributor.advisor-co1.fl_str_mv Marcato, André Luís Marques
dc.contributor.advisor-co1Lattes.fl_str_mv http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4737297A6
dc.contributor.referee1.fl_str_mv Moreira, António Paulo Gomes Mendes
dc.contributor.referee1Lattes.fl_str_mv http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4678717H8
dc.contributor.referee2.fl_str_mv Cerqueira, Augusto Santiago
dc.contributor.referee2Lattes.fl_str_mv http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4763697Y0
dc.contributor.referee3.fl_str_mv Dantas, Mario Antonio Ribeiro
dc.contributor.referee3Lattes.fl_str_mv http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4761699H4
dc.contributor.authorLattes.fl_str_mv http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4318120P9
dc.contributor.author.fl_str_mv Vidal, Vinicius Ferreira
contributor_str_mv Honório, Leonardo de Mello
Marcato, André Luís Marques
Moreira, António Paulo Gomes Mendes
Cerqueira, Augusto Santiago
Dantas, Mario Antonio Ribeiro
dc.subject.cnpq.fl_str_mv CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
topic CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
SLAM
Modelo tridimensional
Manutenção
Inspeção térmica
SLAM
3D model
Maintenance
Thermal inspection
dc.subject.por.fl_str_mv SLAM
Modelo tridimensional
Manutenção
Inspeção térmica
SLAM
3D model
Maintenance
Thermal inspection
description Os avanços na última década na área da visão computacional, em termos tanto de hardware como de software, permitiram a expansão da aplicação da realidade virtual e localização e mapeamento simultâneos (SLAM) de câmeras no ambiente. Com isso diversas áreas foram beneficiadas, incluindo a manutenção de equipamentos. No caso de equipamentos no setor elétrico, diversos defeitos ocasionam aumento relevante de temperatura, que podem ser inspecionados por imagens térmicas, porém cuidados como influência do ambiente e ângulo de visão podem resultar em interpretações errôneas. Esse trabalho traz um sistema que visa atingir essas duas funções: realizar a reconstrução do ambiente real em 3 dimensões no mundo virtual a partir de imagens obtidas por câmeras, o que traz para o escritório a análise do ambiente externo e suas características; e projetar sobre esse modelo 3D dados de temperatura obtidos por uma câmera térmica, a fim de analisar de todos os ângulos o estado do objeto que se deseja avaliar quanto à presença de defeitos. Para isso, um par de câmeras estéreo e uma câmera térmica são alinhadas e sincronizadas para captação de imagens durante inspeção. Cada nuvem de pontos 3D é obtida com a técnica de visão estéreo empregada. Para a união, ou registro dessas nuvens, é empregada uma técnica de Odometria Visual para definir a pose das câmeras segundo as características das imagens do par estéreo, seguida de filtros segundo overlap entre as nuvens. Por fim, em cada nuvem obtida e sincronizada com a imagem térmica, técnicas de visão computacional são usadas para projetar os pontos em 3 dimensões na última e obter assim seu dado de temperatura observado pela câmera. Unindo todas essas técnicas, desenvolvidas com o auxílio do framework ROS em C++, é obtido um modelo virtual com informações visuais e térmicas do ambiente e objeto inspecionado pelo equipamento. Os resultados mostram a confiabilidade das técnicas empregadas, juntamente com modelos obtidos satisfatoriamente em diversos cenários.
publishDate 2019
dc.date.accessioned.fl_str_mv 2019-07-11T16:43:22Z
dc.date.available.fl_str_mv 2019-06-25
2019-07-11T16:43:22Z
dc.date.issued.fl_str_mv 2019-05-13
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufjf.br/jspui/handle/ufjf/10290
url https://repositorio.ufjf.br/jspui/handle/ufjf/10290
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by-sa/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-sa/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Juiz de Fora (UFJF)
dc.publisher.program.fl_str_mv Programa de Pós-graduação em Engenharia Elétrica
dc.publisher.initials.fl_str_mv UFJF
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Faculdade de Engenharia
publisher.none.fl_str_mv Universidade Federal de Juiz de Fora (UFJF)
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFJF
instname:Universidade Federal de Juiz de Fora (UFJF)
instacron:UFJF
instname_str Universidade Federal de Juiz de Fora (UFJF)
instacron_str UFJF
institution UFJF
reponame_str Repositório Institucional da UFJF
collection Repositório Institucional da UFJF
bitstream.url.fl_str_mv https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/6/viniciusferreiravidal.pdf
https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/7/license_rdf
https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/9/viniciusferreiravidal.pdf.txt
https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/10/viniciusferreiravidal.pdf.jpg
https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/8/license.txt
bitstream.checksum.fl_str_mv 377a470c30b4dafb6dc04a79e9a12e35
9b85e4235558a2887c2be3998124b615
215ddfd35985ddae7ab3a72804caeec0
d59a59c278f9b84e32b68c710ce46227
8a4605be74aa9ea9d79846c1fba20a33
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFJF - Universidade Federal de Juiz de Fora (UFJF)
repository.mail.fl_str_mv
_version_ 1801661560478760960