Detecção e segmentação de modificações em placas de circuito impresso em ambientes não controlados através de métodos de uma classe e autoencoders

Detalhes bibliográficos
Ano de defesa: 2023
Autor(a) principal: Oliveira, Diulhio Candido de
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
UTFPR
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: http://repositorio.utfpr.edu.br/jspui/handle/1/33130
Resumo: The visual inspection of printed circuit boards (PCBs) is an important problem in areas such as quality control in production lines and fraud detection. Inspection involves detecting assembly errors and identifying the replacement or addition of new components that were not originally specified. Such changes can interfere with the correct behavior of the circuit. Detecting alterations through automated visual inspection is a viable alternative that accelerates the production process or the detection of fraud by non-specialists. However, anomaly detection presents challenges, especially when there is an imbalance between data classes and few anomaly samples available. Additionally, visual inspection in uncontrolled environments, such as anomaly detection in PCBs, is complex due to external variations, such as lighting, angle, and perspective. This work proposes a deep learning-based approach using convolutional autoencoders for the detection and segmentation of anomalies in PCB images in uncontrolled environments. The main objective is to develop a method that can operate in real conditions, trained only with images without anomalies. This eliminates the need to collect a large volume of images with anomalies for training, which can be impractical or costly. The contributions of this work include defining an effective cost function and comparison function for training and evaluating convolutional autoencoders. These functions enable the detection and segmentation of anomalies based on high-level features rather than individual pixels, making the method more robust in uncontrolled environments. Additionally, the labeled dataset MPI-PCB was created, containing PCB images for training, evaluation, and testing of the proposed method. This dataset was made publicly available, along with anomaly masks for comparison with other methods. Validation experiments of the method were performed against comparative methods from the literature PaDiM, SPADE, DFR and SPTM, using the proposed image dataset. The proposed method achieved the best results in all analyzed regions of the image, obtaining an Intersection over Union of 0.677 compared to the best comparative method’s 0.507, the PaDiM. Furthermore, experiments were conducted on the MVTec-AD anomaly detection image dataset, demonstrating the method’s effectiveness in other applications. Overall, this work provides a robust solution to the described problem and contributes to the goal of developing methods capable of detecting anomalies in uncontrolled environments.
id UTFPR-12_8f0ff300c62ffab2bf9fb61b9c0edff1
oai_identifier_str oai:repositorio.utfpr.edu.br:1/33130
network_acronym_str UTFPR-12
network_name_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository_id_str
spelling Detecção e segmentação de modificações em placas de circuito impresso em ambientes não controlados através de métodos de uma classe e autoencodersDetection and segmentation of modifications in printed circuit boards in uncontrolled environments using one-class methods and autoencodersCircuitos impressos - AnomaliasCircuitos impressos - InspeçãoAprendizado profundo (aprendizado de máquina)Processamento de imagensVisão por computadorControle de qualidadeRedes neurais (Computação)Printed circuits - AbnormalitiesPrinted circuits - InspectionDeep learning (Machine learning)Image processingComputer visionQuality controlNeural networks (Computer science)CNPQ::ENGENHARIAS::ENGENHARIA ELETRICAEngenharia ElétricaThe visual inspection of printed circuit boards (PCBs) is an important problem in areas such as quality control in production lines and fraud detection. Inspection involves detecting assembly errors and identifying the replacement or addition of new components that were not originally specified. Such changes can interfere with the correct behavior of the circuit. Detecting alterations through automated visual inspection is a viable alternative that accelerates the production process or the detection of fraud by non-specialists. However, anomaly detection presents challenges, especially when there is an imbalance between data classes and few anomaly samples available. Additionally, visual inspection in uncontrolled environments, such as anomaly detection in PCBs, is complex due to external variations, such as lighting, angle, and perspective. This work proposes a deep learning-based approach using convolutional autoencoders for the detection and segmentation of anomalies in PCB images in uncontrolled environments. The main objective is to develop a method that can operate in real conditions, trained only with images without anomalies. This eliminates the need to collect a large volume of images with anomalies for training, which can be impractical or costly. The contributions of this work include defining an effective cost function and comparison function for training and evaluating convolutional autoencoders. These functions enable the detection and segmentation of anomalies based on high-level features rather than individual pixels, making the method more robust in uncontrolled environments. Additionally, the labeled dataset MPI-PCB was created, containing PCB images for training, evaluation, and testing of the proposed method. This dataset was made publicly available, along with anomaly masks for comparison with other methods. Validation experiments of the method were performed against comparative methods from the literature PaDiM, SPADE, DFR and SPTM, using the proposed image dataset. The proposed method achieved the best results in all analyzed regions of the image, obtaining an Intersection over Union of 0.677 compared to the best comparative method’s 0.507, the PaDiM. Furthermore, experiments were conducted on the MVTec-AD anomaly detection image dataset, demonstrating the method’s effectiveness in other applications. Overall, this work provides a robust solution to the described problem and contributes to the goal of developing methods capable of detecting anomalies in uncontrolled environments.A inspeção visual de placas de circuito impresso (PCI) é um problema importante em áreas como controle de qualidade em linhas de produção e detecção de fraudes. A inspeção envolve a detecção erros de montagem e da substituição ou adição de novos componentes não especificados originalmente. Tais mudanças podem interferir no funcionamento correto do circuito, sendo a detecção de adulterações por meio da automação da inspeção visual uma alternativa viável que acelera o processo produtivo e a detecção de fraudes por não especialistas. No entanto, a detecção de anomalias apresenta desafios, especialmente quando há um desequilíbrio entre as classes de dados e poucas amostras de anomalias disponíveis. Além disso, a inspeção visual em ambientes não controlados, como a detecção de anomalias em PCIs, é complexa devido a variações externas, como iluminação, ângulo e perspectiva. Este trabalho propõe uma abordagem baseada em aprendizado profundo, usando Autoencoders convolucionais, para a detecção e segmentação de anomalias em imagens de PCIs em ambientes não controlados. O objetivo principal é desenvolver um método que possa operar em condições reais, treinado apenas com imagens sem anomalias. Isso elimina a necessidade de se coletar um grande volume de imagens com anomalias para treinamento, o que pode ser inviável ou custoso. As contribuições deste trabalho incluem a definição de uma função de custo e uma função de comparação eficazes para treinar e avaliar os Autoencoders convolucionais. Essas funções permitem a detecção e segmentação de anomalias com base em características de alto nível em vez de pixels individuais, tornando o método mais robusto em ambientes não controlados. Além disso, o conjunto de dados rotulado MPI-PCB foi criado, contendo imagens de PCIs para treinamento, avaliação e teste do método proposto. Este conjunto de dados foi disponibilizado publicamente, juntamente com máscaras de anomalias para comparação com outros métodos. Os experimentos de validação do método foram realizados sobre os métodos da literatura PaDiM, SPADE, DFR e SPTM, utilizando a base de imagens proposta. O método proposto alcançou os melhores resultados em todas as regiões analisadas da imagem, obtendo Intersection over Union de 0,677 contra 0,507 do melhor método comparado, o PaDiM. Além disso, foram realizados experimentos na base de imagens para detecção de anomalias MVTec-AD, mostrando a eficácia do método em outras aplicações. No geral, este trabalho oferece uma solução robusta para o problema descrito e contribuiu para o objetivo de desenvolver métodos capazes de detectar anomalias em ambientes não-controlados.Universidade Tecnológica Federal do ParanáCuritibaBrasilPrograma de Pós-Graduação em Engenharia Elétrica e Informática IndustrialUTFPRWehrmeister, Marco Auréliohttps://orcid.org/0000-0002-1415-5527http://lattes.cnpq.br/5548205054206839Nassu, Bogdan Tomoyukihttps://orcid.org/0000-0001-6441-8543http://lattes.cnpq.br/4592104393315780Britto Junior, Alceu de Souzahttps://orcid.org/0000-0002-3064-3563http://lattes.cnpq.br/4251936710939364Lazzaretti, André Eugêniohttps://orcid.org/0000-0003-1861-3369http://lattes.cnpq.br/7649611874688878Todt, Eduardohttps://orcid.org/0000-0001-6045-1274http://lattes.cnpq.br/9942240121225139Fabro, João Albertohttps://orcid.org/0000-0001-8975-0323http://lattes.cnpq.br/6841185662777161Minetto, Rodrigohttps://orcid.org/0000-0003-2277-4632http://lattes.cnpq.br/8366112479020867Oliveira, Diulhio Candido de2024-01-02T19:45:40Z2024-01-02T19:45:40Z2023-10-05info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfOLIVEIRA, Diulhio Candido de. Detecção e segmentação de modificações em placas de circuito impresso em ambientes não controlados através de métodos de uma classe e autoencoders. 2023. Tese (Doutorado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2023.http://repositorio.utfpr.edu.br/jspui/handle/1/33130porAttribution 4.0 Internationalhttp://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2024-01-03T06:07:25Zoai:repositorio.utfpr.edu.br:1/33130Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2024-01-03T06:07:25Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false
dc.title.none.fl_str_mv Detecção e segmentação de modificações em placas de circuito impresso em ambientes não controlados através de métodos de uma classe e autoencoders
Detection and segmentation of modifications in printed circuit boards in uncontrolled environments using one-class methods and autoencoders
title Detecção e segmentação de modificações em placas de circuito impresso em ambientes não controlados através de métodos de uma classe e autoencoders
spellingShingle Detecção e segmentação de modificações em placas de circuito impresso em ambientes não controlados através de métodos de uma classe e autoencoders
Oliveira, Diulhio Candido de
Circuitos impressos - Anomalias
Circuitos impressos - Inspeção
Aprendizado profundo (aprendizado de máquina)
Processamento de imagens
Visão por computador
Controle de qualidade
Redes neurais (Computação)
Printed circuits - Abnormalities
Printed circuits - Inspection
Deep learning (Machine learning)
Image processing
Computer vision
Quality control
Neural networks (Computer science)
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia Elétrica
title_short Detecção e segmentação de modificações em placas de circuito impresso em ambientes não controlados através de métodos de uma classe e autoencoders
title_full Detecção e segmentação de modificações em placas de circuito impresso em ambientes não controlados através de métodos de uma classe e autoencoders
title_fullStr Detecção e segmentação de modificações em placas de circuito impresso em ambientes não controlados através de métodos de uma classe e autoencoders
title_full_unstemmed Detecção e segmentação de modificações em placas de circuito impresso em ambientes não controlados através de métodos de uma classe e autoencoders
title_sort Detecção e segmentação de modificações em placas de circuito impresso em ambientes não controlados através de métodos de uma classe e autoencoders
author Oliveira, Diulhio Candido de
author_facet Oliveira, Diulhio Candido de
author_role author
dc.contributor.none.fl_str_mv Wehrmeister, Marco Aurélio
https://orcid.org/0000-0002-1415-5527
http://lattes.cnpq.br/5548205054206839
Nassu, Bogdan Tomoyuki
https://orcid.org/0000-0001-6441-8543
http://lattes.cnpq.br/4592104393315780
Britto Junior, Alceu de Souza
https://orcid.org/0000-0002-3064-3563
http://lattes.cnpq.br/4251936710939364
Lazzaretti, André Eugênio
https://orcid.org/0000-0003-1861-3369
http://lattes.cnpq.br/7649611874688878
Todt, Eduardo
https://orcid.org/0000-0001-6045-1274
http://lattes.cnpq.br/9942240121225139
Fabro, João Alberto
https://orcid.org/0000-0001-8975-0323
http://lattes.cnpq.br/6841185662777161
Minetto, Rodrigo
https://orcid.org/0000-0003-2277-4632
http://lattes.cnpq.br/8366112479020867
dc.contributor.author.fl_str_mv Oliveira, Diulhio Candido de
dc.subject.por.fl_str_mv Circuitos impressos - Anomalias
Circuitos impressos - Inspeção
Aprendizado profundo (aprendizado de máquina)
Processamento de imagens
Visão por computador
Controle de qualidade
Redes neurais (Computação)
Printed circuits - Abnormalities
Printed circuits - Inspection
Deep learning (Machine learning)
Image processing
Computer vision
Quality control
Neural networks (Computer science)
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia Elétrica
topic Circuitos impressos - Anomalias
Circuitos impressos - Inspeção
Aprendizado profundo (aprendizado de máquina)
Processamento de imagens
Visão por computador
Controle de qualidade
Redes neurais (Computação)
Printed circuits - Abnormalities
Printed circuits - Inspection
Deep learning (Machine learning)
Image processing
Computer vision
Quality control
Neural networks (Computer science)
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia Elétrica
description The visual inspection of printed circuit boards (PCBs) is an important problem in areas such as quality control in production lines and fraud detection. Inspection involves detecting assembly errors and identifying the replacement or addition of new components that were not originally specified. Such changes can interfere with the correct behavior of the circuit. Detecting alterations through automated visual inspection is a viable alternative that accelerates the production process or the detection of fraud by non-specialists. However, anomaly detection presents challenges, especially when there is an imbalance between data classes and few anomaly samples available. Additionally, visual inspection in uncontrolled environments, such as anomaly detection in PCBs, is complex due to external variations, such as lighting, angle, and perspective. This work proposes a deep learning-based approach using convolutional autoencoders for the detection and segmentation of anomalies in PCB images in uncontrolled environments. The main objective is to develop a method that can operate in real conditions, trained only with images without anomalies. This eliminates the need to collect a large volume of images with anomalies for training, which can be impractical or costly. The contributions of this work include defining an effective cost function and comparison function for training and evaluating convolutional autoencoders. These functions enable the detection and segmentation of anomalies based on high-level features rather than individual pixels, making the method more robust in uncontrolled environments. Additionally, the labeled dataset MPI-PCB was created, containing PCB images for training, evaluation, and testing of the proposed method. This dataset was made publicly available, along with anomaly masks for comparison with other methods. Validation experiments of the method were performed against comparative methods from the literature PaDiM, SPADE, DFR and SPTM, using the proposed image dataset. The proposed method achieved the best results in all analyzed regions of the image, obtaining an Intersection over Union of 0.677 compared to the best comparative method’s 0.507, the PaDiM. Furthermore, experiments were conducted on the MVTec-AD anomaly detection image dataset, demonstrating the method’s effectiveness in other applications. Overall, this work provides a robust solution to the described problem and contributes to the goal of developing methods capable of detecting anomalies in uncontrolled environments.
publishDate 2023
dc.date.none.fl_str_mv 2023-10-05
2024-01-02T19:45:40Z
2024-01-02T19:45:40Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv OLIVEIRA, Diulhio Candido de. Detecção e segmentação de modificações em placas de circuito impresso em ambientes não controlados através de métodos de uma classe e autoencoders. 2023. Tese (Doutorado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2023.
http://repositorio.utfpr.edu.br/jspui/handle/1/33130
identifier_str_mv OLIVEIRA, Diulhio Candido de. Detecção e segmentação de modificações em placas de circuito impresso em ambientes não controlados através de métodos de uma classe e autoencoders. 2023. Tese (Doutorado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2023.
url http://repositorio.utfpr.edu.br/jspui/handle/1/33130
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution 4.0 International
http://creativecommons.org/licenses/by/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution 4.0 International
http://creativecommons.org/licenses/by/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
UTFPR
publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
UTFPR
dc.source.none.fl_str_mv reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
instname:Universidade Tecnológica Federal do Paraná (UTFPR)
instacron:UTFPR
instname_str Universidade Tecnológica Federal do Paraná (UTFPR)
instacron_str UTFPR
institution UTFPR
reponame_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
collection Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository.name.fl_str_mv Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)
repository.mail.fl_str_mv riut@utfpr.edu.br || sibi@utfpr.edu.br
_version_ 1850498241766883328