Computer vision methods for tattoo detection, location and classification

• Ano de defesa: 2022
• Autor(a) principal: Silva, Rodrigo Tchalski da
• Orientador(a): Lopes, Heitor Silvério
• Banca de defesa: Lazzaretti, André Eugênio , Lopes, Heitor Silvério , Aquino, Nelson Marcelo Romero , Minetto, Rodrigo
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Instituição de defesa: Universidade Tecnológica Federal do Paraná; Curitiba
• Programa de Pós-Graduação: Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
• País: Brasil
• Palavras-chave em Português: Tatuagem - Detecção; Tatuagem - Localização; Tatuagem - Classificação; Visão por computador; Identificação biométrica; Processamento de imagens; Tattooing - Detection; Tattooing - Location; Tattooing - Classification; Computer vision; Biometric identification; Image processing
• Área do conhecimento CNPq: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
• Link de acesso: http://repositorio.utfpr.edu.br/jspui/handle/1/29025

As tatuagens ainda são pouco exploradas como fator biométrico para identificação humana, principalmente na segurança pública, onde elas podem desempenhar um papel importante na identificação de criminosos, vítimas ou outras pessoas de interesse. As tatuagens são classificadas como biometria suave, pois não são permanentes e podem mudar ao longo do tempo, diferentemente dos traços biométricos rígidos (impressão digital, íris, DNA, etc.). Desta forma, o objetivo principal deste trabalho é aplicar métodos de visão computacional e transferência de aprendizado para os problemas de detecção, localização e classificação de tatuagens em imagens. Dada a escassez de bases de dados disponíveis na literatura para estes problemas, foram criadas bases de dados anotadas específicas para cada um dos problemas aqui abordados. Para o problema de detecção de tatuagens foi apresentado um modelo de aprendizado profundo baseado em transferência de aprendizado. Também foi aplicada a técnica de data augmentation para melhorar a diversidade dos conjuntos de treinamento para obter uma melhor precisão de classificação, e experimentos comparativos foram feitos para avaliar a diversidade de imagens nos conjuntos de dados e a precisão do modelo proposto. Para o problema de localização de tatuagens foi apresentada uma abordagem retreinando a rede Mask R-CNN com uma base de dados de tatuagens, e um fine tuning foi realizado na rede com o objetivo de encontrar o conjunto de parâmetros que apresentasse melhores resultados no treinamento da rede. Para o problema de classificação de tatuagens o modelo proposto foi também baseado na utilização de redes profundas com transferência de aprendizado para classificar um conjunto de 40 categorias de tatuagens, muitas delas com significado prático para segurança pública. A técnica de data augmentation também foi utilizada para melhorar a diversidade e robustez dos dados de treinamento. Na detecção de tatuagens os resultados foram muito promissores, alcançando uma precisão de 95,1% no conjunto de teste e um F1-score de 0,79 em um conjunto de dados externo que, no geral, foram satisfatórios, dada a complexidade do problema. Na localização de tatuagens os resultados alcançaram uma precisão média de 89,3%, mostrando que a rede Mask R-CNN possui grande capacidade de adaptação para o ambiente de tatuagens, além de ser realizada uma análise qualitativa que ajudou a entender como as características das imagens e das anotações tem influência sobre os resultados. Na classificação de tatuagens, os resultados alcançaram 85,48% de acurácia ao utilizar validação cruzada e data augmentation, mostrando que a abordagem de transferência de aprendizado adotada tem boa capacidade para este problema. Trabalhos futuros incluirão melhorar a qualidade e o volume das bases de dados, realizar um estudo mais profundo sobre o ajuste fino de parâmetros das redes, e estudos de técnicas de mundo aberto para classificação de tatuagens, além de desenvolvimento de modelos para outros problemas que compõem o sistema de reconhecimento de tatuagens.