Captura de movimento facial em tempo real para realidade aumentada

• Ano de defesa: 2019
• Autor(a) principal: LUCENA, João Otávio Brandão Antunes de
• Orientador(a): TEICHRIEB, Veronica
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de Pernambuco
• Programa de Pós-Graduação: Programa de Pos Graduacao em Ciencia da Computacao
• País: Brasil
• Palavras-chave em Português: Mídia; Imagem; Modelagem facial; Rastreamento facial
• Link de acesso: https://repositorio.ufpe.br/handle/123456789/35366

A Realidade Aumentada permite a adição de informações virtuais no mundo real por meio de sensores (como câmeras de vídeo). Uma possível maneira de se realizar o sensoriamento do mundo é através do reconhecimento de marcadores (como códigos 2D). Em contrapartida, algoritmos de detecção e rastreamento de características naturais – em tempo real – tornaram-se, há algum tempo, técnicas amplamente utilizadas e eficientes. O rastreamento de faces é um exemplo. Rastrear pontos de interesse da face, a pose da cabeça e expressões faciais permite o desenvolvimento de aplicações robustas em áreas como animação, jogos, entretenimento, vestuário, cosméticos, entre outras, sem a necessidade de rastrear qualquer elemento artificial. Nesse contexto, as abordagens mais recentes buscam realizar detecção e rastreamento facial 3D por meio de técnicas de aprendizagem de máquina, como redes neurais convolucionais. Tais técnicas são combinadas com algoritmos de reconstrução facial baseados em modelos ou malhas 3D com o objetivo de se obter uma modelagem simultânea da cabeça e captura de expressões faciais, em tempo real, possibilitando o aumento de faces. Contudo, algoritmos existentes na literatura ainda apresentam algumas falhas em certos cenários com movimento complexo e oclusões, devido a problemas em algumas etapas do processo, tanto no rastreamento quanto na reconstrução facial. Sendo assim, esta dissertação apresenta uma avaliação de técnicas recentes de rastreamento e modelagem facial 3D com a finalidade de propor melhorias e refinamentos. Para tal, foram desenvolvidas algumas abordagens utilizando imagens RGB e reconhecimento facial e, por fim, foi adotada uma técnica baseada em imagens de câmeras RGB-D e malha 3D genérica, desprovida de treinamento e/ou pré escaneamento da face. Posteriormente, foram desenvolvidas melhorias nas etapas de rastreamento e filtragem dos detalhes faciais, visando incrementar a qualidade nas etapas de cálculo da pose e modelagem facial, sem afetar significativamente o tempo de execução do algoritmo. Por fim, foram criados vários cenários para avaliação dos resultados, com movimentos de rotação vertical, inclinação lateral, extensão e flexão da cabeça, abruptos e não abruptos. Nestes cenários, os métodos propostos resultaram em claras melhorias na qualidade do alinhamento da malha 3D da face com as imagens de entrada, na captura das expressões faciais e na eliminação de deformações indesejadas no modelo das faces reconstruídos. A abordagem proposta também se mostrou mais robusta a falhas de rastreamento da face.