Reduzindo viés em classificação de tons de pele em bases de dados de imagens

• Ano de defesa: 2022
• Autor(a) principal: Manoel, Luiz Augusto Vieira
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Classificação de tom de pele; Classificação justa; Diversidade de faces; Face recognition; Fair classification; Image Processing; Processamento de imagens; Reconhecimento facial; Representativeness; Skin tone classification
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-29112022-161352/

Grandes conjuntos de dados de imagens de faces são frequentemente usados para treinar e implementar soluções de visão computacional para reconhecimento facial. Nesse contexto, a aplicação de tais modelos em diferentes populações levanta preocupações sobre a existência de exemplos suficientes e representativos para as diversas classes / grupos em termos de gênero, idade e cor da pele, entre outros atributos. O viés de seleção desses dados é inserido durante a coleta. É difícil encontrar bancos de dados que sejam anotados por cor da pele ou atributos étnico-raciais, o que também dificulta o estudo de viés de seleção nesse contexto em aprendizado de máquina. O objetivo deste projeto de pesquisa é propor e avaliar um método para detecção de tons de pele em imagens que tenham desempenho equilibrado para diferentes tipos de pele e que permita auditar bases de dados de forma a minimizar problemas com viés de seleção em modelos de reconhecimento facial em direção a uma classificação justa. O método proposto consiste em aplicar diferentes abordagens de processamento de imagens e algoritmos para rotulagem automática da cor da pele, selecionando as melhores abordagens para cada tipo de cor de pele (usando o sistema de classificação Fitzpatrick Skin Type) de acordo com o F-score obtido e aplicando-as em ordem de prioridade. Mostramos que o uso de uma única abordagem tende a direcionar os melhores resultados para faixas específicas de tons de pele, enquanto a combinação reduz o viés geral e melhora a classificação em diferentes tipos de pele. Aplicamos a proposta no banco de dados de faces LFW e no banco de dados dermatológico Fitzpatrick17k usando transformações gama, CLAHE, equalização de histogramas e filtros estatísticos de ordem não linear. Mostramos que um extrator de características com pesos pré treinados da Facenet usando o modelo de rede neural convolucional ResNet50 como base tem pior desempenho na distinção de pessoas de pele escura e que é possível mitigar esse efeito através de técnicas de pré-processamento de imagens combinando abordagens que sejam melhores em cada faixa de tom de pele para obter um método de rotulação automática de grandes bancos de dados que se aproxime da rotulação manual. Por fim, disponibilizamos para futuros trabalhos, além da descrição do método, um destacamento da LFW com anotações manuais de tons de pele de 150 pessoas únicas e anotações de cor de pele para cada imagem da base LFW completa feitas a partir do método de classificação automática proposto.