Zero-shot human attribute classification using pretrained VLMs

• Ano de defesa: 2025
• Autor(a) principal: Ceschini, Lucas Mayer
• Orientador(a): Jung, Claudio Rosito
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Palavras-chave em Português: Visão computacional; Modelos de visão e linguagem; Aprendizado zero-shot; Reconhecimento de atributos faciais
• Palavras-chave em Inglês: Facial attribute recognition; Zero-shot classification
• Link de acesso: http://hdl.handle.net/10183/298620

Reconhecimento de gênero e etnia é uma tarefa chave de visão computacional para bi- ometria, vigilância e estudos demográficos. Contrastive Language-Image Pre-training (CLIP) é um modelo de visão e linguagem com uma performance zero-shot promissora em diversas tarefas alvo, sem a necessidade de fine-tuning nem retreinamento, permitindo aos usuários que simplesmente forneçam uma imagem e perguntem sobre suas caracte- rísticas. Porém, dado a natureza dos dados usados para treinar esses modelos e o impacto do prompt de texto nos resultados da classificação, ele pode amplificar preconceitos e estereótipos. Neste artigo, investigamos o impacto do dimensionamento dos dados de treinamento e dos modelos na classificação zero-shot de gênero e etnias, utilizando diver- sos modelos do tipo CLIP. Conduzimos um benchmark de dimensionamento de modelos ViT que vão desde o ViT-B-32 até o ViT-g-14, e um benchmark de dimensionamento de dados com modelos treinados no conjunto de dados original da OpenAI, e os conjuntos de dados Laion-400M e Laion-2B. Percebemos uma leve melhoria na acurácia e na equi- dade com os dimensionamentos, mas com resultados ainda muito abaixos do esperados para implantação, sugerindo que o dimensionamento puro não é suficiente. Com isso, melhoramos o prompt de texto ao inserir características biométricas como raça, idade e gênero, melhorando a acurácia de 0.58 para 0.65 com ViT-B-16. Finalmente, exploramos os limites da engenharia manual do prompt com um algoritmo de prompt tuning chamado CoOp, capaz de mitigar lacunas sérias nos modelos base.