A data-centric approach to missing data imputation: addressing noise, adversarial, and fairness challenges

• Ano de defesa: 2025
• Autor(a) principal: Mangussi, Arthur Dantas
• Orientador(a): Lorena, Ana Carolina
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• dARK ID: ark:/48912/001300001sfsj
• Idioma: eng
• Instituição de defesa: Universidade Federal de São Paulo
• Palavras-chave em Português: Machine learning; Data-centric AI; Missing data
• Link de acesso: https://hdl.handle.net/11600/73755

Dados produzidos em contextos reais frequentemente apresentam desafios como desbalanceamento, ruído e valores ausentes. Estudos recentes em aprendizado de máquina destacam que aprimorar a qualidade dos dados utilizados no treinamento é tão crucial quanto melhorar os modelos em si, o que constitui o campo de pesquisa conhecido como Inteligência Artificial Centrada em Dados (Data-Centric AI). Valores ausentes, definidos como a falta de informação em uma ou mais variáveis de um conjunto de dados, representam um desafio recorrente nesse campo. Tradicionalmente, o estudo de valores ausentes segue quatro etapas principais: aquisição de dados completos, amputação (geração artificial de valores ausentes), imputação (substituição dos valores ausentes por estratégias pré-definidas) e avaliação dos métodos de imputação e do desempenho de modelos treinados com dados imputados. Esta dissertação visa analisar a interação entre valores ausentes e outros problemas de qualidade encontrados em dados reais, como ruído, ataques adversariais e justiça algorítmica. Para cada análise, utilizamos o setup experimental clássico da literatura em estudos de dados ausentes. De maneira geral, a qualidade dos dados interfere na qualidade da imputação, podendo impactá-la positiva ou negativamente. No caso da interação entre dados ausentes e ruído, uma simples etapa de pré-processamento, como a aplicação de um filtro de ruído, pode melhorar a qualidade da imputação. Observou-se também que a escolha do método de imputação influencia os desfechos de justiça dos modelos, sugerindo a existência de trade-offs entre justiça e predição. Por fim, enquanto ataques adversariais são amplamente conhecidos por deteriorarem modelos preditivos, esta dissertação evidencia que eles afetam significativamente a eficácia dos métodos de imputação também, reforçando a necessidade de estratégias robustas e integradas para lidar com múltiplos problemas nos dados. Essas análises estão alinhadas com a premissa da Inteligência Artificial Centrada em Dados, na medida em que a melhoria da qualidade dos dados contribui para o desempenho de modelos de aprendizado de máquina em etapas subsequentes. Esta dissertação também contribui para a etapa de amputação, ao apresentar a primeira biblioteca Python capaz de gerar valores ausentes artificialmente utilizando diversas estratégias e mecanismos, possibilitando resultados reprodutíveis, avaliações justas de métodos de imputação e a criação de cenários realistas para a aplicação prática dessas técnicas.