A study of the nuances of AI fairness development in practice: a framework for designing bias mitigation interventions

• Ano de defesa: 2024
• Autor(a) principal: Mírian Francielle da Silva
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Instituição de defesa: Universidade Federal de Minas Gerais
• Palavras-chave em Português: Computação - Teses; Aprendizagem do Computador - Teses; Inteligência artificial - Teses; Artificial intelligence; AI fairness; Bias mitigation; Development framework; Machine learning
• Link de acesso: https://hdl.handle.net/1843/78989

Intervenções para alcançar “justiça” (fairness) são um foco importante na maioria dos campos de pesquisa de ética em Inteligência Artificial (IA). Quando vieses relacionados a algumas características (por exemplo, raça, sexo, idade, religião) são identificados em sistemas de IA e contribuem para resultados que contém discriminação, desenvolvedores, engenheiros de IA ou partes interessadas devem escolher como e quando intervir para reduzir a disseminção de injustiças. No entanto, a literatura contém uma infinidade de noções diferentes que caracterizam as definições de fairness e de geração de viés. Ainda assim, a necessidade de um processo mais padronizado de intervenção, continua sendo uma tarefa desafiadora, pois exige determinar o método adequado de redução de injustiças para um determinado contexto ou tarefa. Nesta pesquisa, exploramos as definições de fairness com base em conceitos estatísticos com o objetivo de abordar a necessidade de desenvolvimento responsável de IA, propondo uma estrutura focada na mitigação de vieses em tarefas de classificação binária dentro do aprendizado de máquina supervisionado. A estrutura proposta é guiada por três critérios de equidade (fairness) estatística: Independência, Separação e Suficiência, discutidos no trabalho de Barocas et al. (2023), e visa explorar os trade-offs entre essas diferentes caracterizações. Nosso estudo destaca a complexidade que é definitir fairness, que é dependente do contexto e tarefas, ressaltando os desafios em alcançar critérios de avaliação universalmente aplicáveis, pois mostramos que essas três definições não podem ser alcançadas simultaneamente. Revisamos métodos de intervenção de viés existentes, incluindo técnicas aplicadas em diferentes estágios do desenvolvimento de um pipeline de aprendizado de máquina. Essa pesquisa contribui principalmente com uma estrutura que pode aprimorar o estado-da-arte do processo de desenvolvimento e aplicação de técnicas de mitigação e avaliação de viés, com base em conceitos estatísticos, comparando várias definições de imparcialidade, evitando soluções do tipo "tamanho único". Possibilitando o uso de uma abordagem que oferece múltiplas perspectivas do contexto para contemplar vários públicos, e evitar personalizações caso-a-caso (para métricas de justiça em grupo), independentemente dos vieses, objetivos ou partes interessadas envolvidas. Aplicamos nossa estrutura por meio de um estudo de caso usando dados do censo dos EUA American Community Survey (ACS) para prever níveis de renda, demonstrando a aplicação de várias intervenções de redução de viés e seu impacto no desempenho do modelo. As descobertas da pesquisa revelam que diferentes critérios de justiça levam a resultados distintos, enfatizando a importância de aplicar diferentes definições de justiça afim de selecionar a mais apropriada com base no contexto específico e nas implicações sociais em relação aos objetivos das partes interessadas. Também discutimos as limitações das ferramentas atuais de avaliação e quantificação de viéses e a necessidade de diretrizes de ética de IA mais práticas e implementáveis de acordo com diferentes noções de fairness. A estrutura proposta está disponível como uma ferramenta de código-aberto, com objetivo de auxiliar a comunidade de profissionais de IA a expandir as formas de aplicar mitigações de injustiças em sistemas de IA abordando uma variedade de perspectivas de fairness.