Avaliação de Discriminação em Aprendizagem de Máquina usando Técnicas de Interpretabilidade.

Detalhes bibliográficos
Ano de defesa: 2020
Autor(a) principal: Cesaro, Juliana
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Discriminação
Fairness
Feature importance
Inteligência artificial
Interpretability
SHAP
Shapley
Teoria dos jogos
Link de acesso: https://www.teses.usp.br/teses/disponiveis/3/3141/tde-31052021-114333/
Resumo: Preconceitos presentes na sociedade podem criar vieses em modelos aprendidos a partir de dados. Para avaliar a existência de viés, alguns pesquisadores propõem o uso de definições de \"justiça\", enquanto outros usam técnicas de interpretabilidade. Porém, parece não existir nenhum estudo que compara as medidas de justiça (através de várias definições de justiça) e os resultados de interpretabilidade (através de várias noções de interpretabilidade). Nesse trabalho foi proposto metodologias para examinar e comparar essas técnicas. A ideia ´e avaliar como as medidas de justiça e o resultado de interpretabilidade variam em um modelo com viés e em outro sem viés. O foco foi no uso do SHAP (SHapley Additive exPlanations) como técnica de interpretabilidade, que usa conceito da teoria dos jogos cooperativos para calcular a contribuição de cada atributo em uma previsão gerada pelo modelo; foi apresentado resultados com alguns conjuntos de dados propensos a injustiça. Com os experimentos foi identificado qual a medida de justiça tem relação alta e baixa com o resultado do SHAP, o que auxiliaria a decidir quando é recomendável usar o SHAP como técnica de interpretabilidade ou quando é melhor usar outra técnica.
id USP_e5f69fd6050bc1360e8a1c5d8c608086
oai_identifier_str oai:teses.usp.br:tde-31052021-114333
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str
spelling Avaliação de Discriminação em Aprendizagem de Máquina usando Técnicas de Interpretabilidade.Measuring fairness in machine learning through interpretability techniques.DiscriminaçãoFairnessFeature importanceInteligência artificialInterpretabilitySHAPShapleyTeoria dos jogosPreconceitos presentes na sociedade podem criar vieses em modelos aprendidos a partir de dados. Para avaliar a existência de viés, alguns pesquisadores propõem o uso de definições de \"justiça\", enquanto outros usam técnicas de interpretabilidade. Porém, parece não existir nenhum estudo que compara as medidas de justiça (através de várias definições de justiça) e os resultados de interpretabilidade (através de várias noções de interpretabilidade). Nesse trabalho foi proposto metodologias para examinar e comparar essas técnicas. A ideia ´e avaliar como as medidas de justiça e o resultado de interpretabilidade variam em um modelo com viés e em outro sem viés. O foco foi no uso do SHAP (SHapley Additive exPlanations) como técnica de interpretabilidade, que usa conceito da teoria dos jogos cooperativos para calcular a contribuição de cada atributo em uma previsão gerada pelo modelo; foi apresentado resultados com alguns conjuntos de dados propensos a injustiça. Com os experimentos foi identificado qual a medida de justiça tem relação alta e baixa com o resultado do SHAP, o que auxiliaria a decidir quando é recomendável usar o SHAP como técnica de interpretabilidade ou quando é melhor usar outra técnica.Prejudices present in society and in data can introduce biases in a model. In order to evaluate the presence of bias in machine learning, some proposals use fairness measures, while others use interpretability techniques. However, there seems to be no study that compares fairness measures (across various definitions of fairness) and interpretability results (across various notions of interpretability). In this work, we propose ways to evaluate and compare such notions. The idea is to evaluate how fairness measures and interpretability results vary in a model with bias and another one without bias. We focus in particular on SHAP (SHapley Additive exPlanations) as the interpretability technique, which uses cooperative game theory concepts to calculate each feature contribution in a forecast generated by the model; we present results for a number of unfairness-prone datasets. The experiments allow us to identify the fairness measures with high and low connection with SHAP results, which would help decide when it is recommended to use SHAP as an interpretability technique or when it is better to use another technique.Biblioteca Digitais de Teses e Dissertações da USPCozman, Fabio GagliardiCesaro, Juliana2020-11-05info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/3/3141/tde-31052021-114333/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2024-10-09T12:45:42Zoai:teses.usp.br:tde-31052021-114333Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212024-10-09T12:45:42Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Avaliação de Discriminação em Aprendizagem de Máquina usando Técnicas de Interpretabilidade.
Measuring fairness in machine learning through interpretability techniques.
title Avaliação de Discriminação em Aprendizagem de Máquina usando Técnicas de Interpretabilidade.
spellingShingle Avaliação de Discriminação em Aprendizagem de Máquina usando Técnicas de Interpretabilidade.
Cesaro, Juliana
Discriminação
Fairness
Feature importance
Inteligência artificial
Interpretability
SHAP
Shapley
Teoria dos jogos
title_short Avaliação de Discriminação em Aprendizagem de Máquina usando Técnicas de Interpretabilidade.
title_full Avaliação de Discriminação em Aprendizagem de Máquina usando Técnicas de Interpretabilidade.
title_fullStr Avaliação de Discriminação em Aprendizagem de Máquina usando Técnicas de Interpretabilidade.
title_full_unstemmed Avaliação de Discriminação em Aprendizagem de Máquina usando Técnicas de Interpretabilidade.
title_sort Avaliação de Discriminação em Aprendizagem de Máquina usando Técnicas de Interpretabilidade.
author Cesaro, Juliana
author_facet Cesaro, Juliana
author_role author
dc.contributor.none.fl_str_mv Cozman, Fabio Gagliardi
dc.contributor.author.fl_str_mv Cesaro, Juliana
dc.subject.por.fl_str_mv Discriminação
Fairness
Feature importance
Inteligência artificial
Interpretability
SHAP
Shapley
Teoria dos jogos
topic Discriminação
Fairness
Feature importance
Inteligência artificial
Interpretability
SHAP
Shapley
Teoria dos jogos
description Preconceitos presentes na sociedade podem criar vieses em modelos aprendidos a partir de dados. Para avaliar a existência de viés, alguns pesquisadores propõem o uso de definições de \"justiça\", enquanto outros usam técnicas de interpretabilidade. Porém, parece não existir nenhum estudo que compara as medidas de justiça (através de várias definições de justiça) e os resultados de interpretabilidade (através de várias noções de interpretabilidade). Nesse trabalho foi proposto metodologias para examinar e comparar essas técnicas. A ideia ´e avaliar como as medidas de justiça e o resultado de interpretabilidade variam em um modelo com viés e em outro sem viés. O foco foi no uso do SHAP (SHapley Additive exPlanations) como técnica de interpretabilidade, que usa conceito da teoria dos jogos cooperativos para calcular a contribuição de cada atributo em uma previsão gerada pelo modelo; foi apresentado resultados com alguns conjuntos de dados propensos a injustiça. Com os experimentos foi identificado qual a medida de justiça tem relação alta e baixa com o resultado do SHAP, o que auxiliaria a decidir quando é recomendável usar o SHAP como técnica de interpretabilidade ou quando é melhor usar outra técnica.
publishDate 2020
dc.date.none.fl_str_mv 2020-11-05
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/3/3141/tde-31052021-114333/
url https://www.teses.usp.br/teses/disponiveis/3/3141/tde-31052021-114333/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1818279245577715712

Registros relacionados