[pt] EXPLICABILIDADE INTRÍNSECA E MODALIDADES DE COMUNICAÇÃO EM TIMES HUMANO-AGENTE: UM ESTUDO EXPERIMENTAL
| Ano de defesa: | 2025 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Tese |
| Tipo de acesso: | Acesso aberto |
| Idioma: | eng |
| Instituição de defesa: |
MAXWELL
|
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=74365&idi=1 https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=74365&idi=2 http://doi.org/10.17771/PUCRio.acad.74365 |
Resumo: | [pt] Inteligência Artificial Explicável (XAI) tem demonstrado potencial para melhorar a colaboração entre humanos e agentes, mas avaliações já feitas se baseiam em políticas construídas manualmente testadas em ambientes personalizados, o que limita a transferência de conclusões para pesquisas de ponta na área de colaboração humano-agente. Neste trabalho, apresentamos a primeira avaliação sistemática de recursos de XAI gerados a partir de uma política de aprendizado de máquina intrinsecamente explicável, utilizando um ambiente experimental de referência. Usando a arquitetura Hierarchical Ad Hoc Agents (HA2) no ambiente Overcooked-AI, geramos explicações em tempo real diretamente das seleções de subtarefas hierárquicas do agente e as disponibilizamos através de modalidades de texto ou áudio. No nosso experimento (n=38), identificamos que explicações não trazem benefícios de desempenho para participantes experientes, desafiando premissas sobre utilidade de XAI em colaboração acelerada. Porém, explicações em áudio geraram taxas de aprendizado mais rápidas que texto ou controle, sugerindo que explicações facilitam adaptação ao invés de desempenho imediato. Apresentamos a primeira comparação de efeitos de modalidades de explicação em colaboração humano-agente em tempo real e definimos um sistema de gatilhos para temporizar entrega de explicações. Nossos resultados evidenciam que conclusões de estudos Wizardof-Oz e políticas manuais podem não transferir-se para sistemas baseados em aprendizado de máquina, e que a eficácia de XAI depende criticamente da adequação entre as demandas da tarefa e a expertise do usuário. Este trabalho estabelece a metodologia para avaliar arquiteturas de aprendizado por reforço intrinsecamente explicáveis em ambientes de referência, conectando pesquisas de XAI e colaboração humano-agente. |
| id |
PUC_RIO-1_1c03713194e77b106f107743a290b766 |
|---|---|
| oai_identifier_str |
oai:MAXWELL.puc-rio.br:74365 |
| network_acronym_str |
PUC_RIO-1 |
| network_name_str |
Repositório Institucional da PUC-RIO (Projeto Maxwell) |
| repository_id_str |
|
| spelling |
[pt] EXPLICABILIDADE INTRÍNSECA E MODALIDADES DE COMUNICAÇÃO EM TIMES HUMANO-AGENTE: UM ESTUDO EXPERIMENTAL[en] INTRINSIC EXPLAINABILITY AND COMMUNICATION MODALITIES IN HUMAN-AGENT TEAMING: AN EXPERIMENTAL STUDY[pt] INTELIGENCIA ARTIFICIAL EXPLICAVEL[pt] SISTEMA DE EXPLICACAO EM TEMPO REAL[pt] OVERCOOKED AI[pt] APRENDIZADO POR REFORCO HIERARQUICO[pt] COLABORACAO HUMANO AGENTE[en] EXPLAINABLE AI[en] REAL TIME EXPLANATION SYSTEM[en] OVERCOOKED AI[en] HIERARCHICAL REFORCEMENT LEARNING[en] HUMAN AGENT TEAMING[pt] Inteligência Artificial Explicável (XAI) tem demonstrado potencial para melhorar a colaboração entre humanos e agentes, mas avaliações já feitas se baseiam em políticas construídas manualmente testadas em ambientes personalizados, o que limita a transferência de conclusões para pesquisas de ponta na área de colaboração humano-agente. Neste trabalho, apresentamos a primeira avaliação sistemática de recursos de XAI gerados a partir de uma política de aprendizado de máquina intrinsecamente explicável, utilizando um ambiente experimental de referência. Usando a arquitetura Hierarchical Ad Hoc Agents (HA2) no ambiente Overcooked-AI, geramos explicações em tempo real diretamente das seleções de subtarefas hierárquicas do agente e as disponibilizamos através de modalidades de texto ou áudio. No nosso experimento (n=38), identificamos que explicações não trazem benefícios de desempenho para participantes experientes, desafiando premissas sobre utilidade de XAI em colaboração acelerada. Porém, explicações em áudio geraram taxas de aprendizado mais rápidas que texto ou controle, sugerindo que explicações facilitam adaptação ao invés de desempenho imediato. Apresentamos a primeira comparação de efeitos de modalidades de explicação em colaboração humano-agente em tempo real e definimos um sistema de gatilhos para temporizar entrega de explicações. Nossos resultados evidenciam que conclusões de estudos Wizardof-Oz e políticas manuais podem não transferir-se para sistemas baseados em aprendizado de máquina, e que a eficácia de XAI depende criticamente da adequação entre as demandas da tarefa e a expertise do usuário. Este trabalho estabelece a metodologia para avaliar arquiteturas de aprendizado por reforço intrinsecamente explicáveis em ambientes de referência, conectando pesquisas de XAI e colaboração humano-agente.[en] Explainable AI (XAI) support has shown promise for improving human agent collaboration, but existing evaluations rely on hand-crafted policies in custom environments, limiting their generalizability and connection to state of-the-art human-agent teaming research. In this work, we provide the first systematic evaluation of XAI support generated from an intrinsically explainable, machine learning-based policy in an established benchmark environment. Using the Hierarchical Ad Hoc Agents (HA2) architecture in Overcooked-AI, we generate real-time explanations directly from the agent s hierarchical sub task selections and deliver them through text or audio modalities via a novel trigger-based system. In a between-subjects experiment (n=38), we find that simple status explanations provide no performance benefits for gaming-expert participants, challenging assumptions about XAI utility in fast-paced collaboration. However, audio explanations show trends toward faster learning rates compared to text or control conditions, suggesting explanations may enhance adaptation rather than immediate performance. We provide the first compari son of explanation modality effects in real-time human-agent collaboration and define a baseline trigger system for timing explanation delivery from hierarchical policies. Our findings highlight that conclusions from Wizard-of-Oz studies and hand-crafted policies may not transfer to deployable machine learning systems, and that XAI effectiveness depends critically on matching explanation sophistication to user expertise and task demands. More broadly, this work establishes a methodology for evaluating intrinsically explainable reinforcement learning architectures in benchmark environments, bridging the gap between XAI and human-agent teaming research.MAXWELLJOSE ALBERTO RODRIGUES PEREIRA SARDINHAJOSE ALBERTO RODRIGUES PEREIRA SARDINHAMATEUS LEVI SIMOES FERNANDES2025-11-27info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesishttps://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=74365&idi=1https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=74365&idi=2http://doi.org/10.17771/PUCRio.acad.74365engreponame:Repositório Institucional da PUC-RIO (Projeto Maxwell)instname:Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO)instacron:PUC_RIOinfo:eu-repo/semantics/openAccess2025-11-27T00:00:00Zoai:MAXWELL.puc-rio.br:74365Repositório InstitucionalPRIhttps://www.maxwell.vrac.puc-rio.br/ibict.phpopendoar:5342025-11-27T00:00Repositório Institucional da PUC-RIO (Projeto Maxwell) - Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO)false |
| dc.title.none.fl_str_mv |
[pt] EXPLICABILIDADE INTRÍNSECA E MODALIDADES DE COMUNICAÇÃO EM TIMES HUMANO-AGENTE: UM ESTUDO EXPERIMENTAL [en] INTRINSIC EXPLAINABILITY AND COMMUNICATION MODALITIES IN HUMAN-AGENT TEAMING: AN EXPERIMENTAL STUDY |
| title |
[pt] EXPLICABILIDADE INTRÍNSECA E MODALIDADES DE COMUNICAÇÃO EM TIMES HUMANO-AGENTE: UM ESTUDO EXPERIMENTAL |
| spellingShingle |
[pt] EXPLICABILIDADE INTRÍNSECA E MODALIDADES DE COMUNICAÇÃO EM TIMES HUMANO-AGENTE: UM ESTUDO EXPERIMENTAL MATEUS LEVI SIMOES FERNANDES [pt] INTELIGENCIA ARTIFICIAL EXPLICAVEL [pt] SISTEMA DE EXPLICACAO EM TEMPO REAL [pt] OVERCOOKED AI [pt] APRENDIZADO POR REFORCO HIERARQUICO [pt] COLABORACAO HUMANO AGENTE [en] EXPLAINABLE AI [en] REAL TIME EXPLANATION SYSTEM [en] OVERCOOKED AI [en] HIERARCHICAL REFORCEMENT LEARNING [en] HUMAN AGENT TEAMING |
| title_short |
[pt] EXPLICABILIDADE INTRÍNSECA E MODALIDADES DE COMUNICAÇÃO EM TIMES HUMANO-AGENTE: UM ESTUDO EXPERIMENTAL |
| title_full |
[pt] EXPLICABILIDADE INTRÍNSECA E MODALIDADES DE COMUNICAÇÃO EM TIMES HUMANO-AGENTE: UM ESTUDO EXPERIMENTAL |
| title_fullStr |
[pt] EXPLICABILIDADE INTRÍNSECA E MODALIDADES DE COMUNICAÇÃO EM TIMES HUMANO-AGENTE: UM ESTUDO EXPERIMENTAL |
| title_full_unstemmed |
[pt] EXPLICABILIDADE INTRÍNSECA E MODALIDADES DE COMUNICAÇÃO EM TIMES HUMANO-AGENTE: UM ESTUDO EXPERIMENTAL |
| title_sort |
[pt] EXPLICABILIDADE INTRÍNSECA E MODALIDADES DE COMUNICAÇÃO EM TIMES HUMANO-AGENTE: UM ESTUDO EXPERIMENTAL |
| author |
MATEUS LEVI SIMOES FERNANDES |
| author_facet |
MATEUS LEVI SIMOES FERNANDES |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
JOSE ALBERTO RODRIGUES PEREIRA SARDINHA JOSE ALBERTO RODRIGUES PEREIRA SARDINHA |
| dc.contributor.author.fl_str_mv |
MATEUS LEVI SIMOES FERNANDES |
| dc.subject.por.fl_str_mv |
[pt] INTELIGENCIA ARTIFICIAL EXPLICAVEL [pt] SISTEMA DE EXPLICACAO EM TEMPO REAL [pt] OVERCOOKED AI [pt] APRENDIZADO POR REFORCO HIERARQUICO [pt] COLABORACAO HUMANO AGENTE [en] EXPLAINABLE AI [en] REAL TIME EXPLANATION SYSTEM [en] OVERCOOKED AI [en] HIERARCHICAL REFORCEMENT LEARNING [en] HUMAN AGENT TEAMING |
| topic |
[pt] INTELIGENCIA ARTIFICIAL EXPLICAVEL [pt] SISTEMA DE EXPLICACAO EM TEMPO REAL [pt] OVERCOOKED AI [pt] APRENDIZADO POR REFORCO HIERARQUICO [pt] COLABORACAO HUMANO AGENTE [en] EXPLAINABLE AI [en] REAL TIME EXPLANATION SYSTEM [en] OVERCOOKED AI [en] HIERARCHICAL REFORCEMENT LEARNING [en] HUMAN AGENT TEAMING |
| description |
[pt] Inteligência Artificial Explicável (XAI) tem demonstrado potencial para melhorar a colaboração entre humanos e agentes, mas avaliações já feitas se baseiam em políticas construídas manualmente testadas em ambientes personalizados, o que limita a transferência de conclusões para pesquisas de ponta na área de colaboração humano-agente. Neste trabalho, apresentamos a primeira avaliação sistemática de recursos de XAI gerados a partir de uma política de aprendizado de máquina intrinsecamente explicável, utilizando um ambiente experimental de referência. Usando a arquitetura Hierarchical Ad Hoc Agents (HA2) no ambiente Overcooked-AI, geramos explicações em tempo real diretamente das seleções de subtarefas hierárquicas do agente e as disponibilizamos através de modalidades de texto ou áudio. No nosso experimento (n=38), identificamos que explicações não trazem benefícios de desempenho para participantes experientes, desafiando premissas sobre utilidade de XAI em colaboração acelerada. Porém, explicações em áudio geraram taxas de aprendizado mais rápidas que texto ou controle, sugerindo que explicações facilitam adaptação ao invés de desempenho imediato. Apresentamos a primeira comparação de efeitos de modalidades de explicação em colaboração humano-agente em tempo real e definimos um sistema de gatilhos para temporizar entrega de explicações. Nossos resultados evidenciam que conclusões de estudos Wizardof-Oz e políticas manuais podem não transferir-se para sistemas baseados em aprendizado de máquina, e que a eficácia de XAI depende criticamente da adequação entre as demandas da tarefa e a expertise do usuário. Este trabalho estabelece a metodologia para avaliar arquiteturas de aprendizado por reforço intrinsecamente explicáveis em ambientes de referência, conectando pesquisas de XAI e colaboração humano-agente. |
| publishDate |
2025 |
| dc.date.none.fl_str_mv |
2025-11-27 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
| format |
doctoralThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=74365&idi=1 https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=74365&idi=2 http://doi.org/10.17771/PUCRio.acad.74365 |
| url |
https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=74365&idi=1 https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=74365&idi=2 http://doi.org/10.17771/PUCRio.acad.74365 |
| dc.language.iso.fl_str_mv |
eng |
| language |
eng |
| dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
| eu_rights_str_mv |
openAccess |
| dc.publisher.none.fl_str_mv |
MAXWELL |
| publisher.none.fl_str_mv |
MAXWELL |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da PUC-RIO (Projeto Maxwell) instname:Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO) instacron:PUC_RIO |
| instname_str |
Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO) |
| instacron_str |
PUC_RIO |
| institution |
PUC_RIO |
| reponame_str |
Repositório Institucional da PUC-RIO (Projeto Maxwell) |
| collection |
Repositório Institucional da PUC-RIO (Projeto Maxwell) |
| repository.name.fl_str_mv |
Repositório Institucional da PUC-RIO (Projeto Maxwell) - Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO) |
| repository.mail.fl_str_mv |
|
| _version_ |
1862548668486254592 |