Comparando técnicas de explicabilidade sobre modelos de linguagem: um estudo de caso na detecção de notícias falsas

Detalhes bibliográficos
Ano de defesa: 2024
Autor(a) principal: Vicentini, Jéssica [UNESP} [UNESP]
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Estadual Paulista (Unesp)
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Inteligência artificial
Inteligência artificial explicável
Notícias falsas
Processamento de linguagem natural (Computação)
Aprendizado de máquina
Explainable artificial intelligence
Fake news
Link de acesso: https://hdl.handle.net/11449/257181
Resumo: Modelos de linguagem têm sido amplamente adotados em várias aplicações de processamento de linguagem natural. Seu sucesso em tarefas como tradução automática, classificação e geração de texto impulsionou sua popularidade. No entanto, esses modelos são frequentemente considerados ``caixas-opacas'' devido à sua complexidade e dificuldade de interpretação. A falta de transparência e de entendimento interno desses modelos levanta questões sobre sua confiabilidade e limita sua adoção em cenários críticos, como a tomada de decisão em áreas sensíveis. Nesse contexto, o presente trabalho visa explorar técnicas de Inteligência Artificial Explicável para interpretar e entender o comportamento dos modelos de linguagem. Especificamente, foca nos métodos Model-Agnostic Explanations (LIME) e Integrated Gradients (IG). O estudo de caso envolve a análise da eficácia de modelos BERTimbau treinados no contexto da classificação de notícias em português brasileiro como reais ou falsas, utilizando os conjuntos de dados FakeRecogna e Fake.Br Corpus, e buscar compreender se esses métodos são eficazes para esse cenário.
id UNSP_83b84ff95a6e64ffc90884db6d2def0d
oai_identifier_str oai:repositorio.unesp.br:11449/257181
network_acronym_str UNSP
network_name_str Repositório Institucional da UNESP
repository_id_str
spelling Comparando técnicas de explicabilidade sobre modelos de linguagem: um estudo de caso na detecção de notícias falsasComparing explainability techniques on language models: a case study on fake news detectionInteligência artificialInteligência artificial explicávelNotícias falsasProcessamento de linguagem natural (Computação)Aprendizado de máquinaExplainable artificial intelligenceFake newsModelos de linguagem têm sido amplamente adotados em várias aplicações de processamento de linguagem natural. Seu sucesso em tarefas como tradução automática, classificação e geração de texto impulsionou sua popularidade. No entanto, esses modelos são frequentemente considerados ``caixas-opacas'' devido à sua complexidade e dificuldade de interpretação. A falta de transparência e de entendimento interno desses modelos levanta questões sobre sua confiabilidade e limita sua adoção em cenários críticos, como a tomada de decisão em áreas sensíveis. Nesse contexto, o presente trabalho visa explorar técnicas de Inteligência Artificial Explicável para interpretar e entender o comportamento dos modelos de linguagem. Especificamente, foca nos métodos Model-Agnostic Explanations (LIME) e Integrated Gradients (IG). O estudo de caso envolve a análise da eficácia de modelos BERTimbau treinados no contexto da classificação de notícias em português brasileiro como reais ou falsas, utilizando os conjuntos de dados FakeRecogna e Fake.Br Corpus, e buscar compreender se esses métodos são eficazes para esse cenário.Language models have been widely adopted in various natural language processing applications. Their success in tasks such as machine translation, classification, and text generation has driven their popularity. However, these models are often considered ``black-boxes'' due to their complexity and difficulty of interpretation. The lack of transparency and internal understanding of these models raises questions about their reliability and limits their adoption in critical scenarios, such as decision-making in sensitive areas. In this context, the present work aims to explore techniques of Explainable Artificial Intelligence to interpret and understand the behavior of language models. Specifically, it focuses on the methods Model-Agnostic Explanations (LIME) and Integrated Gradients (IG). The case study involves analyzing the effectiveness of BERTimbau models trained in the context of classifying Brazilian Portuguese news as real or fake, using the FakeRecogna and Fake.Br Corpus datasets, and seeks to understand if these methods are effective for this scenario.Universidade Estadual Paulista (Unesp)Candido Junior, Arnaldo [UNESP]Universidade Estadual Paulista (Unesp)Guilherme, Ivan Rizzo [UNESP]Vicentini, Jéssica [UNESP} [UNESP]2024-08-26T21:46:19Z2024-08-26T21:46:19Z2024-07-29info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfVICENTINI, Jéssica. Comparando técnicas de explicabilidade sobre modelos de linguagem: um estudo de caso na detecção de notícias falsas. 2024. Dissertação (Mestrado em Ciência da Computação) – Universidade Estadual Paulista (Unesp), Instituto de Biociências Letras e Ciências Exatas (Ibilce), São José do Rio Preto, 2024.https://hdl.handle.net/11449/25718133004153073P202169017811501600009-0005-2529-8020porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNESPinstname:Universidade Estadual Paulista (UNESP)instacron:UNESP2024-09-09T12:25:40Zoai:repositorio.unesp.br:11449/257181Repositório InstitucionalPUBhttp://repositorio.unesp.br/oai/requestrepositoriounesp@unesp.bropendoar:29462024-09-09T12:25:40Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)false
dc.title.none.fl_str_mv Comparando técnicas de explicabilidade sobre modelos de linguagem: um estudo de caso na detecção de notícias falsas
Comparing explainability techniques on language models: a case study on fake news detection
title Comparando técnicas de explicabilidade sobre modelos de linguagem: um estudo de caso na detecção de notícias falsas
spellingShingle Comparando técnicas de explicabilidade sobre modelos de linguagem: um estudo de caso na detecção de notícias falsas
Vicentini, Jéssica [UNESP} [UNESP]
Inteligência artificial
Inteligência artificial explicável
Notícias falsas
Processamento de linguagem natural (Computação)
Aprendizado de máquina
Explainable artificial intelligence
Fake news
title_short Comparando técnicas de explicabilidade sobre modelos de linguagem: um estudo de caso na detecção de notícias falsas
title_full Comparando técnicas de explicabilidade sobre modelos de linguagem: um estudo de caso na detecção de notícias falsas
title_fullStr Comparando técnicas de explicabilidade sobre modelos de linguagem: um estudo de caso na detecção de notícias falsas
title_full_unstemmed Comparando técnicas de explicabilidade sobre modelos de linguagem: um estudo de caso na detecção de notícias falsas
title_sort Comparando técnicas de explicabilidade sobre modelos de linguagem: um estudo de caso na detecção de notícias falsas
author Vicentini, Jéssica [UNESP} [UNESP]
author_facet Vicentini, Jéssica [UNESP} [UNESP]
author_role author
dc.contributor.none.fl_str_mv Candido Junior, Arnaldo [UNESP]
Universidade Estadual Paulista (Unesp)
Guilherme, Ivan Rizzo [UNESP]
dc.contributor.author.fl_str_mv Vicentini, Jéssica [UNESP} [UNESP]
dc.subject.por.fl_str_mv Inteligência artificial
Inteligência artificial explicável
Notícias falsas
Processamento de linguagem natural (Computação)
Aprendizado de máquina
Explainable artificial intelligence
Fake news
topic Inteligência artificial
Inteligência artificial explicável
Notícias falsas
Processamento de linguagem natural (Computação)
Aprendizado de máquina
Explainable artificial intelligence
Fake news
description Modelos de linguagem têm sido amplamente adotados em várias aplicações de processamento de linguagem natural. Seu sucesso em tarefas como tradução automática, classificação e geração de texto impulsionou sua popularidade. No entanto, esses modelos são frequentemente considerados ``caixas-opacas'' devido à sua complexidade e dificuldade de interpretação. A falta de transparência e de entendimento interno desses modelos levanta questões sobre sua confiabilidade e limita sua adoção em cenários críticos, como a tomada de decisão em áreas sensíveis. Nesse contexto, o presente trabalho visa explorar técnicas de Inteligência Artificial Explicável para interpretar e entender o comportamento dos modelos de linguagem. Especificamente, foca nos métodos Model-Agnostic Explanations (LIME) e Integrated Gradients (IG). O estudo de caso envolve a análise da eficácia de modelos BERTimbau treinados no contexto da classificação de notícias em português brasileiro como reais ou falsas, utilizando os conjuntos de dados FakeRecogna e Fake.Br Corpus, e buscar compreender se esses métodos são eficazes para esse cenário.
publishDate 2024
dc.date.none.fl_str_mv 2024-08-26T21:46:19Z
2024-08-26T21:46:19Z
2024-07-29
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv VICENTINI, Jéssica. Comparando técnicas de explicabilidade sobre modelos de linguagem: um estudo de caso na detecção de notícias falsas. 2024. Dissertação (Mestrado em Ciência da Computação) – Universidade Estadual Paulista (Unesp), Instituto de Biociências Letras e Ciências Exatas (Ibilce), São José do Rio Preto, 2024.
https://hdl.handle.net/11449/257181
33004153073P2
0216901781150160
0009-0005-2529-8020
identifier_str_mv VICENTINI, Jéssica. Comparando técnicas de explicabilidade sobre modelos de linguagem: um estudo de caso na detecção de notícias falsas. 2024. Dissertação (Mestrado em Ciência da Computação) – Universidade Estadual Paulista (Unesp), Instituto de Biociências Letras e Ciências Exatas (Ibilce), São José do Rio Preto, 2024.
33004153073P2
0216901781150160
0009-0005-2529-8020
url https://hdl.handle.net/11449/257181
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
dc.source.none.fl_str_mv reponame:Repositório Institucional da UNESP
instname:Universidade Estadual Paulista (UNESP)
instacron:UNESP
instname_str Universidade Estadual Paulista (UNESP)
instacron_str UNESP
institution UNESP
reponame_str Repositório Institucional da UNESP
collection Repositório Institucional da UNESP
repository.name.fl_str_mv Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)
repository.mail.fl_str_mv repositoriounesp@unesp.br
_version_ 1854954663060701184

Registros relacionados