Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers

Detalhes bibliográficos
Ano de defesa: 2024
Autor(a) principal: Rozendo, Guilherme Botazzo [UNESP]
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Universidade Estadual Paulista (Unesp)
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: https://hdl.handle.net/11449/259628
Resumo: Redes Generativas Adversárias (GANs) criam imagens colocando um gerador (G) contra um discriminador (D), visando encontrar um equilíbrio entre eles. No entanto, alcançar esse equilíbrio é desafiador porque G é treinado com base em apenas um valor que representa a previsão de D, e apenas D pode acessar as características das imagens. Introduzimos uma nova abordagem para treinar GANs usando métodos baseados em Inteligência Artificial Explicável (XAI) para melhorar a qualidade e a diversidade das imagens geradas em conjuntos de imagens histopatológicas. Utilizamos os métodos baseados em XAI para extrair informações de características de D e incorporá-las em G por meio da função de perda, uma estratégia única ainda não explorada nesse contexto. Demonstramos que essa abordagem enriquece o treinamento com informações relevantes e promove uma melhor qualidade e maior variabilidade das imagens artificiais, diminuindo até 32,7% no Fréchet inception distance em comparação com métodos tradicionais. Na tarefa de aumento artificial de dados, essas imagens melhoram a precisão de classificação de modelos Transformer em até 3,81% em comparação com modelos sem aumento artificial de dados e até 3,01% em comparação com o aumento artificial de dados tradicional de GAN. Mostramos que o método de Saliency fornece a G as informações de características mais informativas. O modelo permitiu destacar o potencial de métodos inspirados em XAI para melhorar o treinamento de GANs com indicações relevantes para futuras explorações nesta área.
id UNSP_9838c2f7b7cad4245a14acedfed522df
oai_identifier_str oai:repositorio.unesp.br:11449/259628
network_acronym_str UNSP
network_name_str Repositório Institucional da UNESP
repository_id_str
spelling Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformersAumento artificial de dados na classificação histopatológica: uma análise explorando GANs com modelos inspirados em XAI e vision transformersInteligência artificialRedes neurais (Computação)Sistemas de reconhecimento de padrõesHistopatologiaArtificial intelligenceNeural networks (Computer science)Pattern recognition systemsHistopathologyRedes Generativas Adversárias (GANs) criam imagens colocando um gerador (G) contra um discriminador (D), visando encontrar um equilíbrio entre eles. No entanto, alcançar esse equilíbrio é desafiador porque G é treinado com base em apenas um valor que representa a previsão de D, e apenas D pode acessar as características das imagens. Introduzimos uma nova abordagem para treinar GANs usando métodos baseados em Inteligência Artificial Explicável (XAI) para melhorar a qualidade e a diversidade das imagens geradas em conjuntos de imagens histopatológicas. Utilizamos os métodos baseados em XAI para extrair informações de características de D e incorporá-las em G por meio da função de perda, uma estratégia única ainda não explorada nesse contexto. Demonstramos que essa abordagem enriquece o treinamento com informações relevantes e promove uma melhor qualidade e maior variabilidade das imagens artificiais, diminuindo até 32,7% no Fréchet inception distance em comparação com métodos tradicionais. Na tarefa de aumento artificial de dados, essas imagens melhoram a precisão de classificação de modelos Transformer em até 3,81% em comparação com modelos sem aumento artificial de dados e até 3,01% em comparação com o aumento artificial de dados tradicional de GAN. Mostramos que o método de Saliency fornece a G as informações de características mais informativas. O modelo permitiu destacar o potencial de métodos inspirados em XAI para melhorar o treinamento de GANs com indicações relevantes para futuras explorações nesta área.Generative Adversarial Networks (GANs) create images by pitting a generator (G) against a discriminator (D), aiming to find a balance between them. However, achieving this balance is difficult because G is trained based on just one value representing D's prediction, and only D can access image features. We introduce a novel approach for training GANs using methods based on Explainable Artificial Intelligence (XAI) to enhance the quality and diversity of generated images in histopathological datasets. We leverage XAI-based methods to extract feature information from D and incorporate it into G via the loss function, a unique strategy not previously explored in this context. We demonstrate that this approach enriches the training with relevant information and promotes improved quality and more variability of the artificial images, decreasing up to 32.7% in Fréchet inception distance compared to traditional methods. In the data augmentation task, these images improve the classification accuracy of Transformer models by up to 3.81% compared to models without data augmentation and up to 3.01% compared to traditional GAN data augmentation. Our finding shows that the Saliency method provides G with the most informative feature information. This model allowed highlighting the potential of XAI-inspired methods to improve the training of GANs with relevant indications for future explorations in this area.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)CAPES: 001Universidade Estadual Paulista (Unesp)Neves, Leandro Alves [UNESP]Instituto de Biociências, Letras e Ciências ExatasUniversidade Estadual Paulista (Unesp)Rozendo, Guilherme Botazzo [UNESP]2025-01-10T20:40:13Z2025-01-10T20:40:13Z2024-12-05info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfROZENDO, Guilherme Botazzo. Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers. (Doutorado em Ciência da Computação ). 2024. Universidade Estadual Paulista (Unesp), Instituto de Biociências Letras e Ciências Exatas (Ibilce), São José do Rio Preto, 2024.https://hdl.handle.net/11449/25962833004153073P25025686726401945enginfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNESPinstname:Universidade Estadual Paulista (UNESP)instacron:UNESP2025-01-10T21:03:29Zoai:repositorio.unesp.br:11449/259628Repositório InstitucionalPUBhttp://repositorio.unesp.br/oai/requestrepositoriounesp@unesp.bropendoar:29462025-01-10T21:03:29Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)false
dc.title.none.fl_str_mv Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers
Aumento artificial de dados na classificação histopatológica: uma análise explorando GANs com modelos inspirados em XAI e vision transformers
title Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers
spellingShingle Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers
Rozendo, Guilherme Botazzo [UNESP]
Inteligência artificial
Redes neurais (Computação)
Sistemas de reconhecimento de padrões
Histopatologia
Artificial intelligence
Neural networks (Computer science)
Pattern recognition systems
Histopathology
title_short Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers
title_full Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers
title_fullStr Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers
title_full_unstemmed Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers
title_sort Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers
author Rozendo, Guilherme Botazzo [UNESP]
author_facet Rozendo, Guilherme Botazzo [UNESP]
author_role author
dc.contributor.none.fl_str_mv Neves, Leandro Alves [UNESP]
Instituto de Biociências, Letras e Ciências Exatas
Universidade Estadual Paulista (Unesp)
dc.contributor.author.fl_str_mv Rozendo, Guilherme Botazzo [UNESP]
dc.subject.por.fl_str_mv Inteligência artificial
Redes neurais (Computação)
Sistemas de reconhecimento de padrões
Histopatologia
Artificial intelligence
Neural networks (Computer science)
Pattern recognition systems
Histopathology
topic Inteligência artificial
Redes neurais (Computação)
Sistemas de reconhecimento de padrões
Histopatologia
Artificial intelligence
Neural networks (Computer science)
Pattern recognition systems
Histopathology
description Redes Generativas Adversárias (GANs) criam imagens colocando um gerador (G) contra um discriminador (D), visando encontrar um equilíbrio entre eles. No entanto, alcançar esse equilíbrio é desafiador porque G é treinado com base em apenas um valor que representa a previsão de D, e apenas D pode acessar as características das imagens. Introduzimos uma nova abordagem para treinar GANs usando métodos baseados em Inteligência Artificial Explicável (XAI) para melhorar a qualidade e a diversidade das imagens geradas em conjuntos de imagens histopatológicas. Utilizamos os métodos baseados em XAI para extrair informações de características de D e incorporá-las em G por meio da função de perda, uma estratégia única ainda não explorada nesse contexto. Demonstramos que essa abordagem enriquece o treinamento com informações relevantes e promove uma melhor qualidade e maior variabilidade das imagens artificiais, diminuindo até 32,7% no Fréchet inception distance em comparação com métodos tradicionais. Na tarefa de aumento artificial de dados, essas imagens melhoram a precisão de classificação de modelos Transformer em até 3,81% em comparação com modelos sem aumento artificial de dados e até 3,01% em comparação com o aumento artificial de dados tradicional de GAN. Mostramos que o método de Saliency fornece a G as informações de características mais informativas. O modelo permitiu destacar o potencial de métodos inspirados em XAI para melhorar o treinamento de GANs com indicações relevantes para futuras explorações nesta área.
publishDate 2024
dc.date.none.fl_str_mv 2024-12-05
2025-01-10T20:40:13Z
2025-01-10T20:40:13Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv ROZENDO, Guilherme Botazzo. Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers. (Doutorado em Ciência da Computação ). 2024. Universidade Estadual Paulista (Unesp), Instituto de Biociências Letras e Ciências Exatas (Ibilce), São José do Rio Preto, 2024.
https://hdl.handle.net/11449/259628
33004153073P2
5025686726401945
identifier_str_mv ROZENDO, Guilherme Botazzo. Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers. (Doutorado em Ciência da Computação ). 2024. Universidade Estadual Paulista (Unesp), Instituto de Biociências Letras e Ciências Exatas (Ibilce), São José do Rio Preto, 2024.
33004153073P2
5025686726401945
url https://hdl.handle.net/11449/259628
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
dc.source.none.fl_str_mv reponame:Repositório Institucional da UNESP
instname:Universidade Estadual Paulista (UNESP)
instacron:UNESP
instname_str Universidade Estadual Paulista (UNESP)
instacron_str UNESP
institution UNESP
reponame_str Repositório Institucional da UNESP
collection Repositório Institucional da UNESP
repository.name.fl_str_mv Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)
repository.mail.fl_str_mv repositoriounesp@unesp.br
_version_ 1854954406853738496