Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers
| Ano de defesa: | 2024 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Tese |
| Tipo de acesso: | Acesso aberto |
| Idioma: | eng |
| Instituição de defesa: |
Universidade Estadual Paulista (Unesp)
|
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | https://hdl.handle.net/11449/259628 |
Resumo: | Redes Generativas Adversárias (GANs) criam imagens colocando um gerador (G) contra um discriminador (D), visando encontrar um equilíbrio entre eles. No entanto, alcançar esse equilíbrio é desafiador porque G é treinado com base em apenas um valor que representa a previsão de D, e apenas D pode acessar as características das imagens. Introduzimos uma nova abordagem para treinar GANs usando métodos baseados em Inteligência Artificial Explicável (XAI) para melhorar a qualidade e a diversidade das imagens geradas em conjuntos de imagens histopatológicas. Utilizamos os métodos baseados em XAI para extrair informações de características de D e incorporá-las em G por meio da função de perda, uma estratégia única ainda não explorada nesse contexto. Demonstramos que essa abordagem enriquece o treinamento com informações relevantes e promove uma melhor qualidade e maior variabilidade das imagens artificiais, diminuindo até 32,7% no Fréchet inception distance em comparação com métodos tradicionais. Na tarefa de aumento artificial de dados, essas imagens melhoram a precisão de classificação de modelos Transformer em até 3,81% em comparação com modelos sem aumento artificial de dados e até 3,01% em comparação com o aumento artificial de dados tradicional de GAN. Mostramos que o método de Saliency fornece a G as informações de características mais informativas. O modelo permitiu destacar o potencial de métodos inspirados em XAI para melhorar o treinamento de GANs com indicações relevantes para futuras explorações nesta área. |
| id |
UNSP_9838c2f7b7cad4245a14acedfed522df |
|---|---|
| oai_identifier_str |
oai:repositorio.unesp.br:11449/259628 |
| network_acronym_str |
UNSP |
| network_name_str |
Repositório Institucional da UNESP |
| repository_id_str |
|
| spelling |
Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformersAumento artificial de dados na classificação histopatológica: uma análise explorando GANs com modelos inspirados em XAI e vision transformersInteligência artificialRedes neurais (Computação)Sistemas de reconhecimento de padrõesHistopatologiaArtificial intelligenceNeural networks (Computer science)Pattern recognition systemsHistopathologyRedes Generativas Adversárias (GANs) criam imagens colocando um gerador (G) contra um discriminador (D), visando encontrar um equilíbrio entre eles. No entanto, alcançar esse equilíbrio é desafiador porque G é treinado com base em apenas um valor que representa a previsão de D, e apenas D pode acessar as características das imagens. Introduzimos uma nova abordagem para treinar GANs usando métodos baseados em Inteligência Artificial Explicável (XAI) para melhorar a qualidade e a diversidade das imagens geradas em conjuntos de imagens histopatológicas. Utilizamos os métodos baseados em XAI para extrair informações de características de D e incorporá-las em G por meio da função de perda, uma estratégia única ainda não explorada nesse contexto. Demonstramos que essa abordagem enriquece o treinamento com informações relevantes e promove uma melhor qualidade e maior variabilidade das imagens artificiais, diminuindo até 32,7% no Fréchet inception distance em comparação com métodos tradicionais. Na tarefa de aumento artificial de dados, essas imagens melhoram a precisão de classificação de modelos Transformer em até 3,81% em comparação com modelos sem aumento artificial de dados e até 3,01% em comparação com o aumento artificial de dados tradicional de GAN. Mostramos que o método de Saliency fornece a G as informações de características mais informativas. O modelo permitiu destacar o potencial de métodos inspirados em XAI para melhorar o treinamento de GANs com indicações relevantes para futuras explorações nesta área.Generative Adversarial Networks (GANs) create images by pitting a generator (G) against a discriminator (D), aiming to find a balance between them. However, achieving this balance is difficult because G is trained based on just one value representing D's prediction, and only D can access image features. We introduce a novel approach for training GANs using methods based on Explainable Artificial Intelligence (XAI) to enhance the quality and diversity of generated images in histopathological datasets. We leverage XAI-based methods to extract feature information from D and incorporate it into G via the loss function, a unique strategy not previously explored in this context. We demonstrate that this approach enriches the training with relevant information and promotes improved quality and more variability of the artificial images, decreasing up to 32.7% in Fréchet inception distance compared to traditional methods. In the data augmentation task, these images improve the classification accuracy of Transformer models by up to 3.81% compared to models without data augmentation and up to 3.01% compared to traditional GAN data augmentation. Our finding shows that the Saliency method provides G with the most informative feature information. This model allowed highlighting the potential of XAI-inspired methods to improve the training of GANs with relevant indications for future explorations in this area.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)CAPES: 001Universidade Estadual Paulista (Unesp)Neves, Leandro Alves [UNESP]Instituto de Biociências, Letras e Ciências ExatasUniversidade Estadual Paulista (Unesp)Rozendo, Guilherme Botazzo [UNESP]2025-01-10T20:40:13Z2025-01-10T20:40:13Z2024-12-05info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfROZENDO, Guilherme Botazzo. Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers. (Doutorado em Ciência da Computação ). 2024. Universidade Estadual Paulista (Unesp), Instituto de Biociências Letras e Ciências Exatas (Ibilce), São José do Rio Preto, 2024.https://hdl.handle.net/11449/25962833004153073P25025686726401945enginfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNESPinstname:Universidade Estadual Paulista (UNESP)instacron:UNESP2025-01-10T21:03:29Zoai:repositorio.unesp.br:11449/259628Repositório InstitucionalPUBhttp://repositorio.unesp.br/oai/requestrepositoriounesp@unesp.bropendoar:29462025-01-10T21:03:29Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)false |
| dc.title.none.fl_str_mv |
Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers Aumento artificial de dados na classificação histopatológica: uma análise explorando GANs com modelos inspirados em XAI e vision transformers |
| title |
Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers |
| spellingShingle |
Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers Rozendo, Guilherme Botazzo [UNESP] Inteligência artificial Redes neurais (Computação) Sistemas de reconhecimento de padrões Histopatologia Artificial intelligence Neural networks (Computer science) Pattern recognition systems Histopathology |
| title_short |
Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers |
| title_full |
Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers |
| title_fullStr |
Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers |
| title_full_unstemmed |
Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers |
| title_sort |
Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers |
| author |
Rozendo, Guilherme Botazzo [UNESP] |
| author_facet |
Rozendo, Guilherme Botazzo [UNESP] |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Neves, Leandro Alves [UNESP] Instituto de Biociências, Letras e Ciências Exatas Universidade Estadual Paulista (Unesp) |
| dc.contributor.author.fl_str_mv |
Rozendo, Guilherme Botazzo [UNESP] |
| dc.subject.por.fl_str_mv |
Inteligência artificial Redes neurais (Computação) Sistemas de reconhecimento de padrões Histopatologia Artificial intelligence Neural networks (Computer science) Pattern recognition systems Histopathology |
| topic |
Inteligência artificial Redes neurais (Computação) Sistemas de reconhecimento de padrões Histopatologia Artificial intelligence Neural networks (Computer science) Pattern recognition systems Histopathology |
| description |
Redes Generativas Adversárias (GANs) criam imagens colocando um gerador (G) contra um discriminador (D), visando encontrar um equilíbrio entre eles. No entanto, alcançar esse equilíbrio é desafiador porque G é treinado com base em apenas um valor que representa a previsão de D, e apenas D pode acessar as características das imagens. Introduzimos uma nova abordagem para treinar GANs usando métodos baseados em Inteligência Artificial Explicável (XAI) para melhorar a qualidade e a diversidade das imagens geradas em conjuntos de imagens histopatológicas. Utilizamos os métodos baseados em XAI para extrair informações de características de D e incorporá-las em G por meio da função de perda, uma estratégia única ainda não explorada nesse contexto. Demonstramos que essa abordagem enriquece o treinamento com informações relevantes e promove uma melhor qualidade e maior variabilidade das imagens artificiais, diminuindo até 32,7% no Fréchet inception distance em comparação com métodos tradicionais. Na tarefa de aumento artificial de dados, essas imagens melhoram a precisão de classificação de modelos Transformer em até 3,81% em comparação com modelos sem aumento artificial de dados e até 3,01% em comparação com o aumento artificial de dados tradicional de GAN. Mostramos que o método de Saliency fornece a G as informações de características mais informativas. O modelo permitiu destacar o potencial de métodos inspirados em XAI para melhorar o treinamento de GANs com indicações relevantes para futuras explorações nesta área. |
| publishDate |
2024 |
| dc.date.none.fl_str_mv |
2024-12-05 2025-01-10T20:40:13Z 2025-01-10T20:40:13Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
| format |
doctoralThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
ROZENDO, Guilherme Botazzo. Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers. (Doutorado em Ciência da Computação ). 2024. Universidade Estadual Paulista (Unesp), Instituto de Biociências Letras e Ciências Exatas (Ibilce), São José do Rio Preto, 2024. https://hdl.handle.net/11449/259628 33004153073P2 5025686726401945 |
| identifier_str_mv |
ROZENDO, Guilherme Botazzo. Data augmentation in histopathological classification: an analysis exploring GANs with XAI-inspired models and vision transformers. (Doutorado em Ciência da Computação ). 2024. Universidade Estadual Paulista (Unesp), Instituto de Biociências Letras e Ciências Exatas (Ibilce), São José do Rio Preto, 2024. 33004153073P2 5025686726401945 |
| url |
https://hdl.handle.net/11449/259628 |
| dc.language.iso.fl_str_mv |
eng |
| language |
eng |
| dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade Estadual Paulista (Unesp) |
| publisher.none.fl_str_mv |
Universidade Estadual Paulista (Unesp) |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UNESP instname:Universidade Estadual Paulista (UNESP) instacron:UNESP |
| instname_str |
Universidade Estadual Paulista (UNESP) |
| instacron_str |
UNESP |
| institution |
UNESP |
| reponame_str |
Repositório Institucional da UNESP |
| collection |
Repositório Institucional da UNESP |
| repository.name.fl_str_mv |
Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP) |
| repository.mail.fl_str_mv |
repositoriounesp@unesp.br |
| _version_ |
1854954406853738496 |