Filtros espectrais robustos para aprendizado semissupervisionado

Detalhes bibliográficos
Ano de defesa: 2022
Autor(a) principal: Aquino Afonso, Bruno Klaus de [UNIFESP]
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Universidade Federal de São Paulo
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: https://hdl.handle.net/11600/73125
Resumo: Os avanços nas tecnologias de processamento de Big Data tornam comuns os grandes conjuntos de dados em diferentes formatos. Grafos são uma ferramenta excelente para representá-los, pela sua capacidade de codificar entidades e relações. Redes neurais convolucionais profundas de grafos trabalham diretamente com o espectro do grafo. Consequentemente, são menos propensas ao sobreajuste, com uma ressalva: não podem usar rótulos como parte de sua entrada, ou aprenderão um mapeamento trivial. Mostramos que muitos métodos de propagação de rótulos têm um problema semelhante. Em outras palavras, eles introduzem uma regra em que uma instância usa seu próprio rótulo, uma regra que não se aplica a dados novos. Removendo este fenômeno de auto-influência, obtemos um critério leave-one-out (LOO). Este trabalho é principalmente voltado para o estudo deste critério e para como calculá-lo ou aproximá-lo de forma eficiente. Apresentamos métodos para evitar uma complexidade de tempo e espaço proibitiva. Por exemplo, a inversão completa da matriz de propagação pode ser evitada por meio de um método iterativo que só usa colunas associadas a dados rotulados. Alternativamente, podemos aproximar com uma base restrita de autovetores do Laplaciano do grafo. Em seguida, aplicamos a expansão de Chebyshev para estender nossos métodos a redes convolutivas de grafos, e os resultados ilustram sua eficácia. Por último, abordamos um problema específico de redes de computadores, em que grafos criados em um testbed de um fabricante devem generalizar para grafos do mundo real com caminhos mais longos e capacidades de link maiores. Desenvolvemos um modelo que consegue alcançar a generalização ao ajustar um modelo baseado em teoria de filas. Isso foi o suficiente para colocá-lo em primeiro lugar no desafio de Graph Neural Networking de 2021 e em segundo lugar no desafio de IA / ML do 5G promovido pela União Internacional de Telecomunicações das Nações Unidas com mais de 1800 participantes de 82 países.
id UFSP_12db7b840f7c9ab5c2fd8710d391e1be
oai_identifier_str oai:repositorio.unifesp.br/:11600/73125
network_acronym_str UFSP
network_name_str Repositório Institucional da UNIFESP
repository_id_str
spelling Filtros espectrais robustos para aprendizado semissupervisionadoRobust spectral filters for graph-based semi-supervised learningAprendizado semissupervisionadoRedes neurais convolutivas de grafosGeneralização em grafosRedes de ComputadoresTeoria de filasSemi-supervised learningGraph convolutional label networkLabel propagationGraph generalizationComputer networksQueuring theoryNão se aplicaOs avanços nas tecnologias de processamento de Big Data tornam comuns os grandes conjuntos de dados em diferentes formatos. Grafos são uma ferramenta excelente para representá-los, pela sua capacidade de codificar entidades e relações. Redes neurais convolucionais profundas de grafos trabalham diretamente com o espectro do grafo. Consequentemente, são menos propensas ao sobreajuste, com uma ressalva: não podem usar rótulos como parte de sua entrada, ou aprenderão um mapeamento trivial. Mostramos que muitos métodos de propagação de rótulos têm um problema semelhante. Em outras palavras, eles introduzem uma regra em que uma instância usa seu próprio rótulo, uma regra que não se aplica a dados novos. Removendo este fenômeno de auto-influência, obtemos um critério leave-one-out (LOO). Este trabalho é principalmente voltado para o estudo deste critério e para como calculá-lo ou aproximá-lo de forma eficiente. Apresentamos métodos para evitar uma complexidade de tempo e espaço proibitiva. Por exemplo, a inversão completa da matriz de propagação pode ser evitada por meio de um método iterativo que só usa colunas associadas a dados rotulados. Alternativamente, podemos aproximar com uma base restrita de autovetores do Laplaciano do grafo. Em seguida, aplicamos a expansão de Chebyshev para estender nossos métodos a redes convolutivas de grafos, e os resultados ilustram sua eficácia. Por último, abordamos um problema específico de redes de computadores, em que grafos criados em um testbed de um fabricante devem generalizar para grafos do mundo real com caminhos mais longos e capacidades de link maiores. Desenvolvemos um modelo que consegue alcançar a generalização ao ajustar um modelo baseado em teoria de filas. Isso foi o suficiente para colocá-lo em primeiro lugar no desafio de Graph Neural Networking de 2021 e em segundo lugar no desafio de IA / ML do 5G promovido pela União Internacional de Telecomunicações das Nações Unidas com mais de 1800 participantes de 82 países.The advances in Big Data processing technologies have made large datasets commonplace, structured differently depending on the application. Graphs are excellent at representing these datasets, as they offer a general way to encode entities and relations. Deep Graph Convolutional Networks work directly with the spectrum of the graph. Consequently, they are less prone to overfitting, with a caveat: they may not use labels as part of their input, or they will learn a trivial identity mapping. We show that many label propagation methods have a similar issue. Namely, they introduce a rule where an instance can use its own label, a rule which does not hold for novel data. By removing this self-influence phenomenon, we obtain a leave-one-out (LOO) criterion. This dissertation is primarily aimed at studying this criterion and the how to calculate or approximate it efficiently. We introduce methods to avoid the prohibitive time and space complexity of naive LOO error calculations. For example, full matrix inversion can be averted through an iterative method that only takes columns associated with labeled data. Alternatively, we can approximate by restricting the basis obtained from the graph Laplacian’s eigendecomposition. Next, we apply the Chebyshev expansion to extend our methods to deep graph convolutional networks, and results illustrate their effectiveness. Lastly, we cover a specific problem that arises in computer networks, where graphs created in a vendor’s testbed must generalize to real-world graphs with longer paths and larger link capacities. We develop a model that successfully achieves generalization by fine-tuning a robust queueing theory baseline. This was enough to place 1st at the Graph Neural Networking Challenge 2021 and 2nd at the AI/ML in 5G challenge promoted by the United Nation’s International Telecommunication Union with over 1800 participants from 82 countries from industry and academia.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)Código 001Universidade Federal de São PauloBerton, Lilian [UNIFESP]http://lattes.cnpq.br/9064767888093340http://lattes.cnpq.br/5069552456805947Aquino Afonso, Bruno Klaus de [UNIFESP]2025-02-20T14:36:50Z2025-02-20T14:36:50Z2022info:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/publishedVersion81f.application/pdfAFONSO, Bruno Klaus de Aquino. Robust spectral filters for graph-based semi-supervised learning. São José dos Campos, 2022. 81f. Universidade Federal de São Paulo. Instituto de Ciência e Tecnologia. Programa de Pós-Graduação em Ciência da Computação.https://hdl.handle.net/11600/73125engSão José dos Camposinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNIFESPinstname:Universidade Federal de São Paulo (UNIFESP)instacron:UNIFESP2025-02-21T04:13:46Zoai:repositorio.unifesp.br/:11600/73125Repositório InstitucionalPUBhttp://www.repositorio.unifesp.br/oai/requestbiblioteca.csp@unifesp.bropendoar:34652025-02-21T04:13:46Repositório Institucional da UNIFESP - Universidade Federal de São Paulo (UNIFESP)false
dc.title.none.fl_str_mv Filtros espectrais robustos para aprendizado semissupervisionado
Robust spectral filters for graph-based semi-supervised learning
title Filtros espectrais robustos para aprendizado semissupervisionado
spellingShingle Filtros espectrais robustos para aprendizado semissupervisionado
Aquino Afonso, Bruno Klaus de [UNIFESP]
Aprendizado semissupervisionado
Redes neurais convolutivas de grafos
Generalização em grafos
Redes de Computadores
Teoria de filas
Semi-supervised learning
Graph convolutional label network
Label propagation
Graph generalization
Computer networks
Queuring theory
Não se aplica
title_short Filtros espectrais robustos para aprendizado semissupervisionado
title_full Filtros espectrais robustos para aprendizado semissupervisionado
title_fullStr Filtros espectrais robustos para aprendizado semissupervisionado
title_full_unstemmed Filtros espectrais robustos para aprendizado semissupervisionado
title_sort Filtros espectrais robustos para aprendizado semissupervisionado
author Aquino Afonso, Bruno Klaus de [UNIFESP]
author_facet Aquino Afonso, Bruno Klaus de [UNIFESP]
author_role author
dc.contributor.none.fl_str_mv Berton, Lilian [UNIFESP]
http://lattes.cnpq.br/9064767888093340
http://lattes.cnpq.br/5069552456805947
dc.contributor.author.fl_str_mv Aquino Afonso, Bruno Klaus de [UNIFESP]
dc.subject.por.fl_str_mv Aprendizado semissupervisionado
Redes neurais convolutivas de grafos
Generalização em grafos
Redes de Computadores
Teoria de filas
Semi-supervised learning
Graph convolutional label network
Label propagation
Graph generalization
Computer networks
Queuring theory
Não se aplica
topic Aprendizado semissupervisionado
Redes neurais convolutivas de grafos
Generalização em grafos
Redes de Computadores
Teoria de filas
Semi-supervised learning
Graph convolutional label network
Label propagation
Graph generalization
Computer networks
Queuring theory
Não se aplica
description Os avanços nas tecnologias de processamento de Big Data tornam comuns os grandes conjuntos de dados em diferentes formatos. Grafos são uma ferramenta excelente para representá-los, pela sua capacidade de codificar entidades e relações. Redes neurais convolucionais profundas de grafos trabalham diretamente com o espectro do grafo. Consequentemente, são menos propensas ao sobreajuste, com uma ressalva: não podem usar rótulos como parte de sua entrada, ou aprenderão um mapeamento trivial. Mostramos que muitos métodos de propagação de rótulos têm um problema semelhante. Em outras palavras, eles introduzem uma regra em que uma instância usa seu próprio rótulo, uma regra que não se aplica a dados novos. Removendo este fenômeno de auto-influência, obtemos um critério leave-one-out (LOO). Este trabalho é principalmente voltado para o estudo deste critério e para como calculá-lo ou aproximá-lo de forma eficiente. Apresentamos métodos para evitar uma complexidade de tempo e espaço proibitiva. Por exemplo, a inversão completa da matriz de propagação pode ser evitada por meio de um método iterativo que só usa colunas associadas a dados rotulados. Alternativamente, podemos aproximar com uma base restrita de autovetores do Laplaciano do grafo. Em seguida, aplicamos a expansão de Chebyshev para estender nossos métodos a redes convolutivas de grafos, e os resultados ilustram sua eficácia. Por último, abordamos um problema específico de redes de computadores, em que grafos criados em um testbed de um fabricante devem generalizar para grafos do mundo real com caminhos mais longos e capacidades de link maiores. Desenvolvemos um modelo que consegue alcançar a generalização ao ajustar um modelo baseado em teoria de filas. Isso foi o suficiente para colocá-lo em primeiro lugar no desafio de Graph Neural Networking de 2021 e em segundo lugar no desafio de IA / ML do 5G promovido pela União Internacional de Telecomunicações das Nações Unidas com mais de 1800 participantes de 82 países.
publishDate 2022
dc.date.none.fl_str_mv 2022
2025-02-20T14:36:50Z
2025-02-20T14:36:50Z
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv AFONSO, Bruno Klaus de Aquino. Robust spectral filters for graph-based semi-supervised learning. São José dos Campos, 2022. 81f. Universidade Federal de São Paulo. Instituto de Ciência e Tecnologia. Programa de Pós-Graduação em Ciência da Computação.
https://hdl.handle.net/11600/73125
identifier_str_mv AFONSO, Bruno Klaus de Aquino. Robust spectral filters for graph-based semi-supervised learning. São José dos Campos, 2022. 81f. Universidade Federal de São Paulo. Instituto de Ciência e Tecnologia. Programa de Pós-Graduação em Ciência da Computação.
url https://hdl.handle.net/11600/73125
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 81f.
application/pdf
dc.coverage.none.fl_str_mv São José dos Campos
dc.publisher.none.fl_str_mv Universidade Federal de São Paulo
publisher.none.fl_str_mv Universidade Federal de São Paulo
dc.source.none.fl_str_mv reponame:Repositório Institucional da UNIFESP
instname:Universidade Federal de São Paulo (UNIFESP)
instacron:UNIFESP
instname_str Universidade Federal de São Paulo (UNIFESP)
instacron_str UNIFESP
institution UNIFESP
reponame_str Repositório Institucional da UNIFESP
collection Repositório Institucional da UNIFESP
repository.name.fl_str_mv Repositório Institucional da UNIFESP - Universidade Federal de São Paulo (UNIFESP)
repository.mail.fl_str_mv biblioteca.csp@unifesp.br
_version_ 1833924501273837568