Filtros espectrais robustos para aprendizado semissupervisionado
Ano de defesa: | 2022 |
---|---|
Autor(a) principal: | |
Orientador(a): | |
Banca de defesa: | |
Tipo de documento: | Dissertação |
Tipo de acesso: | Acesso aberto |
Idioma: | eng |
Instituição de defesa: |
Universidade Federal de São Paulo
|
Programa de Pós-Graduação: |
Não Informado pela instituição
|
Departamento: |
Não Informado pela instituição
|
País: |
Não Informado pela instituição
|
Palavras-chave em Português: | |
Link de acesso: | https://hdl.handle.net/11600/73125 |
Resumo: | Os avanços nas tecnologias de processamento de Big Data tornam comuns os grandes conjuntos de dados em diferentes formatos. Grafos são uma ferramenta excelente para representá-los, pela sua capacidade de codificar entidades e relações. Redes neurais convolucionais profundas de grafos trabalham diretamente com o espectro do grafo. Consequentemente, são menos propensas ao sobreajuste, com uma ressalva: não podem usar rótulos como parte de sua entrada, ou aprenderão um mapeamento trivial. Mostramos que muitos métodos de propagação de rótulos têm um problema semelhante. Em outras palavras, eles introduzem uma regra em que uma instância usa seu próprio rótulo, uma regra que não se aplica a dados novos. Removendo este fenômeno de auto-influência, obtemos um critério leave-one-out (LOO). Este trabalho é principalmente voltado para o estudo deste critério e para como calculá-lo ou aproximá-lo de forma eficiente. Apresentamos métodos para evitar uma complexidade de tempo e espaço proibitiva. Por exemplo, a inversão completa da matriz de propagação pode ser evitada por meio de um método iterativo que só usa colunas associadas a dados rotulados. Alternativamente, podemos aproximar com uma base restrita de autovetores do Laplaciano do grafo. Em seguida, aplicamos a expansão de Chebyshev para estender nossos métodos a redes convolutivas de grafos, e os resultados ilustram sua eficácia. Por último, abordamos um problema específico de redes de computadores, em que grafos criados em um testbed de um fabricante devem generalizar para grafos do mundo real com caminhos mais longos e capacidades de link maiores. Desenvolvemos um modelo que consegue alcançar a generalização ao ajustar um modelo baseado em teoria de filas. Isso foi o suficiente para colocá-lo em primeiro lugar no desafio de Graph Neural Networking de 2021 e em segundo lugar no desafio de IA / ML do 5G promovido pela União Internacional de Telecomunicações das Nações Unidas com mais de 1800 participantes de 82 países. |
id |
UFSP_12db7b840f7c9ab5c2fd8710d391e1be |
---|---|
oai_identifier_str |
oai:repositorio.unifesp.br/:11600/73125 |
network_acronym_str |
UFSP |
network_name_str |
Repositório Institucional da UNIFESP |
repository_id_str |
|
spelling |
Filtros espectrais robustos para aprendizado semissupervisionadoRobust spectral filters for graph-based semi-supervised learningAprendizado semissupervisionadoRedes neurais convolutivas de grafosGeneralização em grafosRedes de ComputadoresTeoria de filasSemi-supervised learningGraph convolutional label networkLabel propagationGraph generalizationComputer networksQueuring theoryNão se aplicaOs avanços nas tecnologias de processamento de Big Data tornam comuns os grandes conjuntos de dados em diferentes formatos. Grafos são uma ferramenta excelente para representá-los, pela sua capacidade de codificar entidades e relações. Redes neurais convolucionais profundas de grafos trabalham diretamente com o espectro do grafo. Consequentemente, são menos propensas ao sobreajuste, com uma ressalva: não podem usar rótulos como parte de sua entrada, ou aprenderão um mapeamento trivial. Mostramos que muitos métodos de propagação de rótulos têm um problema semelhante. Em outras palavras, eles introduzem uma regra em que uma instância usa seu próprio rótulo, uma regra que não se aplica a dados novos. Removendo este fenômeno de auto-influência, obtemos um critério leave-one-out (LOO). Este trabalho é principalmente voltado para o estudo deste critério e para como calculá-lo ou aproximá-lo de forma eficiente. Apresentamos métodos para evitar uma complexidade de tempo e espaço proibitiva. Por exemplo, a inversão completa da matriz de propagação pode ser evitada por meio de um método iterativo que só usa colunas associadas a dados rotulados. Alternativamente, podemos aproximar com uma base restrita de autovetores do Laplaciano do grafo. Em seguida, aplicamos a expansão de Chebyshev para estender nossos métodos a redes convolutivas de grafos, e os resultados ilustram sua eficácia. Por último, abordamos um problema específico de redes de computadores, em que grafos criados em um testbed de um fabricante devem generalizar para grafos do mundo real com caminhos mais longos e capacidades de link maiores. Desenvolvemos um modelo que consegue alcançar a generalização ao ajustar um modelo baseado em teoria de filas. Isso foi o suficiente para colocá-lo em primeiro lugar no desafio de Graph Neural Networking de 2021 e em segundo lugar no desafio de IA / ML do 5G promovido pela União Internacional de Telecomunicações das Nações Unidas com mais de 1800 participantes de 82 países.The advances in Big Data processing technologies have made large datasets commonplace, structured differently depending on the application. Graphs are excellent at representing these datasets, as they offer a general way to encode entities and relations. Deep Graph Convolutional Networks work directly with the spectrum of the graph. Consequently, they are less prone to overfitting, with a caveat: they may not use labels as part of their input, or they will learn a trivial identity mapping. We show that many label propagation methods have a similar issue. Namely, they introduce a rule where an instance can use its own label, a rule which does not hold for novel data. By removing this self-influence phenomenon, we obtain a leave-one-out (LOO) criterion. This dissertation is primarily aimed at studying this criterion and the how to calculate or approximate it efficiently. We introduce methods to avoid the prohibitive time and space complexity of naive LOO error calculations. For example, full matrix inversion can be averted through an iterative method that only takes columns associated with labeled data. Alternatively, we can approximate by restricting the basis obtained from the graph Laplacian’s eigendecomposition. Next, we apply the Chebyshev expansion to extend our methods to deep graph convolutional networks, and results illustrate their effectiveness. Lastly, we cover a specific problem that arises in computer networks, where graphs created in a vendor’s testbed must generalize to real-world graphs with longer paths and larger link capacities. We develop a model that successfully achieves generalization by fine-tuning a robust queueing theory baseline. This was enough to place 1st at the Graph Neural Networking Challenge 2021 and 2nd at the AI/ML in 5G challenge promoted by the United Nation’s International Telecommunication Union with over 1800 participants from 82 countries from industry and academia.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)Código 001Universidade Federal de São PauloBerton, Lilian [UNIFESP]http://lattes.cnpq.br/9064767888093340http://lattes.cnpq.br/5069552456805947Aquino Afonso, Bruno Klaus de [UNIFESP]2025-02-20T14:36:50Z2025-02-20T14:36:50Z2022info:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/publishedVersion81f.application/pdfAFONSO, Bruno Klaus de Aquino. Robust spectral filters for graph-based semi-supervised learning. São José dos Campos, 2022. 81f. Universidade Federal de São Paulo. Instituto de Ciência e Tecnologia. Programa de Pós-Graduação em Ciência da Computação.https://hdl.handle.net/11600/73125engSão José dos Camposinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNIFESPinstname:Universidade Federal de São Paulo (UNIFESP)instacron:UNIFESP2025-02-21T04:13:46Zoai:repositorio.unifesp.br/:11600/73125Repositório InstitucionalPUBhttp://www.repositorio.unifesp.br/oai/requestbiblioteca.csp@unifesp.bropendoar:34652025-02-21T04:13:46Repositório Institucional da UNIFESP - Universidade Federal de São Paulo (UNIFESP)false |
dc.title.none.fl_str_mv |
Filtros espectrais robustos para aprendizado semissupervisionado Robust spectral filters for graph-based semi-supervised learning |
title |
Filtros espectrais robustos para aprendizado semissupervisionado |
spellingShingle |
Filtros espectrais robustos para aprendizado semissupervisionado Aquino Afonso, Bruno Klaus de [UNIFESP] Aprendizado semissupervisionado Redes neurais convolutivas de grafos Generalização em grafos Redes de Computadores Teoria de filas Semi-supervised learning Graph convolutional label network Label propagation Graph generalization Computer networks Queuring theory Não se aplica |
title_short |
Filtros espectrais robustos para aprendizado semissupervisionado |
title_full |
Filtros espectrais robustos para aprendizado semissupervisionado |
title_fullStr |
Filtros espectrais robustos para aprendizado semissupervisionado |
title_full_unstemmed |
Filtros espectrais robustos para aprendizado semissupervisionado |
title_sort |
Filtros espectrais robustos para aprendizado semissupervisionado |
author |
Aquino Afonso, Bruno Klaus de [UNIFESP] |
author_facet |
Aquino Afonso, Bruno Klaus de [UNIFESP] |
author_role |
author |
dc.contributor.none.fl_str_mv |
Berton, Lilian [UNIFESP] http://lattes.cnpq.br/9064767888093340 http://lattes.cnpq.br/5069552456805947 |
dc.contributor.author.fl_str_mv |
Aquino Afonso, Bruno Klaus de [UNIFESP] |
dc.subject.por.fl_str_mv |
Aprendizado semissupervisionado Redes neurais convolutivas de grafos Generalização em grafos Redes de Computadores Teoria de filas Semi-supervised learning Graph convolutional label network Label propagation Graph generalization Computer networks Queuring theory Não se aplica |
topic |
Aprendizado semissupervisionado Redes neurais convolutivas de grafos Generalização em grafos Redes de Computadores Teoria de filas Semi-supervised learning Graph convolutional label network Label propagation Graph generalization Computer networks Queuring theory Não se aplica |
description |
Os avanços nas tecnologias de processamento de Big Data tornam comuns os grandes conjuntos de dados em diferentes formatos. Grafos são uma ferramenta excelente para representá-los, pela sua capacidade de codificar entidades e relações. Redes neurais convolucionais profundas de grafos trabalham diretamente com o espectro do grafo. Consequentemente, são menos propensas ao sobreajuste, com uma ressalva: não podem usar rótulos como parte de sua entrada, ou aprenderão um mapeamento trivial. Mostramos que muitos métodos de propagação de rótulos têm um problema semelhante. Em outras palavras, eles introduzem uma regra em que uma instância usa seu próprio rótulo, uma regra que não se aplica a dados novos. Removendo este fenômeno de auto-influência, obtemos um critério leave-one-out (LOO). Este trabalho é principalmente voltado para o estudo deste critério e para como calculá-lo ou aproximá-lo de forma eficiente. Apresentamos métodos para evitar uma complexidade de tempo e espaço proibitiva. Por exemplo, a inversão completa da matriz de propagação pode ser evitada por meio de um método iterativo que só usa colunas associadas a dados rotulados. Alternativamente, podemos aproximar com uma base restrita de autovetores do Laplaciano do grafo. Em seguida, aplicamos a expansão de Chebyshev para estender nossos métodos a redes convolutivas de grafos, e os resultados ilustram sua eficácia. Por último, abordamos um problema específico de redes de computadores, em que grafos criados em um testbed de um fabricante devem generalizar para grafos do mundo real com caminhos mais longos e capacidades de link maiores. Desenvolvemos um modelo que consegue alcançar a generalização ao ajustar um modelo baseado em teoria de filas. Isso foi o suficiente para colocá-lo em primeiro lugar no desafio de Graph Neural Networking de 2021 e em segundo lugar no desafio de IA / ML do 5G promovido pela União Internacional de Telecomunicações das Nações Unidas com mais de 1800 participantes de 82 países. |
publishDate |
2022 |
dc.date.none.fl_str_mv |
2022 2025-02-20T14:36:50Z 2025-02-20T14:36:50Z |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
AFONSO, Bruno Klaus de Aquino. Robust spectral filters for graph-based semi-supervised learning. São José dos Campos, 2022. 81f. Universidade Federal de São Paulo. Instituto de Ciência e Tecnologia. Programa de Pós-Graduação em Ciência da Computação. https://hdl.handle.net/11600/73125 |
identifier_str_mv |
AFONSO, Bruno Klaus de Aquino. Robust spectral filters for graph-based semi-supervised learning. São José dos Campos, 2022. 81f. Universidade Federal de São Paulo. Instituto de Ciência e Tecnologia. Programa de Pós-Graduação em Ciência da Computação. |
url |
https://hdl.handle.net/11600/73125 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
81f. application/pdf |
dc.coverage.none.fl_str_mv |
São José dos Campos |
dc.publisher.none.fl_str_mv |
Universidade Federal de São Paulo |
publisher.none.fl_str_mv |
Universidade Federal de São Paulo |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UNIFESP instname:Universidade Federal de São Paulo (UNIFESP) instacron:UNIFESP |
instname_str |
Universidade Federal de São Paulo (UNIFESP) |
instacron_str |
UNIFESP |
institution |
UNIFESP |
reponame_str |
Repositório Institucional da UNIFESP |
collection |
Repositório Institucional da UNIFESP |
repository.name.fl_str_mv |
Repositório Institucional da UNIFESP - Universidade Federal de São Paulo (UNIFESP) |
repository.mail.fl_str_mv |
biblioteca.csp@unifesp.br |
_version_ |
1833924501273837568 |