Orquestração escalável da coleta de dados de telemetria In-band em planos de dados programáveis

Detalhes bibliográficos
Ano de defesa: 2022
Autor(a) principal: Hohemberger, Rumenigue
Orientador(a): Luizelli, Marcelo Caggiani
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal do Pampa
Programa de Pós-Graduação: Mestrado em Engenharia de Software
Departamento: Campus Alegrete
País: Brasil
Palavras-chave em Português:
Engenharia de software
Telemetria
Redes de computadores
Software engineering
Telemetry
Computer network
Área do conhecimento CNPq:
CNPQ::CIENCIAS EXATAS E DA TERRA
Link de acesso: https://repositorio.unipampa.edu.br/jspui/handle/riu/7175
Resumo: A telemetria de rede in band (INT) é um paradigma emergente de monitoramento de rede. Ao coletar itens de telemetria de baixo nível em tempo real, a INT pode aumentar substancialmente a visibilidade de toda a rede - permitindo, por exemplo, detecção de eventos transientes como micro-bursts. Estudos recentes têm focado em (i) desenvolver mecanismos INT para aumentar a visibilidade em toda a rede; e (ii) projetar novas soluções de monitoramento. No entanto, pouco foi feito para coordenar o processo de coleta de itens de telemetria neste novo paradigma. Isso é particularmente desafiador, dependendo de quais itens de telemetria de rede são coletados, isso pode degradar a visibilidade de toda a rede em termos de consistência/freshness. Pesquisas anteriores se concentraram em orquestrar de forma otimizada a coleta de estatísticas de telemetria in-band da rede, fornecendo pouca ou nenhuma escalabilidade para ser aplicada em ambientes realistas. Neste trabalho, (i) formalizamos teoricamente o Problema do Plano de Orquestração de Telemetria de Rede In-band e propomos um modelo de orquestração baseado em aprendizado de máquina e (ii) abordamos a limitação de escalabilidade das abordagens existentes ao propor um procedimento de busca local. Os resultados mostram que nossa abordagem de modelo de orquestração baseada em aprendizado de máquina supera as heurísticas do estado da arte por um fator de até 8x em relação ao número de anomalias de rede identificadas, por exemplo. Finalmente, nosso algoritmo supera as soluções de orquestração do estado da arte - (Gather e Balance) por um fator de 2 em relação ao número de requisitos de aplicativos de monitoramento atendidos, enquanto mantém a solução perto do ideal (menos de 5%) - exigindo alguns segundos para executar. Palavras-chave: Monitoramento de Rede. Telemetria de Rede in-band. Problema do Plano de Orquestração de Telemetria.
id UNIP_156df4eb8d8b10423ea2841ec4c33045
oai_identifier_str oai:repositorio.unipampa.edu.br:riu/7175
network_acronym_str UNIP
network_name_str Repositório Institucional da UNIPAMPA
repository_id_str
spelling Luizelli, Marcelo CaggianiRossi, Fábio DinizHohemberger, Rumenigue2022-05-04T17:44:47Z2022-05-032022-05-04T17:44:47Z2022-02-16HOHEMBERGER, Rumenigue. Orquestração escalável da coleta de dados de telemetria In-band em planos de dados programáveis. Orientador: Marcelo Caggiani Luizelli. 2022. 97p. Dissertação (Mestrado Profissional em Engenharia de Software) - Universidade Federal do Pampa, Campus Alegrete, Alegrete, 2022.https://repositorio.unipampa.edu.br/jspui/handle/riu/7175A telemetria de rede in band (INT) é um paradigma emergente de monitoramento de rede. Ao coletar itens de telemetria de baixo nível em tempo real, a INT pode aumentar substancialmente a visibilidade de toda a rede - permitindo, por exemplo, detecção de eventos transientes como micro-bursts. Estudos recentes têm focado em (i) desenvolver mecanismos INT para aumentar a visibilidade em toda a rede; e (ii) projetar novas soluções de monitoramento. No entanto, pouco foi feito para coordenar o processo de coleta de itens de telemetria neste novo paradigma. Isso é particularmente desafiador, dependendo de quais itens de telemetria de rede são coletados, isso pode degradar a visibilidade de toda a rede em termos de consistência/freshness. Pesquisas anteriores se concentraram em orquestrar de forma otimizada a coleta de estatísticas de telemetria in-band da rede, fornecendo pouca ou nenhuma escalabilidade para ser aplicada em ambientes realistas. Neste trabalho, (i) formalizamos teoricamente o Problema do Plano de Orquestração de Telemetria de Rede In-band e propomos um modelo de orquestração baseado em aprendizado de máquina e (ii) abordamos a limitação de escalabilidade das abordagens existentes ao propor um procedimento de busca local. Os resultados mostram que nossa abordagem de modelo de orquestração baseada em aprendizado de máquina supera as heurísticas do estado da arte por um fator de até 8x em relação ao número de anomalias de rede identificadas, por exemplo. Finalmente, nosso algoritmo supera as soluções de orquestração do estado da arte - (Gather e Balance) por um fator de 2 em relação ao número de requisitos de aplicativos de monitoramento atendidos, enquanto mantém a solução perto do ideal (menos de 5%) - exigindo alguns segundos para executar. Palavras-chave: Monitoramento de Rede. Telemetria de Rede in-band. Problema do Plano de Orquestração de Telemetria.In-band network telemetry (INT) is an emerging network monitoring paradigm. By collecting low-level telemetry items in real time, INT can substantially enhance network-wide visibility - allowing, for example, timely detection problems such as micro-burst. Recent studies have focused on (i) developing INT mechanisms to increase network-wide visibility; and (ii) to design new monitoring solutions. However, little has been done to coordinate the process of collecting telemetry items in this new paradigm. This is particularly challenging because depending on which network telemetry items are collected, it might degrade network-wide visibility in terms of consistency/freshness. Previous researches have focused on optimally orchestrating the collection of in-band network telemetry statistics from the network, providing little or none scalability to be applied in realistic environments. In this work, we (i) theoretically formalize the In-band Network Telemetry Orchestration Plan Problem and propose a machine learning based orchestration model and (ii) tackled the scalability limitation of existing approaches by proposing an iterated local search procedure. Results show that our machine learning based orchestration model approach outperforms state-of-the-art heuristics by up a factor of 8x with respect to the number of network anomalies identified, for instance. At least, our algorithm outper-forms state-of-the-art orchestration solutions by a factor of 2 with respect to the number monitoring applications requirements satisfied, while keeping the solution close to the optimum (less than 5%) – demanding a few seconds to execute. Key-words: Network Monitoring. In-band Network Telemetry. Telemetry Orchestration Plan Problem.porUniversidade Federal do PampaMestrado em Engenharia de SoftwareUNIPAMPABrasilCampus AlegreteCNPQ::CIENCIAS EXATAS E DA TERRAEngenharia de softwareTelemetriaRedes de computadoresSoftware engineeringTelemetryComputer networkOrquestração escalável da coleta de dados de telemetria In-band em planos de dados programáveisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNIPAMPAinstname:Universidade Federal do Pampa (UNIPAMPA)instacron:UNIPAMPAORIGINALRumenigue Hohemberger - 2022.pdfRumenigue Hohemberger - 2022.pdfapplication/pdf4378740https://repositorio.unipampa.edu.br/bitstreams/9fb32e1d-f13f-4d19-9c48-53b4a2d3684f/downloadb53f13415b5efc3dcc8a7af17d0a893eMD51trueAnonymousREADLICENSElicense.txtlicense.txttext/plain; charset=utf-81854https://repositorio.unipampa.edu.br/bitstreams/d1267267-9219-45da-9f97-89342475323c/downloadc9ad5aff503ef7873c4004c5b07c0b27MD52falseAnonymousREADriu/71752022-05-04 17:44:48.459open.accessoai:repositorio.unipampa.edu.br:riu/7175https://repositorio.unipampa.edu.brRepositório InstitucionalPUBhttp://dspace.unipampa.edu.br:8080/oai/requestsisbi@unipampa.edu.bropendoar:2022-05-04T17:44:48Repositório Institucional da UNIPAMPA - Universidade Federal do Pampa (UNIPAMPA)falseTElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEKCkNvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvciAoZXMpIG91IG8gdGl0dWxhciBkb3MgZGlyZWl0b3MgZGUgYXV0b3IpIGNvbmNlZGUgYW8gUmVwb3NpdMOzcmlvCkluc3RpdHVjaW9uYWwgbyBkaXJlaXRvIG7Do28tZXhjbHVzaXZvIGRlIHJlcHJvZHV6aXIsICB0cmFkdXppciAoY29uZm9ybWUgZGVmaW5pZG8gYWJhaXhvKSwgZS9vdSBkaXN0cmlidWlyIGEKc3VhIHB1YmxpY2HDp8OjbyAoaW5jbHVpbmRvIG8gcmVzdW1vKSBwb3IgdG9kbyBvIG11bmRvIG5vIGZvcm1hdG8gaW1wcmVzc28gZSBlbGV0csO0bmljbyBlIGVtIHF1YWxxdWVyIG1laW8sIGluY2x1aW5kbyBvcwpmb3JtYXRvcyDDoXVkaW8gb3UgdsOtZGVvLgoKVm9jw6ogY29uY29yZGEgcXVlIGEgVU5JUEFNUEEgcG9kZSwgc2VtIGFsdGVyYXIgbyBjb250ZcO6ZG8sIHRyYW5zcG9yIGEgc3VhIHB1YmxpY2HDp8OjbyBwYXJhIHF1YWxxdWVyIG1laW8gb3UgZm9ybWF0bwpwYXJhIGZpbnMgZGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIHRhbWLDqW0gY29uY29yZGEgcXVlICBhIFVOSVBBTVBBIHBvZGUgbWFudGVyIG1haXMgZGUgdW1hIGPDs3BpYSBkZSBzdWEgcHVibGljYcOnw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwCmUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIGEgc3VhIHB1YmxpY2HDp8OjbyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4KVm9jw6ogdGFtYsOpbSBkZWNsYXJhIHF1ZSBvIGRlcMOzc2l0byBkYSBzdWEgcHVibGljYcOnw6NvIG7Do28sIHF1ZSBzZWphIGRlIHNldSBjb25oZWNpbWVudG8sIGluZnJpbmdlIGRpcmVpdG9zIGF1dG9yYWlzCmRlIG5pbmd1w6ltLgoKQ2FzbyBhIHN1YSBwdWJsaWNhw6fDo28gY29udGVuaGEgbWF0ZXJpYWwgcXVlIHZvY8OqIG7Do28gcG9zc3VpIGEgdGl0dWxhcmlkYWRlIGRvcyBkaXJlaXRvcyBhdXRvcmFpcywgdm9jw6ogZGVjbGFyYSBxdWUKb2J0ZXZlIGEgcGVybWlzc8OjbyBpcnJlc3RyaXRhIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBwYXJhIGNvbmNlZGVyIMOgIFVOSVBBTVBBIG9zIGRpcmVpdG9zIGFwcmVzZW50YWRvcwpuZXN0YSBsaWNlbsOnYSwgZSBxdWUgZXNzZSBtYXRlcmlhbCBkZSBwcm9wcmllZGFkZSBkZSB0ZXJjZWlyb3MgZXN0w6EgY2xhcmFtZW50ZSBpZGVudGlmaWNhZG8gZSByZWNvbmhlY2lkbyBubyB0ZXh0bwpvdSBubyBjb250ZcO6ZG8gZGEgcHVibGljYcOnw6NvIG9yYSBkZXBvc2l0YWRhLgoKQ0FTTyBBIFBVQkxJQ0HDh8ODTyBPUkEgREVQT1NJVEFEQSBURU5IQSBTSURPIFJFU1VMVEFETyBERSBVTSBQQVRST0PDjU5JTyBPVSBBUE9JTyBERSBVTUEgQUfDik5DSUEgREUgRk9NRU5UTyBPVSBPVVRSTwpPUkdBTklTTU8sIFZPQ8OKIERFQ0xBUkEgUVVFIFJFU1BFSVRPVSBUT0RPUyBFIFFVQUlTUVVFUiBESVJFSVRPUyBERSBSRVZJU8ODTyBDT01PIFRBTULDiU0gQVMgREVNQUlTIE9CUklHQcOHw5VFUwpFWElHSURBUyBQT1IgQ09OVFJBVE8gT1UgQUNPUkRPLgoKQSBVTklQQU1QQSBzZSBjb21wcm9tZXRlIGEgaWRlbnRpZmljYXIgY2xhcmFtZW50ZSBvIHNldSBub21lIChzKSBvdSBvKHMpIG5vbWUocykgZG8ocykgZGV0ZW50b3IoZXMpIGRvcyBkaXJlaXRvcwphdXRvcmFpcyBkYSBwdWJsaWNhw6fDo28sIGUgbsOjbyBmYXLDoSBxdWFscXVlciBhbHRlcmHDp8OjbywgYWzDqW0gZGFxdWVsYXMgY29uY2VkaWRhcyBwb3IgZXN0YSBsaWNlbsOnYS4K
dc.title.pt_BR.fl_str_mv Orquestração escalável da coleta de dados de telemetria In-band em planos de dados programáveis
title Orquestração escalável da coleta de dados de telemetria In-band em planos de dados programáveis
spellingShingle Orquestração escalável da coleta de dados de telemetria In-band em planos de dados programáveis
Hohemberger, Rumenigue
CNPQ::CIENCIAS EXATAS E DA TERRA
Engenharia de software
Telemetria
Redes de computadores
Software engineering
Telemetry
Computer network
title_short Orquestração escalável da coleta de dados de telemetria In-band em planos de dados programáveis
title_full Orquestração escalável da coleta de dados de telemetria In-band em planos de dados programáveis
title_fullStr Orquestração escalável da coleta de dados de telemetria In-band em planos de dados programáveis
title_full_unstemmed Orquestração escalável da coleta de dados de telemetria In-band em planos de dados programáveis
title_sort Orquestração escalável da coleta de dados de telemetria In-band em planos de dados programáveis
author Hohemberger, Rumenigue
author_facet Hohemberger, Rumenigue
author_role author
dc.contributor.advisor1.fl_str_mv Luizelli, Marcelo Caggiani
dc.contributor.advisor-co1.fl_str_mv Rossi, Fábio Diniz
dc.contributor.author.fl_str_mv Hohemberger, Rumenigue
contributor_str_mv Luizelli, Marcelo Caggiani
Rossi, Fábio Diniz
dc.subject.cnpq.fl_str_mv CNPQ::CIENCIAS EXATAS E DA TERRA
topic CNPQ::CIENCIAS EXATAS E DA TERRA
Engenharia de software
Telemetria
Redes de computadores
Software engineering
Telemetry
Computer network
dc.subject.por.fl_str_mv Engenharia de software
Telemetria
Redes de computadores
Software engineering
Telemetry
Computer network
description A telemetria de rede in band (INT) é um paradigma emergente de monitoramento de rede. Ao coletar itens de telemetria de baixo nível em tempo real, a INT pode aumentar substancialmente a visibilidade de toda a rede - permitindo, por exemplo, detecção de eventos transientes como micro-bursts. Estudos recentes têm focado em (i) desenvolver mecanismos INT para aumentar a visibilidade em toda a rede; e (ii) projetar novas soluções de monitoramento. No entanto, pouco foi feito para coordenar o processo de coleta de itens de telemetria neste novo paradigma. Isso é particularmente desafiador, dependendo de quais itens de telemetria de rede são coletados, isso pode degradar a visibilidade de toda a rede em termos de consistência/freshness. Pesquisas anteriores se concentraram em orquestrar de forma otimizada a coleta de estatísticas de telemetria in-band da rede, fornecendo pouca ou nenhuma escalabilidade para ser aplicada em ambientes realistas. Neste trabalho, (i) formalizamos teoricamente o Problema do Plano de Orquestração de Telemetria de Rede In-band e propomos um modelo de orquestração baseado em aprendizado de máquina e (ii) abordamos a limitação de escalabilidade das abordagens existentes ao propor um procedimento de busca local. Os resultados mostram que nossa abordagem de modelo de orquestração baseada em aprendizado de máquina supera as heurísticas do estado da arte por um fator de até 8x em relação ao número de anomalias de rede identificadas, por exemplo. Finalmente, nosso algoritmo supera as soluções de orquestração do estado da arte - (Gather e Balance) por um fator de 2 em relação ao número de requisitos de aplicativos de monitoramento atendidos, enquanto mantém a solução perto do ideal (menos de 5%) - exigindo alguns segundos para executar. Palavras-chave: Monitoramento de Rede. Telemetria de Rede in-band. Problema do Plano de Orquestração de Telemetria.
publishDate 2022
dc.date.accessioned.fl_str_mv 2022-05-04T17:44:47Z
dc.date.available.fl_str_mv 2022-05-03
2022-05-04T17:44:47Z
dc.date.issued.fl_str_mv 2022-02-16
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv HOHEMBERGER, Rumenigue. Orquestração escalável da coleta de dados de telemetria In-band em planos de dados programáveis. Orientador: Marcelo Caggiani Luizelli. 2022. 97p. Dissertação (Mestrado Profissional em Engenharia de Software) - Universidade Federal do Pampa, Campus Alegrete, Alegrete, 2022.
dc.identifier.uri.fl_str_mv https://repositorio.unipampa.edu.br/jspui/handle/riu/7175
identifier_str_mv HOHEMBERGER, Rumenigue. Orquestração escalável da coleta de dados de telemetria In-band em planos de dados programáveis. Orientador: Marcelo Caggiani Luizelli. 2022. 97p. Dissertação (Mestrado Profissional em Engenharia de Software) - Universidade Federal do Pampa, Campus Alegrete, Alegrete, 2022.
url https://repositorio.unipampa.edu.br/jspui/handle/riu/7175
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal do Pampa
dc.publisher.program.fl_str_mv Mestrado em Engenharia de Software
dc.publisher.initials.fl_str_mv UNIPAMPA
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Campus Alegrete
publisher.none.fl_str_mv Universidade Federal do Pampa
dc.source.none.fl_str_mv reponame:Repositório Institucional da UNIPAMPA
instname:Universidade Federal do Pampa (UNIPAMPA)
instacron:UNIPAMPA
instname_str Universidade Federal do Pampa (UNIPAMPA)
instacron_str UNIPAMPA
institution UNIPAMPA
reponame_str Repositório Institucional da UNIPAMPA
collection Repositório Institucional da UNIPAMPA
bitstream.url.fl_str_mv https://repositorio.unipampa.edu.br/bitstreams/9fb32e1d-f13f-4d19-9c48-53b4a2d3684f/download
https://repositorio.unipampa.edu.br/bitstreams/d1267267-9219-45da-9f97-89342475323c/download
bitstream.checksum.fl_str_mv b53f13415b5efc3dcc8a7af17d0a893e
c9ad5aff503ef7873c4004c5b07c0b27
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UNIPAMPA - Universidade Federal do Pampa (UNIPAMPA)
repository.mail.fl_str_mv sisbi@unipampa.edu.br
_version_ 1854750415968534528

Registros relacionados