A place-as-you-go in-network framework by modular decomposition for flexible embedding to software/hardware co-design

Detalhes bibliográficos
Ano de defesa: 2022
Autor(a) principal: Rossi Mafioletti, Diego
Orientador(a): Martinello, Magnos
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Vitória
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: https://repositorio.ifes.edu.br/handle/123456789/2861
Resumo: RESUMO: A computação em nuvem tornou-se muito popular como plataforma computacional, fazendo parte do cotidiano das pessoas. Para fornecer o poder de supercomputação exigido pela nuvem, a rede deve desempenhar um papel crucial ao conectar centenas de milhares de máquinas nos data centers. No entanto, com o surgimento de um novo conjunto maciço de aplicativos intensivos e nativos da nuvem (por exemplo, 5G, robótica em nuvem, aprendizado profundo, etc.) combinado com a virtualização de funções de rede (NFV), uma pressão significativa foi colocada sobre a capacidade de processamento das CPUs dos servidores, exigindo ainda mais alta performance e transformando a rede em um gargalo. Normalmente, a interface de rede (NIC) é usada para conectar servidores à rede. No entanto, as interface de rede inteligentes (SmartNICs) estão se tornando um método cada vez mais popular de descarregar tarefas intensivas de processamento de pacotes dos servidores, liberando ciclos da CPU e impulsionando o desempenho de aplicativos. O desafio chave para o uso de uma SmartNIC é como fazer uso eficiente desses recursos de computação heterogêneos na rede, pois há uma lacuna significativa entre o aplicativo e os recursos de computação dos dispositivos programáveis. Em primeiro lugar, este dispositivo carece de modelos genéricos de programação ou abstrações, sendo geralmente programado usando primitivas de baixo nível ou APIs proprietárias. Em segundo lugar, o desenvolvedor de rede precisa lidar com a complexidade interna dos recursos de hardware, bem como gerenciar o equilíbrio nas cargas de trabalho de descarregamento, tentando descobrir o balanço entre sobrecargas adicionais e benefícios do descarregamento. É necessário descobrir como co-projetar a lógica do aplicativo entre o hardware de rede programável e os servidores dentro do paradigma de computação de borda. Esta tese apresenta um novo arcabouço para prototipagem e implantação de aplicativos em rede. Ele é estruturado em um conjunto de componentes que dependem de i) decomposição funcional da aplicação; ii) identificação dos blocos lógicos; iii) agregação de funções sobrepostas mescladas e mapeadas em funcionalidades de rede em linguagem P4; iv) interceptar, interagir e encaminhar com estruturas de dados para balancear o descarregamento de fluxos de rede. A fim de demonstrar o princípio de co-design em várias aplicações, funções de rede virtual (VNFs) são criadas, e alguns de seus elementos funcionalmente decompostos são implantados como pequenas funções de rede incorporadas (eNFs) em processadores de rede em diversos casos de uso, revisando os componentes do arcabouço levantados anteriormente: decompondo funções de rede (i, ii, iii) e unificando componentes para se encaixarem em um conjunto de VNFs/eNFs, examinando latência, taxa de transferência e uso de vCPU em relação à sua contraparte implementada em software; interceptando e interagindo com robótica em nuvem (iv), abordando preocupações de segurança ao usar planos de dados programáveis; evoluindo para funções de rede seguras executadas em computação em rede (i, ii, iii, iv), verificando o overhead adicionado por elas; e modificando um mecanismo de escalonador upstream em PON (iv), fornecendo requisitos de baixa latência a aplicativos.
id IFES-2_75e76fbe770fc76672847475df606ab8
oai_identifier_str oai:repositorio.ifes.edu.br:123456789/2861
network_acronym_str IFES-2
network_name_str Repositório Institucional do IFES
repository_id_str
spelling Rossi Mafioletti, DiegoUniversidade Federal do Espírito Santo (Ufes)Soares Mota, Vinícius FernandesBonato Both, CristianoVerdi, Fabio LucianoGiaccone, PaoloMartinello, MagnosNunes Ribeiro, Moises Renato2023-02-07T17:08:42Z2023-02-07T17:08:42Z2022MAFIOLETTI, Diego Rossi. A place-as-you-go in-network framework by modular decomposition for flexible embedding to software/hardware co-design. 2022. 132 f. Tese (Doutorado em Informática) - Universidade Federal do Espírito Santo, Centro Tecnológico, Vitória, 2022.https://repositorio.ifes.edu.br/handle/123456789/286130001013007P0RESUMO: A computação em nuvem tornou-se muito popular como plataforma computacional, fazendo parte do cotidiano das pessoas. Para fornecer o poder de supercomputação exigido pela nuvem, a rede deve desempenhar um papel crucial ao conectar centenas de milhares de máquinas nos data centers. No entanto, com o surgimento de um novo conjunto maciço de aplicativos intensivos e nativos da nuvem (por exemplo, 5G, robótica em nuvem, aprendizado profundo, etc.) combinado com a virtualização de funções de rede (NFV), uma pressão significativa foi colocada sobre a capacidade de processamento das CPUs dos servidores, exigindo ainda mais alta performance e transformando a rede em um gargalo. Normalmente, a interface de rede (NIC) é usada para conectar servidores à rede. No entanto, as interface de rede inteligentes (SmartNICs) estão se tornando um método cada vez mais popular de descarregar tarefas intensivas de processamento de pacotes dos servidores, liberando ciclos da CPU e impulsionando o desempenho de aplicativos. O desafio chave para o uso de uma SmartNIC é como fazer uso eficiente desses recursos de computação heterogêneos na rede, pois há uma lacuna significativa entre o aplicativo e os recursos de computação dos dispositivos programáveis. Em primeiro lugar, este dispositivo carece de modelos genéricos de programação ou abstrações, sendo geralmente programado usando primitivas de baixo nível ou APIs proprietárias. Em segundo lugar, o desenvolvedor de rede precisa lidar com a complexidade interna dos recursos de hardware, bem como gerenciar o equilíbrio nas cargas de trabalho de descarregamento, tentando descobrir o balanço entre sobrecargas adicionais e benefícios do descarregamento. É necessário descobrir como co-projetar a lógica do aplicativo entre o hardware de rede programável e os servidores dentro do paradigma de computação de borda. Esta tese apresenta um novo arcabouço para prototipagem e implantação de aplicativos em rede. Ele é estruturado em um conjunto de componentes que dependem de i) decomposição funcional da aplicação; ii) identificação dos blocos lógicos; iii) agregação de funções sobrepostas mescladas e mapeadas em funcionalidades de rede em linguagem P4; iv) interceptar, interagir e encaminhar com estruturas de dados para balancear o descarregamento de fluxos de rede. A fim de demonstrar o princípio de co-design em várias aplicações, funções de rede virtual (VNFs) são criadas, e alguns de seus elementos funcionalmente decompostos são implantados como pequenas funções de rede incorporadas (eNFs) em processadores de rede em diversos casos de uso, revisando os componentes do arcabouço levantados anteriormente: decompondo funções de rede (i, ii, iii) e unificando componentes para se encaixarem em um conjunto de VNFs/eNFs, examinando latência, taxa de transferência e uso de vCPU em relação à sua contraparte implementada em software; interceptando e interagindo com robótica em nuvem (iv), abordando preocupações de segurança ao usar planos de dados programáveis; evoluindo para funções de rede seguras executadas em computação em rede (i, ii, iii, iv), verificando o overhead adicionado por elas; e modificando um mecanismo de escalonador upstream em PON (iv), fornecendo requisitos de baixa latência a aplicativos.ABSTRACT: Cloud computing has become very popular as a computation platform, being part of people’s daily life. In order to deliver the cloud-required super-computing power, the network must play a crucial role by connecting hundreds of thousands of machines within data centres. However, with the rise of a new massive set of cloud-native and intensive applications (e.g. 5G, cloud robotics, deep learning, etc) combined with network function virtualisation (NFV), a significant strain has been placed on the processing capacity of server CPUs, demanding even higher performance and turning the network into a bottleneck. Typically, the network interface card (NIC) has been used to connect servers to the network. Although, smart network interface cards (SmartNICs) are becoming an increasingly popular method of offloading intensive packet processing tasks from servers, thus freeing CPU cycles to drive application performance. The critical challenge towards using a SmartNIC is how to make efficient use of these in-network heterogeneous computing resources, as there is a significant gap between application software and the computing capabilities of programmable devices. First, this device lacks generic programming models or abstractions, being usually programmed using low-level primitives or proprietary APIs. Second, the network developer needs to deal with the internal complexity of hardware resources, as well as manage the balance on offloading workloads, trying to find out the trade-off between additional overheads and offloading benefits. It is needed to figure out how to co-design application logic between programmable network hardware and end-host servers within the edge computing paradigm. This thesis presents a novel framework for prototyping and deploying in-network applications. The framework is structured into a set of components that rely on i) application functional decomposition; ii) identification of logic blocks; iii) aggregation of overlapped functions merged and mapped on network functionalities in P4 language; iv) intercepting, interacting and forwarding with data structures for balancing the offloading of network flows. In order to demonstrate the principle of co-designing on diverse applications, Virtual Network Functions (VNFs) are created, and some of their functionally decomposed elements are deployed as small embedded Network Functions (eNFs) on in-network processors in sorted use cases, reviewing the framework components raised previously: decomposing network functions (i, ii, iii) and unifying components to fit into a set of VNFs/eNFs, examining latency, throughput and vCPU usage against their software implementation counterpart; intercepting and interacting with cloud robotics (iv), raising security concerns when using programmable data planes; evolving to security network functions running at in-network computing (i, ii, iii, iv), checking the overhead added by them; and modifying a PON upstream scheduler mechanism (iv), providing low latency requirements for applications.Campus Colatina132 f.Redes de computadoresInterconexão em rede (Telecomunicações)Linguagem de programação de domínio específico (Computadores)Sistemas embarcados (Computadores)Sistemas de computação virtualA place-as-you-go in-network framework by modular decomposition for flexible embedding to software/hardware co-designinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisVitóriaPrograma de Pós-Graduação em Informática (PPGI)Ciências da Computaçãoinfo:eu-repo/semantics/openAccessengreponame:Repositório Institucional do IFESinstname:Instituto Federal de Educação, Ciência e Tecnologia do Espírito Santo (IFES)instacron:IFEShttp://lattes.cnpq.br/2470233635439757https://orcid.org/0000-0002-1513-9414ORIGINALTese_de_Doutorado___Diego_Rossi_Mafioletti.pdfTese_de_Doutorado___Diego_Rossi_Mafioletti.pdfapplication/pdf7152867https://repositorio.ifes.edu.br/bitstreams/435e1c10-1a1d-4bf2-aeff-0197f1f0911e/downloadd3c73eb5b3a4e0e2149a71ffd1da3178MD51trueAnonymousREADLICENSElicense.txtlicense.txttext/plain; charset=utf-8934https://repositorio.ifes.edu.br/bitstreams/c50fa7aa-cf16-4f94-a341-e42a0d4e334a/downloadac7cb971050ed632be934da23d966924MD52falseAnonymousREADTEXTTese_de_Doutorado___Diego_Rossi_Mafioletti.pdf.txtTese_de_Doutorado___Diego_Rossi_Mafioletti.pdf.txtExtracted texttext/plain257651https://repositorio.ifes.edu.br/bitstreams/c96dba76-c016-41cd-a69c-74808745b7e1/download26191caa5d5daed008932c443f62b96fMD53falseAnonymousREADTHUMBNAILTese_de_Doutorado___Diego_Rossi_Mafioletti.pdf.jpgTese_de_Doutorado___Diego_Rossi_Mafioletti.pdf.jpgGenerated Thumbnailimage/jpeg2842https://repositorio.ifes.edu.br/bitstreams/f920bd66-d37a-44f8-acce-bafb438af4ee/download19476d0475246b6b3c1f43662427a552MD54falseAnonymousREAD123456789/28612025-06-11T22:10:12.344Zopen.accessoai:repositorio.ifes.edu.br:123456789/2861https://repositorio.ifes.edu.brRepositório InstitucionalPUBhttps://repositorio.ifes.edu.br/server/oai/requestrepositorio@ifes.edu.bropendoar:2025-06-11T22:10:12Repositório Institucional do IFES - Instituto Federal de Educação, Ciência e Tecnologia do Espírito Santo (IFES)falseQXV0b3JlcyBxdWUgc3VibWV0ZW0gYSBlc3RhIGNvbmZlcsOqbmNpYSBjb25jb3JkYW0gY29tIG9zIHNlZ3VpbnRlcyB0ZXJtb3M6CmEpIEF1dG9yZXMgbWFudMOpbSBvcyBkaXJlaXRvcyBhdXRvcmFpcyBzb2JyZSBvIHRyYWJhbGhvLCBwZXJtaXRpbmRvIMOgIGNvbmZlcsOqbmNpYSBjb2xvY8OhLWxvIHNvYiB1bWEgbGljZW7Dp2EgTGljZW7Dp2EgQ3JlYXRpdmUgQ29tbW9ucyBBdHRyaWJ1dGlvbiwgcXVlIHBlcm1pdGUgbGl2cmVtZW50ZSBhIG91dHJvcyBhY2Vzc2FyLCB1c2FyIGUgY29tcGFydGlsaGFyIG8gdHJhYmFsaG8gY29tIG8gY3LDqWRpdG8gZGUgYXV0b3JpYSBlIGFwcmVzZW50YcOnw6NvIGluaWNpYWwgbmVzdGEgY29uZmVyw6puY2lhLgpiKSBBdXRvcmVzIHBvZGVtIGFicmlyIG3Do28gZG9zIHRlcm1vcyBkYSBsaWNlbsOnYSBDQyBlIGRlZmluaXIgY29udHJhdG9zIGFkaWNpb25haXMgcGFyYSBhIGRpc3RyaWJ1acOnw6NvIG7Do28tZXhjbHVzaXZhIGUgc3Vic2Vxw7xlbnRlIHB1YmxpY2HDp8OjbyBkZXN0ZSB0cmFiYWxobyAoZXguOiBwdWJsaWNhciB1bWEgdmVyc8OjbyBhdHVhbGl6YWRhIGVtIHVtIHBlcmnDs2RpY28sIGRpc3BvbmliaWxpemFyIGVtIHJlcG9zaXTDs3JpbyBpbnN0aXR1Y2lvbmFsLCBvdSBwdWJsaWPDoS1sbyBlbSBsaXZybyksIGNvbSBvIGNyw6lkaXRvIGRlIGF1dG9yaWEgZSBhcHJlc2VudGHDp8OjbyBpbmljaWFsIG5lc3RhIGNvbmZlcsOqbmNpYS4KYykgQWzDqW0gZGlzc28sIGF1dG9yZXMgc8OjbyBpbmNlbnRpdmFkb3MgYSBwdWJsaWNhciBlIGNvbXBhcnRpbGhhciBzZXVzIHRyYWJhbGhvcyBvbmxpbmUgKGV4LjogZW0gcmVwb3NpdMOzcmlvIGluc3RpdHVjaW9uYWwgb3UgZW0gc3VhIHDDoWdpbmEgcGVzc29hbCkgYSBxdWFscXVlciBtb21lbnRvIGFudGVzIGUgZGVwb2lzIGRhIGNvbmZlcsOqCg==
dc.title.pt_BR.fl_str_mv A place-as-you-go in-network framework by modular decomposition for flexible embedding to software/hardware co-design
title A place-as-you-go in-network framework by modular decomposition for flexible embedding to software/hardware co-design
spellingShingle A place-as-you-go in-network framework by modular decomposition for flexible embedding to software/hardware co-design
Rossi Mafioletti, Diego
Redes de computadores
Interconexão em rede (Telecomunicações)
Linguagem de programação de domínio específico (Computadores)
Sistemas embarcados (Computadores)
Sistemas de computação virtual
title_short A place-as-you-go in-network framework by modular decomposition for flexible embedding to software/hardware co-design
title_full A place-as-you-go in-network framework by modular decomposition for flexible embedding to software/hardware co-design
title_fullStr A place-as-you-go in-network framework by modular decomposition for flexible embedding to software/hardware co-design
title_full_unstemmed A place-as-you-go in-network framework by modular decomposition for flexible embedding to software/hardware co-design
title_sort A place-as-you-go in-network framework by modular decomposition for flexible embedding to software/hardware co-design
author Rossi Mafioletti, Diego
author_facet Rossi Mafioletti, Diego
author_role author
dc.contributor.institution.pt_BR.fl_str_mv Universidade Federal do Espírito Santo (Ufes)
dc.contributor.member.none.fl_str_mv Soares Mota, Vinícius Fernandes
Bonato Both, Cristiano
Verdi, Fabio Luciano
Giaccone, Paolo
dc.contributor.author.fl_str_mv Rossi Mafioletti, Diego
dc.contributor.advisor1.fl_str_mv Martinello, Magnos
dc.contributor.advisor-co1.fl_str_mv Nunes Ribeiro, Moises Renato
contributor_str_mv Martinello, Magnos
Nunes Ribeiro, Moises Renato
dc.subject.por.fl_str_mv Redes de computadores
Interconexão em rede (Telecomunicações)
Linguagem de programação de domínio específico (Computadores)
Sistemas embarcados (Computadores)
Sistemas de computação virtual
topic Redes de computadores
Interconexão em rede (Telecomunicações)
Linguagem de programação de domínio específico (Computadores)
Sistemas embarcados (Computadores)
Sistemas de computação virtual
description RESUMO: A computação em nuvem tornou-se muito popular como plataforma computacional, fazendo parte do cotidiano das pessoas. Para fornecer o poder de supercomputação exigido pela nuvem, a rede deve desempenhar um papel crucial ao conectar centenas de milhares de máquinas nos data centers. No entanto, com o surgimento de um novo conjunto maciço de aplicativos intensivos e nativos da nuvem (por exemplo, 5G, robótica em nuvem, aprendizado profundo, etc.) combinado com a virtualização de funções de rede (NFV), uma pressão significativa foi colocada sobre a capacidade de processamento das CPUs dos servidores, exigindo ainda mais alta performance e transformando a rede em um gargalo. Normalmente, a interface de rede (NIC) é usada para conectar servidores à rede. No entanto, as interface de rede inteligentes (SmartNICs) estão se tornando um método cada vez mais popular de descarregar tarefas intensivas de processamento de pacotes dos servidores, liberando ciclos da CPU e impulsionando o desempenho de aplicativos. O desafio chave para o uso de uma SmartNIC é como fazer uso eficiente desses recursos de computação heterogêneos na rede, pois há uma lacuna significativa entre o aplicativo e os recursos de computação dos dispositivos programáveis. Em primeiro lugar, este dispositivo carece de modelos genéricos de programação ou abstrações, sendo geralmente programado usando primitivas de baixo nível ou APIs proprietárias. Em segundo lugar, o desenvolvedor de rede precisa lidar com a complexidade interna dos recursos de hardware, bem como gerenciar o equilíbrio nas cargas de trabalho de descarregamento, tentando descobrir o balanço entre sobrecargas adicionais e benefícios do descarregamento. É necessário descobrir como co-projetar a lógica do aplicativo entre o hardware de rede programável e os servidores dentro do paradigma de computação de borda. Esta tese apresenta um novo arcabouço para prototipagem e implantação de aplicativos em rede. Ele é estruturado em um conjunto de componentes que dependem de i) decomposição funcional da aplicação; ii) identificação dos blocos lógicos; iii) agregação de funções sobrepostas mescladas e mapeadas em funcionalidades de rede em linguagem P4; iv) interceptar, interagir e encaminhar com estruturas de dados para balancear o descarregamento de fluxos de rede. A fim de demonstrar o princípio de co-design em várias aplicações, funções de rede virtual (VNFs) são criadas, e alguns de seus elementos funcionalmente decompostos são implantados como pequenas funções de rede incorporadas (eNFs) em processadores de rede em diversos casos de uso, revisando os componentes do arcabouço levantados anteriormente: decompondo funções de rede (i, ii, iii) e unificando componentes para se encaixarem em um conjunto de VNFs/eNFs, examinando latência, taxa de transferência e uso de vCPU em relação à sua contraparte implementada em software; interceptando e interagindo com robótica em nuvem (iv), abordando preocupações de segurança ao usar planos de dados programáveis; evoluindo para funções de rede seguras executadas em computação em rede (i, ii, iii, iv), verificando o overhead adicionado por elas; e modificando um mecanismo de escalonador upstream em PON (iv), fornecendo requisitos de baixa latência a aplicativos.
publishDate 2022
dc.date.issued.fl_str_mv 2022
dc.date.accessioned.fl_str_mv 2023-02-07T17:08:42Z
dc.date.available.fl_str_mv 2023-02-07T17:08:42Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv MAFIOLETTI, Diego Rossi. A place-as-you-go in-network framework by modular decomposition for flexible embedding to software/hardware co-design. 2022. 132 f. Tese (Doutorado em Informática) - Universidade Federal do Espírito Santo, Centro Tecnológico, Vitória, 2022.
dc.identifier.uri.fl_str_mv https://repositorio.ifes.edu.br/handle/123456789/2861
dc.identifier.capes.pt_BR.fl_str_mv 30001013007P0
identifier_str_mv MAFIOLETTI, Diego Rossi. A place-as-you-go in-network framework by modular decomposition for flexible embedding to software/hardware co-design. 2022. 132 f. Tese (Doutorado em Informática) - Universidade Federal do Espírito Santo, Centro Tecnológico, Vitória, 2022.
30001013007P0
url https://repositorio.ifes.edu.br/handle/123456789/2861
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 132 f.
dc.publisher.none.fl_str_mv Vitória
publisher.none.fl_str_mv Vitória
dc.source.none.fl_str_mv reponame:Repositório Institucional do IFES
instname:Instituto Federal de Educação, Ciência e Tecnologia do Espírito Santo (IFES)
instacron:IFES
instname_str Instituto Federal de Educação, Ciência e Tecnologia do Espírito Santo (IFES)
instacron_str IFES
institution IFES
reponame_str Repositório Institucional do IFES
collection Repositório Institucional do IFES
bitstream.url.fl_str_mv https://repositorio.ifes.edu.br/bitstreams/435e1c10-1a1d-4bf2-aeff-0197f1f0911e/download
https://repositorio.ifes.edu.br/bitstreams/c50fa7aa-cf16-4f94-a341-e42a0d4e334a/download
https://repositorio.ifes.edu.br/bitstreams/c96dba76-c016-41cd-a69c-74808745b7e1/download
https://repositorio.ifes.edu.br/bitstreams/f920bd66-d37a-44f8-acce-bafb438af4ee/download
bitstream.checksum.fl_str_mv d3c73eb5b3a4e0e2149a71ffd1da3178
ac7cb971050ed632be934da23d966924
26191caa5d5daed008932c443f62b96f
19476d0475246b6b3c1f43662427a552
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional do IFES - Instituto Federal de Educação, Ciência e Tecnologia do Espírito Santo (IFES)
repository.mail.fl_str_mv repositorio@ifes.edu.br
_version_ 1865654661322637312