MLFV: uma abordagem consciente do estado da rede para orquestração de cadeias de funções de aprendizado de máquina
Ano de defesa: | 2019 |
---|---|
Autor(a) principal: | |
Orientador(a): | |
Banca de defesa: | , |
Tipo de documento: | Dissertação |
Tipo de acesso: | Acesso aberto |
Idioma: | por |
Instituição de defesa: |
Universidade Federal de Santa Maria
Centro de Tecnologia |
Programa de Pós-Graduação: |
Programa de Pós-Graduação em Ciência da Computação
|
Departamento: |
Ciência da Computação
|
País: |
Brasil
|
Palavras-chave em Português: | |
Palavras-chave em Inglês: | |
Área do conhecimento CNPq: | |
Link de acesso: | http://repositorio.ufsm.br/handle/1/19445 |
Resumo: | Machine Learning as a Service (MLaaS) platforms are allowing the application of Machine Learning (ML) techniques from anywhere, and at any time. These platforms, in general, are hosted in the cloud and have a scalable infrastructure with high processing power; however, they have some disadvantages, such as the need to send data to the cloud. ML on the Edge (Edge Computing) is emerging as an option to tackle some limitations imposed by these platforms, reducing the latency and bandwidth usage; furthermore, it avoids data privacy and security issues by keeping the data on the local network. However, the application of ML on the edge still presents research challenges, such as the orchestration of ML functions considering the network state and the computational capabilities of the nodes. In this sense, network-aware orchestration services, provided by Network Function Virtualization (NFV) platforms can be a promising approach to manage the ML tasks placement. This work proposes the MLFV (Machine Learning Function Virtualization), a network-aware approach that explores the NFV environment to orchestrate the execution of ML function chains; these chains represent the execution flow of the ML functions that can be grouped as sequential and/or parallel activities. The MLFV implements a model for placing chains of ML, considering constraints on CPU, memory, required libraries and the network overload aiming to reduce the overall execution time of all functions in a chain. This model distributes the functions in order to reduce the network overload, the execution time, especially in cases where the network presents some instability. To evaluate the MLFV proposal a case study in the geotechnical area was conducted, using soil data to reproduce the soil classification process through two ML function chains; these chains, implemented by MLFV, were created based on the Knowledge Discovery in Databases process (KDD). The results showed that MLFV achieved, on average, a 25% reduction in the execution time compared to cloud (MLaaS) and edge approaches in a stable network connection scenario. When some computational nodes had bandwidth constraints, MLFV was able to identify these limitations, allocating the ML tasks on hosts with stable connections. The other approaches were unable to detect these instabilities, resulting in a 400% increase in the overall chain execution time. |
id |
UFSM-20_db3a262de57728eac7629e427eb5d11a |
---|---|
oai_identifier_str |
oai:repositorio.ufsm.br:1/19445 |
network_acronym_str |
UFSM-20 |
network_name_str |
Manancial - Repositório Digital da UFSM |
repository_id_str |
|
spelling |
2020-01-28T15:37:54Z2020-01-28T15:37:54Z2019-08-21http://repositorio.ufsm.br/handle/1/19445Machine Learning as a Service (MLaaS) platforms are allowing the application of Machine Learning (ML) techniques from anywhere, and at any time. These platforms, in general, are hosted in the cloud and have a scalable infrastructure with high processing power; however, they have some disadvantages, such as the need to send data to the cloud. ML on the Edge (Edge Computing) is emerging as an option to tackle some limitations imposed by these platforms, reducing the latency and bandwidth usage; furthermore, it avoids data privacy and security issues by keeping the data on the local network. However, the application of ML on the edge still presents research challenges, such as the orchestration of ML functions considering the network state and the computational capabilities of the nodes. In this sense, network-aware orchestration services, provided by Network Function Virtualization (NFV) platforms can be a promising approach to manage the ML tasks placement. This work proposes the MLFV (Machine Learning Function Virtualization), a network-aware approach that explores the NFV environment to orchestrate the execution of ML function chains; these chains represent the execution flow of the ML functions that can be grouped as sequential and/or parallel activities. The MLFV implements a model for placing chains of ML, considering constraints on CPU, memory, required libraries and the network overload aiming to reduce the overall execution time of all functions in a chain. This model distributes the functions in order to reduce the network overload, the execution time, especially in cases where the network presents some instability. To evaluate the MLFV proposal a case study in the geotechnical area was conducted, using soil data to reproduce the soil classification process through two ML function chains; these chains, implemented by MLFV, were created based on the Knowledge Discovery in Databases process (KDD). The results showed that MLFV achieved, on average, a 25% reduction in the execution time compared to cloud (MLaaS) and edge approaches in a stable network connection scenario. When some computational nodes had bandwidth constraints, MLFV was able to identify these limitations, allocating the ML tasks on hosts with stable connections. The other approaches were unable to detect these instabilities, resulting in a 400% increase in the overall chain execution time.As plataformas de Aprendizado de Máquina como Serviço (MLaaS) vem possibilitando a aplicação de técnicas de Aprendizado de Máquina (ML) de qualquer lugar e a qualquer momento. Essas plataformas, em geral, são hospedadas na nuvem e possuem infraestruturas escaláveis com um alto poder de processamento; no entanto, apresentam algumas desvantagens como a necessidade de realizar a transferência dos dados para a nuvem. A aplicação de ML na borda da rede (Edge Computing) está surgindo como uma opção para reduzir algumas das limitações impostas por essas plataformas, diminuindo, por exemplo, a latência e o uso da rede; além disso, evita problemas com relação a privacidade e segurança dos dados por mantê-los na rede interna. No entanto, a aplicação de ML na borda ainda apresenta desafios de pesquisa, como, por exemplo, a orquestração de funções de ML levando em consideração o atual estado da rede e as capacidades computacionais dos nodos. Neste sentido, serviços de orquestração de funções conscientes do estado da rede, como os fornecidos por plataformas de Virtualização de Funções de Rede (NFV), podem ser uma abordagem promissora para gerenciar a distribuição das tarefas de ML. Este trabalho propõe o MLFV (Machine Learning Function Virtualization), uma abordagem consciente do estado da rede que explora um ambiente de NFV para orquestrar a execução de cadeias de funções de ML; essas cadeias representam o fluxo de execução das funções, podendo ser agrupadas de forma sequencial e/ou paralela. A abordagem de MLFV implementa um modelo matemático para colocação de cadeias de ML que, considerando restrições de CPU, memória, bibliotecas necessárias e sobrecarga de rede, objetiva reduzir o tempo total de execução de todas as funções de uma cadeia. O modelo distribui as funções de forma a reduzir a sobrecarga na rede, o que acarreta na redução no tempo total de execução, principalmente em casos em que a rede apresenta instabilidade. Para avaliar a abordagem de MLFV foi realizado um estudo de caso na área de geotecnia, utilizando dados de sensores para reproduzir o processo de classificação de solos através de duas cadeias de funções de ML; essas cadeias, implementadas pelo MLFV, foram criadas com base no processo de Descoberta de Conhecimento em Base de Dados (KDD). Os experimentos demonstraram que o MLFV obteve, em média, uma redução no tempo de execução de 25% em comparação às abordagens de ML na nuvem (MLaaS) e na borda (Edge) em um cenário com conexão de rede estável. Em um cenário onde os nodos computacionais apresentavam restrições de largura de banda, o MLFV foi capaz de identificar essas limitações, alocando as tarefas de ML nos hosts com conexão estável. As outras abordagens não foram capazes de detectar essas instabilidades, acarretando em um aumento de 400% no tempo de execução das cadeias de funções.porUniversidade Federal de Santa MariaCentro de TecnologiaPrograma de Pós-Graduação em Ciência da ComputaçãoUFSMBrasilCiência da ComputaçãoAttribution-NonCommercial-NoDerivatives 4.0 Internationalhttp://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessAprendizado de máquinaVirtualização de funções de redeEncadeamento de funçõesComputação na bordaMachine learningNetwork function virtualizationFunction chainingEdge computingCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOMLFV: uma abordagem consciente do estado da rede para orquestração de cadeias de funções de aprendizado de máquinaMLFV: a network-aware approach for machine learning function chain orquestrationinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisMachado, Alencarhttp://lattes.cnpq.br/5538050121450638Rizzetti, Tiago Antoniohttp://lattes.cnpq.br/4831665039238635Villaca, Rodolfo da Silvahttp://lattes.cnpq.br/3755692723547807http://lattes.cnpq.br/8847441544365269Souza, Renan Lirio de1003000000076003dee9a18-244f-4201-9b4e-ad386ce959328aff7d37-9607-471d-8284-9823c04d12468e6abc28-04f4-404f-9c89-e86f04b5d80d74e4707d-a6c7-4ba2-ac1d-31658bf3e73ereponame:Manancial - Repositório Digital da UFSMinstname:Universidade Federal de Santa Maria (UFSM)instacron:UFSMORIGINALDIS_PPGCC_2019_SOUZA_RENAN.pdfDIS_PPGCC_2019_SOUZA_RENAN.pdfDissertação de Mestradoapplication/pdf1201907http://repositorio.ufsm.br/bitstream/1/19445/1/DIS_PPGCC_2019_SOUZA_RENAN.pdfbcd74d4d28636c30f30c4efd1ca215fdMD51LICENSElicense.txtlicense.txttext/plain; charset=utf-816http://repositorio.ufsm.br/bitstream/1/19445/3/license.txtf8fcb28efb1c8cf0dc096bec902bf4c4MD53CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8805http://repositorio.ufsm.br/bitstream/1/19445/2/license_rdf4460e5956bc1d1639be9ae6146a50347MD52TEXTDIS_PPGCC_2019_SOUZA_RENAN.pdf.txtDIS_PPGCC_2019_SOUZA_RENAN.pdf.txtExtracted texttext/plain173907http://repositorio.ufsm.br/bitstream/1/19445/4/DIS_PPGCC_2019_SOUZA_RENAN.pdf.txt6f35da57d0e69c6fc90c79ae5629d01eMD54THUMBNAILDIS_PPGCC_2019_SOUZA_RENAN.pdf.jpgDIS_PPGCC_2019_SOUZA_RENAN.pdf.jpgIM Thumbnailimage/jpeg4054http://repositorio.ufsm.br/bitstream/1/19445/5/DIS_PPGCC_2019_SOUZA_RENAN.pdf.jpg2efd5fe6d0741f1da2001081bdc2996aMD551/194452020-01-29 03:00:30.344oai:repositorio.ufsm.br:1/19445Q3JlYXRpdmUgQ29tbW9ucw==Repositório Institucionalhttp://repositorio.ufsm.br/PUBhttp://repositorio.ufsm.br/oai/requestopendoar:39132020-01-29T06:00:30Manancial - Repositório Digital da UFSM - Universidade Federal de Santa Maria (UFSM)false |
dc.title.por.fl_str_mv |
MLFV: uma abordagem consciente do estado da rede para orquestração de cadeias de funções de aprendizado de máquina |
dc.title.alternative.eng.fl_str_mv |
MLFV: a network-aware approach for machine learning function chain orquestration |
title |
MLFV: uma abordagem consciente do estado da rede para orquestração de cadeias de funções de aprendizado de máquina |
spellingShingle |
MLFV: uma abordagem consciente do estado da rede para orquestração de cadeias de funções de aprendizado de máquina Souza, Renan Lirio de Aprendizado de máquina Virtualização de funções de rede Encadeamento de funções Computação na borda Machine learning Network function virtualization Function chaining Edge computing CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
title_short |
MLFV: uma abordagem consciente do estado da rede para orquestração de cadeias de funções de aprendizado de máquina |
title_full |
MLFV: uma abordagem consciente do estado da rede para orquestração de cadeias de funções de aprendizado de máquina |
title_fullStr |
MLFV: uma abordagem consciente do estado da rede para orquestração de cadeias de funções de aprendizado de máquina |
title_full_unstemmed |
MLFV: uma abordagem consciente do estado da rede para orquestração de cadeias de funções de aprendizado de máquina |
title_sort |
MLFV: uma abordagem consciente do estado da rede para orquestração de cadeias de funções de aprendizado de máquina |
author |
Souza, Renan Lirio de |
author_facet |
Souza, Renan Lirio de |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Machado, Alencar |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/5538050121450638 |
dc.contributor.referee1.fl_str_mv |
Rizzetti, Tiago Antonio |
dc.contributor.referee1Lattes.fl_str_mv |
http://lattes.cnpq.br/4831665039238635 |
dc.contributor.referee2.fl_str_mv |
Villaca, Rodolfo da Silva |
dc.contributor.referee2Lattes.fl_str_mv |
http://lattes.cnpq.br/3755692723547807 |
dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/8847441544365269 |
dc.contributor.author.fl_str_mv |
Souza, Renan Lirio de |
contributor_str_mv |
Machado, Alencar Rizzetti, Tiago Antonio Villaca, Rodolfo da Silva |
dc.subject.por.fl_str_mv |
Aprendizado de máquina Virtualização de funções de rede Encadeamento de funções Computação na borda |
topic |
Aprendizado de máquina Virtualização de funções de rede Encadeamento de funções Computação na borda Machine learning Network function virtualization Function chaining Edge computing CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
dc.subject.eng.fl_str_mv |
Machine learning Network function virtualization Function chaining Edge computing |
dc.subject.cnpq.fl_str_mv |
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
description |
Machine Learning as a Service (MLaaS) platforms are allowing the application of Machine Learning (ML) techniques from anywhere, and at any time. These platforms, in general, are hosted in the cloud and have a scalable infrastructure with high processing power; however, they have some disadvantages, such as the need to send data to the cloud. ML on the Edge (Edge Computing) is emerging as an option to tackle some limitations imposed by these platforms, reducing the latency and bandwidth usage; furthermore, it avoids data privacy and security issues by keeping the data on the local network. However, the application of ML on the edge still presents research challenges, such as the orchestration of ML functions considering the network state and the computational capabilities of the nodes. In this sense, network-aware orchestration services, provided by Network Function Virtualization (NFV) platforms can be a promising approach to manage the ML tasks placement. This work proposes the MLFV (Machine Learning Function Virtualization), a network-aware approach that explores the NFV environment to orchestrate the execution of ML function chains; these chains represent the execution flow of the ML functions that can be grouped as sequential and/or parallel activities. The MLFV implements a model for placing chains of ML, considering constraints on CPU, memory, required libraries and the network overload aiming to reduce the overall execution time of all functions in a chain. This model distributes the functions in order to reduce the network overload, the execution time, especially in cases where the network presents some instability. To evaluate the MLFV proposal a case study in the geotechnical area was conducted, using soil data to reproduce the soil classification process through two ML function chains; these chains, implemented by MLFV, were created based on the Knowledge Discovery in Databases process (KDD). The results showed that MLFV achieved, on average, a 25% reduction in the execution time compared to cloud (MLaaS) and edge approaches in a stable network connection scenario. When some computational nodes had bandwidth constraints, MLFV was able to identify these limitations, allocating the ML tasks on hosts with stable connections. The other approaches were unable to detect these instabilities, resulting in a 400% increase in the overall chain execution time. |
publishDate |
2019 |
dc.date.issued.fl_str_mv |
2019-08-21 |
dc.date.accessioned.fl_str_mv |
2020-01-28T15:37:54Z |
dc.date.available.fl_str_mv |
2020-01-28T15:37:54Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://repositorio.ufsm.br/handle/1/19445 |
url |
http://repositorio.ufsm.br/handle/1/19445 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.cnpq.fl_str_mv |
100300000007 |
dc.relation.confidence.fl_str_mv |
600 |
dc.relation.authority.fl_str_mv |
3dee9a18-244f-4201-9b4e-ad386ce95932 8aff7d37-9607-471d-8284-9823c04d1246 8e6abc28-04f4-404f-9c89-e86f04b5d80d 74e4707d-a6c7-4ba2-ac1d-31658bf3e73e |
dc.rights.driver.fl_str_mv |
Attribution-NonCommercial-NoDerivatives 4.0 International http://creativecommons.org/licenses/by-nc-nd/4.0/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Attribution-NonCommercial-NoDerivatives 4.0 International http://creativecommons.org/licenses/by-nc-nd/4.0/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Santa Maria Centro de Tecnologia |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Ciência da Computação |
dc.publisher.initials.fl_str_mv |
UFSM |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
Ciência da Computação |
publisher.none.fl_str_mv |
Universidade Federal de Santa Maria Centro de Tecnologia |
dc.source.none.fl_str_mv |
reponame:Manancial - Repositório Digital da UFSM instname:Universidade Federal de Santa Maria (UFSM) instacron:UFSM |
instname_str |
Universidade Federal de Santa Maria (UFSM) |
instacron_str |
UFSM |
institution |
UFSM |
reponame_str |
Manancial - Repositório Digital da UFSM |
collection |
Manancial - Repositório Digital da UFSM |
bitstream.url.fl_str_mv |
http://repositorio.ufsm.br/bitstream/1/19445/1/DIS_PPGCC_2019_SOUZA_RENAN.pdf http://repositorio.ufsm.br/bitstream/1/19445/3/license.txt http://repositorio.ufsm.br/bitstream/1/19445/2/license_rdf http://repositorio.ufsm.br/bitstream/1/19445/4/DIS_PPGCC_2019_SOUZA_RENAN.pdf.txt http://repositorio.ufsm.br/bitstream/1/19445/5/DIS_PPGCC_2019_SOUZA_RENAN.pdf.jpg |
bitstream.checksum.fl_str_mv |
bcd74d4d28636c30f30c4efd1ca215fd f8fcb28efb1c8cf0dc096bec902bf4c4 4460e5956bc1d1639be9ae6146a50347 6f35da57d0e69c6fc90c79ae5629d01e 2efd5fe6d0741f1da2001081bdc2996a |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Manancial - Repositório Digital da UFSM - Universidade Federal de Santa Maria (UFSM) |
repository.mail.fl_str_mv |
|
_version_ |
1794524349655416832 |