Sistema de Aprendizagem de Máquina Distribuído utilizando o VCube
| Ano de defesa: | 2024 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | , |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Estadual do Oeste do Paraná
Cascavel |
| Programa de Pós-Graduação: |
Programa de Pós-Graduação em Ciência da Computação
|
| Departamento: |
Centro de Ciências Exatas e Tecnológicas
|
| País: |
Brasil
|
| Palavras-chave em Português: | |
| Palavras-chave em Inglês: | |
| Área do conhecimento CNPq: | |
| Link de acesso: | https://tede.unioeste.br/handle/tede/7354 |
Resumo: | As the amount of data generated increases, it is no longer stored locally, resulting in distributed data scenarios. Therefore, if it is necessary to perform a classification process, i.e. the process of predicting the category of new entries based on training data, it would be necessary to consolidate the information at a central point in the network to perform the learning. However, in some situations, it is not practical to move the data across the network because the connections are congested or the information is exposed to attacks. To overcome such difficulties, a distributed classification method using a peer-to-peer strategy in conjunction with VCube is proposed in this paper. VCube is a distributed diagnosis algorithm that organizes the network nodes in a virtual topology of a hypercube, enabling efficient detection of failures in the network nodes. In the proposed solution, the models are trained locally and then shared so that no information needs to be sent and displayed. During the experiments, eight nodes were used in the network, each of which performed local training using the multilayer perceptron algorithm. Different scenarios of data distribution in the network were tested, varying the number of instances and the distribution of classes. We also simulated cases where one of the network nodes was unavailable. The results show that local training is faster than training that focuses on a single node. The performance in terms of accuracy was greater when each node received models trained on other nodes, i.e. the distributed system achieved higher accuracy than the individual solution. The results emphasize the applicability of VCube as a topology for sharing trained models. In cases where one of the nodes was unavailable, the strategy allowed the distributed learning system to function properly and achieve better performance than the models generated on each individual node. |
| id |
UNIOESTE-1_73909cd6a71e7368cc467c7c0fb6d307 |
|---|---|
| oai_identifier_str |
oai:tede.unioeste.br:tede/7354 |
| network_acronym_str |
UNIOESTE-1 |
| network_name_str |
Biblioteca Digital de Teses e Dissertações do UNIOESTE |
| repository_id_str |
|
| spelling |
Brun, André LuizRodrigue, Luiz AntonioRodrigues, Luiz AntonioSilva, Ronan Assumpçãohttp://lattes.cnpq.br/7469382433298819Salles, Charles Giovane de2024-08-29T17:03:29Z2024-04-21Salles, Charles Giovane de. Sistema de Aprendizagem de Máquina Distribuído utilizando o VCube. 2024. 81 f. Dissertação( Mestre em Ciência da Computação) - Universidade Estadual do Oeste do Paraná, Cascavel.https://tede.unioeste.br/handle/tede/7354As the amount of data generated increases, it is no longer stored locally, resulting in distributed data scenarios. Therefore, if it is necessary to perform a classification process, i.e. the process of predicting the category of new entries based on training data, it would be necessary to consolidate the information at a central point in the network to perform the learning. However, in some situations, it is not practical to move the data across the network because the connections are congested or the information is exposed to attacks. To overcome such difficulties, a distributed classification method using a peer-to-peer strategy in conjunction with VCube is proposed in this paper. VCube is a distributed diagnosis algorithm that organizes the network nodes in a virtual topology of a hypercube, enabling efficient detection of failures in the network nodes. In the proposed solution, the models are trained locally and then shared so that no information needs to be sent and displayed. During the experiments, eight nodes were used in the network, each of which performed local training using the multilayer perceptron algorithm. Different scenarios of data distribution in the network were tested, varying the number of instances and the distribution of classes. We also simulated cases where one of the network nodes was unavailable. The results show that local training is faster than training that focuses on a single node. The performance in terms of accuracy was greater when each node received models trained on other nodes, i.e. the distributed system achieved higher accuracy than the individual solution. The results emphasize the applicability of VCube as a topology for sharing trained models. In cases where one of the nodes was unavailable, the strategy allowed the distributed learning system to function properly and achieve better performance than the models generated on each individual node.Com o crescimento do volume de informações geradas, seu armazenamento deixou de ser realizado de forma local, criando os cenários de dados distribuídos. Assim, quando é necessário realizar um processo de classificação, que é o processo de predizer a categoria de novas entradas com base em dados de treinamento, seria necessária a consolidação das informações em um ponto central da rede para efetuar o aprendizado. No entanto, em algumas situações a movimentação de dados pela rede não é viável, seja pela sobrecarga do enlace ou por sujeitar as informações a ataques. Como forma de contornar tais dificuldades neste trabalho, é proposto um método de classificação distribuída empregando-se uma estratégia do tipo peer-to-peer em conjunto com VCube que é um algoritmo de diagnóstico distribuído que organiza os nós da rede em uma topologia virtual de hipercubo permitindo a detecção eficiente de falhas nos nós da rede. Na solução proposta os modelos são treinados localmente e então compartilhados, evitando a necessidade de envio e exposição das informações. Durante os experimentos foram utilizados oito nós na rede no qual cada um realizava o treinamento local com o algoritmo Perceptron Multicamadas. Diferentes cenários de distribuição de dados na rede foram testados, desde variando-se a quantidade de instâncias quanto a distribuição das classes. Além disso, simulamos casos em que algum dos nós da rede poderia não estar disponível. Os resultados mostraram que o treinamento local é mais rápido em comparação ao treinamento centrado em um único nó. Os desempenhos em termos de acurácia foram maiores quando cada nó recebia os modelos treinados nos outros nós, ou seja, o sistema distribuído obteve acurácia maior em comparação à solução individual. Os resultados evidenciaram a aplicabilidade do VCube como topologia de compartilhamento dos modelos treinados. Nos casos em que um dos nós estava indisponível, a estratégia permitiu que o sistema de aprendizado distribuído pudesse funcionar adequadamente, obtendo desempenho superior aos modelos gerados em cada nó individualmente.Submitted by Edineia Teixeira (edineia.teixeira@unioeste.br) on 2024-08-29T17:03:29Z No. of bitstreams: 1 Charles Giovane Charles.pdf: 2723669 bytes, checksum: 3307deaeb68da896a350738c0b124712 (MD5)Made available in DSpace on 2024-08-29T17:03:29Z (GMT). No. of bitstreams: 1 Charles Giovane Charles.pdf: 2723669 bytes, checksum: 3307deaeb68da896a350738c0b124712 (MD5) Previous issue date: 2024-04-21application/pdfpor6588633818200016417500Universidade Estadual do Oeste do ParanáCascavelPrograma de Pós-Graduação em Ciência da ComputaçãoUNIOESTEBrasilCentro de Ciências Exatas e Tecnológicashttp://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessClassificaçãoSistemas de Múltiplos ClassificadoresSistemas de Apren dizado FederadoClassificationMultiple Classifier SystemsFederated LearningCIÊNCIA DA COMPUTAÇÃOSistema de Aprendizagem de Máquina Distribuído utilizando o VCubeDistributed Machine Learning System using VCubeinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis19749965330812744706006002214374442868382015reponame:Biblioteca Digital de Teses e Dissertações do UNIOESTEinstname:Universidade Estadual do Oeste do Paraná (UNIOESTE)instacron:UNIOESTEORIGINALCharles Giovane Charles.pdfCharles Giovane Charles.pdfapplication/pdf2723669http://tede.unioeste.br:8080/tede/bitstream/tede/7354/2/Charles+Giovane+Charles.pdf3307deaeb68da896a350738c0b124712MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82165http://tede.unioeste.br:8080/tede/bitstream/tede/7354/1/license.txtbd3efa91386c1718a7f26a329fdcb468MD51tede/73542024-08-29 14:03:29.344oai:tede.unioeste.br:tede/7354Tk9UQTogQ09MT1FVRSBBUVVJIEEgU1VBIFBSw5NQUklBIExJQ0VOw4dBCkVzdGEgbGljZW7Dp2EgZGUgZXhlbXBsbyDDqSBmb3JuZWNpZGEgYXBlbmFzIHBhcmEgZmlucyBpbmZvcm1hdGl2b3MuCgpMSUNFTsOHQSBERSBESVNUUklCVUnDh8ODTyBOw4NPLUVYQ0xVU0lWQQoKQ29tIGEgYXByZXNlbnRhw6fDo28gZGVzdGEgbGljZW7Dp2EsIHZvY8OqIChvIGF1dG9yIChlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSDDoCBVbml2ZXJzaWRhZGUgClhYWCAoU2lnbGEgZGEgVW5pdmVyc2lkYWRlKSBvIGRpcmVpdG8gbsOjby1leGNsdXNpdm8gZGUgcmVwcm9kdXppciwgIHRyYWR1emlyIChjb25mb3JtZSBkZWZpbmlkbyBhYmFpeG8pLCBlL291IApkaXN0cmlidWlyIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyAoaW5jbHVpbmRvIG8gcmVzdW1vKSBwb3IgdG9kbyBvIG11bmRvIG5vIGZvcm1hdG8gaW1wcmVzc28gZSBlbGV0csO0bmljbyBlIAplbSBxdWFscXVlciBtZWlvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KClZvY8OqIGNvbmNvcmRhIHF1ZSBhIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhbnNwb3IgYSBzdWEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIApwYXJhIHF1YWxxdWVyIG1laW8gb3UgZm9ybWF0byBwYXJhIGZpbnMgZGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIHRhbWLDqW0gY29uY29yZGEgcXVlIGEgU2lnbGEgZGUgVW5pdmVyc2lkYWRlIHBvZGUgbWFudGVyIG1haXMgZGUgdW1hIGPDs3BpYSBhIHN1YSB0ZXNlIG91IApkaXNzZXJ0YcOnw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyAKbmVzdGEgbGljZW7Dp2EuIFZvY8OqIHRhbWLDqW0gZGVjbGFyYSBxdWUgbyBkZXDDs3NpdG8gZGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyBuw6NvLCBxdWUgc2VqYSBkZSBzZXUgCmNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiAKZGVjbGFyYSBxdWUgb2J0ZXZlIGEgcGVybWlzc8OjbyBpcnJlc3RyaXRhIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBwYXJhIGNvbmNlZGVyIMOgIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSAKb3MgZGlyZWl0b3MgYXByZXNlbnRhZG9zIG5lc3RhIGxpY2Vuw6dhLCBlIHF1ZSBlc3NlIG1hdGVyaWFsIGRlIHByb3ByaWVkYWRlIGRlIHRlcmNlaXJvcyBlc3TDoSBjbGFyYW1lbnRlIAppZGVudGlmaWNhZG8gZSByZWNvbmhlY2lkbyBubyB0ZXh0byBvdSBubyBjb250ZcO6ZG8gZGEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIG9yYSBkZXBvc2l0YWRhLgoKQ0FTTyBBIFRFU0UgT1UgRElTU0VSVEHDh8ODTyBPUkEgREVQT1NJVEFEQSBURU5IQSBTSURPIFJFU1VMVEFETyBERSBVTSBQQVRST0PDjU5JTyBPVSAKQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PIFFVRSBOw4NPIFNFSkEgQSBTSUdMQSBERSAKVU5JVkVSU0lEQURFLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyAKVEFNQsOJTSBBUyBERU1BSVMgT0JSSUdBw4fDlUVTIEVYSUdJREFTIFBPUiBDT05UUkFUTyBPVSBBQ09SRE8uCgpBIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSBzZSBjb21wcm9tZXRlIGEgaWRlbnRpZmljYXIgY2xhcmFtZW50ZSBvIHNldSBub21lIChzKSBvdSBvKHMpIG5vbWUocykgZG8ocykgCmRldGVudG9yKGVzKSBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIGFsw6ltIGRhcXVlbGFzIApjb25jZWRpZGFzIHBvciBlc3RhIGxpY2Vuw6dhLgo=Biblioteca Digital de Teses e Dissertaçõeshttp://tede.unioeste.br/PUBhttp://tede.unioeste.br/oai/requestbiblioteca.repositorio@unioeste.bropendoar:2024-08-29T17:03:29Biblioteca Digital de Teses e Dissertações do UNIOESTE - Universidade Estadual do Oeste do Paraná (UNIOESTE)false |
| dc.title.por.fl_str_mv |
Sistema de Aprendizagem de Máquina Distribuído utilizando o VCube |
| dc.title.alternative.eng.fl_str_mv |
Distributed Machine Learning System using VCube |
| title |
Sistema de Aprendizagem de Máquina Distribuído utilizando o VCube |
| spellingShingle |
Sistema de Aprendizagem de Máquina Distribuído utilizando o VCube Salles, Charles Giovane de Classificação Sistemas de Múltiplos Classificadores Sistemas de Apren dizado Federado Classification Multiple Classifier Systems Federated Learning CIÊNCIA DA COMPUTAÇÃO |
| title_short |
Sistema de Aprendizagem de Máquina Distribuído utilizando o VCube |
| title_full |
Sistema de Aprendizagem de Máquina Distribuído utilizando o VCube |
| title_fullStr |
Sistema de Aprendizagem de Máquina Distribuído utilizando o VCube |
| title_full_unstemmed |
Sistema de Aprendizagem de Máquina Distribuído utilizando o VCube |
| title_sort |
Sistema de Aprendizagem de Máquina Distribuído utilizando o VCube |
| author |
Salles, Charles Giovane de |
| author_facet |
Salles, Charles Giovane de |
| author_role |
author |
| dc.contributor.advisor1.fl_str_mv |
Brun, André Luiz |
| dc.contributor.advisor-co2.fl_str_mv |
Rodrigue, Luiz Antonio |
| dc.contributor.referee1.fl_str_mv |
Rodrigues, Luiz Antonio |
| dc.contributor.referee2.fl_str_mv |
Silva, Ronan Assumpção |
| dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/7469382433298819 |
| dc.contributor.author.fl_str_mv |
Salles, Charles Giovane de |
| contributor_str_mv |
Brun, André Luiz Rodrigue, Luiz Antonio Rodrigues, Luiz Antonio Silva, Ronan Assumpção |
| dc.subject.por.fl_str_mv |
Classificação Sistemas de Múltiplos Classificadores Sistemas de Apren dizado Federado |
| topic |
Classificação Sistemas de Múltiplos Classificadores Sistemas de Apren dizado Federado Classification Multiple Classifier Systems Federated Learning CIÊNCIA DA COMPUTAÇÃO |
| dc.subject.eng.fl_str_mv |
Classification Multiple Classifier Systems Federated Learning |
| dc.subject.cnpq.fl_str_mv |
CIÊNCIA DA COMPUTAÇÃO |
| description |
As the amount of data generated increases, it is no longer stored locally, resulting in distributed data scenarios. Therefore, if it is necessary to perform a classification process, i.e. the process of predicting the category of new entries based on training data, it would be necessary to consolidate the information at a central point in the network to perform the learning. However, in some situations, it is not practical to move the data across the network because the connections are congested or the information is exposed to attacks. To overcome such difficulties, a distributed classification method using a peer-to-peer strategy in conjunction with VCube is proposed in this paper. VCube is a distributed diagnosis algorithm that organizes the network nodes in a virtual topology of a hypercube, enabling efficient detection of failures in the network nodes. In the proposed solution, the models are trained locally and then shared so that no information needs to be sent and displayed. During the experiments, eight nodes were used in the network, each of which performed local training using the multilayer perceptron algorithm. Different scenarios of data distribution in the network were tested, varying the number of instances and the distribution of classes. We also simulated cases where one of the network nodes was unavailable. The results show that local training is faster than training that focuses on a single node. The performance in terms of accuracy was greater when each node received models trained on other nodes, i.e. the distributed system achieved higher accuracy than the individual solution. The results emphasize the applicability of VCube as a topology for sharing trained models. In cases where one of the nodes was unavailable, the strategy allowed the distributed learning system to function properly and achieve better performance than the models generated on each individual node. |
| publishDate |
2024 |
| dc.date.accessioned.fl_str_mv |
2024-08-29T17:03:29Z |
| dc.date.issued.fl_str_mv |
2024-04-21 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.citation.fl_str_mv |
Salles, Charles Giovane de. Sistema de Aprendizagem de Máquina Distribuído utilizando o VCube. 2024. 81 f. Dissertação( Mestre em Ciência da Computação) - Universidade Estadual do Oeste do Paraná, Cascavel. |
| dc.identifier.uri.fl_str_mv |
https://tede.unioeste.br/handle/tede/7354 |
| identifier_str_mv |
Salles, Charles Giovane de. Sistema de Aprendizagem de Máquina Distribuído utilizando o VCube. 2024. 81 f. Dissertação( Mestre em Ciência da Computação) - Universidade Estadual do Oeste do Paraná, Cascavel. |
| url |
https://tede.unioeste.br/handle/tede/7354 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.relation.program.fl_str_mv |
1974996533081274470 |
| dc.relation.confidence.fl_str_mv |
600 600 |
| dc.relation.department.fl_str_mv |
2214374442868382015 |
| dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/4.0/ info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-nd/4.0/ |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade Estadual do Oeste do Paraná Cascavel |
| dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Ciência da Computação |
| dc.publisher.initials.fl_str_mv |
UNIOESTE |
| dc.publisher.country.fl_str_mv |
Brasil |
| dc.publisher.department.fl_str_mv |
Centro de Ciências Exatas e Tecnológicas |
| publisher.none.fl_str_mv |
Universidade Estadual do Oeste do Paraná Cascavel |
| dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações do UNIOESTE instname:Universidade Estadual do Oeste do Paraná (UNIOESTE) instacron:UNIOESTE |
| instname_str |
Universidade Estadual do Oeste do Paraná (UNIOESTE) |
| instacron_str |
UNIOESTE |
| institution |
UNIOESTE |
| reponame_str |
Biblioteca Digital de Teses e Dissertações do UNIOESTE |
| collection |
Biblioteca Digital de Teses e Dissertações do UNIOESTE |
| bitstream.url.fl_str_mv |
http://tede.unioeste.br:8080/tede/bitstream/tede/7354/2/Charles+Giovane+Charles.pdf http://tede.unioeste.br:8080/tede/bitstream/tede/7354/1/license.txt |
| bitstream.checksum.fl_str_mv |
3307deaeb68da896a350738c0b124712 bd3efa91386c1718a7f26a329fdcb468 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 |
| repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações do UNIOESTE - Universidade Estadual do Oeste do Paraná (UNIOESTE) |
| repository.mail.fl_str_mv |
biblioteca.repositorio@unioeste.br |
| _version_ |
1851949241949224960 |