Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data

Detalhes bibliográficos
Ano de defesa: 2023
Autor(a) principal: Schuartz, Fábio César
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
UTFPR
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: http://repositorio.utfpr.edu.br/jspui/handle/1/32287
Resumo: With the enormous expansion of computer networks, the need to protect data and information that travels over the web has increased. The growth in volume, speed, and variety of data requires an intrusion detection system that is more robust, accurate, and capable of analyzing a huge amount of data. This work proposes the creation of an intrusion detection system using a distributed architecture. The system uses three layers of classification of sample streams, collected from the network, where each classification layer can be composed of one or more classifiers, working in parallel. Classifiers are trained with different machine-learning methods. Each layer can select the main characteristics to be used to classify the samples, and a final classification unit, the Decider, uses the voting method to determine the final classification result. The architecture uses stream classifiers, but it is possible to use traditional classifiers. The results obtained by the proposed architecture, using two databases for validation of the proposed system – NSL-KDD and CICIDS2017, show gains in accuracy of up to 18.52% and 3.55%, using the NSL-KDD and CICIDS2017 databases, respectively. Reductions in classification time of up to 35.51% and 94.90%, respectively, were obtained. A negative factor generated by the proposed work is the increase in the memory requirement, due to the use of several classifiers simultaneously, instead of just one classifier, normally used. This increase in RAM/Hour was up to 351.42% and 1016.52% for the NSL-KDD and CICIDS2017 bases, respectively.
id UTFPR-12_2c44417178579a1f6a3e4882271c1f27
oai_identifier_str oai:repositorio.utfpr.edu.br:1/32287
network_acronym_str UTFPR-12
network_name_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository_id_str
spelling Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big dataA proposal for distributed intrusion detection using stream mining in big data environmentsSistemas de detecção de intrusão (segurança informática)Aprendizado do computadorRedes de computadores - Medidas de segurançaMineração de dados (Computação)Big dataIntrusion detection systems (Computer security)Machine learningComputer networks - Security measuresData miningCNPQ::ENGENHARIAS::ENGENHARIA ELETRICAEngenharia ElétricaWith the enormous expansion of computer networks, the need to protect data and information that travels over the web has increased. The growth in volume, speed, and variety of data requires an intrusion detection system that is more robust, accurate, and capable of analyzing a huge amount of data. This work proposes the creation of an intrusion detection system using a distributed architecture. The system uses three layers of classification of sample streams, collected from the network, where each classification layer can be composed of one or more classifiers, working in parallel. Classifiers are trained with different machine-learning methods. Each layer can select the main characteristics to be used to classify the samples, and a final classification unit, the Decider, uses the voting method to determine the final classification result. The architecture uses stream classifiers, but it is possible to use traditional classifiers. The results obtained by the proposed architecture, using two databases for validation of the proposed system – NSL-KDD and CICIDS2017, show gains in accuracy of up to 18.52% and 3.55%, using the NSL-KDD and CICIDS2017 databases, respectively. Reductions in classification time of up to 35.51% and 94.90%, respectively, were obtained. A negative factor generated by the proposed work is the increase in the memory requirement, due to the use of several classifiers simultaneously, instead of just one classifier, normally used. This increase in RAM/Hour was up to 351.42% and 1016.52% for the NSL-KDD and CICIDS2017 bases, respectively.Com a enorme expansão das redes de computadores, aumentou a necessidade de proteger os dados e informações que trafegam pela rede. O crescimento em volume, velocidade e variedade dos dados exige um sistema de detecção de intrusão mais robusto, preciso e capaz de analisar uma quantidade gigantesca de dados. Este trabalho propõe a criação de um sistema de detecção de intrusão utilizando uma arquitetura distribuída. O sistema utiliza três camadas de classificação de fluxo de amostras, coletadas a partir da rede, onde cada camada de classificação pode ser composta de um ou mais classificadores, trabalhando em paralelo. Os classificadores são treinados com diferentes métodos de aprendizagem de máquina. Cada camada pode selecionar as principais características a serem utilizadas para classificar as amostras, e uma unidade classificadora final, o Decisor, utiliza o método de votação para determinar o resultado final da classificação. A arquitetura utiliza classificadores em fluxo, porém é possível utilizar classificadores tradicionais. Os resultados obtidos pela arquitetura apresentada, utilizando duas bases de dados para validação do sistema proposto – NSL-KDD e CICIDS2017, mostram ganhos na acurácia de até 18,52% e 3,55%, utilizando as bases NSL-KDD e CICIDS2017, respectivamente. Obteve-se reduções no tempo de classificação de até 35,51% e 94,90%, respectivamente. Um fator negativo gerado pelo trabalho proposto é o aumento no requisito de memória, devido ao uso de diversos classificadores simultaneamente, ao invés de apenas um classificador, utilizado normalmente. Esse aumento na RAM/Hora foi de até 351,42% e 1.016,52% para as bases NSL-KDD e CICIDS2017, respectivamente.Universidade Tecnológica Federal do ParanáCuritibaBrasilPrograma de Pós-Graduação em Engenharia Elétrica e Informática IndustrialUTFPRFonseca, Mauro Sergio Pereirahttp://orcid.org/0000-0003-1604-0915http://lattes.cnpq.br/6534637358360971Fonseca, Anelise Munarettohttps://orcid.org/0000-0002-0182-7128http://lattes.cnpq.br/4992303457891284Fonseca, Anelise Munarettohttps://orcid.org/0000-0002-0182-7128http://lattes.cnpq.br/4992303457891284Maziero, Carlos Albertohttps://orcid.org/0000-0003-2592-3664http://lattes.cnpq.br/5659788852261811Pigatto, Daniel Fernandohttps://orcid.org/0000-0001-8528-7407http://lattes.cnpq.br/4624030380501998Nacamura Júnior, Luizhttps://orcid.org/0000-0003-2847-5369http://lattes.cnpq.br/7319201804384288Lima, Michele Nogueirahttps://orcid.org/0000-0001-5427-2384http://lattes.cnpq.br/7862253799240671Schuartz, Fábio César2023-09-04T21:09:34Z2023-09-04T21:09:34Z2023-05-26info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfSCHUARTZ, Fábio César. Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data. 2023. Tese (Doutorado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2023.http://repositorio.utfpr.edu.br/jspui/handle/1/32287porhttp://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2023-09-06T06:07:46Zoai:repositorio.utfpr.edu.br:1/32287Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2023-09-06T06:07:46Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false
dc.title.none.fl_str_mv Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data
A proposal for distributed intrusion detection using stream mining in big data environments
title Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data
spellingShingle Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data
Schuartz, Fábio César
Sistemas de detecção de intrusão (segurança informática)
Aprendizado do computador
Redes de computadores - Medidas de segurança
Mineração de dados (Computação)
Big data
Intrusion detection systems (Computer security)
Machine learning
Computer networks - Security measures
Data mining
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia Elétrica
title_short Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data
title_full Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data
title_fullStr Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data
title_full_unstemmed Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data
title_sort Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data
author Schuartz, Fábio César
author_facet Schuartz, Fábio César
author_role author
dc.contributor.none.fl_str_mv Fonseca, Mauro Sergio Pereira
http://orcid.org/0000-0003-1604-0915
http://lattes.cnpq.br/6534637358360971
Fonseca, Anelise Munaretto
https://orcid.org/0000-0002-0182-7128
http://lattes.cnpq.br/4992303457891284
Fonseca, Anelise Munaretto
https://orcid.org/0000-0002-0182-7128
http://lattes.cnpq.br/4992303457891284
Maziero, Carlos Alberto
https://orcid.org/0000-0003-2592-3664
http://lattes.cnpq.br/5659788852261811
Pigatto, Daniel Fernando
https://orcid.org/0000-0001-8528-7407
http://lattes.cnpq.br/4624030380501998
Nacamura Júnior, Luiz
https://orcid.org/0000-0003-2847-5369
http://lattes.cnpq.br/7319201804384288
Lima, Michele Nogueira
https://orcid.org/0000-0001-5427-2384
http://lattes.cnpq.br/7862253799240671
dc.contributor.author.fl_str_mv Schuartz, Fábio César
dc.subject.por.fl_str_mv Sistemas de detecção de intrusão (segurança informática)
Aprendizado do computador
Redes de computadores - Medidas de segurança
Mineração de dados (Computação)
Big data
Intrusion detection systems (Computer security)
Machine learning
Computer networks - Security measures
Data mining
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia Elétrica
topic Sistemas de detecção de intrusão (segurança informática)
Aprendizado do computador
Redes de computadores - Medidas de segurança
Mineração de dados (Computação)
Big data
Intrusion detection systems (Computer security)
Machine learning
Computer networks - Security measures
Data mining
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia Elétrica
description With the enormous expansion of computer networks, the need to protect data and information that travels over the web has increased. The growth in volume, speed, and variety of data requires an intrusion detection system that is more robust, accurate, and capable of analyzing a huge amount of data. This work proposes the creation of an intrusion detection system using a distributed architecture. The system uses three layers of classification of sample streams, collected from the network, where each classification layer can be composed of one or more classifiers, working in parallel. Classifiers are trained with different machine-learning methods. Each layer can select the main characteristics to be used to classify the samples, and a final classification unit, the Decider, uses the voting method to determine the final classification result. The architecture uses stream classifiers, but it is possible to use traditional classifiers. The results obtained by the proposed architecture, using two databases for validation of the proposed system – NSL-KDD and CICIDS2017, show gains in accuracy of up to 18.52% and 3.55%, using the NSL-KDD and CICIDS2017 databases, respectively. Reductions in classification time of up to 35.51% and 94.90%, respectively, were obtained. A negative factor generated by the proposed work is the increase in the memory requirement, due to the use of several classifiers simultaneously, instead of just one classifier, normally used. This increase in RAM/Hour was up to 351.42% and 1016.52% for the NSL-KDD and CICIDS2017 bases, respectively.
publishDate 2023
dc.date.none.fl_str_mv 2023-09-04T21:09:34Z
2023-09-04T21:09:34Z
2023-05-26
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv SCHUARTZ, Fábio César. Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data. 2023. Tese (Doutorado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2023.
http://repositorio.utfpr.edu.br/jspui/handle/1/32287
identifier_str_mv SCHUARTZ, Fábio César. Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data. 2023. Tese (Doutorado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2023.
url http://repositorio.utfpr.edu.br/jspui/handle/1/32287
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
UTFPR
publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
UTFPR
dc.source.none.fl_str_mv reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
instname:Universidade Tecnológica Federal do Paraná (UTFPR)
instacron:UTFPR
instname_str Universidade Tecnológica Federal do Paraná (UTFPR)
instacron_str UTFPR
institution UTFPR
reponame_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
collection Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository.name.fl_str_mv Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)
repository.mail.fl_str_mv riut@utfpr.edu.br || sibi@utfpr.edu.br
_version_ 1850498252040830976