Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data
| Ano de defesa: | 2023 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Tese |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Tecnológica Federal do Paraná
Curitiba Brasil Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial UTFPR |
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | http://repositorio.utfpr.edu.br/jspui/handle/1/32287 |
Resumo: | With the enormous expansion of computer networks, the need to protect data and information that travels over the web has increased. The growth in volume, speed, and variety of data requires an intrusion detection system that is more robust, accurate, and capable of analyzing a huge amount of data. This work proposes the creation of an intrusion detection system using a distributed architecture. The system uses three layers of classification of sample streams, collected from the network, where each classification layer can be composed of one or more classifiers, working in parallel. Classifiers are trained with different machine-learning methods. Each layer can select the main characteristics to be used to classify the samples, and a final classification unit, the Decider, uses the voting method to determine the final classification result. The architecture uses stream classifiers, but it is possible to use traditional classifiers. The results obtained by the proposed architecture, using two databases for validation of the proposed system – NSL-KDD and CICIDS2017, show gains in accuracy of up to 18.52% and 3.55%, using the NSL-KDD and CICIDS2017 databases, respectively. Reductions in classification time of up to 35.51% and 94.90%, respectively, were obtained. A negative factor generated by the proposed work is the increase in the memory requirement, due to the use of several classifiers simultaneously, instead of just one classifier, normally used. This increase in RAM/Hour was up to 351.42% and 1016.52% for the NSL-KDD and CICIDS2017 bases, respectively. |
| id |
UTFPR-12_2c44417178579a1f6a3e4882271c1f27 |
|---|---|
| oai_identifier_str |
oai:repositorio.utfpr.edu.br:1/32287 |
| network_acronym_str |
UTFPR-12 |
| network_name_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository_id_str |
|
| spelling |
Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big dataA proposal for distributed intrusion detection using stream mining in big data environmentsSistemas de detecção de intrusão (segurança informática)Aprendizado do computadorRedes de computadores - Medidas de segurançaMineração de dados (Computação)Big dataIntrusion detection systems (Computer security)Machine learningComputer networks - Security measuresData miningCNPQ::ENGENHARIAS::ENGENHARIA ELETRICAEngenharia ElétricaWith the enormous expansion of computer networks, the need to protect data and information that travels over the web has increased. The growth in volume, speed, and variety of data requires an intrusion detection system that is more robust, accurate, and capable of analyzing a huge amount of data. This work proposes the creation of an intrusion detection system using a distributed architecture. The system uses three layers of classification of sample streams, collected from the network, where each classification layer can be composed of one or more classifiers, working in parallel. Classifiers are trained with different machine-learning methods. Each layer can select the main characteristics to be used to classify the samples, and a final classification unit, the Decider, uses the voting method to determine the final classification result. The architecture uses stream classifiers, but it is possible to use traditional classifiers. The results obtained by the proposed architecture, using two databases for validation of the proposed system – NSL-KDD and CICIDS2017, show gains in accuracy of up to 18.52% and 3.55%, using the NSL-KDD and CICIDS2017 databases, respectively. Reductions in classification time of up to 35.51% and 94.90%, respectively, were obtained. A negative factor generated by the proposed work is the increase in the memory requirement, due to the use of several classifiers simultaneously, instead of just one classifier, normally used. This increase in RAM/Hour was up to 351.42% and 1016.52% for the NSL-KDD and CICIDS2017 bases, respectively.Com a enorme expansão das redes de computadores, aumentou a necessidade de proteger os dados e informações que trafegam pela rede. O crescimento em volume, velocidade e variedade dos dados exige um sistema de detecção de intrusão mais robusto, preciso e capaz de analisar uma quantidade gigantesca de dados. Este trabalho propõe a criação de um sistema de detecção de intrusão utilizando uma arquitetura distribuída. O sistema utiliza três camadas de classificação de fluxo de amostras, coletadas a partir da rede, onde cada camada de classificação pode ser composta de um ou mais classificadores, trabalhando em paralelo. Os classificadores são treinados com diferentes métodos de aprendizagem de máquina. Cada camada pode selecionar as principais características a serem utilizadas para classificar as amostras, e uma unidade classificadora final, o Decisor, utiliza o método de votação para determinar o resultado final da classificação. A arquitetura utiliza classificadores em fluxo, porém é possível utilizar classificadores tradicionais. Os resultados obtidos pela arquitetura apresentada, utilizando duas bases de dados para validação do sistema proposto – NSL-KDD e CICIDS2017, mostram ganhos na acurácia de até 18,52% e 3,55%, utilizando as bases NSL-KDD e CICIDS2017, respectivamente. Obteve-se reduções no tempo de classificação de até 35,51% e 94,90%, respectivamente. Um fator negativo gerado pelo trabalho proposto é o aumento no requisito de memória, devido ao uso de diversos classificadores simultaneamente, ao invés de apenas um classificador, utilizado normalmente. Esse aumento na RAM/Hora foi de até 351,42% e 1.016,52% para as bases NSL-KDD e CICIDS2017, respectivamente.Universidade Tecnológica Federal do ParanáCuritibaBrasilPrograma de Pós-Graduação em Engenharia Elétrica e Informática IndustrialUTFPRFonseca, Mauro Sergio Pereirahttp://orcid.org/0000-0003-1604-0915http://lattes.cnpq.br/6534637358360971Fonseca, Anelise Munarettohttps://orcid.org/0000-0002-0182-7128http://lattes.cnpq.br/4992303457891284Fonseca, Anelise Munarettohttps://orcid.org/0000-0002-0182-7128http://lattes.cnpq.br/4992303457891284Maziero, Carlos Albertohttps://orcid.org/0000-0003-2592-3664http://lattes.cnpq.br/5659788852261811Pigatto, Daniel Fernandohttps://orcid.org/0000-0001-8528-7407http://lattes.cnpq.br/4624030380501998Nacamura Júnior, Luizhttps://orcid.org/0000-0003-2847-5369http://lattes.cnpq.br/7319201804384288Lima, Michele Nogueirahttps://orcid.org/0000-0001-5427-2384http://lattes.cnpq.br/7862253799240671Schuartz, Fábio César2023-09-04T21:09:34Z2023-09-04T21:09:34Z2023-05-26info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfSCHUARTZ, Fábio César. Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data. 2023. Tese (Doutorado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2023.http://repositorio.utfpr.edu.br/jspui/handle/1/32287porhttp://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2023-09-06T06:07:46Zoai:repositorio.utfpr.edu.br:1/32287Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2023-09-06T06:07:46Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false |
| dc.title.none.fl_str_mv |
Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data A proposal for distributed intrusion detection using stream mining in big data environments |
| title |
Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data |
| spellingShingle |
Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data Schuartz, Fábio César Sistemas de detecção de intrusão (segurança informática) Aprendizado do computador Redes de computadores - Medidas de segurança Mineração de dados (Computação) Big data Intrusion detection systems (Computer security) Machine learning Computer networks - Security measures Data mining CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Engenharia Elétrica |
| title_short |
Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data |
| title_full |
Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data |
| title_fullStr |
Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data |
| title_full_unstemmed |
Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data |
| title_sort |
Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data |
| author |
Schuartz, Fábio César |
| author_facet |
Schuartz, Fábio César |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Fonseca, Mauro Sergio Pereira http://orcid.org/0000-0003-1604-0915 http://lattes.cnpq.br/6534637358360971 Fonseca, Anelise Munaretto https://orcid.org/0000-0002-0182-7128 http://lattes.cnpq.br/4992303457891284 Fonseca, Anelise Munaretto https://orcid.org/0000-0002-0182-7128 http://lattes.cnpq.br/4992303457891284 Maziero, Carlos Alberto https://orcid.org/0000-0003-2592-3664 http://lattes.cnpq.br/5659788852261811 Pigatto, Daniel Fernando https://orcid.org/0000-0001-8528-7407 http://lattes.cnpq.br/4624030380501998 Nacamura Júnior, Luiz https://orcid.org/0000-0003-2847-5369 http://lattes.cnpq.br/7319201804384288 Lima, Michele Nogueira https://orcid.org/0000-0001-5427-2384 http://lattes.cnpq.br/7862253799240671 |
| dc.contributor.author.fl_str_mv |
Schuartz, Fábio César |
| dc.subject.por.fl_str_mv |
Sistemas de detecção de intrusão (segurança informática) Aprendizado do computador Redes de computadores - Medidas de segurança Mineração de dados (Computação) Big data Intrusion detection systems (Computer security) Machine learning Computer networks - Security measures Data mining CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Engenharia Elétrica |
| topic |
Sistemas de detecção de intrusão (segurança informática) Aprendizado do computador Redes de computadores - Medidas de segurança Mineração de dados (Computação) Big data Intrusion detection systems (Computer security) Machine learning Computer networks - Security measures Data mining CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Engenharia Elétrica |
| description |
With the enormous expansion of computer networks, the need to protect data and information that travels over the web has increased. The growth in volume, speed, and variety of data requires an intrusion detection system that is more robust, accurate, and capable of analyzing a huge amount of data. This work proposes the creation of an intrusion detection system using a distributed architecture. The system uses three layers of classification of sample streams, collected from the network, where each classification layer can be composed of one or more classifiers, working in parallel. Classifiers are trained with different machine-learning methods. Each layer can select the main characteristics to be used to classify the samples, and a final classification unit, the Decider, uses the voting method to determine the final classification result. The architecture uses stream classifiers, but it is possible to use traditional classifiers. The results obtained by the proposed architecture, using two databases for validation of the proposed system – NSL-KDD and CICIDS2017, show gains in accuracy of up to 18.52% and 3.55%, using the NSL-KDD and CICIDS2017 databases, respectively. Reductions in classification time of up to 35.51% and 94.90%, respectively, were obtained. A negative factor generated by the proposed work is the increase in the memory requirement, due to the use of several classifiers simultaneously, instead of just one classifier, normally used. This increase in RAM/Hour was up to 351.42% and 1016.52% for the NSL-KDD and CICIDS2017 bases, respectively. |
| publishDate |
2023 |
| dc.date.none.fl_str_mv |
2023-09-04T21:09:34Z 2023-09-04T21:09:34Z 2023-05-26 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
| format |
doctoralThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
SCHUARTZ, Fábio César. Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data. 2023. Tese (Doutorado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2023. http://repositorio.utfpr.edu.br/jspui/handle/1/32287 |
| identifier_str_mv |
SCHUARTZ, Fábio César. Uma proposta para detecção distribuída de intrusões utilizando mineração em fluxos de ambientes big data. 2023. Tese (Doutorado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2023. |
| url |
http://repositorio.utfpr.edu.br/jspui/handle/1/32287 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by/4.0/ info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
http://creativecommons.org/licenses/by/4.0/ |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Curitiba Brasil Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial UTFPR |
| publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Curitiba Brasil Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial UTFPR |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) instname:Universidade Tecnológica Federal do Paraná (UTFPR) instacron:UTFPR |
| instname_str |
Universidade Tecnológica Federal do Paraná (UTFPR) |
| instacron_str |
UTFPR |
| institution |
UTFPR |
| reponame_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| collection |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository.name.fl_str_mv |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR) |
| repository.mail.fl_str_mv |
riut@utfpr.edu.br || sibi@utfpr.edu.br |
| _version_ |
1850498252040830976 |