A fast and adaptive threat detection and prevention architecture

Detalhes bibliográficos
Ano de defesa: 2017
Autor(a) principal: Lobato, Antonio Gonzalez Pastana
Orientador(a): Duarte, Otto Carlos Muniz Bandeira
Banca de defesa: Carvalho, Francisco de Assis Tenorio de, Velloso, Pedro Braconnot
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Universidade Federal do Rio de Janeiro
Programa de Pós-Graduação: Programa de Pós-Graduação em Engenharia Elétrica
Departamento: Instituto Alberto Luiz Coimbra de Pós-Graduação e Pesquisa em Engenharia
País: Brasil
Palavras-chave em Português:
Algoritmos
Aprendizado computacional
Estabilidade de sistemas
Área do conhecimento CNPq:
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA::="ELETRONICA INDUSTRIAL, SISTEMAS E CONTROLES ELETRONICOS::AUTOMACAO ELETRONICA DE PROCESSOS ELETRICOS E INDUSTRIAIS
Link de acesso: http://hdl.handle.net/11422/6237
Resumo: A detecção tardia de ameaças aumenta significativamente o risco de danos irreparáveis, desabilitando qualquer tentativa de defesa. Esse trabalho propõe uma Arquitetura rápida e adaptativa para Detecção e Prevenção de Ameaças baseada em processamento de fluxos e algoritmos de aprendizado de máquina. A arquitetura proposta combina a adaptabilidade de algoritmos de aprendizado de máquina treinados em tempo real com a eficiência de métodos treinados em lote. Um conjunto de dados foi criado através da captura tanto de tráfego legítimo, quanto de tráfego malicioso. Dois modos de se combinar os pacotes em fluxo são avaliados: um agregando todos os pacotes em uma janela de tempo; e o outro analisando apenas os primeiros pacotes de um fluxo. Além do conjunto de dados criado, um conjunto de dados contendo tráfego de usuários de uma das maiores operadoras do Brasil também é utilizado. Para avaliar a arquitetura de detecção proposta, cinco algoritmos de classificação e dois de anomalia são desenvolvidos. A arquitetura proposta provê é ótima adaptabilidade, detectando novas ameaças em tempo real, e um bom compromisso entre taxa de detecção de ameaças e de falsos positivos na detecção por anomalias. Um esquema baseado em Redes Definidas por Software, que automaticamente previne ameaças apenas com informações dos primeiros pacotes de um fluxo, também é proposto. A proposta eficientemente bloqueia ameaças, é robusta e escala de acordo com a demanda, mesmo em cenários nos quais os atacantes usam IP mascarado. Além disso, a escalabilidade é avaliada, ao aumentar o número de núcleos de processamento de fluxos e alocar mais recursos para elementos sensores. Os resultados mostram uma alta acurácia, acima de 90% e um tempo de detecção de ameaças de quatro microssegundos, o que permite o disparo imediato de contramedidas.
id UFRJ_19140102834aadf0c6a414b808b1fca5
oai_identifier_str oai:pantheon.ufrj.br:11422/6237
network_acronym_str UFRJ
network_name_str Repositório Institucional da UFRJ
repository_id_str
spelling Lobato, Antonio Gonzalez Pastanahttp://lattes.cnpq.br/0282699772321691Carvalho, Francisco de Assis Tenorio deVelloso, Pedro BraconnotDuarte, Otto Carlos Muniz Bandeira2019-01-25T16:08:32Z2019-01-27T02:00:15Z2017-12http://hdl.handle.net/11422/6237A detecção tardia de ameaças aumenta significativamente o risco de danos irreparáveis, desabilitando qualquer tentativa de defesa. Esse trabalho propõe uma Arquitetura rápida e adaptativa para Detecção e Prevenção de Ameaças baseada em processamento de fluxos e algoritmos de aprendizado de máquina. A arquitetura proposta combina a adaptabilidade de algoritmos de aprendizado de máquina treinados em tempo real com a eficiência de métodos treinados em lote. Um conjunto de dados foi criado através da captura tanto de tráfego legítimo, quanto de tráfego malicioso. Dois modos de se combinar os pacotes em fluxo são avaliados: um agregando todos os pacotes em uma janela de tempo; e o outro analisando apenas os primeiros pacotes de um fluxo. Além do conjunto de dados criado, um conjunto de dados contendo tráfego de usuários de uma das maiores operadoras do Brasil também é utilizado. Para avaliar a arquitetura de detecção proposta, cinco algoritmos de classificação e dois de anomalia são desenvolvidos. A arquitetura proposta provê é ótima adaptabilidade, detectando novas ameaças em tempo real, e um bom compromisso entre taxa de detecção de ameaças e de falsos positivos na detecção por anomalias. Um esquema baseado em Redes Definidas por Software, que automaticamente previne ameaças apenas com informações dos primeiros pacotes de um fluxo, também é proposto. A proposta eficientemente bloqueia ameaças, é robusta e escala de acordo com a demanda, mesmo em cenários nos quais os atacantes usam IP mascarado. Além disso, a escalabilidade é avaliada, ao aumentar o número de núcleos de processamento de fluxos e alocar mais recursos para elementos sensores. Os resultados mostram uma alta acurácia, acima de 90% e um tempo de detecção de ameaças de quatro microssegundos, o que permite o disparo imediato de contramedidas.The late detection of security threats causes a significant increase in the risk of irreparable damages, disabling any defense attempt. We propose a fast and adaptive Threat Detection and Prevention Architecture based on stream processing and machine learning algorithms. The proposed architecture combines the adaptability of online trained machine learning algorithms with the efficiency of batch trained methods. We create a dataset by capturing both legitimate and malicious traffic and compare two ways of combining packets into flows, one gathering all packets in a time window and the other analyzing only the first few packets of each flow. Besides our created dataset, we also analyze our proposal on real data composed of fixed-broadband Internet user traffic from one of the major Brazilian network operators. In order to evaluate our detection architecture, we develop five classification algorithms and two anomaly detection methods. In fact, the proposed architecture provides adaptability to new traffic behavior and achieves a high accuracy rate and a good trade-off between attack detection and false positive rate in anomaly detection. We further propose an improved scheme, based on Software Defined Networks, that automatically prevents threats by only analyzing the first few packets of a flow. The proposal promptly and efficiently blocks threats, is robust, and can scale up, even on scenarios in which the attacker employs spoofed IP address. Moreover, we evaluate the scalability, by increasing the number of stream processing cores and allocating more resources to sensor elements. The results shows an accuracy higher than 90% and threat detection time of four microseconds, which promptly enables counter measures.Submitted by Aglair Aguiar (aglair@ct.ufrj.br) on 2019-01-25T16:08:32Z No. of bitstreams: 1 866474.pdf: 716344 bytes, checksum: c4a203cc23a408719b619d2edef04d63 (MD5)Made available in DSpace on 2019-01-25T16:08:32Z (GMT). No. of bitstreams: 1 866474.pdf: 716344 bytes, checksum: c4a203cc23a408719b619d2edef04d63 (MD5) Previous issue date: 2017-12engUniversidade Federal do Rio de JaneiroPrograma de Pós-Graduação em Engenharia ElétricaUFRJBrasilInstituto Alberto Luiz Coimbra de Pós-Graduação e Pesquisa em EngenhariaCNPQ::ENGENHARIAS::ENGENHARIA ELETRICA::="ELETRONICA INDUSTRIAL, SISTEMAS E CONTROLES ELETRONICOS::AUTOMACAO ELETRONICA DE PROCESSOS ELETRICOS E INDUSTRIAISAlgoritmosAprendizado computacionalEstabilidade de sistemasA fast and adaptive threat detection and prevention architectureUma arquitetura para detecção adaptativa e rápida prevenção de ameaçasinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisabertoinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRJinstname:Universidade Federal do Rio de Janeiro (UFRJ)instacron:UFRJLICENSElicense.txtlicense.txttext/plain; charset=utf-81853http://pantheon.ufrj.br:80/bitstream/11422/6237/2/license.txtdd32849f2bfb22da963c3aac6e26e255MD52ORIGINAL866474.pdf866474.pdfapplication/pdf716344http://pantheon.ufrj.br:80/bitstream/11422/6237/1/866474.pdfc4a203cc23a408719b619d2edef04d63MD5111422/62372019-01-30 21:49:06.553oai:pantheon.ufrj.br:11422/6237TElDRU7Dh0EgTsODTy1FWENMVVNJVkEgREUgRElTVFJJQlVJw4fDg08KCkFvIGFzc2luYXIgZSBlbnRyZWdhciBlc3RhIGxpY2Vuw6dhLCB2b2PDqihzKSBvKHMpIGF1dG9yKGVzKSBvdSBwcm9wcmlldMOhcmlvKHMpIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBjb25jZWRlKG0pIGFvIFJlcG9zaXTDs3JpbyBQYW50aGVvbiBkYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkbyBSaW8gZGUgSmFuZWlybyAoVUZSSikgbyBkaXJlaXRvIG7Do28gLSBleGNsdXNpdm8gZGUgcmVwcm9kdXppciwgY29udmVydGVyIChjb21vIGRlZmluaWRvIGFiYWl4byksIGUvb3UgZGlzdHJpYnVpciBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vKSBlbSB0b2RvIG8gbXVuZG8sIGVtIGZvcm1hdG8gZWxldHLDtG5pY28gZSBlbSBxdWFscXVlciBtZWlvLCBpbmNsdWluZG8sIG1hcyBuw6NvIGxpbWl0YWRvIGEgw6F1ZGlvIGUvb3UgdsOtZGVvLgoKVm9jw6ogY29uY29yZGEgcXVlIGEgVUZSSiBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhZHV6aXIgYSBhcHJlc2VudGHDp8OjbyBkZSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gY29tIGEgZmluYWxpZGFkZSBkZSBwcmVzZXJ2YcOnw6NvLgoKVm9jw6ogdGFtYsOpbSBjb25jb3JkYSBxdWUgYSBVRlJKIHBvZGUgbWFudGVyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXNzYSBzdWJtaXNzw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8OjbyBkaWdpdGFsLgoKRGVjbGFyYSBxdWUgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgc2V1IHRyYWJhbGhvIG9yaWdpbmFsLCBlIHF1ZSB2b2PDqiB0ZW0gbyBkaXJlaXRvIGRlIGNvbmNlZGVyIG9zIGRpcmVpdG9zIGNvbnRpZG9zIG5lc3RhIGxpY2Vuw6dhLiBWb2PDqiB0YW1iw6ltIGRlY2xhcmEgcXVlIGEgc3VhIGFwcmVzZW50YcOnw6NvLCBjb20gbyBtZWxob3IgZGUgc2V1cyBjb25oZWNpbWVudG9zLCBuw6NvIGluZnJpbmdpIGRpcmVpdG9zIGF1dG9yYWlzIGRlIHRlcmNlaXJvcy4KClNlIG8gZG9jdW1lbnRvIGVudHJlZ3VlIGNvbnTDqW0gbWF0ZXJpYWwgZG8gcXVhbCB2b2PDqiBuw6NvIHRlbSBkaXJlaXRvcyBkZSBhdXRvciwgZGVjbGFyYSBxdWUgb2J0ZXZlIGEgcGVybWlzc8OjbyBpcnJlc3RyaXRhIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBlIGNvbmNlZGUgYSBVRlJKIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRhIHN1Ym1pc3PDo28uCgpTZSBvIGRvY3VtZW50byBlbnRyZWd1ZSDDqSBiYXNlYWRvIGVtIHRyYWJhbGhvIHF1ZSBmb2ksIG91IHRlbSBzaWRvIHBhdHJvY2luYWRvIG91IGFwb2lhZG8gcG9yIHVtYSBhZ8OqbmNpYSBvdSBvdXRybyhzKSBvcmdhbmlzbW8ocykgcXVlIG7Do28gYSBVRlJKLCB2b2PDqiBkZWNsYXJhIHF1ZSBjdW1wcml1IHF1YWxxdWVyIGRpcmVpdG8gZGUgUkVWSVPDg08gb3UgZGUgb3V0cmFzIG9icmlnYcOnw7VlcyByZXF1ZXJpZGFzIHBvciBjb250cmF0byBvdSBhY29yZG8uCgpBIFVGUkogaXLDoSBpZGVudGlmaWNhciBjbGFyYW1lbnRlIG8ocykgc2V1KHMpIG5vbWUocykgY29tbyBhdXRvcihlcykgb3UgcHJvcHJpZXTDoXJpbyhzKSBkYSBzdWJtaXNzw6NvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIHBhcmEgYWzDqW0gZGFzIHBlcm1pdGlkYXMgcG9yIGVzdGEgbGljZW7Dp2EsIG5vIGF0byBkZSBzdWJtaXNzw6NvLgo=Repositório de PublicaçõesPUBhttp://www.pantheon.ufrj.br/oai/requestopendoar:2019-01-30T23:49:06Repositório Institucional da UFRJ - Universidade Federal do Rio de Janeiro (UFRJ)false
dc.title.en.fl_str_mv A fast and adaptive threat detection and prevention architecture
dc.title.alternative.pt_BR.fl_str_mv Uma arquitetura para detecção adaptativa e rápida prevenção de ameaças
title A fast and adaptive threat detection and prevention architecture
spellingShingle A fast and adaptive threat detection and prevention architecture
Lobato, Antonio Gonzalez Pastana
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA::="ELETRONICA INDUSTRIAL, SISTEMAS E CONTROLES ELETRONICOS::AUTOMACAO ELETRONICA DE PROCESSOS ELETRICOS E INDUSTRIAIS
Algoritmos
Aprendizado computacional
Estabilidade de sistemas
title_short A fast and adaptive threat detection and prevention architecture
title_full A fast and adaptive threat detection and prevention architecture
title_fullStr A fast and adaptive threat detection and prevention architecture
title_full_unstemmed A fast and adaptive threat detection and prevention architecture
title_sort A fast and adaptive threat detection and prevention architecture
author Lobato, Antonio Gonzalez Pastana
author_facet Lobato, Antonio Gonzalez Pastana
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/0282699772321691
dc.contributor.author.fl_str_mv Lobato, Antonio Gonzalez Pastana
dc.contributor.referee1.fl_str_mv Carvalho, Francisco de Assis Tenorio de
dc.contributor.referee2.fl_str_mv Velloso, Pedro Braconnot
dc.contributor.advisor1.fl_str_mv Duarte, Otto Carlos Muniz Bandeira
contributor_str_mv Carvalho, Francisco de Assis Tenorio de
Velloso, Pedro Braconnot
Duarte, Otto Carlos Muniz Bandeira
dc.subject.cnpq.fl_str_mv CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA::="ELETRONICA INDUSTRIAL, SISTEMAS E CONTROLES ELETRONICOS::AUTOMACAO ELETRONICA DE PROCESSOS ELETRICOS E INDUSTRIAIS
topic CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA::="ELETRONICA INDUSTRIAL, SISTEMAS E CONTROLES ELETRONICOS::AUTOMACAO ELETRONICA DE PROCESSOS ELETRICOS E INDUSTRIAIS
Algoritmos
Aprendizado computacional
Estabilidade de sistemas
dc.subject.por.fl_str_mv Algoritmos
Aprendizado computacional
Estabilidade de sistemas
description A detecção tardia de ameaças aumenta significativamente o risco de danos irreparáveis, desabilitando qualquer tentativa de defesa. Esse trabalho propõe uma Arquitetura rápida e adaptativa para Detecção e Prevenção de Ameaças baseada em processamento de fluxos e algoritmos de aprendizado de máquina. A arquitetura proposta combina a adaptabilidade de algoritmos de aprendizado de máquina treinados em tempo real com a eficiência de métodos treinados em lote. Um conjunto de dados foi criado através da captura tanto de tráfego legítimo, quanto de tráfego malicioso. Dois modos de se combinar os pacotes em fluxo são avaliados: um agregando todos os pacotes em uma janela de tempo; e o outro analisando apenas os primeiros pacotes de um fluxo. Além do conjunto de dados criado, um conjunto de dados contendo tráfego de usuários de uma das maiores operadoras do Brasil também é utilizado. Para avaliar a arquitetura de detecção proposta, cinco algoritmos de classificação e dois de anomalia são desenvolvidos. A arquitetura proposta provê é ótima adaptabilidade, detectando novas ameaças em tempo real, e um bom compromisso entre taxa de detecção de ameaças e de falsos positivos na detecção por anomalias. Um esquema baseado em Redes Definidas por Software, que automaticamente previne ameaças apenas com informações dos primeiros pacotes de um fluxo, também é proposto. A proposta eficientemente bloqueia ameaças, é robusta e escala de acordo com a demanda, mesmo em cenários nos quais os atacantes usam IP mascarado. Além disso, a escalabilidade é avaliada, ao aumentar o número de núcleos de processamento de fluxos e alocar mais recursos para elementos sensores. Os resultados mostram uma alta acurácia, acima de 90% e um tempo de detecção de ameaças de quatro microssegundos, o que permite o disparo imediato de contramedidas.
publishDate 2017
dc.date.issued.fl_str_mv 2017-12
dc.date.accessioned.fl_str_mv 2019-01-25T16:08:32Z
dc.date.available.fl_str_mv 2019-01-27T02:00:15Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/11422/6237
url http://hdl.handle.net/11422/6237
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal do Rio de Janeiro
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Engenharia Elétrica
dc.publisher.initials.fl_str_mv UFRJ
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Instituto Alberto Luiz Coimbra de Pós-Graduação e Pesquisa em Engenharia
publisher.none.fl_str_mv Universidade Federal do Rio de Janeiro
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRJ
instname:Universidade Federal do Rio de Janeiro (UFRJ)
instacron:UFRJ
instname_str Universidade Federal do Rio de Janeiro (UFRJ)
instacron_str UFRJ
institution UFRJ
reponame_str Repositório Institucional da UFRJ
collection Repositório Institucional da UFRJ
bitstream.url.fl_str_mv http://pantheon.ufrj.br:80/bitstream/11422/6237/2/license.txt
http://pantheon.ufrj.br:80/bitstream/11422/6237/1/866474.pdf
bitstream.checksum.fl_str_mv dd32849f2bfb22da963c3aac6e26e255
c4a203cc23a408719b619d2edef04d63
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFRJ - Universidade Federal do Rio de Janeiro (UFRJ)
repository.mail.fl_str_mv
_version_ 1766886481440276480

Registros relacionados