Análise do impacto de ataques adversários na detecção de intrusão em sistemas ciberfísicos

Detalhes bibliográficos
Ano de defesa: 2024
Autor(a) principal: Silva Junior, Antonio Carlos Campos da
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de Uberlândia
Brasil
Programa de Pós-graduação em Ciência da Computação
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: https://repositorio.ufu.br/handle/123456789/45044
http://doi.org/10.14393/ufu.di.2025.5044
Resumo: Cyber-Physical Systems (CPSs) are complex technological ecosystems that integrate computing, networking, and physical processes through interconnected devices. Ensuring information security in these systems is critical, and machine learning algorithms are widely employed to train anomaly-based Intrusion Detection Systems (IDSs) for their protection. This study evaluates the impact of adversarial attacks on machine learning algorithms applied to anomaly-based IDSs using two datasets: Power System Smart Grid Monitoring Power and Ereno IEC-61850 Intrusion Dataset. The research investigates both single classifier and ensemble classifier approaches, focusing on two adversarial attacks: the Fast Gradient Sign Method (FGSM) and the Jacobian-based Saliency Map Attack (JSMA). Comprehensive analyses were conducted, including comparisons between FGSM and JSMA attacks, assessments of single classifier versus ensemble classifier performance, evaluations of the effect of reducing the stolen training set size, and the impact of incorporating adversarial samples into the training set. The findings reveal that the impact of adversarial attacks varies with the classifier type and dataset. Notably, ensemble classifiers generally exhibited greater resistance to adversarial attacks. A significant degradation in baseline performance was observed for FGSM attacks as the stolen training set size decreased. Conversely, in some scenarios, incorporating adversarial samples into the training set enhanced classifier performance. In summary, FGSM attacks were found to have a more pronounced negative impact on IDS performance. Additionally, ensemble classifiers demonstrated superior robustness to adversarial attacks compared to single classifiers, highlighting their effectiveness in IDSs for CPSs.
id UFU_f3796453607089f3e75a506664c754ae
oai_identifier_str oai:repositorio.ufu.br:123456789/45044
network_acronym_str UFU
network_name_str Repositório Institucional da UFU
repository_id_str
spelling Análise do impacto de ataques adversários na detecção de intrusão em sistemas ciberfísicosAnalysis of the Impact of Adversarial Attacks on Intrusion Detection in Cyber-Physical SystemsSistemas Ciber-Físicos (CPSs)Sistemas de Detecção de Intrusão (IDSs)Aprendizado de Máquina (AM)Classificador individualComitê de classificadoresAtaques AdversáriosSingle ClassifierEnsemble ClassifierFast Gradient Sign Method (FGSM)Jacobian-based Saliency Map Attack (JSMA)CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOODS::ODS 9. Indústria, Inovação e infraestrutura - Construir infraestrutura resiliente, promover a industrialização inclusiva e sustentável, e fomentar a inovação.Cyber-Physical Systems (CPSs) are complex technological ecosystems that integrate computing, networking, and physical processes through interconnected devices. Ensuring information security in these systems is critical, and machine learning algorithms are widely employed to train anomaly-based Intrusion Detection Systems (IDSs) for their protection. This study evaluates the impact of adversarial attacks on machine learning algorithms applied to anomaly-based IDSs using two datasets: Power System Smart Grid Monitoring Power and Ereno IEC-61850 Intrusion Dataset. The research investigates both single classifier and ensemble classifier approaches, focusing on two adversarial attacks: the Fast Gradient Sign Method (FGSM) and the Jacobian-based Saliency Map Attack (JSMA). Comprehensive analyses were conducted, including comparisons between FGSM and JSMA attacks, assessments of single classifier versus ensemble classifier performance, evaluations of the effect of reducing the stolen training set size, and the impact of incorporating adversarial samples into the training set. The findings reveal that the impact of adversarial attacks varies with the classifier type and dataset. Notably, ensemble classifiers generally exhibited greater resistance to adversarial attacks. A significant degradation in baseline performance was observed for FGSM attacks as the stolen training set size decreased. Conversely, in some scenarios, incorporating adversarial samples into the training set enhanced classifier performance. In summary, FGSM attacks were found to have a more pronounced negative impact on IDS performance. Additionally, ensemble classifiers demonstrated superior robustness to adversarial attacks compared to single classifiers, highlighting their effectiveness in IDSs for CPSs.Pesquisa sem auxílio de agências de fomentoDissertação (Mestrado)Sistemas ciberfísicos, do inglês Cyber-Physical Systems (CPSs), integram ecossistemas tecnológicos complexos, conectando computação, redes e processos físicos por meio de dispositivos interligados. Garantir a segurança da informação nesses sistemas é essencial, e algoritmos de aprendizado de máquina têm sido amplamente empregados para treinar Sistemas de Detecção de Intrusão (IDSs, do inglês Intrusion Detection Systems) baseados em anomalias, com o objetivo de proteger esses ecossistemas. Este estudo avalia o impacto de ataques adversários em algoritmos de aprendizado de máquina aplicados a IDSs baseados em anomalias, utilizando dois conjuntos de dados: Power System Smart Grid Monitoring Power e Ereno IEC-61850 Intrusion Dataset. A pesquisa aborda tanto a abordagem de classificador individual, do inglês single classifier, quanto a de comitê de classificadores, do inglês ensemble classifier, considerando dois tipos de ataques adversários: o Fast Gradient Sign Method (FGSM) e o Jacobian-based Saliency Map Attack (JSMA). Foram realizadas análises abrangentes, incluindo: comparação entre os ataques FGSM e JSMA, análise do impacto entre as classes de algoritmos de aprendizado de máquina (individual x comitê), efeitos da diminuição do tamanho do conjunto de treino roubado e impacto da inserção de amostras adversárias no conjunto de treino. Os resultados indicam que o impacto dos ataques adversários varia de acordo com o tipo de classificador e também com o conjunto de dados usado. Além disso, os algoritmos do grupo ensemble classifier demonstraram, de maneira geral, maior resistência aos ataques adversários. Observou-se também que a diminuição do tamanho do conjunto de treino roubado influenciou mais intensamente o impacto dos ataques FGSM em relação ao desempenho de linha de base dos classificadores. Em contrapartida, em determinados cenários, a inserção de amostras adversárias no conjunto de treino resultou em melhorias no desempenho dos classificadores. Em síntese, os resultados encontrados evidenciam que o ataque FGSM possui maior impacto negativo no desempenho dos IDSs. Ademais, os algoritmos do tipo comitê de classificadores se mostraram mais robustos contra ataques adversários quando comparados aos algoritmos do tipo classificador individual, consolidando sua eficácia em IDSs para CPSs.Universidade Federal de UberlândiaBrasilPrograma de Pós-graduação em Ciência da ComputaçãoCattelan, Renan Gonçalveshttp://lattes.cnpq.br/3722586963728305Miani, Rodrigo Sancheshttp://lattes.cnpq.br/2992074747740327Paiva, Elaine Ribeiro de Fariahttp://lattes.cnpq.br/8238524390290386Kazienko, Juliano Fontourahttp://lattes.cnpq.br/7847000086448712Silva Junior, Antonio Carlos Campos da2025-03-20T15:31:49Z2025-03-20T15:31:49Z2024-12-20info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfSILVA JUNIOR, Antonio Carlos Campos da. Análise do impacto de ataques adversários na detecção de intrusão em sistemas ciberfísicos. 2024. 93 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Uberlândia, Uberlândia, 2024. DOI http://doi.org/10.14393/ufu.di.2025.5044.https://repositorio.ufu.br/handle/123456789/45044http://doi.org/10.14393/ufu.di.2025.5044porAttribution-NonCommercial-ShareAlike 3.0 United Stateshttp://creativecommons.org/licenses/by-nc-sa/3.0/us/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFUinstname:Universidade Federal de Uberlândia (UFU)instacron:UFU2025-03-21T06:18:19Zoai:repositorio.ufu.br:123456789/45044Repositório InstitucionalONGhttp://repositorio.ufu.br/oai/requestdiinf@dirbi.ufu.bropendoar:2025-03-21T06:18:19Repositório Institucional da UFU - Universidade Federal de Uberlândia (UFU)false
dc.title.none.fl_str_mv Análise do impacto de ataques adversários na detecção de intrusão em sistemas ciberfísicos
Analysis of the Impact of Adversarial Attacks on Intrusion Detection in Cyber-Physical Systems
title Análise do impacto de ataques adversários na detecção de intrusão em sistemas ciberfísicos
spellingShingle Análise do impacto de ataques adversários na detecção de intrusão em sistemas ciberfísicos
Silva Junior, Antonio Carlos Campos da
Sistemas Ciber-Físicos (CPSs)
Sistemas de Detecção de Intrusão (IDSs)
Aprendizado de Máquina (AM)
Classificador individual
Comitê de classificadores
Ataques Adversários
Single Classifier
Ensemble Classifier
Fast Gradient Sign Method (FGSM)
Jacobian-based Saliency Map Attack (JSMA)
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
ODS::ODS 9. Indústria, Inovação e infraestrutura - Construir infraestrutura resiliente, promover a industrialização inclusiva e sustentável, e fomentar a inovação.
title_short Análise do impacto de ataques adversários na detecção de intrusão em sistemas ciberfísicos
title_full Análise do impacto de ataques adversários na detecção de intrusão em sistemas ciberfísicos
title_fullStr Análise do impacto de ataques adversários na detecção de intrusão em sistemas ciberfísicos
title_full_unstemmed Análise do impacto de ataques adversários na detecção de intrusão em sistemas ciberfísicos
title_sort Análise do impacto de ataques adversários na detecção de intrusão em sistemas ciberfísicos
author Silva Junior, Antonio Carlos Campos da
author_facet Silva Junior, Antonio Carlos Campos da
author_role author
dc.contributor.none.fl_str_mv Cattelan, Renan Gonçalves
http://lattes.cnpq.br/3722586963728305
Miani, Rodrigo Sanches
http://lattes.cnpq.br/2992074747740327
Paiva, Elaine Ribeiro de Faria
http://lattes.cnpq.br/8238524390290386
Kazienko, Juliano Fontoura
http://lattes.cnpq.br/7847000086448712
dc.contributor.author.fl_str_mv Silva Junior, Antonio Carlos Campos da
dc.subject.por.fl_str_mv Sistemas Ciber-Físicos (CPSs)
Sistemas de Detecção de Intrusão (IDSs)
Aprendizado de Máquina (AM)
Classificador individual
Comitê de classificadores
Ataques Adversários
Single Classifier
Ensemble Classifier
Fast Gradient Sign Method (FGSM)
Jacobian-based Saliency Map Attack (JSMA)
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
ODS::ODS 9. Indústria, Inovação e infraestrutura - Construir infraestrutura resiliente, promover a industrialização inclusiva e sustentável, e fomentar a inovação.
topic Sistemas Ciber-Físicos (CPSs)
Sistemas de Detecção de Intrusão (IDSs)
Aprendizado de Máquina (AM)
Classificador individual
Comitê de classificadores
Ataques Adversários
Single Classifier
Ensemble Classifier
Fast Gradient Sign Method (FGSM)
Jacobian-based Saliency Map Attack (JSMA)
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
ODS::ODS 9. Indústria, Inovação e infraestrutura - Construir infraestrutura resiliente, promover a industrialização inclusiva e sustentável, e fomentar a inovação.
description Cyber-Physical Systems (CPSs) are complex technological ecosystems that integrate computing, networking, and physical processes through interconnected devices. Ensuring information security in these systems is critical, and machine learning algorithms are widely employed to train anomaly-based Intrusion Detection Systems (IDSs) for their protection. This study evaluates the impact of adversarial attacks on machine learning algorithms applied to anomaly-based IDSs using two datasets: Power System Smart Grid Monitoring Power and Ereno IEC-61850 Intrusion Dataset. The research investigates both single classifier and ensemble classifier approaches, focusing on two adversarial attacks: the Fast Gradient Sign Method (FGSM) and the Jacobian-based Saliency Map Attack (JSMA). Comprehensive analyses were conducted, including comparisons between FGSM and JSMA attacks, assessments of single classifier versus ensemble classifier performance, evaluations of the effect of reducing the stolen training set size, and the impact of incorporating adversarial samples into the training set. The findings reveal that the impact of adversarial attacks varies with the classifier type and dataset. Notably, ensemble classifiers generally exhibited greater resistance to adversarial attacks. A significant degradation in baseline performance was observed for FGSM attacks as the stolen training set size decreased. Conversely, in some scenarios, incorporating adversarial samples into the training set enhanced classifier performance. In summary, FGSM attacks were found to have a more pronounced negative impact on IDS performance. Additionally, ensemble classifiers demonstrated superior robustness to adversarial attacks compared to single classifiers, highlighting their effectiveness in IDSs for CPSs.
publishDate 2024
dc.date.none.fl_str_mv 2024-12-20
2025-03-20T15:31:49Z
2025-03-20T15:31:49Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv SILVA JUNIOR, Antonio Carlos Campos da. Análise do impacto de ataques adversários na detecção de intrusão em sistemas ciberfísicos. 2024. 93 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Uberlândia, Uberlândia, 2024. DOI http://doi.org/10.14393/ufu.di.2025.5044.
https://repositorio.ufu.br/handle/123456789/45044
http://doi.org/10.14393/ufu.di.2025.5044
identifier_str_mv SILVA JUNIOR, Antonio Carlos Campos da. Análise do impacto de ataques adversários na detecção de intrusão em sistemas ciberfísicos. 2024. 93 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Uberlândia, Uberlândia, 2024. DOI http://doi.org/10.14393/ufu.di.2025.5044.
url https://repositorio.ufu.br/handle/123456789/45044
http://doi.org/10.14393/ufu.di.2025.5044
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution-NonCommercial-ShareAlike 3.0 United States
http://creativecommons.org/licenses/by-nc-sa/3.0/us/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-ShareAlike 3.0 United States
http://creativecommons.org/licenses/by-nc-sa/3.0/us/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal de Uberlândia
Brasil
Programa de Pós-graduação em Ciência da Computação
publisher.none.fl_str_mv Universidade Federal de Uberlândia
Brasil
Programa de Pós-graduação em Ciência da Computação
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFU
instname:Universidade Federal de Uberlândia (UFU)
instacron:UFU
instname_str Universidade Federal de Uberlândia (UFU)
instacron_str UFU
institution UFU
reponame_str Repositório Institucional da UFU
collection Repositório Institucional da UFU
repository.name.fl_str_mv Repositório Institucional da UFU - Universidade Federal de Uberlândia (UFU)
repository.mail.fl_str_mv diinf@dirbi.ufu.br
_version_ 1827843562250698752