Otimização de gastos aplicados com cibersegurança por meio de aprendizado por reforço

• Ano de defesa: 2025
• Autor(a) principal: Nogueira, Rafael Sander
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Aprendizado de máquina; Aprendizado por reforço; Cibersegurança; Cyber-security; Gestão de riscos; Machine learning; Q-learning; Reinforcement learning; Risk management
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/45/45134/tde-20012026-225010/

Ataques cibernéticos têm impactado a sociedade de forma cada vez mais significativa, seja em situações em que são utilizados como armas em conflitos geopolíticos, como o conflito entre Israel e o Irã, seja como um instrumento utilizado por organizações criminosas para executar roubos milionários, como o ciberataque perpetrado contra o sistema financeiro brasileiro em 2025. Com isso, o tema de cibersegurança ganha cada vez mais visibilidade diante das organizações. Em resposta a esse fenômeno, elas procuram incorporar controles aos seus processos a fim de mitigar a probabilidade de ocorrência e impacto de ciberataques. Contudo, a complexidade do ambiente de tecnologia das entidades, aliada à alta capacidade e incentivos que atacantes, conhecidos como hackers, têm em perpetrar ciberataques, faz com que a seleção dos controles a serem aplicados seja um desafio. Adicionalmente, a quantidade de recursos financeiros disponíveis para gasto com controles de cibersegurança é limitada, acrescentando mais uma dificuldade a essa priorização.Por outro lado, com objetivo de superar o desafio mencionado, técnicas de aprendizado de máquina são comumente empregadas com sucesso. Diante desse cenário, este estudo propõe uma solução que utiliza o algoritmo de aprendizado por reforço Q-learning, para determinação de um conjunto ótimo de controles a serem implementados, limitado por um orçamento. Essa abordagem conta com o desenvolvimento de um ambiente com base em ataques reais, sobre o qual o agente Q-learning irá explorar. Durante esse processo, o agente visa selecionar controles de cibersegurança com menor custo, maior capacidade de mitigação dos riscos mais relevantes e que podem impactar ativos de maior criticidade. Além disso, a abordagem apresenta uma forma de avaliação de sua efetividade, por meio da utilização dos indicadores denominados Vulnerabilidade Global e Vulnerabilidade Específica, ambos desenvolvidos neste estudo. Os experimentos realizados foram positivos, ao apresentarem como resultado uma melhora de até 96% da Vulnerabilidade Global, quando comparado com a seleção de controles realizada de forma randômica. Ademais, a solução foi capaz de selecionar um conjunto de controles, o qual leva a uma menor probabilidade de ocorrência dos 40 ataques que compõem o ambiente de aprendizado, quando comparado aos resultados apresentados pela seleção randômica. Todos os valores apurados foram estatisticamente validados, por meio do teste estatístico t pareado, com um nível de confiança de 95%. Esses resultados endossam que a solução proposta é efetiva e possui capacidade de ser aplicada em cenários reais.