Integrando modelos transformer e stpa: uma abordagem automatizada para geração de perdas, perigos e restrições a partir de documentos de conops

• Ano de defesa: 2025
• Autor(a) principal: Pacheco, Gabriel Nogueira [UNIFESP]
• Orientador(a): Martins, Luiz Eduardo Galvão [UNIFESP]
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• dARK ID: ark:/48912/001300001m32w
• Idioma: eng
• Instituição de defesa: Universidade Federal de São Paulo
• Palavras-chave em Português: Processamento de linguagem natural; Grandes modelos de linguagem; STPA; ConOps; Ajuste fino
• Link de acesso: https://hdl.handle.net/11600/74736

Este trabalho aborda os desafios nas metodologias de análise de segurança, particularmente a análise manual de documentos críticos para a segurança, ao propor uma abordagem inovadora que utiliza técnicas avançadas de processamento de linguagem natural (PLN). Focando no método System-Theoretic Process Analysis (STPA), introduzimos um pipeline que utiliza documentos de Concept of Operations (ConOps) como entrada para Grandes Modelos de Linguagem (LLM) a fim de automatizar a extração de perdas, perigos e restrições. Para alcançar este objetivo, criamos o dataset SHACO (STPA Hazard Analysis from ConOps), que contém documentos ConOps reais e gerados sinteticamente, pareados com suas respectivas análises STPA. Em seguida, empregamos o ajuste fino supervisionado para treinar os LLMs, especificamente o Llama3.1 e o Longformer Encoder-Decoder (LED), neste dataset para desenvolver nossos modelos. Nossa avaliação experimental, utilizando a métrica BERT-Score, demonstrou que nosso modelo resultante, o SHACO-Llama, alcançou um desempenho superior (F1-score: 80%) em comparação com o SHACO-LED (F1-score: 75%). A avaliação também identificou áreas específicas para melhoria na formulação das perdas e dos perigos. Este trabalho contribui para o avanço da análise de segurança de sistemas complexos ao oferecer uma metodologia mais eficiente e acessível, com a justificativa de superar as limitações da análise manual por meio de uma abordagem adaptativa e escalável.