[en] BDD4ML: A FRAMEWORK FOR APPLYING BEHAVIOUR-DRIVEN DEVELOPMENT TO TEST THE PERFORMANCE OF SUPERVISED MACHINE LEARNING MODELS

• Ano de defesa: 2025
• Autor(a) principal: EDUARDO GONCALVES MOTTA
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Instituição de defesa: MAXWELL
• Palavras-chave em Português: [pt] APRENDIZADO DE MAQUINA; [pt] DESENVOLVIMENTO ORIENTADO POR COMPORTAMENTO; [pt] BDD; [pt] FRAMEWORK; [en] MACHINE LEARNING; [en] BEHAVIOR DRIVEN DEVELOPMENT; [en] BDD; [en] FRAMEWORK
• Link de acesso: https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=74271&idi=1; https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=74271&idi=2; http://doi.org/10.17771/PUCRio.acad.74271

[pt] [Contexto] Sistemas de Aprendizado de Máquina (ML) apresentam desafios de teste únicos devido à sua natureza não determinística e à falta de especificações formais. Esses problemas resultam em uma lacuna na comunicação entre as partes interessadas. Para lidar com isso, desenvolvemos o BDD4ML, um framework que adapta os princípios do Desenvolvimento Orientado por Comportamento (BDD) para testes de modelos de ML. Este estudo adota o Modelo de Transferência de Tecnologia (TTM) de Gorschek como metodologia norteadora. [Objetivo] Nesta pesquisa, buscamos trazer o BDD para a especificação de sistemas habilitados por ML e contribuir para reduzir a lacuna de comunicação entre os stakeholders. O objetivo principal é construir um framework para o teste de desempenho de modelos de aprendizado de máquina. Esse framework, denominado BDD4ML, concentra-se em testar modelos tanto para problemas de regressão quanto de classificação. [Método] Seguindo o TTM, o trabalho começou com uma revisão da literatura sobre frameworks de BDD, identificando práticas atuais, lacunas e lições transferíveis que orientaram o design do BDD4ML. O framework suporta testes de modelos de classificação e regressão por meio de cláusulas em linguagem natural escritas na sintaxe Gherkin e é implementado utilizando o framework Python Behave. Sua avaliação envolveu duas etapas: um estudo observacional acadêmico, no qual estudantes de pós-graduação aplicaram o BDD4ML a um modelo industrial de ML, e uma validação estática por meio de um grupo focal envolvendo os profissionais que construíram o modelo, discutindo sua aplicabilidade a projetos reais. [Resultados] A revisão da literatura revelou a importância da criação de uma linguagem para facilitar a comunicação entre stakeholders técnicos e não técnicos, bem como o valor de artefatos BDD reutilizáveis e adaptáveis para contextos de ML. No estudo observacional, os participantes especificaram e executaram com sucesso cenários BDD4ML com erros mínimos, relatando percepções positivas de sua utilidade (84,62 por cento), facilidade de uso (76,92 por cento) e intenção de adoção (76,92 por cento). No grupo focal, os profissionais enfatizaram o potencial do framework para transparência, suporte à decisão, monitoramento de modelos e especificação colaborativa de requisitos. [Conclusão] Nossas avaliações indicam a viabilidade técnica e a relevância prática do uso do BDD4ML em ambientes industriais. Os resultados indicam que o BDD4ML é uma abordagem promissora para levar práticas de BDD aos testes de modelos de ML. O framework está disponível abertamente para uso e extensão, contribuindo para o avanço de metodologias de testes responsáveis e colaborativas em aprendizado de máquina.