Caracterização de falhas em sistemas de aprendizado de máquina

Detalhes bibliográficos
Ano de defesa: 2025
Autor(a) principal: Martins, Alexandre Locci
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Machine Learning Testing
Ontologia
Ontology
SPRQL
Link de acesso: https://www.teses.usp.br/teses/disponiveis/45/45134/tde-10022026-162320/
Resumo: A crescente adoção de sistemas baseados em aprendizado de máquina em domínios críticos intensifica a necessidade de métodos rigorosos de teste e validação. Contudo, a complexidade e a natureza opaca desses modelos, aliadas à dependência de dados, dificultam a aplicação de técnicas tradicionais de teste de software. A literatura revela uma lacuna significativa no entendimento da caracterização de falhas reais nesses sistemas, limitando o desenvolvimento de estratégias eficazes de teste. Para superar esse desafio, este trabalho propõe a construção de um modelo formal de conhecimento, na forma de uma ontologia, capaz de organizar e unificar o domínio das falhas em sistemas de aprendizado de máquina. O modelo foi desenvolvido por meio de um ciclo iterativo com foco na generalização, e sua formalização seguiu padrões semânticos amplamente adotados. A validação funcional foi realizada por meio de consultas específicas destinadas a responder questões de competência, demonstrando a capacidade do modelo de representar e recuperar informações relevantes. Os resultados obtidos são significativos: a ontologia amplia a compreensão dos elementos e relações no domínio de falhas em aprendizado de máquina, facilitando a tomada de decisão dos envolvidos com testes. Serve como base para a generalização de abordagens de teste, possibilitando a construção de conjuntos de dados para pesquisas e benchmarks industriais, além de oferecer subsídios essenciais para o desenvolvimento de soluções automatizadas de teste. Em suma, este trabalho fornece uma fundamentação semântica sólida para a engenharia da qualidade em sistemas de aprendizado de máquina, abrindo caminho para testes mais eficazes e confiáveis.
id USP_db49100f538db5cf9c44cfde1c7b0774
oai_identifier_str oai:teses.usp.br:tde-10022026-162320
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str
spelling Caracterização de falhas em sistemas de aprendizado de máquinaCharacterizing failures in machine learning systemsMachine Learning TestingMachine Learning TestingOntologiaOntologySPRQLSPRQLA crescente adoção de sistemas baseados em aprendizado de máquina em domínios críticos intensifica a necessidade de métodos rigorosos de teste e validação. Contudo, a complexidade e a natureza opaca desses modelos, aliadas à dependência de dados, dificultam a aplicação de técnicas tradicionais de teste de software. A literatura revela uma lacuna significativa no entendimento da caracterização de falhas reais nesses sistemas, limitando o desenvolvimento de estratégias eficazes de teste. Para superar esse desafio, este trabalho propõe a construção de um modelo formal de conhecimento, na forma de uma ontologia, capaz de organizar e unificar o domínio das falhas em sistemas de aprendizado de máquina. O modelo foi desenvolvido por meio de um ciclo iterativo com foco na generalização, e sua formalização seguiu padrões semânticos amplamente adotados. A validação funcional foi realizada por meio de consultas específicas destinadas a responder questões de competência, demonstrando a capacidade do modelo de representar e recuperar informações relevantes. Os resultados obtidos são significativos: a ontologia amplia a compreensão dos elementos e relações no domínio de falhas em aprendizado de máquina, facilitando a tomada de decisão dos envolvidos com testes. Serve como base para a generalização de abordagens de teste, possibilitando a construção de conjuntos de dados para pesquisas e benchmarks industriais, além de oferecer subsídios essenciais para o desenvolvimento de soluções automatizadas de teste. Em suma, este trabalho fornece uma fundamentação semântica sólida para a engenharia da qualidade em sistemas de aprendizado de máquina, abrindo caminho para testes mais eficazes e confiáveis.The growing adoption of machine learning systems in critical domains intensifies the need for rigorous testing and validation methods. However, the opaque and complex nature of these models, combined with their dependence on data, poses challenges to the application of traditional software testing techniques. The literature highlights a significant gap in understanding the characterization of real-world failures in such systems, hindering the development of effective testing strategies. To address this challenge, this work proposes the construction of a formal knowledge model, in the form of an ontology, capable of organizing and unifying the domain of failures in machine learning systems. The model was developed through an iterative lifecycle focused on generalization, and its formalization followed widely adopted semantic standards. Functional validation was conducted through targeted queries designed to answer competency questions, demonstrating the models ability to represent and retrieve relevant information. The results are noteworthy: the ontology deepens the understanding of the elements and relationships within the failure domain of machine learning, facilitating decision-making for testing stakeholders. It serves as a foundation for generalizing testing approaches, enabling the creation of datasets for research and industrial benchmarks, and providing essential support for the development of automated testing solutions. In summary, this work offers a robust semantic foundation for quality engineering in machine learning systems, paving the way for more effective and reliable testing practices.Biblioteca Digitais de Teses e Dissertações da USPMelo, Ana Cristina Vieira deMartins, Alexandre Locci2025-12-15info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/45/45134/tde-10022026-162320/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2026-02-11T09:04:02Zoai:teses.usp.br:tde-10022026-162320Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212026-02-11T09:04:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Caracterização de falhas em sistemas de aprendizado de máquina
Characterizing failures in machine learning systems
title Caracterização de falhas em sistemas de aprendizado de máquina
spellingShingle Caracterização de falhas em sistemas de aprendizado de máquina
Martins, Alexandre Locci
Machine Learning Testing
Machine Learning Testing
Ontologia
Ontology
SPRQL
SPRQL
title_short Caracterização de falhas em sistemas de aprendizado de máquina
title_full Caracterização de falhas em sistemas de aprendizado de máquina
title_fullStr Caracterização de falhas em sistemas de aprendizado de máquina
title_full_unstemmed Caracterização de falhas em sistemas de aprendizado de máquina
title_sort Caracterização de falhas em sistemas de aprendizado de máquina
author Martins, Alexandre Locci
author_facet Martins, Alexandre Locci
author_role author
dc.contributor.none.fl_str_mv Melo, Ana Cristina Vieira de
dc.contributor.author.fl_str_mv Martins, Alexandre Locci
dc.subject.por.fl_str_mv Machine Learning Testing
Machine Learning Testing
Ontologia
Ontology
SPRQL
SPRQL
topic Machine Learning Testing
Machine Learning Testing
Ontologia
Ontology
SPRQL
SPRQL
description A crescente adoção de sistemas baseados em aprendizado de máquina em domínios críticos intensifica a necessidade de métodos rigorosos de teste e validação. Contudo, a complexidade e a natureza opaca desses modelos, aliadas à dependência de dados, dificultam a aplicação de técnicas tradicionais de teste de software. A literatura revela uma lacuna significativa no entendimento da caracterização de falhas reais nesses sistemas, limitando o desenvolvimento de estratégias eficazes de teste. Para superar esse desafio, este trabalho propõe a construção de um modelo formal de conhecimento, na forma de uma ontologia, capaz de organizar e unificar o domínio das falhas em sistemas de aprendizado de máquina. O modelo foi desenvolvido por meio de um ciclo iterativo com foco na generalização, e sua formalização seguiu padrões semânticos amplamente adotados. A validação funcional foi realizada por meio de consultas específicas destinadas a responder questões de competência, demonstrando a capacidade do modelo de representar e recuperar informações relevantes. Os resultados obtidos são significativos: a ontologia amplia a compreensão dos elementos e relações no domínio de falhas em aprendizado de máquina, facilitando a tomada de decisão dos envolvidos com testes. Serve como base para a generalização de abordagens de teste, possibilitando a construção de conjuntos de dados para pesquisas e benchmarks industriais, além de oferecer subsídios essenciais para o desenvolvimento de soluções automatizadas de teste. Em suma, este trabalho fornece uma fundamentação semântica sólida para a engenharia da qualidade em sistemas de aprendizado de máquina, abrindo caminho para testes mais eficazes e confiáveis.
publishDate 2025
dc.date.none.fl_str_mv 2025-12-15
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/45/45134/tde-10022026-162320/
url https://www.teses.usp.br/teses/disponiveis/45/45134/tde-10022026-162320/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1857669977382846464

Registros relacionados