Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial.

Detalhes bibliográficos
Ano de defesa: 2024
Autor(a) principal: Silva Neto, Antonio Vieira da
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: https://www.teses.usp.br/teses/disponiveis/3/3141/tde-14112024-090238/
Resumo: A Quarta Revolução Industrial levou, entre outras características, ao aumento da presença de Inteligência Artificial (IA) em sistemas de engenharia críticos em relação à segurança (safety) e reforça a tendência de que a década de 2020 é o ponto de inflexão para que métodos de garantia de segurança de sistemas críticos dotados de IA sejam estabelecidos visando à certificação desses sistemas para operação comercial. Normas técnicas e pesquisas científicas correlatas possuem duas limitações principais: (i.) a contextualização incipiente da IA nos processos de garantia de segurança atrelados ao ciclo de vida de sistemas de engenharia e (ii.) a escassez de diretrizes detalhadas sobre técnicas de garantia de segurança recomendáveis para cada categoria de IA. Dentro desse contexto, a presente pesquisa possui três objetivos principais. O primeiro deles é definir um método iterativo e incremental para promover a garantia de segurança de sistemas que incluem IA, mediante um processo de levantamento dedutivo de requisitos de segurança e de verificação indutiva sob óticas qualitativa e quantitativa. O segundo, por sua vez, é agregar ao método técnicas de garantia de segurança de IA já presentes na literatura e outras técnicas e melhorias concebidas durante a pesquisa para generalizar o método para diferentes categorias de IA e implementações (software e hardware programável). Por fim, o terceiro objetivo consiste em identificar técnicas promissoras e recomendáveis de garantia de segurança e mapeá-las em cada categoria de IA e etapa do ciclo de vida. O método Safety ArtISt (Safety Artificial Intelligence Structure), detalhado nesta tese, foi concebido visando ao atendimento dos três objetivos prévios. Ele foi avaliado por meio de um benchmark de facto, composto por quatro estudos de caso idealizados para exercitar a íntegra do método e avaliar, qualitativa e quantitativamente, como os resultados obtidos corroboram os objetivos da pesquisa. Tais resultados evidenciam que o método Safety ArtISt cumpre tais objetivos, uma vez que ele se mostrou eficaz em promover o desenvolvimento de sistemas críticos em relação à segurança com IA e em identificar e mitigar, de forma antecipada, potenciais problemas de segurança não antevistos em projetos realizados, por terceiros, sem o uso do método. Trabalhos futuros para o seguimento da pesquisa em áreas correlatas também são explorados.
id USP_519c9480cedb9227128335a567bf957c
oai_identifier_str oai:teses.usp.br:tde-14112024-090238
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str
spelling Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial.Safety ArtISt: a method for the safety assurance of systems with artificial intelligence.Agentes inteligentesArtificial intelligenceComputer engineering systemsComputer faultsEngenharia de sistemas de computaçãoFalhas computacionaisInteligência artificialIntelligent agentsSegurança de softwareSoftware safetyA Quarta Revolução Industrial levou, entre outras características, ao aumento da presença de Inteligência Artificial (IA) em sistemas de engenharia críticos em relação à segurança (safety) e reforça a tendência de que a década de 2020 é o ponto de inflexão para que métodos de garantia de segurança de sistemas críticos dotados de IA sejam estabelecidos visando à certificação desses sistemas para operação comercial. Normas técnicas e pesquisas científicas correlatas possuem duas limitações principais: (i.) a contextualização incipiente da IA nos processos de garantia de segurança atrelados ao ciclo de vida de sistemas de engenharia e (ii.) a escassez de diretrizes detalhadas sobre técnicas de garantia de segurança recomendáveis para cada categoria de IA. Dentro desse contexto, a presente pesquisa possui três objetivos principais. O primeiro deles é definir um método iterativo e incremental para promover a garantia de segurança de sistemas que incluem IA, mediante um processo de levantamento dedutivo de requisitos de segurança e de verificação indutiva sob óticas qualitativa e quantitativa. O segundo, por sua vez, é agregar ao método técnicas de garantia de segurança de IA já presentes na literatura e outras técnicas e melhorias concebidas durante a pesquisa para generalizar o método para diferentes categorias de IA e implementações (software e hardware programável). Por fim, o terceiro objetivo consiste em identificar técnicas promissoras e recomendáveis de garantia de segurança e mapeá-las em cada categoria de IA e etapa do ciclo de vida. O método Safety ArtISt (Safety Artificial Intelligence Structure), detalhado nesta tese, foi concebido visando ao atendimento dos três objetivos prévios. Ele foi avaliado por meio de um benchmark de facto, composto por quatro estudos de caso idealizados para exercitar a íntegra do método e avaliar, qualitativa e quantitativamente, como os resultados obtidos corroboram os objetivos da pesquisa. Tais resultados evidenciam que o método Safety ArtISt cumpre tais objetivos, uma vez que ele se mostrou eficaz em promover o desenvolvimento de sistemas críticos em relação à segurança com IA e em identificar e mitigar, de forma antecipada, potenciais problemas de segurança não antevistos em projetos realizados, por terceiros, sem o uso do método. Trabalhos futuros para o seguimento da pesquisa em áreas correlatas também são explorados.The Fourth Industrial Revolution has led, among other features, to an increased presence of Artificial Intelligence (AI) in safety-critical systems, thus reinforcing the trend that the 2020s are likely to be the point of no return for establishing safety assurance methods for AI-based safety-critical systems towards certifying them for revenue service. Standards and scientific research on the theme feature two main limitations: (i.) a weak contextualization of AI in safety assurance processes applied throughout systems lifecycle, and (ii.) the scarcity of detailed guidelines on safety assurance techniques that are recommended for each AI category. Within this context, this research has three main objectives. The first one is to define an iterative and incremental method that leverages the safety assurance of systems with AI by means of deductive (top-down) safety requirement elicitation and inductive (bottom-up) qualitative and quantitative verification. The second one, in turn, is to build this method by combining safety assurance techniques defined on the literature with other techniques and improvements developed during this research in order to generalize the method for different AI techniques. Finally, the third objective is to identify promising and recommended safety assurance techniques and map them into each AI category and lifecycle step. The method herein named Safety ArtISt (Safety Artificial Intelligence Structure) was designed in this thesis aiming to meet the three aforementioned objectives. It was evaluated by means of a de facto benchmark, which comprises four case studies crafted to fully exercise the Safety ArtISt method that allow evaluating, by means of qualitative and quantitative results, to what extent the three research objectives were met. The results obtained in this research indicate that the aforementioned objectives were met with the Safety ArtISt method, as the latter has been proven to be both effective in developing safety-critical systems with AI and mitigating in advance potential safety problems not in hindsight in projects carried out beforehand by third parties without using Safety ArtISt. Further research targeting further improvements on the Safety ArtISt method, as well as in other themes on the safety assurance of systems with AI, is also explored in this thesis.Biblioteca Digitais de Teses e Dissertações da USPCugnasca, Paulo SergioSilva Neto, Antonio Vieira da2024-06-18info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/3/3141/tde-14112024-090238/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2024-11-18T11:00:05Zoai:teses.usp.br:tde-14112024-090238Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212024-11-18T11:00:05Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial.
Safety ArtISt: a method for the safety assurance of systems with artificial intelligence.
title Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial.
spellingShingle Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial.
Silva Neto, Antonio Vieira da
Agentes inteligentes
Artificial intelligence
Computer engineering systems
Computer faults
Engenharia de sistemas de computação
Falhas computacionais
Inteligência artificial
Intelligent agents
Segurança de software
Software safety
title_short Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial.
title_full Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial.
title_fullStr Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial.
title_full_unstemmed Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial.
title_sort Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial.
author Silva Neto, Antonio Vieira da
author_facet Silva Neto, Antonio Vieira da
author_role author
dc.contributor.none.fl_str_mv Cugnasca, Paulo Sergio
dc.contributor.author.fl_str_mv Silva Neto, Antonio Vieira da
dc.subject.por.fl_str_mv Agentes inteligentes
Artificial intelligence
Computer engineering systems
Computer faults
Engenharia de sistemas de computação
Falhas computacionais
Inteligência artificial
Intelligent agents
Segurança de software
Software safety
topic Agentes inteligentes
Artificial intelligence
Computer engineering systems
Computer faults
Engenharia de sistemas de computação
Falhas computacionais
Inteligência artificial
Intelligent agents
Segurança de software
Software safety
description A Quarta Revolução Industrial levou, entre outras características, ao aumento da presença de Inteligência Artificial (IA) em sistemas de engenharia críticos em relação à segurança (safety) e reforça a tendência de que a década de 2020 é o ponto de inflexão para que métodos de garantia de segurança de sistemas críticos dotados de IA sejam estabelecidos visando à certificação desses sistemas para operação comercial. Normas técnicas e pesquisas científicas correlatas possuem duas limitações principais: (i.) a contextualização incipiente da IA nos processos de garantia de segurança atrelados ao ciclo de vida de sistemas de engenharia e (ii.) a escassez de diretrizes detalhadas sobre técnicas de garantia de segurança recomendáveis para cada categoria de IA. Dentro desse contexto, a presente pesquisa possui três objetivos principais. O primeiro deles é definir um método iterativo e incremental para promover a garantia de segurança de sistemas que incluem IA, mediante um processo de levantamento dedutivo de requisitos de segurança e de verificação indutiva sob óticas qualitativa e quantitativa. O segundo, por sua vez, é agregar ao método técnicas de garantia de segurança de IA já presentes na literatura e outras técnicas e melhorias concebidas durante a pesquisa para generalizar o método para diferentes categorias de IA e implementações (software e hardware programável). Por fim, o terceiro objetivo consiste em identificar técnicas promissoras e recomendáveis de garantia de segurança e mapeá-las em cada categoria de IA e etapa do ciclo de vida. O método Safety ArtISt (Safety Artificial Intelligence Structure), detalhado nesta tese, foi concebido visando ao atendimento dos três objetivos prévios. Ele foi avaliado por meio de um benchmark de facto, composto por quatro estudos de caso idealizados para exercitar a íntegra do método e avaliar, qualitativa e quantitativamente, como os resultados obtidos corroboram os objetivos da pesquisa. Tais resultados evidenciam que o método Safety ArtISt cumpre tais objetivos, uma vez que ele se mostrou eficaz em promover o desenvolvimento de sistemas críticos em relação à segurança com IA e em identificar e mitigar, de forma antecipada, potenciais problemas de segurança não antevistos em projetos realizados, por terceiros, sem o uso do método. Trabalhos futuros para o seguimento da pesquisa em áreas correlatas também são explorados.
publishDate 2024
dc.date.none.fl_str_mv 2024-06-18
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/3/3141/tde-14112024-090238/
url https://www.teses.usp.br/teses/disponiveis/3/3141/tde-14112024-090238/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1818598505988489216