Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial.
| Ano de defesa: | 2024 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Tese |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Biblioteca Digitais de Teses e Dissertações da USP
|
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | https://www.teses.usp.br/teses/disponiveis/3/3141/tde-14112024-090238/ |
Resumo: | A Quarta Revolução Industrial levou, entre outras características, ao aumento da presença de Inteligência Artificial (IA) em sistemas de engenharia críticos em relação à segurança (safety) e reforça a tendência de que a década de 2020 é o ponto de inflexão para que métodos de garantia de segurança de sistemas críticos dotados de IA sejam estabelecidos visando à certificação desses sistemas para operação comercial. Normas técnicas e pesquisas científicas correlatas possuem duas limitações principais: (i.) a contextualização incipiente da IA nos processos de garantia de segurança atrelados ao ciclo de vida de sistemas de engenharia e (ii.) a escassez de diretrizes detalhadas sobre técnicas de garantia de segurança recomendáveis para cada categoria de IA. Dentro desse contexto, a presente pesquisa possui três objetivos principais. O primeiro deles é definir um método iterativo e incremental para promover a garantia de segurança de sistemas que incluem IA, mediante um processo de levantamento dedutivo de requisitos de segurança e de verificação indutiva sob óticas qualitativa e quantitativa. O segundo, por sua vez, é agregar ao método técnicas de garantia de segurança de IA já presentes na literatura e outras técnicas e melhorias concebidas durante a pesquisa para generalizar o método para diferentes categorias de IA e implementações (software e hardware programável). Por fim, o terceiro objetivo consiste em identificar técnicas promissoras e recomendáveis de garantia de segurança e mapeá-las em cada categoria de IA e etapa do ciclo de vida. O método Safety ArtISt (Safety Artificial Intelligence Structure), detalhado nesta tese, foi concebido visando ao atendimento dos três objetivos prévios. Ele foi avaliado por meio de um benchmark de facto, composto por quatro estudos de caso idealizados para exercitar a íntegra do método e avaliar, qualitativa e quantitativamente, como os resultados obtidos corroboram os objetivos da pesquisa. Tais resultados evidenciam que o método Safety ArtISt cumpre tais objetivos, uma vez que ele se mostrou eficaz em promover o desenvolvimento de sistemas críticos em relação à segurança com IA e em identificar e mitigar, de forma antecipada, potenciais problemas de segurança não antevistos em projetos realizados, por terceiros, sem o uso do método. Trabalhos futuros para o seguimento da pesquisa em áreas correlatas também são explorados. |
| id |
USP_519c9480cedb9227128335a567bf957c |
|---|---|
| oai_identifier_str |
oai:teses.usp.br:tde-14112024-090238 |
| network_acronym_str |
USP |
| network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
| repository_id_str |
|
| spelling |
Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial.Safety ArtISt: a method for the safety assurance of systems with artificial intelligence.Agentes inteligentesArtificial intelligenceComputer engineering systemsComputer faultsEngenharia de sistemas de computaçãoFalhas computacionaisInteligência artificialIntelligent agentsSegurança de softwareSoftware safetyA Quarta Revolução Industrial levou, entre outras características, ao aumento da presença de Inteligência Artificial (IA) em sistemas de engenharia críticos em relação à segurança (safety) e reforça a tendência de que a década de 2020 é o ponto de inflexão para que métodos de garantia de segurança de sistemas críticos dotados de IA sejam estabelecidos visando à certificação desses sistemas para operação comercial. Normas técnicas e pesquisas científicas correlatas possuem duas limitações principais: (i.) a contextualização incipiente da IA nos processos de garantia de segurança atrelados ao ciclo de vida de sistemas de engenharia e (ii.) a escassez de diretrizes detalhadas sobre técnicas de garantia de segurança recomendáveis para cada categoria de IA. Dentro desse contexto, a presente pesquisa possui três objetivos principais. O primeiro deles é definir um método iterativo e incremental para promover a garantia de segurança de sistemas que incluem IA, mediante um processo de levantamento dedutivo de requisitos de segurança e de verificação indutiva sob óticas qualitativa e quantitativa. O segundo, por sua vez, é agregar ao método técnicas de garantia de segurança de IA já presentes na literatura e outras técnicas e melhorias concebidas durante a pesquisa para generalizar o método para diferentes categorias de IA e implementações (software e hardware programável). Por fim, o terceiro objetivo consiste em identificar técnicas promissoras e recomendáveis de garantia de segurança e mapeá-las em cada categoria de IA e etapa do ciclo de vida. O método Safety ArtISt (Safety Artificial Intelligence Structure), detalhado nesta tese, foi concebido visando ao atendimento dos três objetivos prévios. Ele foi avaliado por meio de um benchmark de facto, composto por quatro estudos de caso idealizados para exercitar a íntegra do método e avaliar, qualitativa e quantitativamente, como os resultados obtidos corroboram os objetivos da pesquisa. Tais resultados evidenciam que o método Safety ArtISt cumpre tais objetivos, uma vez que ele se mostrou eficaz em promover o desenvolvimento de sistemas críticos em relação à segurança com IA e em identificar e mitigar, de forma antecipada, potenciais problemas de segurança não antevistos em projetos realizados, por terceiros, sem o uso do método. Trabalhos futuros para o seguimento da pesquisa em áreas correlatas também são explorados.The Fourth Industrial Revolution has led, among other features, to an increased presence of Artificial Intelligence (AI) in safety-critical systems, thus reinforcing the trend that the 2020s are likely to be the point of no return for establishing safety assurance methods for AI-based safety-critical systems towards certifying them for revenue service. Standards and scientific research on the theme feature two main limitations: (i.) a weak contextualization of AI in safety assurance processes applied throughout systems lifecycle, and (ii.) the scarcity of detailed guidelines on safety assurance techniques that are recommended for each AI category. Within this context, this research has three main objectives. The first one is to define an iterative and incremental method that leverages the safety assurance of systems with AI by means of deductive (top-down) safety requirement elicitation and inductive (bottom-up) qualitative and quantitative verification. The second one, in turn, is to build this method by combining safety assurance techniques defined on the literature with other techniques and improvements developed during this research in order to generalize the method for different AI techniques. Finally, the third objective is to identify promising and recommended safety assurance techniques and map them into each AI category and lifecycle step. The method herein named Safety ArtISt (Safety Artificial Intelligence Structure) was designed in this thesis aiming to meet the three aforementioned objectives. It was evaluated by means of a de facto benchmark, which comprises four case studies crafted to fully exercise the Safety ArtISt method that allow evaluating, by means of qualitative and quantitative results, to what extent the three research objectives were met. The results obtained in this research indicate that the aforementioned objectives were met with the Safety ArtISt method, as the latter has been proven to be both effective in developing safety-critical systems with AI and mitigating in advance potential safety problems not in hindsight in projects carried out beforehand by third parties without using Safety ArtISt. Further research targeting further improvements on the Safety ArtISt method, as well as in other themes on the safety assurance of systems with AI, is also explored in this thesis.Biblioteca Digitais de Teses e Dissertações da USPCugnasca, Paulo SergioSilva Neto, Antonio Vieira da2024-06-18info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/3/3141/tde-14112024-090238/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2024-11-18T11:00:05Zoai:teses.usp.br:tde-14112024-090238Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212024-11-18T11:00:05Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
| dc.title.none.fl_str_mv |
Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial. Safety ArtISt: a method for the safety assurance of systems with artificial intelligence. |
| title |
Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial. |
| spellingShingle |
Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial. Silva Neto, Antonio Vieira da Agentes inteligentes Artificial intelligence Computer engineering systems Computer faults Engenharia de sistemas de computação Falhas computacionais Inteligência artificial Intelligent agents Segurança de software Software safety |
| title_short |
Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial. |
| title_full |
Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial. |
| title_fullStr |
Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial. |
| title_full_unstemmed |
Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial. |
| title_sort |
Safety ArtISt: um método para a garantia de segurança crítica de sistemas com inteligência artificial. |
| author |
Silva Neto, Antonio Vieira da |
| author_facet |
Silva Neto, Antonio Vieira da |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Cugnasca, Paulo Sergio |
| dc.contributor.author.fl_str_mv |
Silva Neto, Antonio Vieira da |
| dc.subject.por.fl_str_mv |
Agentes inteligentes Artificial intelligence Computer engineering systems Computer faults Engenharia de sistemas de computação Falhas computacionais Inteligência artificial Intelligent agents Segurança de software Software safety |
| topic |
Agentes inteligentes Artificial intelligence Computer engineering systems Computer faults Engenharia de sistemas de computação Falhas computacionais Inteligência artificial Intelligent agents Segurança de software Software safety |
| description |
A Quarta Revolução Industrial levou, entre outras características, ao aumento da presença de Inteligência Artificial (IA) em sistemas de engenharia críticos em relação à segurança (safety) e reforça a tendência de que a década de 2020 é o ponto de inflexão para que métodos de garantia de segurança de sistemas críticos dotados de IA sejam estabelecidos visando à certificação desses sistemas para operação comercial. Normas técnicas e pesquisas científicas correlatas possuem duas limitações principais: (i.) a contextualização incipiente da IA nos processos de garantia de segurança atrelados ao ciclo de vida de sistemas de engenharia e (ii.) a escassez de diretrizes detalhadas sobre técnicas de garantia de segurança recomendáveis para cada categoria de IA. Dentro desse contexto, a presente pesquisa possui três objetivos principais. O primeiro deles é definir um método iterativo e incremental para promover a garantia de segurança de sistemas que incluem IA, mediante um processo de levantamento dedutivo de requisitos de segurança e de verificação indutiva sob óticas qualitativa e quantitativa. O segundo, por sua vez, é agregar ao método técnicas de garantia de segurança de IA já presentes na literatura e outras técnicas e melhorias concebidas durante a pesquisa para generalizar o método para diferentes categorias de IA e implementações (software e hardware programável). Por fim, o terceiro objetivo consiste em identificar técnicas promissoras e recomendáveis de garantia de segurança e mapeá-las em cada categoria de IA e etapa do ciclo de vida. O método Safety ArtISt (Safety Artificial Intelligence Structure), detalhado nesta tese, foi concebido visando ao atendimento dos três objetivos prévios. Ele foi avaliado por meio de um benchmark de facto, composto por quatro estudos de caso idealizados para exercitar a íntegra do método e avaliar, qualitativa e quantitativamente, como os resultados obtidos corroboram os objetivos da pesquisa. Tais resultados evidenciam que o método Safety ArtISt cumpre tais objetivos, uma vez que ele se mostrou eficaz em promover o desenvolvimento de sistemas críticos em relação à segurança com IA e em identificar e mitigar, de forma antecipada, potenciais problemas de segurança não antevistos em projetos realizados, por terceiros, sem o uso do método. Trabalhos futuros para o seguimento da pesquisa em áreas correlatas também são explorados. |
| publishDate |
2024 |
| dc.date.none.fl_str_mv |
2024-06-18 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
| format |
doctoralThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
https://www.teses.usp.br/teses/disponiveis/3/3141/tde-14112024-090238/ |
| url |
https://www.teses.usp.br/teses/disponiveis/3/3141/tde-14112024-090238/ |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.relation.none.fl_str_mv |
|
| dc.rights.driver.fl_str_mv |
Liberar o conteúdo para acesso público. info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
Liberar o conteúdo para acesso público. |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.coverage.none.fl_str_mv |
|
| dc.publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
| publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
| dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
| instname_str |
Universidade de São Paulo (USP) |
| instacron_str |
USP |
| institution |
USP |
| reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
| collection |
Biblioteca Digital de Teses e Dissertações da USP |
| repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
| repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
| _version_ |
1818598505988489216 |