Abordagens para seleção de limiares de decisão e filtros de suavização em detecção de anomalias

Detalhes bibliográficos
Ano de defesa: 2024
Autor(a) principal: LIRA, Maira Farias de Andrade
Orientador(a): PRUDÊNCIO, Ricardo Bastos Cavalcante
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de Pernambuco
Programa de Pós-Graduação: Programa de Pos Graduacao em Ciencia da Computacao
Departamento: Não Informado pela instituição
País: Brasil
Palavras-chave em Português:
Link de acesso: https://repositorio.ufpe.br/handle/123456789/57246
Resumo: Técnicas de detecção de anomalias são amplamente utilizadas para identificar instâncias com padrões distintos do comportamento geral de um conjunto de dados. O desenvolvimento de novas técnicas, como as baseadas em aprendizado profundo, e a maior disponibilidade de dados têm alavancado ainda mais o uso da detecção de anomalias em contextos como a detecção de falhas em equipamentos industriais. Comumente, uma técnica de detecção gera um score de anomalia para cada instância, que é então usado para classificá-las entre anômalas ou normais. Esta classificação é baseada em um limiar de decisão (threshold) estabelecido de forma que se o score de uma determinada instância for superior ao threshold, esta instância é considerada anômala, caso contrário é classificada como normal. Neste trabalho foi utilizado um modelo Sparse Autoencoder (SAE) para a detecção de anomalias online que vem ganhando populari- dade neste cenário e foi investigado o impacto de diferentes abordagens não supervisionadas para definição de thresholds. Para os experimentos foi utilizada uma base de dados pública referente a um problema de detecção de anomalias no metrô da cidade do Porto. A aborda- gem de cálculo do threshold impactou fortemente as métricas de avaliação da detecção. Por exemplo, a abordagem baseada em erro máximo garantiu a menor taxa de falsos positivos. Por sua vez, a abordagem baseada em intervalo interquartil obteve o maior número de verdadeiros positivos, e, consequentemente recall, enquanto que a abordagem baseada em 99-percentil garantiu o maior F1-Score. Foi avaliado ainda o uso de três tipos de filtros passa-baixa em duas abordagens distintas para a suavização do score de anomalia. De uma forma geral, a aplicação de filtros diretamente sobre o score de anomalia maximizou verdadeiros positivos, enquanto sua aplicação após uma classificação prévia das instâncias minimizou os falsos posi- tivos. Além disso, foi verificado que a utilização do filtro foi essencial para detectar sequências de anomalias. Desta forma, a seleção de abordagens de definição de thresholds e de aplicação de filtros deve ser definida em função dos objetivos específicos do modelo.
id UFPE_a2b7d126774f4e6ac42b995ce193889c
oai_identifier_str oai:repositorio.ufpe.br:123456789/57246
network_acronym_str UFPE
network_name_str Repositório Institucional da UFPE
repository_id_str
spelling LIRA, Maira Farias de Andradehttp://lattes.cnpq.br/9281776749365231http://lattes.cnpq.br/2984888073123287PRUDÊNCIO, Ricardo Bastos Cavalcante2024-08-07T13:54:06Z2024-08-07T13:54:06Z2024-01-25LIRA, Maira Farias de Andrade. Abordagens para seleção de limiares de decisão e filtros de suavização em detecção de anomalias. 2024. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2024.https://repositorio.ufpe.br/handle/123456789/57246Técnicas de detecção de anomalias são amplamente utilizadas para identificar instâncias com padrões distintos do comportamento geral de um conjunto de dados. O desenvolvimento de novas técnicas, como as baseadas em aprendizado profundo, e a maior disponibilidade de dados têm alavancado ainda mais o uso da detecção de anomalias em contextos como a detecção de falhas em equipamentos industriais. Comumente, uma técnica de detecção gera um score de anomalia para cada instância, que é então usado para classificá-las entre anômalas ou normais. Esta classificação é baseada em um limiar de decisão (threshold) estabelecido de forma que se o score de uma determinada instância for superior ao threshold, esta instância é considerada anômala, caso contrário é classificada como normal. Neste trabalho foi utilizado um modelo Sparse Autoencoder (SAE) para a detecção de anomalias online que vem ganhando populari- dade neste cenário e foi investigado o impacto de diferentes abordagens não supervisionadas para definição de thresholds. Para os experimentos foi utilizada uma base de dados pública referente a um problema de detecção de anomalias no metrô da cidade do Porto. A aborda- gem de cálculo do threshold impactou fortemente as métricas de avaliação da detecção. Por exemplo, a abordagem baseada em erro máximo garantiu a menor taxa de falsos positivos. Por sua vez, a abordagem baseada em intervalo interquartil obteve o maior número de verdadeiros positivos, e, consequentemente recall, enquanto que a abordagem baseada em 99-percentil garantiu o maior F1-Score. Foi avaliado ainda o uso de três tipos de filtros passa-baixa em duas abordagens distintas para a suavização do score de anomalia. De uma forma geral, a aplicação de filtros diretamente sobre o score de anomalia maximizou verdadeiros positivos, enquanto sua aplicação após uma classificação prévia das instâncias minimizou os falsos posi- tivos. Além disso, foi verificado que a utilização do filtro foi essencial para detectar sequências de anomalias. Desta forma, a seleção de abordagens de definição de thresholds e de aplicação de filtros deve ser definida em função dos objetivos específicos do modelo.CAPESAnomaly detection techniques are widely used to identify instances with patterns differing from the general behavior of a data set. The development of new techniques, such as those based on deep learning, and the higher availability of data have increased anomaly detection use in contexts such as failure detection in industrial equipment. Frequently, a detection technique generates an anomaly score for each instance, later used to classify it as anomalous or normal. This classification is based on an established detection threshold such that if a given instance’s score is higher than the established limit, it is considered anomalous. Otherwise, it is normal. In this work, the impact of different unsupervised approaches to define a threshold was inves- tigated for anomaly detection by a Sparse Autoencoder (SAE) model. The experiments were based on a public database from an anomaly detection problem in Porto metro. The threshold calculation method strongly impacted detection evaluation metrics. For example, the maxi- mum error approach guaranteed the lowest false positive ratio. On the other hand, the inter quantile range approach yielded the highest true positive numbers and, consequently, higher recall, and the 99-percentile-based approach had the highest F1-Score. We also evaluated using three low-pass filters in two different approaches to smooth anomaly scores. Generally, filter applications directly on the anomaly score maximized true positives, while their application after a previous instance classification minimized false positives. Besides this, filter usage was essential to detect anomalous sequences. Thus, the selection of threshold definition techniques and filter application must be defined in function of the model-specific goals.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessInteligência computacionalDetecção de anomaliasSparse AutoencoderThresholdFiltro passa-baixaAbordagens para seleção de limiares de decisão e filtros de suavização em detecção de anomaliasinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPEORIGINALDISSERTAÇÃO Maira Farias de Andrade Lima.pdfDISSERTAÇÃO Maira Farias de Andrade Lima.pdfapplication/pdf14366341https://repositorio.ufpe.br/bitstream/123456789/57246/1/DISSERTA%c3%87%c3%83O%20Maira%20Farias%20de%20Andrade%20Lima.pdfa152f6a0972f26fd1b4f26a008aedd5fMD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/57246/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82362https://repositorio.ufpe.br/bitstream/123456789/57246/3/license.txt5e89a1613ddc8510c6576f4b23a78973MD53TEXTDISSERTAÇÃO Maira Farias de Andrade Lima.pdf.txtDISSERTAÇÃO Maira Farias de Andrade Lima.pdf.txtExtracted texttext/plain151199https://repositorio.ufpe.br/bitstream/123456789/57246/4/DISSERTA%c3%87%c3%83O%20Maira%20Farias%20de%20Andrade%20Lima.pdf.txtedbddb0ba5deb93e2ffb04ed1d1099afMD54THUMBNAILDISSERTAÇÃO Maira Farias de Andrade Lima.pdf.jpgDISSERTAÇÃO Maira Farias de Andrade Lima.pdf.jpgGenerated Thumbnailimage/jpeg1232https://repositorio.ufpe.br/bitstream/123456789/57246/5/DISSERTA%c3%87%c3%83O%20Maira%20Farias%20de%20Andrade%20Lima.pdf.jpg48f262edfe2b827e30985e6e02e80197MD55123456789/572462024-08-08 02:33:12.222oai:repositorio.ufpe.br:123456789/57246VGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2l6YcOnw6NvIGRlIERvY3VtZW50b3Mgbm8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRQoKCkRlY2xhcm8gZXN0YXIgY2llbnRlIGRlIHF1ZSBlc3RlIFRlcm1vIGRlIERlcMOzc2l0byBMZWdhbCBlIEF1dG9yaXphw6fDo28gdGVtIG8gb2JqZXRpdm8gZGUgZGl2dWxnYcOnw6NvIGRvcyBkb2N1bWVudG9zIGRlcG9zaXRhZG9zIG5vIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUgZSBkZWNsYXJvIHF1ZToKCkkgLSBvcyBkYWRvcyBwcmVlbmNoaWRvcyBubyBmb3JtdWzDoXJpbyBkZSBkZXDDs3NpdG8gc8OjbyB2ZXJkYWRlaXJvcyBlIGF1dMOqbnRpY29zOwoKSUkgLSAgbyBjb250ZcO6ZG8gZGlzcG9uaWJpbGl6YWRvIMOpIGRlIHJlc3BvbnNhYmlsaWRhZGUgZGUgc3VhIGF1dG9yaWE7CgpJSUkgLSBvIGNvbnRlw7pkbyDDqSBvcmlnaW5hbCwgZSBzZSBvIHRyYWJhbGhvIGUvb3UgcGFsYXZyYXMgZGUgb3V0cmFzIHBlc3NvYXMgZm9yYW0gdXRpbGl6YWRvcywgZXN0YXMgZm9yYW0gZGV2aWRhbWVudGUgcmVjb25oZWNpZGFzOwoKSVYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIG9icmEgY29sZXRpdmEgKG1haXMgZGUgdW0gYXV0b3IpOiB0b2RvcyBvcyBhdXRvcmVzIGVzdMOjbyBjaWVudGVzIGRvIGRlcMOzc2l0byBlIGRlIGFjb3JkbyBjb20gZXN0ZSB0ZXJtbzsKClYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIFRyYWJhbGhvIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28sIERpc3NlcnRhw6fDo28gb3UgVGVzZTogbyBhcnF1aXZvIGRlcG9zaXRhZG8gY29ycmVzcG9uZGUgw6AgdmVyc8OjbyBmaW5hbCBkbyB0cmFiYWxobzsKClZJIC0gcXVhbmRvIHRyYXRhci1zZSBkZSBUcmFiYWxobyBkZSBDb25jbHVzw6NvIGRlIEN1cnNvLCBEaXNzZXJ0YcOnw6NvIG91IFRlc2U6IGVzdG91IGNpZW50ZSBkZSBxdWUgYSBhbHRlcmHDp8OjbyBkYSBtb2RhbGlkYWRlIGRlIGFjZXNzbyBhbyBkb2N1bWVudG8gYXDDs3MgbyBkZXDDs3NpdG8gZSBhbnRlcyBkZSBmaW5kYXIgbyBwZXLDrW9kbyBkZSBlbWJhcmdvLCBxdWFuZG8gZm9yIGVzY29saGlkbyBhY2Vzc28gcmVzdHJpdG8sIHNlcsOhIHBlcm1pdGlkYSBtZWRpYW50ZSBzb2xpY2l0YcOnw6NvIGRvIChhKSBhdXRvciAoYSkgYW8gU2lzdGVtYSBJbnRlZ3JhZG8gZGUgQmlibGlvdGVjYXMgZGEgVUZQRSAoU0lCL1VGUEUpLgoKIApQYXJhIHRyYWJhbGhvcyBlbSBBY2Vzc28gQWJlcnRvOgoKTmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRlIGF1dG9yIHF1ZSByZWNhZW0gc29icmUgZXN0ZSBkb2N1bWVudG8sIGZ1bmRhbWVudGFkbyBuYSBMZWkgZGUgRGlyZWl0byBBdXRvcmFsIG5vIDkuNjEwLCBkZSAxOSBkZSBmZXZlcmVpcm8gZGUgMTk5OCwgYXJ0LiAyOSwgaW5jaXNvIElJSSwgYXV0b3Jpem8gYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIGEgZGlzcG9uaWJpbGl6YXIgZ3JhdHVpdGFtZW50ZSwgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkIChhcXVpc2nDp8OjbykgYXRyYXbDqXMgZG8gc2l0ZSBkbyBSZXBvc2l0w7NyaW8gRGlnaXRhbCBkYSBVRlBFIG5vIGVuZGVyZcOnbyBodHRwOi8vd3d3LnJlcG9zaXRvcmlvLnVmcGUuYnIsIGEgcGFydGlyIGRhIGRhdGEgZGUgZGVww7NzaXRvLgoKIApQYXJhIHRyYWJhbGhvcyBlbSBBY2Vzc28gUmVzdHJpdG86CgpOYSBxdWFsaWRhZGUgZGUgdGl0dWxhciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGUgYXV0b3IgcXVlIHJlY2FlbSBzb2JyZSBlc3RlIGRvY3VtZW50bywgZnVuZGFtZW50YWRvIG5hIExlaSBkZSBEaXJlaXRvIEF1dG9yYWwgbm8gOS42MTAgZGUgMTkgZGUgZmV2ZXJlaXJvIGRlIDE5OTgsIGFydC4gMjksIGluY2lzbyBJSUksIGF1dG9yaXpvIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgUGVybmFtYnVjbyBhIGRpc3BvbmliaWxpemFyIGdyYXR1aXRhbWVudGUsIHNlbSByZXNzYXJjaW1lbnRvIGRvcyBkaXJlaXRvcyBhdXRvcmFpcywgcGFyYSBmaW5zIGRlIGxlaXR1cmEsIGltcHJlc3PDo28gZS9vdSBkb3dubG9hZCAoYXF1aXNpw6fDo28pIGF0cmF2w6lzIGRvIHNpdGUgZG8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRSBubyBlbmRlcmXDp28gaHR0cDovL3d3dy5yZXBvc2l0b3Jpby51ZnBlLmJyLCBxdWFuZG8gZmluZGFyIG8gcGVyw61vZG8gZGUgZW1iYXJnbyBjb25kaXplbnRlIGFvIHRpcG8gZGUgZG9jdW1lbnRvLCBjb25mb3JtZSBpbmRpY2FkbyBubyBjYW1wbyBEYXRhIGRlIEVtYmFyZ28uCg==Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212024-08-08T05:33:12Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false
dc.title.pt_BR.fl_str_mv Abordagens para seleção de limiares de decisão e filtros de suavização em detecção de anomalias
title Abordagens para seleção de limiares de decisão e filtros de suavização em detecção de anomalias
spellingShingle Abordagens para seleção de limiares de decisão e filtros de suavização em detecção de anomalias
LIRA, Maira Farias de Andrade
Inteligência computacional
Detecção de anomalias
Sparse Autoencoder
Threshold
Filtro passa-baixa
title_short Abordagens para seleção de limiares de decisão e filtros de suavização em detecção de anomalias
title_full Abordagens para seleção de limiares de decisão e filtros de suavização em detecção de anomalias
title_fullStr Abordagens para seleção de limiares de decisão e filtros de suavização em detecção de anomalias
title_full_unstemmed Abordagens para seleção de limiares de decisão e filtros de suavização em detecção de anomalias
title_sort Abordagens para seleção de limiares de decisão e filtros de suavização em detecção de anomalias
author LIRA, Maira Farias de Andrade
author_facet LIRA, Maira Farias de Andrade
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/9281776749365231
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/2984888073123287
dc.contributor.author.fl_str_mv LIRA, Maira Farias de Andrade
dc.contributor.advisor1.fl_str_mv PRUDÊNCIO, Ricardo Bastos Cavalcante
contributor_str_mv PRUDÊNCIO, Ricardo Bastos Cavalcante
dc.subject.por.fl_str_mv Inteligência computacional
Detecção de anomalias
Sparse Autoencoder
Threshold
Filtro passa-baixa
topic Inteligência computacional
Detecção de anomalias
Sparse Autoencoder
Threshold
Filtro passa-baixa
description Técnicas de detecção de anomalias são amplamente utilizadas para identificar instâncias com padrões distintos do comportamento geral de um conjunto de dados. O desenvolvimento de novas técnicas, como as baseadas em aprendizado profundo, e a maior disponibilidade de dados têm alavancado ainda mais o uso da detecção de anomalias em contextos como a detecção de falhas em equipamentos industriais. Comumente, uma técnica de detecção gera um score de anomalia para cada instância, que é então usado para classificá-las entre anômalas ou normais. Esta classificação é baseada em um limiar de decisão (threshold) estabelecido de forma que se o score de uma determinada instância for superior ao threshold, esta instância é considerada anômala, caso contrário é classificada como normal. Neste trabalho foi utilizado um modelo Sparse Autoencoder (SAE) para a detecção de anomalias online que vem ganhando populari- dade neste cenário e foi investigado o impacto de diferentes abordagens não supervisionadas para definição de thresholds. Para os experimentos foi utilizada uma base de dados pública referente a um problema de detecção de anomalias no metrô da cidade do Porto. A aborda- gem de cálculo do threshold impactou fortemente as métricas de avaliação da detecção. Por exemplo, a abordagem baseada em erro máximo garantiu a menor taxa de falsos positivos. Por sua vez, a abordagem baseada em intervalo interquartil obteve o maior número de verdadeiros positivos, e, consequentemente recall, enquanto que a abordagem baseada em 99-percentil garantiu o maior F1-Score. Foi avaliado ainda o uso de três tipos de filtros passa-baixa em duas abordagens distintas para a suavização do score de anomalia. De uma forma geral, a aplicação de filtros diretamente sobre o score de anomalia maximizou verdadeiros positivos, enquanto sua aplicação após uma classificação prévia das instâncias minimizou os falsos posi- tivos. Além disso, foi verificado que a utilização do filtro foi essencial para detectar sequências de anomalias. Desta forma, a seleção de abordagens de definição de thresholds e de aplicação de filtros deve ser definida em função dos objetivos específicos do modelo.
publishDate 2024
dc.date.accessioned.fl_str_mv 2024-08-07T13:54:06Z
dc.date.available.fl_str_mv 2024-08-07T13:54:06Z
dc.date.issued.fl_str_mv 2024-01-25
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv LIRA, Maira Farias de Andrade. Abordagens para seleção de limiares de decisão e filtros de suavização em detecção de anomalias. 2024. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2024.
dc.identifier.uri.fl_str_mv https://repositorio.ufpe.br/handle/123456789/57246
identifier_str_mv LIRA, Maira Farias de Andrade. Abordagens para seleção de limiares de decisão e filtros de suavização em detecção de anomalias. 2024. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2024.
url https://repositorio.ufpe.br/handle/123456789/57246
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.publisher.program.fl_str_mv Programa de Pos Graduacao em Ciencia da Computacao
dc.publisher.initials.fl_str_mv UFPE
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPE
instname:Universidade Federal de Pernambuco (UFPE)
instacron:UFPE
instname_str Universidade Federal de Pernambuco (UFPE)
instacron_str UFPE
institution UFPE
reponame_str Repositório Institucional da UFPE
collection Repositório Institucional da UFPE
bitstream.url.fl_str_mv https://repositorio.ufpe.br/bitstream/123456789/57246/1/DISSERTA%c3%87%c3%83O%20Maira%20Farias%20de%20Andrade%20Lima.pdf
https://repositorio.ufpe.br/bitstream/123456789/57246/2/license_rdf
https://repositorio.ufpe.br/bitstream/123456789/57246/3/license.txt
https://repositorio.ufpe.br/bitstream/123456789/57246/4/DISSERTA%c3%87%c3%83O%20Maira%20Farias%20de%20Andrade%20Lima.pdf.txt
https://repositorio.ufpe.br/bitstream/123456789/57246/5/DISSERTA%c3%87%c3%83O%20Maira%20Farias%20de%20Andrade%20Lima.pdf.jpg
bitstream.checksum.fl_str_mv a152f6a0972f26fd1b4f26a008aedd5f
e39d27027a6cc9cb039ad269a5db8e34
5e89a1613ddc8510c6576f4b23a78973
edbddb0ba5deb93e2ffb04ed1d1099af
48f262edfe2b827e30985e6e02e80197
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)
repository.mail.fl_str_mv attena@ufpe.br
_version_ 1862742051290873856