Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos

Detalhes bibliográficos
Ano de defesa: 2021
Autor(a) principal: Trentini, Erick Lima
Orientador(a): Macêdo, José Antonio Fernandes de
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Área do conhecimento CNPq:
Link de acesso: http://repositorio.ufc.br/handle/riufc/80792
Resumo: Time-series anomalies detection is a fast-growing area of study, due to the exponential growth of new data produced by sensors in many different contexts as the Internet of Things (IoT). Many predictive models have been proposed, and they provide promising results in differentiating normal and anomalous points in a time-series. In this work, we provide three contributions. We aim to identify and combine the best models for detecting anomalies in time-series, so that the different strategies or parameters of the models can contribute to the time series analysis by proposing a model-centered ensemble called TSPME-AD (stands for Time Series Prediction Model Ensemble for Anomaly Detection). TSPME-AD uses state-of-the-art predictive models, combining their anomaly scores using a weighted function. Other contributions are a dynamic window breaking technique based on scanning thresholds, leveraging the periodicity and shape of the series to generate windows that aid in training and testing models, and a new auto-encoder predictive model. The effectiveness of our proposals is analyzed using two real-world time-series datasets, a year of power demand data, and the MIT electrocardiogram database. We show that our ensemble technique improves on the F1 score up to 22% on the best score of the individual models composing the ensemble, with our specific combination function improving on simpler functions on up to 13% F1 score increase. We also show that our new auto-encoder architecture, combined with the new window breaking technique, can have an up to 25% F1 score increase compared to another proposed auto-encoder technique, and a 64% score increase over a stacked LSTM model.
id UFC-7_f584bf0e67b52de10551ad4a0e4bcefb
oai_identifier_str oai:repositorio.ufc.br:riufc/80792
network_acronym_str UFC-7
network_name_str Repositório Institucional da Universidade Federal do Ceará (UFC)
repository_id_str
spelling Trentini, Erick LimaSilva, Ticiana Linhares Coelho daMacêdo, José Antonio Fernandes de2025-05-09T13:53:43Z2025-05-09T13:53:43Z2021TRENTINI, Erick Lima. Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos. 2021. 53 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal do Ceará, Fortaleza, 2021.http://repositorio.ufc.br/handle/riufc/80792Time-series anomalies detection is a fast-growing area of study, due to the exponential growth of new data produced by sensors in many different contexts as the Internet of Things (IoT). Many predictive models have been proposed, and they provide promising results in differentiating normal and anomalous points in a time-series. In this work, we provide three contributions. We aim to identify and combine the best models for detecting anomalies in time-series, so that the different strategies or parameters of the models can contribute to the time series analysis by proposing a model-centered ensemble called TSPME-AD (stands for Time Series Prediction Model Ensemble for Anomaly Detection). TSPME-AD uses state-of-the-art predictive models, combining their anomaly scores using a weighted function. Other contributions are a dynamic window breaking technique based on scanning thresholds, leveraging the periodicity and shape of the series to generate windows that aid in training and testing models, and a new auto-encoder predictive model. The effectiveness of our proposals is analyzed using two real-world time-series datasets, a year of power demand data, and the MIT electrocardiogram database. We show that our ensemble technique improves on the F1 score up to 22% on the best score of the individual models composing the ensemble, with our specific combination function improving on simpler functions on up to 13% F1 score increase. We also show that our new auto-encoder architecture, combined with the new window breaking technique, can have an up to 25% F1 score increase compared to another proposed auto-encoder technique, and a 64% score increase over a stacked LSTM model.Detecção de anomalias em séries temporais é uma área de estudo em rápido crescimento atualmente, devido ao aumento exponencial da criação de novos dados temporais produzidos por sensores de diversos contextos, como, por exemplo, a Internet das Coisas (IoT). Muitos modelos preditivos foram propostos ao longo dos anos, e muitos trazem resultados promissores na diferenciação de pontos normais e anômalos nas séries temporais. Neste trabalho, serão propostas três contribuições. Em uma delas, buscamos encontrar e combinar os melhores modelos preditivos em detecção de anomalias em séries temporais, para que as diferentes estratégias e diferentes parâmetros na criação dos modelos possam contribuir para a análise das séries, propondo um ensemble baseado em modelos chamado TSPME-AD (Time Series Prediction Model Ensemble for Anomaly Detection, ou Ensemble de Modelos Preditivos em Séries Temporais para a Detecção de Anomalias). O TSPME-AD utiliza os modelos preditivos do estado-da-arte e combina seus scores de anomalias com uma função ponderada. As outras duas contribuições desse trabalho são, uma técnica dinâmica de quebra de janelas, que utiliza a periodicidade e o formato das séries para facilitar o treinamento dos modelos e a descoberta de padrões, e um novo modelo de auto-encoder que modifica a estrutura de um dos modelos do estado-da-arte. A efetividade das propostas do trabalho são analisadas com o uso de dois conjuntos de dados reais, sendo esses os dados de um ano de demanda de energia elétrica, e o banco de dados de eletrocardiogramas do MIT. Com os experimentos, demonstramos que a técnica de ensemble proposta, melhora o score F1 em até 22% comparado com o melhor score dentre os modelos individuais que a compõem, com nossa função de combinação específica apresentando uma melhora de até 13% com relação a outras funções de combinação mais simples. Também demonstramos que nossa nova arquitetura de auto-encoder, combinada com a nova estratégia de quebra dinâmica de janelas consegue melhorias de até 25% no score F1 comparado com uma das técnicas de auto-encoder do estado-da-arte, e uma melhoria de até 64% comparado com um modelo de LSTM empilhada.Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivosSolutions for anomaly detection in multivariate time series using predictive modelsinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisSéries temporaisDetecção de anomaliasRedes neuraisDescoberta de períodosEnsemblesTime seriesAnomaly detectionNeural networksPeriod discoveryEnsemblesCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da Universidade Federal do Ceará (UFC)instname:Universidade Federal do Ceará (UFC)instacron:UFChttps://orcid.org/0000-0002-9213-8458http://lattes.cnpq.br/59949007738795800000-0002-0661-2978http://lattes.cnpq.br/5801731850423324http://lattes.cnpq.br/31250272295078362025-05-09ORIGINAL2021_dis_eltrentini.pdf2021_dis_eltrentini.pdfapplication/pdf1268888http://repositorio.ufc.br/bitstream/riufc/80792/3/2021_dis_eltrentini.pdf2e29be554f9bedfc409bf8ae03a199c4MD53LICENSElicense.txtlicense.txttext/plain; charset=utf-81748http://repositorio.ufc.br/bitstream/riufc/80792/4/license.txt8a4605be74aa9ea9d79846c1fba20a33MD54riufc/807922025-05-09 10:53:48.872oai:repositorio.ufc.br:riufc/80792Tk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=Repositório InstitucionalPUBhttp://www.repositorio.ufc.br/ri-oai/requestbu@ufc.br || repositorio@ufc.bropendoar:2025-05-09T13:53:48Repositório Institucional da Universidade Federal do Ceará (UFC) - Universidade Federal do Ceará (UFC)false
dc.title.pt_BR.fl_str_mv Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos
dc.title.en.pt_BR.fl_str_mv Solutions for anomaly detection in multivariate time series using predictive models
title Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos
spellingShingle Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos
Trentini, Erick Lima
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Séries temporais
Detecção de anomalias
Redes neurais
Descoberta de períodos
Ensembles
Time series
Anomaly detection
Neural networks
Period discovery
Ensembles
title_short Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos
title_full Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos
title_fullStr Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos
title_full_unstemmed Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos
title_sort Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos
author Trentini, Erick Lima
author_facet Trentini, Erick Lima
author_role author
dc.contributor.co-advisor.none.fl_str_mv Silva, Ticiana Linhares Coelho da
dc.contributor.author.fl_str_mv Trentini, Erick Lima
dc.contributor.advisor1.fl_str_mv Macêdo, José Antonio Fernandes de
contributor_str_mv Macêdo, José Antonio Fernandes de
dc.subject.cnpq.fl_str_mv CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
topic CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Séries temporais
Detecção de anomalias
Redes neurais
Descoberta de períodos
Ensembles
Time series
Anomaly detection
Neural networks
Period discovery
Ensembles
dc.subject.ptbr.pt_BR.fl_str_mv Séries temporais
Detecção de anomalias
Redes neurais
Descoberta de períodos
Ensembles
dc.subject.en.pt_BR.fl_str_mv Time series
Anomaly detection
Neural networks
Period discovery
Ensembles
description Time-series anomalies detection is a fast-growing area of study, due to the exponential growth of new data produced by sensors in many different contexts as the Internet of Things (IoT). Many predictive models have been proposed, and they provide promising results in differentiating normal and anomalous points in a time-series. In this work, we provide three contributions. We aim to identify and combine the best models for detecting anomalies in time-series, so that the different strategies or parameters of the models can contribute to the time series analysis by proposing a model-centered ensemble called TSPME-AD (stands for Time Series Prediction Model Ensemble for Anomaly Detection). TSPME-AD uses state-of-the-art predictive models, combining their anomaly scores using a weighted function. Other contributions are a dynamic window breaking technique based on scanning thresholds, leveraging the periodicity and shape of the series to generate windows that aid in training and testing models, and a new auto-encoder predictive model. The effectiveness of our proposals is analyzed using two real-world time-series datasets, a year of power demand data, and the MIT electrocardiogram database. We show that our ensemble technique improves on the F1 score up to 22% on the best score of the individual models composing the ensemble, with our specific combination function improving on simpler functions on up to 13% F1 score increase. We also show that our new auto-encoder architecture, combined with the new window breaking technique, can have an up to 25% F1 score increase compared to another proposed auto-encoder technique, and a 64% score increase over a stacked LSTM model.
publishDate 2021
dc.date.issued.fl_str_mv 2021
dc.date.accessioned.fl_str_mv 2025-05-09T13:53:43Z
dc.date.available.fl_str_mv 2025-05-09T13:53:43Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv TRENTINI, Erick Lima. Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos. 2021. 53 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal do Ceará, Fortaleza, 2021.
dc.identifier.uri.fl_str_mv http://repositorio.ufc.br/handle/riufc/80792
identifier_str_mv TRENTINI, Erick Lima. Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos. 2021. 53 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal do Ceará, Fortaleza, 2021.
url http://repositorio.ufc.br/handle/riufc/80792
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Institucional da Universidade Federal do Ceará (UFC)
instname:Universidade Federal do Ceará (UFC)
instacron:UFC
instname_str Universidade Federal do Ceará (UFC)
instacron_str UFC
institution UFC
reponame_str Repositório Institucional da Universidade Federal do Ceará (UFC)
collection Repositório Institucional da Universidade Federal do Ceará (UFC)
bitstream.url.fl_str_mv http://repositorio.ufc.br/bitstream/riufc/80792/3/2021_dis_eltrentini.pdf
http://repositorio.ufc.br/bitstream/riufc/80792/4/license.txt
bitstream.checksum.fl_str_mv 2e29be554f9bedfc409bf8ae03a199c4
8a4605be74aa9ea9d79846c1fba20a33
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da Universidade Federal do Ceará (UFC) - Universidade Federal do Ceará (UFC)
repository.mail.fl_str_mv bu@ufc.br || repositorio@ufc.br
_version_ 1847793007792750592