Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos
| Ano de defesa: | 2021 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Não Informado pela instituição
|
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Área do conhecimento CNPq: | |
| Link de acesso: | http://repositorio.ufc.br/handle/riufc/80792 |
Resumo: | Time-series anomalies detection is a fast-growing area of study, due to the exponential growth of new data produced by sensors in many different contexts as the Internet of Things (IoT). Many predictive models have been proposed, and they provide promising results in differentiating normal and anomalous points in a time-series. In this work, we provide three contributions. We aim to identify and combine the best models for detecting anomalies in time-series, so that the different strategies or parameters of the models can contribute to the time series analysis by proposing a model-centered ensemble called TSPME-AD (stands for Time Series Prediction Model Ensemble for Anomaly Detection). TSPME-AD uses state-of-the-art predictive models, combining their anomaly scores using a weighted function. Other contributions are a dynamic window breaking technique based on scanning thresholds, leveraging the periodicity and shape of the series to generate windows that aid in training and testing models, and a new auto-encoder predictive model. The effectiveness of our proposals is analyzed using two real-world time-series datasets, a year of power demand data, and the MIT electrocardiogram database. We show that our ensemble technique improves on the F1 score up to 22% on the best score of the individual models composing the ensemble, with our specific combination function improving on simpler functions on up to 13% F1 score increase. We also show that our new auto-encoder architecture, combined with the new window breaking technique, can have an up to 25% F1 score increase compared to another proposed auto-encoder technique, and a 64% score increase over a stacked LSTM model. |
| id |
UFC-7_f584bf0e67b52de10551ad4a0e4bcefb |
|---|---|
| oai_identifier_str |
oai:repositorio.ufc.br:riufc/80792 |
| network_acronym_str |
UFC-7 |
| network_name_str |
Repositório Institucional da Universidade Federal do Ceará (UFC) |
| repository_id_str |
|
| spelling |
Trentini, Erick LimaSilva, Ticiana Linhares Coelho daMacêdo, José Antonio Fernandes de2025-05-09T13:53:43Z2025-05-09T13:53:43Z2021TRENTINI, Erick Lima. Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos. 2021. 53 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal do Ceará, Fortaleza, 2021.http://repositorio.ufc.br/handle/riufc/80792Time-series anomalies detection is a fast-growing area of study, due to the exponential growth of new data produced by sensors in many different contexts as the Internet of Things (IoT). Many predictive models have been proposed, and they provide promising results in differentiating normal and anomalous points in a time-series. In this work, we provide three contributions. We aim to identify and combine the best models for detecting anomalies in time-series, so that the different strategies or parameters of the models can contribute to the time series analysis by proposing a model-centered ensemble called TSPME-AD (stands for Time Series Prediction Model Ensemble for Anomaly Detection). TSPME-AD uses state-of-the-art predictive models, combining their anomaly scores using a weighted function. Other contributions are a dynamic window breaking technique based on scanning thresholds, leveraging the periodicity and shape of the series to generate windows that aid in training and testing models, and a new auto-encoder predictive model. The effectiveness of our proposals is analyzed using two real-world time-series datasets, a year of power demand data, and the MIT electrocardiogram database. We show that our ensemble technique improves on the F1 score up to 22% on the best score of the individual models composing the ensemble, with our specific combination function improving on simpler functions on up to 13% F1 score increase. We also show that our new auto-encoder architecture, combined with the new window breaking technique, can have an up to 25% F1 score increase compared to another proposed auto-encoder technique, and a 64% score increase over a stacked LSTM model.Detecção de anomalias em séries temporais é uma área de estudo em rápido crescimento atualmente, devido ao aumento exponencial da criação de novos dados temporais produzidos por sensores de diversos contextos, como, por exemplo, a Internet das Coisas (IoT). Muitos modelos preditivos foram propostos ao longo dos anos, e muitos trazem resultados promissores na diferenciação de pontos normais e anômalos nas séries temporais. Neste trabalho, serão propostas três contribuições. Em uma delas, buscamos encontrar e combinar os melhores modelos preditivos em detecção de anomalias em séries temporais, para que as diferentes estratégias e diferentes parâmetros na criação dos modelos possam contribuir para a análise das séries, propondo um ensemble baseado em modelos chamado TSPME-AD (Time Series Prediction Model Ensemble for Anomaly Detection, ou Ensemble de Modelos Preditivos em Séries Temporais para a Detecção de Anomalias). O TSPME-AD utiliza os modelos preditivos do estado-da-arte e combina seus scores de anomalias com uma função ponderada. As outras duas contribuições desse trabalho são, uma técnica dinâmica de quebra de janelas, que utiliza a periodicidade e o formato das séries para facilitar o treinamento dos modelos e a descoberta de padrões, e um novo modelo de auto-encoder que modifica a estrutura de um dos modelos do estado-da-arte. A efetividade das propostas do trabalho são analisadas com o uso de dois conjuntos de dados reais, sendo esses os dados de um ano de demanda de energia elétrica, e o banco de dados de eletrocardiogramas do MIT. Com os experimentos, demonstramos que a técnica de ensemble proposta, melhora o score F1 em até 22% comparado com o melhor score dentre os modelos individuais que a compõem, com nossa função de combinação específica apresentando uma melhora de até 13% com relação a outras funções de combinação mais simples. Também demonstramos que nossa nova arquitetura de auto-encoder, combinada com a nova estratégia de quebra dinâmica de janelas consegue melhorias de até 25% no score F1 comparado com uma das técnicas de auto-encoder do estado-da-arte, e uma melhoria de até 64% comparado com um modelo de LSTM empilhada.Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivosSolutions for anomaly detection in multivariate time series using predictive modelsinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisSéries temporaisDetecção de anomaliasRedes neuraisDescoberta de períodosEnsemblesTime seriesAnomaly detectionNeural networksPeriod discoveryEnsemblesCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da Universidade Federal do Ceará (UFC)instname:Universidade Federal do Ceará (UFC)instacron:UFChttps://orcid.org/0000-0002-9213-8458http://lattes.cnpq.br/59949007738795800000-0002-0661-2978http://lattes.cnpq.br/5801731850423324http://lattes.cnpq.br/31250272295078362025-05-09ORIGINAL2021_dis_eltrentini.pdf2021_dis_eltrentini.pdfapplication/pdf1268888http://repositorio.ufc.br/bitstream/riufc/80792/3/2021_dis_eltrentini.pdf2e29be554f9bedfc409bf8ae03a199c4MD53LICENSElicense.txtlicense.txttext/plain; charset=utf-81748http://repositorio.ufc.br/bitstream/riufc/80792/4/license.txt8a4605be74aa9ea9d79846c1fba20a33MD54riufc/807922025-05-09 10:53:48.872oai:repositorio.ufc.br:riufc/80792Tk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=Repositório InstitucionalPUBhttp://www.repositorio.ufc.br/ri-oai/requestbu@ufc.br || repositorio@ufc.bropendoar:2025-05-09T13:53:48Repositório Institucional da Universidade Federal do Ceará (UFC) - Universidade Federal do Ceará (UFC)false |
| dc.title.pt_BR.fl_str_mv |
Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos |
| dc.title.en.pt_BR.fl_str_mv |
Solutions for anomaly detection in multivariate time series using predictive models |
| title |
Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos |
| spellingShingle |
Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos Trentini, Erick Lima CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Séries temporais Detecção de anomalias Redes neurais Descoberta de períodos Ensembles Time series Anomaly detection Neural networks Period discovery Ensembles |
| title_short |
Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos |
| title_full |
Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos |
| title_fullStr |
Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos |
| title_full_unstemmed |
Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos |
| title_sort |
Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos |
| author |
Trentini, Erick Lima |
| author_facet |
Trentini, Erick Lima |
| author_role |
author |
| dc.contributor.co-advisor.none.fl_str_mv |
Silva, Ticiana Linhares Coelho da |
| dc.contributor.author.fl_str_mv |
Trentini, Erick Lima |
| dc.contributor.advisor1.fl_str_mv |
Macêdo, José Antonio Fernandes de |
| contributor_str_mv |
Macêdo, José Antonio Fernandes de |
| dc.subject.cnpq.fl_str_mv |
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
| topic |
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Séries temporais Detecção de anomalias Redes neurais Descoberta de períodos Ensembles Time series Anomaly detection Neural networks Period discovery Ensembles |
| dc.subject.ptbr.pt_BR.fl_str_mv |
Séries temporais Detecção de anomalias Redes neurais Descoberta de períodos Ensembles |
| dc.subject.en.pt_BR.fl_str_mv |
Time series Anomaly detection Neural networks Period discovery Ensembles |
| description |
Time-series anomalies detection is a fast-growing area of study, due to the exponential growth of new data produced by sensors in many different contexts as the Internet of Things (IoT). Many predictive models have been proposed, and they provide promising results in differentiating normal and anomalous points in a time-series. In this work, we provide three contributions. We aim to identify and combine the best models for detecting anomalies in time-series, so that the different strategies or parameters of the models can contribute to the time series analysis by proposing a model-centered ensemble called TSPME-AD (stands for Time Series Prediction Model Ensemble for Anomaly Detection). TSPME-AD uses state-of-the-art predictive models, combining their anomaly scores using a weighted function. Other contributions are a dynamic window breaking technique based on scanning thresholds, leveraging the periodicity and shape of the series to generate windows that aid in training and testing models, and a new auto-encoder predictive model. The effectiveness of our proposals is analyzed using two real-world time-series datasets, a year of power demand data, and the MIT electrocardiogram database. We show that our ensemble technique improves on the F1 score up to 22% on the best score of the individual models composing the ensemble, with our specific combination function improving on simpler functions on up to 13% F1 score increase. We also show that our new auto-encoder architecture, combined with the new window breaking technique, can have an up to 25% F1 score increase compared to another proposed auto-encoder technique, and a 64% score increase over a stacked LSTM model. |
| publishDate |
2021 |
| dc.date.issued.fl_str_mv |
2021 |
| dc.date.accessioned.fl_str_mv |
2025-05-09T13:53:43Z |
| dc.date.available.fl_str_mv |
2025-05-09T13:53:43Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.citation.fl_str_mv |
TRENTINI, Erick Lima. Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos. 2021. 53 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal do Ceará, Fortaleza, 2021. |
| dc.identifier.uri.fl_str_mv |
http://repositorio.ufc.br/handle/riufc/80792 |
| identifier_str_mv |
TRENTINI, Erick Lima. Soluções em detecção de anomalias em séries temporais multivariadas utilizando modelos preditivos. 2021. 53 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal do Ceará, Fortaleza, 2021. |
| url |
http://repositorio.ufc.br/handle/riufc/80792 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
| eu_rights_str_mv |
openAccess |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da Universidade Federal do Ceará (UFC) instname:Universidade Federal do Ceará (UFC) instacron:UFC |
| instname_str |
Universidade Federal do Ceará (UFC) |
| instacron_str |
UFC |
| institution |
UFC |
| reponame_str |
Repositório Institucional da Universidade Federal do Ceará (UFC) |
| collection |
Repositório Institucional da Universidade Federal do Ceará (UFC) |
| bitstream.url.fl_str_mv |
http://repositorio.ufc.br/bitstream/riufc/80792/3/2021_dis_eltrentini.pdf http://repositorio.ufc.br/bitstream/riufc/80792/4/license.txt |
| bitstream.checksum.fl_str_mv |
2e29be554f9bedfc409bf8ae03a199c4 8a4605be74aa9ea9d79846c1fba20a33 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 |
| repository.name.fl_str_mv |
Repositório Institucional da Universidade Federal do Ceará (UFC) - Universidade Federal do Ceará (UFC) |
| repository.mail.fl_str_mv |
bu@ufc.br || repositorio@ufc.br |
| _version_ |
1847793007792750592 |