Detecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivo

Detalhes bibliográficos
Ano de defesa: 2023
Autor(a) principal: Guerra Filho, Ricardo Wagner Correia lattes
Orientador(a): Villanueva, Juan Moises Maurício lattes
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal da Paraíba
Programa de Pós-Graduação: Programa de Pós-Graduação em Engenharia Elétrica
Departamento: Engenharia Elétrica
País: Brasil
Palavras-chave em Português:
Área do conhecimento CNPq:
Link de acesso: https://repositorio.ufpb.br/jspui/handle/123456789/30134
Resumo: A detecção de outliers é um problema importante que foi pesquisado em diversas áreas e domínios de aplicação. Muitas técnicas de detecção de outliers foram desenvolvidas especificamente para determinados domínios de aplicação, enquanto outras são mais genéricas. Os outliers podem ser de diferentes tipos, neste trabalho serão abordados os outliers do tipo pontuais (globais) e contextuais. O presente trabalho visa detectar essas falhas ocorridas durante a medição ou comunicação, e corrigir estas falhas afim de dar mais confiabilidade ao conjunto. O estudo foi realizado tendo como ferramentas alguns algoritmos de clusterização para etiquetar os outliers(clusterização), algoritmo de classificação KNN para a detecção dos outliers(classificação), algoritmos de aprendizado profundo do tipo Autoencoders e algoritmos evolutivos baseado em excentricidade, TEDA. Para a correção de outliers é utilizada a interpolação linear. São apresentadas ainda comparações de resultados entre técnicas como Z-Score, Z-Score Modificado, K-Means, CMeans, Autoencoders, Sparsed Autoencoders, TEDA e TEDA Diff, sendo estas comparações avaliadas de acordo com métricas utilizadas pela literatura. Com a finalidade de verificar o desempenho da técnica proposta foram usados dados de potência ativa de uma subestação de energia do estado da Paraíba. Este trabalho forneceu uma melhor compreensão das diferentes direções em que a pesquisa foi realizada sobre o tópico de detecção de outliers e como as técnicas desenvolvidas em uma área (a exemplo do TEDA) podem ser aplicadas nos domínios para os quais não se destinavam originalmente, onde para diferentes cenários de outliers em uma curva de demanda elétrica se conseguiu um coeficiente de correlação de matthew’s sempre superior a 0.70, acima da média quando comparado com as outras técnicas testadas.
id UFPB-2_b86feae9398260c960efd427c1a438b0
oai_identifier_str oai:repositorio.ufpb.br:123456789/30134
network_acronym_str UFPB-2
network_name_str Repositório Institucional da UFPB
repository_id_str
spelling 2024-04-29T12:33:27Z2023-10-052024-04-29T12:33:27Z2023-08-28https://repositorio.ufpb.br/jspui/handle/123456789/30134A detecção de outliers é um problema importante que foi pesquisado em diversas áreas e domínios de aplicação. Muitas técnicas de detecção de outliers foram desenvolvidas especificamente para determinados domínios de aplicação, enquanto outras são mais genéricas. Os outliers podem ser de diferentes tipos, neste trabalho serão abordados os outliers do tipo pontuais (globais) e contextuais. O presente trabalho visa detectar essas falhas ocorridas durante a medição ou comunicação, e corrigir estas falhas afim de dar mais confiabilidade ao conjunto. O estudo foi realizado tendo como ferramentas alguns algoritmos de clusterização para etiquetar os outliers(clusterização), algoritmo de classificação KNN para a detecção dos outliers(classificação), algoritmos de aprendizado profundo do tipo Autoencoders e algoritmos evolutivos baseado em excentricidade, TEDA. Para a correção de outliers é utilizada a interpolação linear. São apresentadas ainda comparações de resultados entre técnicas como Z-Score, Z-Score Modificado, K-Means, CMeans, Autoencoders, Sparsed Autoencoders, TEDA e TEDA Diff, sendo estas comparações avaliadas de acordo com métricas utilizadas pela literatura. Com a finalidade de verificar o desempenho da técnica proposta foram usados dados de potência ativa de uma subestação de energia do estado da Paraíba. Este trabalho forneceu uma melhor compreensão das diferentes direções em que a pesquisa foi realizada sobre o tópico de detecção de outliers e como as técnicas desenvolvidas em uma área (a exemplo do TEDA) podem ser aplicadas nos domínios para os quais não se destinavam originalmente, onde para diferentes cenários de outliers em uma curva de demanda elétrica se conseguiu um coeficiente de correlação de matthew’s sempre superior a 0.70, acima da média quando comparado com as outras técnicas testadas.The detection ofoutliers is an important problem that has been researched in several areas and application domains. Many outlier detection techniques have been developed specifically for certain application domains, while others are more generic. Outliers can be of different types, in this work we will address outliers of the type punctual (global) and contextual. The present work aims to detect these failures that occurred during the measurement or communication, and to correct these failures in order to give more reliability to the set. The study was carried out using some clustering algorithms to label outliers(clustering), KNN classification algorithm for detecting outliers(classification), Autoencoders deep learning algorithms and TEDA auto evolutive algorithms. For the correction of outliers, linear interpolation is used. Comparisons of results between techniques such as Z-Score, Modified Z-Score, K-Means, C-Means, Autoencoders, Sparsed Autoencoders, TEDA and TEDA Diff are also provided, and these comparisons are evaluated according to the metrics used in the literature. In order to verify the performance of the proposed techniques, active power data from an energy substation in the state of Paraíba were used. This work provided a better understanding of the different directions in which research was carried out on the topic of outliers detection and how the techniques developed in one area (such as TEDA) can be applied in domains for which they were not originally intended, where for different scenarios of outliers in an electrical demand curve, a matthew’s correlation coefficient was always higher than 0.70, above average when compared to the other tested techniques.Submitted by Jackson Nunes (jackson@biblioteca.ufpb.br) on 2024-04-29T12:33:27Z No. of bitstreams: 2 license_rdf: 805 bytes, checksum: c4c98de35c20c53220c07884f4def27c (MD5) RicardoWagnerCorreiaGuerraFilho_Dissert.pdf: 3699154 bytes, checksum: 2d7335f6487ffe06adf4d53da28ad5a9 (MD5)Made available in DSpace on 2024-04-29T12:33:27Z (GMT). No. of bitstreams: 2 license_rdf: 805 bytes, checksum: c4c98de35c20c53220c07884f4def27c (MD5) RicardoWagnerCorreiaGuerraFilho_Dissert.pdf: 3699154 bytes, checksum: 2d7335f6487ffe06adf4d53da28ad5a9 (MD5) Previous issue date: 2023-08-28NenhumaporUniversidade Federal da ParaíbaPrograma de Pós-Graduação em Engenharia ElétricaUFPBBrasilEngenharia ElétricaAttribution-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nd/3.0/br/info:eu-repo/semantics/openAccessCNPQ::ENGENHARIAS::ENGENHARIA ELETRICAEngenharia elétricaOutliersCurva de demandaAutoencodersAlgoritmo TEDADemand curveTEDADeep learningDetecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisVillanueva, Juan Moises Mauríciohttp://lattes.cnpq.br/1446817462218646Rodriguez, Yuri Percy Molinahttp://lattes.cnpq.br/234078100276499007179569461http://lattes.cnpq.br/6925003822823224Guerra Filho, Ricardo Wagner Correiareponame:Repositório Institucional da UFPBinstname:Universidade Federal da Paraíba (UFPB)instacron:UFPBTEXTRicardoWagnerCorreiaGuerraFilho_Dissert.pdf.txtRicardoWagnerCorreiaGuerraFilho_Dissert.pdf.txtExtracted texttext/plain137882https://repositorio.ufpb.br/jspui/bitstream/123456789/30134/4/RicardoWagnerCorreiaGuerraFilho_Dissert.pdf.txt5b733244d3239a0f88019a61b4dfa0e6MD54LICENSElicense.txtlicense.txttext/plain; charset=utf-82390https://repositorio.ufpb.br/jspui/bitstream/123456789/30134/3/license.txte20ac18e101915e6935b82a641b985c0MD53CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8805https://repositorio.ufpb.br/jspui/bitstream/123456789/30134/2/license_rdfc4c98de35c20c53220c07884f4def27cMD52ORIGINALRicardoWagnerCorreiaGuerraFilho_Dissert.pdfRicardoWagnerCorreiaGuerraFilho_Dissert.pdfapplication/pdf3699154https://repositorio.ufpb.br/jspui/bitstream/123456789/30134/1/RicardoWagnerCorreiaGuerraFilho_Dissert.pdf2d7335f6487ffe06adf4d53da28ad5a9MD51123456789/301342024-04-30 03:22:44.682oai:repositorio.ufpb.br:123456789/30134QVVUT1JJWkHDh8ODTyBFIExJQ0VOw4dBIERFIERJU1RSSUJVScOHw4NPIE7Dg08tRVhDTFVTSVZBCgpBdXRvcml6byBlIGVzdG91IGRlIGFjb3JkbywgbmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGRlIGF1dG9yIGRhIHB1YmxpY2HDp8OjbyBhdXRvLWRlcG9zaXRhZGEsIGNvbmZvcm1lIExlaSBuwrogOTYxMC85OCwgb3Mgc2VndWludGVzIHRlcm1vczoKIApEYSBEaXN0cmlidWnDp8OjbyBuw6NvLWV4Y2x1c2l2YSAKTyBhdXRvciBkZWNsYXJhIHF1ZTogCmEpIE8gZG9jdW1lbnRvIGVudHJlZ3VlIMOpIHNldSB0cmFiYWxobyBvcmlnaW5hbCwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0ZSB0ZXJtby4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2UsIHRhbnRvIHF1YW50byBsaGUgw6kgcG9zc8OtdmVsIHNhYmVyLCBvcyBkaXJlaXRvcyBkZSBxdWFscXVlciBvdXRyYSBwZXNzb2Egb3UgZW50aWRhZGUuIApiKSBTZSBvIGRvY3VtZW50byBlbnRyZWd1ZSBjb250w6ltIG1hdGVyaWFsIGRvIHF1YWwgbsOjbyBkZXTDqW0gb3MgZGlyZWl0b3MgZGUgYXV0b3IsIGRlY2xhcmEgcXVlIG9idGV2ZSBhdXRvcml6YcOnw6NvIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBkZSBhdXRvciBwYXJhIGNvbmNlZGVyIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGEgUGFyYcOtYmEgb3MgZGlyZWl0b3MgcmVxdWVyaWRvcyBwb3IgZXN0ZSB0ZXJtbywgZSBxdWUgZXNzZSBtYXRlcmlhbCBjdWpvcyBkaXJlaXRvcyBzw6NvIGRlIHRlcmNlaXJvcyBlc3TDoSBjbGFyYW1lbnRlIGlkZW50aWZpY2FkbyBlIHJlY29uaGVjaWRvIG5vIHRleHRvIG91IGNvbnRlw7pkbyBkbyB0cmFiYWxobyBlbnRyZWd1ZS4gCmMpIFNlIG8gZG9jdW1lbnRvIGVudHJlZ3VlIMOpIGJhc2VhZG8gZW0gdHJhYmFsaG8gZmluYW5jaWFkbyBvdSBhcG9pYWRvIHBvciBvdXRyYSBpbnN0aXR1acOnw6NvIHF1ZSBuw6NvIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGEgUGFyYcOtYmEgZGVjbGFyYSBxdWUgY3VtcHJpdSBxdWFpc3F1ZXIgb2JyaWdhw6fDtWVzIGV4aWdpZGFzIHBlbG8gcmVzcGVjdGl2byBjb250cmF0byBvdSBhY29yZG8uCmQpIENvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvciAoZXMpIG91IG8gdGl0dWxhciBkb3MgZGlyZWl0b3MgZGUgYXV0b3IpIGNvbmNlZGUgYW8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZQQiBvIGRpcmVpdG8gZGUgcmVwcm9kdXppciwgdHJhZHV6aXIsIGUvb3UgZGlzdHJpYnVpciBhIHN1YSBwdWJsaWNhw6fDo28gKGluY2x1aW5kbyBvIHJlc3VtbykgcG9yIHRvZG8gbyBtdW5kbyBubyBmb3JtYXRvIGltcHJlc3NvIGUgZWxldHLDtG5pY28gZSBlbSBxdWFscXVlciBtZWlvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KZSkgVm9jw6ogY29uY29yZGEgcXVlIG8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZQQiBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhbnNwb3IgYSBzdWEgcHVibGljYcOnw6NvIHBhcmEgcXVhbHF1ZXIgbWVpbyBvdSBmb3JtYXRvIHBhcmEgZmlucyBkZSBwcmVzZXJ2YcOnw6NvLgpmKSBWb2PDqiBjb25jb3JkYSBxdWUgbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRlBCIHBvZGUgbWFudGVyIG1haXMgZGUgdW1hIGPDs3BpYSBkZSBzdWEgcHVibGljYcOnw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrdXAgZSBwcmVzZXJ2YcOnw6NvLgoKRG9zIEVtYmFyZ29zIGUgUmVzdHJpw6fDtWVzIGRlIEFjZXNzbwpPIGVtYmFyZ28gcG9kZXLDoSBzZXIgbWFudGlkbyBwb3IgYXTDqSAxICh1bSkgYW5vLCBwb2RlbmRvIHNlciBwcm9ycm9nYWRvIHBvciBpZ3VhbCBwZXLDrW9kbywgY29tIGEgbmVjZXNzaWRhZGUgZGUgYW5leGFyIGRvY3VtZW50b3MgY29tcHJvYmF0w7NyaW9zLiBPIHJlc3VtbyBlIG9zIG1ldGFkYWRvcyBkZXNjcml0aXZvcyBzZXLDo28gZGlzcG9uaWJpbGl6YWRvcyBubyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRlBCLgpPIGRlcMOzc2l0byBkbyB0cmFiYWxobyDDqSBvYnJpZ2F0w7NyaW8sIGluZGVwZW5kZW50ZSBkbyBlbWJhcmdvLgpRdWFuZG8gZW1iYXJnYWRvLCBvIHRyYWJhbGhvIHBlcm1hbmVjZXLDoSBpbmRpc3BvbsOtdmVsIGVucXVhbnRvIHZpZ29yYXIgYXMgcmVzdHJpw6fDtWVzLiBQYXNzYWRvIG8gcGVyw61vZG8gZG8gZW1iYXJnbywgbyB0cmFiYWxobyBzZXLDoSBhdXRvbWF0aWNhbWVudGUgZGlzcG9uaWJpbGl6YWRvIG5vIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEIuIAo=Repositório InstitucionalPUBhttps://repositorio.ufpb.br/oai/requestdiretoria@ufpb.bropendoar:25462024-04-30T06:22:44Repositório Institucional da UFPB - Universidade Federal da Paraíba (UFPB)false
dc.title.pt_BR.fl_str_mv Detecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivo
title Detecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivo
spellingShingle Detecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivo
Guerra Filho, Ricardo Wagner Correia
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia elétrica
Outliers
Curva de demanda
Autoencoders
Algoritmo TEDA
Demand curve
TEDA
Deep learning
title_short Detecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivo
title_full Detecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivo
title_fullStr Detecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivo
title_full_unstemmed Detecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivo
title_sort Detecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivo
author Guerra Filho, Ricardo Wagner Correia
author_facet Guerra Filho, Ricardo Wagner Correia
author_role author
dc.contributor.advisor1.fl_str_mv Villanueva, Juan Moises Maurício
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/1446817462218646
dc.contributor.advisor-co1.fl_str_mv Rodriguez, Yuri Percy Molina
dc.contributor.advisor-co1Lattes.fl_str_mv http://lattes.cnpq.br/2340781002764990
dc.contributor.authorID.fl_str_mv 07179569461
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/6925003822823224
dc.contributor.author.fl_str_mv Guerra Filho, Ricardo Wagner Correia
contributor_str_mv Villanueva, Juan Moises Maurício
Rodriguez, Yuri Percy Molina
dc.subject.cnpq.fl_str_mv CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
topic CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia elétrica
Outliers
Curva de demanda
Autoencoders
Algoritmo TEDA
Demand curve
TEDA
Deep learning
dc.subject.por.fl_str_mv Engenharia elétrica
Outliers
Curva de demanda
Autoencoders
Algoritmo TEDA
Demand curve
TEDA
Deep learning
description A detecção de outliers é um problema importante que foi pesquisado em diversas áreas e domínios de aplicação. Muitas técnicas de detecção de outliers foram desenvolvidas especificamente para determinados domínios de aplicação, enquanto outras são mais genéricas. Os outliers podem ser de diferentes tipos, neste trabalho serão abordados os outliers do tipo pontuais (globais) e contextuais. O presente trabalho visa detectar essas falhas ocorridas durante a medição ou comunicação, e corrigir estas falhas afim de dar mais confiabilidade ao conjunto. O estudo foi realizado tendo como ferramentas alguns algoritmos de clusterização para etiquetar os outliers(clusterização), algoritmo de classificação KNN para a detecção dos outliers(classificação), algoritmos de aprendizado profundo do tipo Autoencoders e algoritmos evolutivos baseado em excentricidade, TEDA. Para a correção de outliers é utilizada a interpolação linear. São apresentadas ainda comparações de resultados entre técnicas como Z-Score, Z-Score Modificado, K-Means, CMeans, Autoencoders, Sparsed Autoencoders, TEDA e TEDA Diff, sendo estas comparações avaliadas de acordo com métricas utilizadas pela literatura. Com a finalidade de verificar o desempenho da técnica proposta foram usados dados de potência ativa de uma subestação de energia do estado da Paraíba. Este trabalho forneceu uma melhor compreensão das diferentes direções em que a pesquisa foi realizada sobre o tópico de detecção de outliers e como as técnicas desenvolvidas em uma área (a exemplo do TEDA) podem ser aplicadas nos domínios para os quais não se destinavam originalmente, onde para diferentes cenários de outliers em uma curva de demanda elétrica se conseguiu um coeficiente de correlação de matthew’s sempre superior a 0.70, acima da média quando comparado com as outras técnicas testadas.
publishDate 2023
dc.date.available.fl_str_mv 2023-10-05
2024-04-29T12:33:27Z
dc.date.issued.fl_str_mv 2023-08-28
dc.date.accessioned.fl_str_mv 2024-04-29T12:33:27Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufpb.br/jspui/handle/123456789/30134
url https://repositorio.ufpb.br/jspui/handle/123456789/30134
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nd/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal da Paraíba
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Engenharia Elétrica
dc.publisher.initials.fl_str_mv UFPB
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Engenharia Elétrica
publisher.none.fl_str_mv Universidade Federal da Paraíba
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPB
instname:Universidade Federal da Paraíba (UFPB)
instacron:UFPB
instname_str Universidade Federal da Paraíba (UFPB)
instacron_str UFPB
institution UFPB
reponame_str Repositório Institucional da UFPB
collection Repositório Institucional da UFPB
bitstream.url.fl_str_mv https://repositorio.ufpb.br/jspui/bitstream/123456789/30134/4/RicardoWagnerCorreiaGuerraFilho_Dissert.pdf.txt
https://repositorio.ufpb.br/jspui/bitstream/123456789/30134/3/license.txt
https://repositorio.ufpb.br/jspui/bitstream/123456789/30134/2/license_rdf
https://repositorio.ufpb.br/jspui/bitstream/123456789/30134/1/RicardoWagnerCorreiaGuerraFilho_Dissert.pdf
bitstream.checksum.fl_str_mv 5b733244d3239a0f88019a61b4dfa0e6
e20ac18e101915e6935b82a641b985c0
c4c98de35c20c53220c07884f4def27c
2d7335f6487ffe06adf4d53da28ad5a9
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPB - Universidade Federal da Paraíba (UFPB)
repository.mail.fl_str_mv diretoria@ufpb.br
_version_ 1833923292845572096