Detecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivo
| Ano de defesa: | 2023 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Federal da Paraíba
|
| Programa de Pós-Graduação: |
Programa de Pós-Graduação em Engenharia Elétrica
|
| Departamento: |
Engenharia Elétrica
|
| País: |
Brasil
|
| Palavras-chave em Português: | |
| Área do conhecimento CNPq: | |
| Link de acesso: | https://repositorio.ufpb.br/jspui/handle/123456789/30134 |
Resumo: | A detecção de outliers é um problema importante que foi pesquisado em diversas áreas e domínios de aplicação. Muitas técnicas de detecção de outliers foram desenvolvidas especificamente para determinados domínios de aplicação, enquanto outras são mais genéricas. Os outliers podem ser de diferentes tipos, neste trabalho serão abordados os outliers do tipo pontuais (globais) e contextuais. O presente trabalho visa detectar essas falhas ocorridas durante a medição ou comunicação, e corrigir estas falhas afim de dar mais confiabilidade ao conjunto. O estudo foi realizado tendo como ferramentas alguns algoritmos de clusterização para etiquetar os outliers(clusterização), algoritmo de classificação KNN para a detecção dos outliers(classificação), algoritmos de aprendizado profundo do tipo Autoencoders e algoritmos evolutivos baseado em excentricidade, TEDA. Para a correção de outliers é utilizada a interpolação linear. São apresentadas ainda comparações de resultados entre técnicas como Z-Score, Z-Score Modificado, K-Means, CMeans, Autoencoders, Sparsed Autoencoders, TEDA e TEDA Diff, sendo estas comparações avaliadas de acordo com métricas utilizadas pela literatura. Com a finalidade de verificar o desempenho da técnica proposta foram usados dados de potência ativa de uma subestação de energia do estado da Paraíba. Este trabalho forneceu uma melhor compreensão das diferentes direções em que a pesquisa foi realizada sobre o tópico de detecção de outliers e como as técnicas desenvolvidas em uma área (a exemplo do TEDA) podem ser aplicadas nos domínios para os quais não se destinavam originalmente, onde para diferentes cenários de outliers em uma curva de demanda elétrica se conseguiu um coeficiente de correlação de matthew’s sempre superior a 0.70, acima da média quando comparado com as outras técnicas testadas. |
| id |
UFPB-2_b86feae9398260c960efd427c1a438b0 |
|---|---|
| oai_identifier_str |
oai:repositorio.ufpb.br:123456789/30134 |
| network_acronym_str |
UFPB-2 |
| network_name_str |
Repositório Institucional da UFPB |
| repository_id_str |
|
| spelling |
2024-04-29T12:33:27Z2023-10-052024-04-29T12:33:27Z2023-08-28https://repositorio.ufpb.br/jspui/handle/123456789/30134A detecção de outliers é um problema importante que foi pesquisado em diversas áreas e domínios de aplicação. Muitas técnicas de detecção de outliers foram desenvolvidas especificamente para determinados domínios de aplicação, enquanto outras são mais genéricas. Os outliers podem ser de diferentes tipos, neste trabalho serão abordados os outliers do tipo pontuais (globais) e contextuais. O presente trabalho visa detectar essas falhas ocorridas durante a medição ou comunicação, e corrigir estas falhas afim de dar mais confiabilidade ao conjunto. O estudo foi realizado tendo como ferramentas alguns algoritmos de clusterização para etiquetar os outliers(clusterização), algoritmo de classificação KNN para a detecção dos outliers(classificação), algoritmos de aprendizado profundo do tipo Autoencoders e algoritmos evolutivos baseado em excentricidade, TEDA. Para a correção de outliers é utilizada a interpolação linear. São apresentadas ainda comparações de resultados entre técnicas como Z-Score, Z-Score Modificado, K-Means, CMeans, Autoencoders, Sparsed Autoencoders, TEDA e TEDA Diff, sendo estas comparações avaliadas de acordo com métricas utilizadas pela literatura. Com a finalidade de verificar o desempenho da técnica proposta foram usados dados de potência ativa de uma subestação de energia do estado da Paraíba. Este trabalho forneceu uma melhor compreensão das diferentes direções em que a pesquisa foi realizada sobre o tópico de detecção de outliers e como as técnicas desenvolvidas em uma área (a exemplo do TEDA) podem ser aplicadas nos domínios para os quais não se destinavam originalmente, onde para diferentes cenários de outliers em uma curva de demanda elétrica se conseguiu um coeficiente de correlação de matthew’s sempre superior a 0.70, acima da média quando comparado com as outras técnicas testadas.The detection ofoutliers is an important problem that has been researched in several areas and application domains. Many outlier detection techniques have been developed specifically for certain application domains, while others are more generic. Outliers can be of different types, in this work we will address outliers of the type punctual (global) and contextual. The present work aims to detect these failures that occurred during the measurement or communication, and to correct these failures in order to give more reliability to the set. The study was carried out using some clustering algorithms to label outliers(clustering), KNN classification algorithm for detecting outliers(classification), Autoencoders deep learning algorithms and TEDA auto evolutive algorithms. For the correction of outliers, linear interpolation is used. Comparisons of results between techniques such as Z-Score, Modified Z-Score, K-Means, C-Means, Autoencoders, Sparsed Autoencoders, TEDA and TEDA Diff are also provided, and these comparisons are evaluated according to the metrics used in the literature. In order to verify the performance of the proposed techniques, active power data from an energy substation in the state of Paraíba were used. This work provided a better understanding of the different directions in which research was carried out on the topic of outliers detection and how the techniques developed in one area (such as TEDA) can be applied in domains for which they were not originally intended, where for different scenarios of outliers in an electrical demand curve, a matthew’s correlation coefficient was always higher than 0.70, above average when compared to the other tested techniques.Submitted by Jackson Nunes (jackson@biblioteca.ufpb.br) on 2024-04-29T12:33:27Z No. of bitstreams: 2 license_rdf: 805 bytes, checksum: c4c98de35c20c53220c07884f4def27c (MD5) RicardoWagnerCorreiaGuerraFilho_Dissert.pdf: 3699154 bytes, checksum: 2d7335f6487ffe06adf4d53da28ad5a9 (MD5)Made available in DSpace on 2024-04-29T12:33:27Z (GMT). No. of bitstreams: 2 license_rdf: 805 bytes, checksum: c4c98de35c20c53220c07884f4def27c (MD5) RicardoWagnerCorreiaGuerraFilho_Dissert.pdf: 3699154 bytes, checksum: 2d7335f6487ffe06adf4d53da28ad5a9 (MD5) Previous issue date: 2023-08-28NenhumaporUniversidade Federal da ParaíbaPrograma de Pós-Graduação em Engenharia ElétricaUFPBBrasilEngenharia ElétricaAttribution-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nd/3.0/br/info:eu-repo/semantics/openAccessCNPQ::ENGENHARIAS::ENGENHARIA ELETRICAEngenharia elétricaOutliersCurva de demandaAutoencodersAlgoritmo TEDADemand curveTEDADeep learningDetecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisVillanueva, Juan Moises Mauríciohttp://lattes.cnpq.br/1446817462218646Rodriguez, Yuri Percy Molinahttp://lattes.cnpq.br/234078100276499007179569461http://lattes.cnpq.br/6925003822823224Guerra Filho, Ricardo Wagner Correiareponame:Repositório Institucional da UFPBinstname:Universidade Federal da Paraíba (UFPB)instacron:UFPBTEXTRicardoWagnerCorreiaGuerraFilho_Dissert.pdf.txtRicardoWagnerCorreiaGuerraFilho_Dissert.pdf.txtExtracted texttext/plain137882https://repositorio.ufpb.br/jspui/bitstream/123456789/30134/4/RicardoWagnerCorreiaGuerraFilho_Dissert.pdf.txt5b733244d3239a0f88019a61b4dfa0e6MD54LICENSElicense.txtlicense.txttext/plain; charset=utf-82390https://repositorio.ufpb.br/jspui/bitstream/123456789/30134/3/license.txte20ac18e101915e6935b82a641b985c0MD53CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8805https://repositorio.ufpb.br/jspui/bitstream/123456789/30134/2/license_rdfc4c98de35c20c53220c07884f4def27cMD52ORIGINALRicardoWagnerCorreiaGuerraFilho_Dissert.pdfRicardoWagnerCorreiaGuerraFilho_Dissert.pdfapplication/pdf3699154https://repositorio.ufpb.br/jspui/bitstream/123456789/30134/1/RicardoWagnerCorreiaGuerraFilho_Dissert.pdf2d7335f6487ffe06adf4d53da28ad5a9MD51123456789/301342024-04-30 03:22:44.682oai:repositorio.ufpb.br:123456789/30134QVVUT1JJWkHDh8ODTyBFIExJQ0VOw4dBIERFIERJU1RSSUJVScOHw4NPIE7Dg08tRVhDTFVTSVZBCgpBdXRvcml6byBlIGVzdG91IGRlIGFjb3JkbywgbmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGRlIGF1dG9yIGRhIHB1YmxpY2HDp8OjbyBhdXRvLWRlcG9zaXRhZGEsIGNvbmZvcm1lIExlaSBuwrogOTYxMC85OCwgb3Mgc2VndWludGVzIHRlcm1vczoKIApEYSBEaXN0cmlidWnDp8OjbyBuw6NvLWV4Y2x1c2l2YSAKTyBhdXRvciBkZWNsYXJhIHF1ZTogCmEpIE8gZG9jdW1lbnRvIGVudHJlZ3VlIMOpIHNldSB0cmFiYWxobyBvcmlnaW5hbCwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0ZSB0ZXJtby4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2UsIHRhbnRvIHF1YW50byBsaGUgw6kgcG9zc8OtdmVsIHNhYmVyLCBvcyBkaXJlaXRvcyBkZSBxdWFscXVlciBvdXRyYSBwZXNzb2Egb3UgZW50aWRhZGUuIApiKSBTZSBvIGRvY3VtZW50byBlbnRyZWd1ZSBjb250w6ltIG1hdGVyaWFsIGRvIHF1YWwgbsOjbyBkZXTDqW0gb3MgZGlyZWl0b3MgZGUgYXV0b3IsIGRlY2xhcmEgcXVlIG9idGV2ZSBhdXRvcml6YcOnw6NvIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBkZSBhdXRvciBwYXJhIGNvbmNlZGVyIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGEgUGFyYcOtYmEgb3MgZGlyZWl0b3MgcmVxdWVyaWRvcyBwb3IgZXN0ZSB0ZXJtbywgZSBxdWUgZXNzZSBtYXRlcmlhbCBjdWpvcyBkaXJlaXRvcyBzw6NvIGRlIHRlcmNlaXJvcyBlc3TDoSBjbGFyYW1lbnRlIGlkZW50aWZpY2FkbyBlIHJlY29uaGVjaWRvIG5vIHRleHRvIG91IGNvbnRlw7pkbyBkbyB0cmFiYWxobyBlbnRyZWd1ZS4gCmMpIFNlIG8gZG9jdW1lbnRvIGVudHJlZ3VlIMOpIGJhc2VhZG8gZW0gdHJhYmFsaG8gZmluYW5jaWFkbyBvdSBhcG9pYWRvIHBvciBvdXRyYSBpbnN0aXR1acOnw6NvIHF1ZSBuw6NvIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGEgUGFyYcOtYmEgZGVjbGFyYSBxdWUgY3VtcHJpdSBxdWFpc3F1ZXIgb2JyaWdhw6fDtWVzIGV4aWdpZGFzIHBlbG8gcmVzcGVjdGl2byBjb250cmF0byBvdSBhY29yZG8uCmQpIENvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvciAoZXMpIG91IG8gdGl0dWxhciBkb3MgZGlyZWl0b3MgZGUgYXV0b3IpIGNvbmNlZGUgYW8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZQQiBvIGRpcmVpdG8gZGUgcmVwcm9kdXppciwgdHJhZHV6aXIsIGUvb3UgZGlzdHJpYnVpciBhIHN1YSBwdWJsaWNhw6fDo28gKGluY2x1aW5kbyBvIHJlc3VtbykgcG9yIHRvZG8gbyBtdW5kbyBubyBmb3JtYXRvIGltcHJlc3NvIGUgZWxldHLDtG5pY28gZSBlbSBxdWFscXVlciBtZWlvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KZSkgVm9jw6ogY29uY29yZGEgcXVlIG8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZQQiBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhbnNwb3IgYSBzdWEgcHVibGljYcOnw6NvIHBhcmEgcXVhbHF1ZXIgbWVpbyBvdSBmb3JtYXRvIHBhcmEgZmlucyBkZSBwcmVzZXJ2YcOnw6NvLgpmKSBWb2PDqiBjb25jb3JkYSBxdWUgbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRlBCIHBvZGUgbWFudGVyIG1haXMgZGUgdW1hIGPDs3BpYSBkZSBzdWEgcHVibGljYcOnw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrdXAgZSBwcmVzZXJ2YcOnw6NvLgoKRG9zIEVtYmFyZ29zIGUgUmVzdHJpw6fDtWVzIGRlIEFjZXNzbwpPIGVtYmFyZ28gcG9kZXLDoSBzZXIgbWFudGlkbyBwb3IgYXTDqSAxICh1bSkgYW5vLCBwb2RlbmRvIHNlciBwcm9ycm9nYWRvIHBvciBpZ3VhbCBwZXLDrW9kbywgY29tIGEgbmVjZXNzaWRhZGUgZGUgYW5leGFyIGRvY3VtZW50b3MgY29tcHJvYmF0w7NyaW9zLiBPIHJlc3VtbyBlIG9zIG1ldGFkYWRvcyBkZXNjcml0aXZvcyBzZXLDo28gZGlzcG9uaWJpbGl6YWRvcyBubyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRlBCLgpPIGRlcMOzc2l0byBkbyB0cmFiYWxobyDDqSBvYnJpZ2F0w7NyaW8sIGluZGVwZW5kZW50ZSBkbyBlbWJhcmdvLgpRdWFuZG8gZW1iYXJnYWRvLCBvIHRyYWJhbGhvIHBlcm1hbmVjZXLDoSBpbmRpc3BvbsOtdmVsIGVucXVhbnRvIHZpZ29yYXIgYXMgcmVzdHJpw6fDtWVzLiBQYXNzYWRvIG8gcGVyw61vZG8gZG8gZW1iYXJnbywgbyB0cmFiYWxobyBzZXLDoSBhdXRvbWF0aWNhbWVudGUgZGlzcG9uaWJpbGl6YWRvIG5vIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEIuIAo=Repositório InstitucionalPUBhttps://repositorio.ufpb.br/oai/requestdiretoria@ufpb.bropendoar:25462024-04-30T06:22:44Repositório Institucional da UFPB - Universidade Federal da Paraíba (UFPB)false |
| dc.title.pt_BR.fl_str_mv |
Detecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivo |
| title |
Detecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivo |
| spellingShingle |
Detecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivo Guerra Filho, Ricardo Wagner Correia CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Engenharia elétrica Outliers Curva de demanda Autoencoders Algoritmo TEDA Demand curve TEDA Deep learning |
| title_short |
Detecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivo |
| title_full |
Detecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivo |
| title_fullStr |
Detecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivo |
| title_full_unstemmed |
Detecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivo |
| title_sort |
Detecção de outliers em curvas de demanda de energia baseado no algoritmo TEDA recursivo |
| author |
Guerra Filho, Ricardo Wagner Correia |
| author_facet |
Guerra Filho, Ricardo Wagner Correia |
| author_role |
author |
| dc.contributor.advisor1.fl_str_mv |
Villanueva, Juan Moises Maurício |
| dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/1446817462218646 |
| dc.contributor.advisor-co1.fl_str_mv |
Rodriguez, Yuri Percy Molina |
| dc.contributor.advisor-co1Lattes.fl_str_mv |
http://lattes.cnpq.br/2340781002764990 |
| dc.contributor.authorID.fl_str_mv |
07179569461 |
| dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/6925003822823224 |
| dc.contributor.author.fl_str_mv |
Guerra Filho, Ricardo Wagner Correia |
| contributor_str_mv |
Villanueva, Juan Moises Maurício Rodriguez, Yuri Percy Molina |
| dc.subject.cnpq.fl_str_mv |
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA |
| topic |
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA Engenharia elétrica Outliers Curva de demanda Autoencoders Algoritmo TEDA Demand curve TEDA Deep learning |
| dc.subject.por.fl_str_mv |
Engenharia elétrica Outliers Curva de demanda Autoencoders Algoritmo TEDA Demand curve TEDA Deep learning |
| description |
A detecção de outliers é um problema importante que foi pesquisado em diversas áreas e domínios de aplicação. Muitas técnicas de detecção de outliers foram desenvolvidas especificamente para determinados domínios de aplicação, enquanto outras são mais genéricas. Os outliers podem ser de diferentes tipos, neste trabalho serão abordados os outliers do tipo pontuais (globais) e contextuais. O presente trabalho visa detectar essas falhas ocorridas durante a medição ou comunicação, e corrigir estas falhas afim de dar mais confiabilidade ao conjunto. O estudo foi realizado tendo como ferramentas alguns algoritmos de clusterização para etiquetar os outliers(clusterização), algoritmo de classificação KNN para a detecção dos outliers(classificação), algoritmos de aprendizado profundo do tipo Autoencoders e algoritmos evolutivos baseado em excentricidade, TEDA. Para a correção de outliers é utilizada a interpolação linear. São apresentadas ainda comparações de resultados entre técnicas como Z-Score, Z-Score Modificado, K-Means, CMeans, Autoencoders, Sparsed Autoencoders, TEDA e TEDA Diff, sendo estas comparações avaliadas de acordo com métricas utilizadas pela literatura. Com a finalidade de verificar o desempenho da técnica proposta foram usados dados de potência ativa de uma subestação de energia do estado da Paraíba. Este trabalho forneceu uma melhor compreensão das diferentes direções em que a pesquisa foi realizada sobre o tópico de detecção de outliers e como as técnicas desenvolvidas em uma área (a exemplo do TEDA) podem ser aplicadas nos domínios para os quais não se destinavam originalmente, onde para diferentes cenários de outliers em uma curva de demanda elétrica se conseguiu um coeficiente de correlação de matthew’s sempre superior a 0.70, acima da média quando comparado com as outras técnicas testadas. |
| publishDate |
2023 |
| dc.date.available.fl_str_mv |
2023-10-05 2024-04-29T12:33:27Z |
| dc.date.issued.fl_str_mv |
2023-08-28 |
| dc.date.accessioned.fl_str_mv |
2024-04-29T12:33:27Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
https://repositorio.ufpb.br/jspui/handle/123456789/30134 |
| url |
https://repositorio.ufpb.br/jspui/handle/123456789/30134 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
Attribution-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nd/3.0/br/ info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
Attribution-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nd/3.0/br/ |
| eu_rights_str_mv |
openAccess |
| dc.publisher.none.fl_str_mv |
Universidade Federal da Paraíba |
| dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Engenharia Elétrica |
| dc.publisher.initials.fl_str_mv |
UFPB |
| dc.publisher.country.fl_str_mv |
Brasil |
| dc.publisher.department.fl_str_mv |
Engenharia Elétrica |
| publisher.none.fl_str_mv |
Universidade Federal da Paraíba |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFPB instname:Universidade Federal da Paraíba (UFPB) instacron:UFPB |
| instname_str |
Universidade Federal da Paraíba (UFPB) |
| instacron_str |
UFPB |
| institution |
UFPB |
| reponame_str |
Repositório Institucional da UFPB |
| collection |
Repositório Institucional da UFPB |
| bitstream.url.fl_str_mv |
https://repositorio.ufpb.br/jspui/bitstream/123456789/30134/4/RicardoWagnerCorreiaGuerraFilho_Dissert.pdf.txt https://repositorio.ufpb.br/jspui/bitstream/123456789/30134/3/license.txt https://repositorio.ufpb.br/jspui/bitstream/123456789/30134/2/license_rdf https://repositorio.ufpb.br/jspui/bitstream/123456789/30134/1/RicardoWagnerCorreiaGuerraFilho_Dissert.pdf |
| bitstream.checksum.fl_str_mv |
5b733244d3239a0f88019a61b4dfa0e6 e20ac18e101915e6935b82a641b985c0 c4c98de35c20c53220c07884f4def27c 2d7335f6487ffe06adf4d53da28ad5a9 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositório Institucional da UFPB - Universidade Federal da Paraíba (UFPB) |
| repository.mail.fl_str_mv |
diretoria@ufpb.br |
| _version_ |
1833923292845572096 |