Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados

Detalhes bibliográficos
Ano de defesa: 2018
Autor(a) principal: Silva, Tiago Pinho da
Orientador(a): Camargo, Heloisa de Arruda lattes
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de São Carlos
Câmpus São Carlos
Programa de Pós-Graduação: Programa de Pós-Graduação em Ciência da Computação - PPGCC
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Palavras-chave em Inglês:
Área do conhecimento CNPq:
Link de acesso: https://repositorio.ufscar.br/handle/20.500.14289/10544
Resumo: In recent years, we have witnessed the advent of computational systems capable of generating an immense amount of data in a short time period. These applications can be found in areas such as sensor networks, financial markets and computer networks. Systems that produce data incessantly, creating a continuous Data Stream (DS), can be infinite in size and can mutate in its statistical distribution over time. These DS can be used as sources for the automatic acquisition of useful knowledge by machine learning methods. However, the infinite and mutable nature of these data sets can essentially cause new concepts to emerge, which are examples that differ significantly from the examples learned by the model. Occurrences of this behavior in real-world applications may be credit card fraud or computer network intrusions. In this way, the task of detecting these examples, known as novelty detection, stands out as an important research topic. In general, classical methods for detecting novelty are not able to deal with the particularities of DS. Thus, different approaches have been proposed in order to create adaptable models that can accomplish this task. However, the unpredictable characteristics of DS's create difficulties in the learning process, encouraging the search for a more flexible learning. The integration of fuzzy set theory concepts is a timely way of making DS learning more adaptable to imprecisions. Recently, there have been proposals for machine learning models in DS based on fuzzy sets theory with the objective of collaborating for the flexibility and adaptability of the knowledge learned in DS's. Nonetheless, in the context of novelty detection the proposed approaches are few and limited to the domains of study. This paper presents a proposal for a fuzzy approach to detecting novelty in DS investigating techniques for detection of novelty in DS and machine learning models in DS based on fuzzy set theory. The analysis of the results, showed that the proposals favor the novelty detection task, facilitating the identification of discrepant data through the representation and treatment of imprecise data.
id SCAR_52cff800601fc851dbfc1655fb21d1f3
oai_identifier_str oai:repositorio.ufscar.br:20.500.14289/10544
network_acronym_str SCAR
network_name_str Repositório Institucional da UFSCAR
repository_id_str
spelling Silva, Tiago Pinho daCamargo, Heloisa de Arrudahttp://lattes.cnpq.br/0487231065057783http://lattes.cnpq.br/7999009941456802349bf7f3-3703-49e7-b551-7872d8d068962018-10-04T18:56:32Z2018-10-04T18:56:32Z2018-04-25SILVA, Tiago Pinho da. Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados. 2018. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2018. Disponível em: https://repositorio.ufscar.br/handle/20.500.14289/10544.https://repositorio.ufscar.br/handle/20.500.14289/10544In recent years, we have witnessed the advent of computational systems capable of generating an immense amount of data in a short time period. These applications can be found in areas such as sensor networks, financial markets and computer networks. Systems that produce data incessantly, creating a continuous Data Stream (DS), can be infinite in size and can mutate in its statistical distribution over time. These DS can be used as sources for the automatic acquisition of useful knowledge by machine learning methods. However, the infinite and mutable nature of these data sets can essentially cause new concepts to emerge, which are examples that differ significantly from the examples learned by the model. Occurrences of this behavior in real-world applications may be credit card fraud or computer network intrusions. In this way, the task of detecting these examples, known as novelty detection, stands out as an important research topic. In general, classical methods for detecting novelty are not able to deal with the particularities of DS. Thus, different approaches have been proposed in order to create adaptable models that can accomplish this task. However, the unpredictable characteristics of DS's create difficulties in the learning process, encouraging the search for a more flexible learning. The integration of fuzzy set theory concepts is a timely way of making DS learning more adaptable to imprecisions. Recently, there have been proposals for machine learning models in DS based on fuzzy sets theory with the objective of collaborating for the flexibility and adaptability of the knowledge learned in DS's. Nonetheless, in the context of novelty detection the proposed approaches are few and limited to the domains of study. This paper presents a proposal for a fuzzy approach to detecting novelty in DS investigating techniques for detection of novelty in DS and machine learning models in DS based on fuzzy set theory. The analysis of the results, showed that the proposals favor the novelty detection task, facilitating the identification of discrepant data through the representation and treatment of imprecise data.Nos últimos anos, presencia-se o advento de sistemas capazes de gerar uma imensa quantidade de dados em um curto espaço de tempo e aplicações podem ser encontradas em áreas como por exemplo: redes de sensores, mercado financeiro, redes de computadores, redes sociais entre outros. Sistemas como esses produzem dados incessantemente, criando, assim, um Fluxo Contínuo de Dados (FCD) que pode apresentar tamanho infinito além de poder sofrer mudanças em sua distribuição estatística de acordo com o tempo. Estes FCDs podem ser utilizados como fontes para a aquisição de conhecimento por métodos de aprendizado de máquina, como classificação, agrupamento e mineração de padrões frequentes. Entretanto, a natureza infinita e mutável destes conjuntos de dados pode causar essencialmente o surgimento de novos conceitos, que são exemplos que diferem significativamente dos conceitos aprendidos pelo modelo. Ocorrências deste comportamento em aplicações do mundo real podem ser, por exemplo, fraudes em cartões de créditos ou intrusões em redes de computadores. Desta forma, a tarefa de detecção destes exemplos, conhecida como detecção de novidade se destaca como um importante tópico de pesquisa. De modo geral, métodos clássicos para detecção de novidade não são capazes de lidar com as particularidades existentes em FCDs. Assim, diferentes abordagens vêm sendo propostas com o intuito de criar modelos adaptáveis e que possam realizar esta tarefa. No entanto, a característica de mudança de FCDs geram dificuldades no processo de aprendizagem, encorajando a busca por aprendizado flexível. A integração de conceitos da teoria de conjuntos fuzzy é uma forma oportuna de tornar o aprendizado em FCD mais adaptável a imprecisão dos dados. Recentemente, tem surgido propostas de modelos para aprendizado de máquina em FCD baseadas em teoria de conjuntos fuzzy com o objetivo de colaborar para a representação de imprecisão e adaptabilidade do conhecimento aprendido em FCDs. Entretanto, no contexto de detecção de novidade as abordagens propostas são poucas e limitam-se a domínios específicos. Este trabalho apresenta duas propostas de abordagens flexíveis para detecção de novidade em FCD, investigando técnicas e modelos de aprendizado de máquina em FCD baseados em teoria de conjuntos fuzzy. A análise dos resultados produzidos demonstra que as propostas propiciam melhorias na tarefa de detecção de novidade, facilitando a identificação de dados discrepantes através da representação e tratamento de imprecisão nos dados.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)CAPES: Código de Financiamento 001porUniversidade Federal de São CarlosCâmpus São CarlosPrograma de Pós-Graduação em Ciência da Computação - PPGCCUFSCarFluxos contínuo de dadosDetecção de novidadeTeoria de conjuntos fuzzyData streamsNovelty detectionFuzzy sets theoryCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAOAbordagem fuzzy para detecção de novidade em fluxo contínuo de dadosinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis6 meses após a data da defesa600600abf34796-0d89-460f-9185-e460cb1c066ainfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFSCARinstname:Universidade Federal de São Carlos (UFSCAR)instacron:UFSCARORIGINALDisserta__o_Mestrado___Tiago_Pinho.pdfDisserta__o_Mestrado___Tiago_Pinho.pdfapplication/pdf6588650https://repositorio.ufscar.br/bitstreams/284e8448-7a4a-41ac-9051-710c3b733cff/downloade3e53c2093ee35fe2055c01d4a772d3bMD51trueAnonymousREADLICENSElicense.txtlicense.txttext/plain; charset=utf-81957https://repositorio.ufscar.br/bitstreams/15abb488-169b-4717-9d42-5e8503a4a2b4/downloadae0398b6f8b235e40ad82cba6c50031dMD53falseAnonymousREADTEXTDisserta__o_Mestrado___Tiago_Pinho.pdf.txtDisserta__o_Mestrado___Tiago_Pinho.pdf.txtExtracted texttext/plain221628https://repositorio.ufscar.br/bitstreams/41124847-03d7-463d-97fc-2c405ccaa494/download8b8c56665b83ce1305f89cfacd91ea81MD56falseAnonymousREADTHUMBNAILDisserta__o_Mestrado___Tiago_Pinho.pdf.jpgDisserta__o_Mestrado___Tiago_Pinho.pdf.jpgIM Thumbnailimage/jpeg7042https://repositorio.ufscar.br/bitstreams/87ca48c7-35f5-445e-86a0-3684189bfefc/downloadf60e79b6ac5d8f22f814eb9b1343ad44MD57falseAnonymousREAD20.500.14289/105442025-02-05 17:59:50.218Acesso abertoopen.accessoai:repositorio.ufscar.br:20.500.14289/10544https://repositorio.ufscar.brRepositório InstitucionalPUBhttps://repositorio.ufscar.br/oai/requestrepositorio.sibi@ufscar.bropendoar:43222025-02-05T20:59:50Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR)falseTElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEKCkNvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvciAoZXMpIG91IG8gdGl0dWxhciBkb3MgZGlyZWl0b3MgZGUgYXV0b3IpIGNvbmNlZGUgw6AgVW5pdmVyc2lkYWRlCkZlZGVyYWwgZGUgU8OjbyBDYXJsb3MgbyBkaXJlaXRvIG7Do28tZXhjbHVzaXZvIGRlIHJlcHJvZHV6aXIsICB0cmFkdXppciAoY29uZm9ybWUgZGVmaW5pZG8gYWJhaXhvKSwgZS9vdQpkaXN0cmlidWlyIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyAoaW5jbHVpbmRvIG8gcmVzdW1vKSBwb3IgdG9kbyBvIG11bmRvIG5vIGZvcm1hdG8gaW1wcmVzc28gZSBlbGV0csO0bmljbyBlCmVtIHF1YWxxdWVyIG1laW8sIGluY2x1aW5kbyBvcyBmb3JtYXRvcyDDoXVkaW8gb3UgdsOtZGVvLgoKVm9jw6ogY29uY29yZGEgcXVlIGEgVUZTQ2FyIHBvZGUsIHNlbSBhbHRlcmFyIG8gY29udGXDumRvLCB0cmFuc3BvciBhIHN1YSB0ZXNlIG91IGRpc3NlcnRhw6fDo28KcGFyYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gcGFyYSBmaW5zIGRlIHByZXNlcnZhw6fDo28uCgpWb2PDqiB0YW1iw6ltIGNvbmNvcmRhIHF1ZSBhIFVGU0NhciBwb2RlIG1hbnRlciBtYWlzIGRlIHVtYSBjw7NwaWEgYSBzdWEgdGVzZSBvdQpkaXNzZXJ0YcOnw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcwpuZXN0YSBsaWNlbsOnYS4gVm9jw6ogdGFtYsOpbSBkZWNsYXJhIHF1ZSBvIGRlcMOzc2l0byBkYSBzdWEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIG7Do28sIHF1ZSBzZWphIGRlIHNldQpjb25oZWNpbWVudG8sIGluZnJpbmdlIGRpcmVpdG9zIGF1dG9yYWlzIGRlIG5pbmd1w6ltLgoKQ2FzbyBhIHN1YSB0ZXNlIG91IGRpc3NlcnRhw6fDo28gY29udGVuaGEgbWF0ZXJpYWwgcXVlIHZvY8OqIG7Do28gcG9zc3VpIGEgdGl0dWxhcmlkYWRlIGRvcyBkaXJlaXRvcyBhdXRvcmFpcywgdm9jw6oKZGVjbGFyYSBxdWUgb2J0ZXZlIGEgcGVybWlzc8OjbyBpcnJlc3RyaXRhIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBwYXJhIGNvbmNlZGVyIMOgIFVGU0NhcgpvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUKaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvIGRhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyBvcmEgZGVwb3NpdGFkYS4KCkNBU08gQSBURVNFIE9VIERJU1NFUlRBw4fDg08gT1JBIERFUE9TSVRBREEgVEVOSEEgU0lETyBSRVNVTFRBRE8gREUgVU0gUEFUUk9Dw41OSU8gT1UKQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PIFFVRSBOw4NPIFNFSkEgQSBVRlNDYXIsClZPQ8OKIERFQ0xBUkEgUVVFIFJFU1BFSVRPVSBUT0RPUyBFIFFVQUlTUVVFUiBESVJFSVRPUyBERSBSRVZJU8ODTyBDT01PClRBTULDiU0gQVMgREVNQUlTIE9CUklHQcOHw5VFUyBFWElHSURBUyBQT1IgQ09OVFJBVE8gT1UgQUNPUkRPLgoKQSBVRlNDYXIgc2UgY29tcHJvbWV0ZSBhIGlkZW50aWZpY2FyIGNsYXJhbWVudGUgbyBzZXUgbm9tZSAocykgb3UgbyhzKSBub21lKHMpIGRvKHMpCmRldGVudG9yKGVzKSBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIGFsw6ltIGRhcXVlbGFzCmNvbmNlZGlkYXMgcG9yIGVzdGEgbGljZW7Dp2EuCg==
dc.title.por.fl_str_mv Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados
title Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados
spellingShingle Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados
Silva, Tiago Pinho da
Fluxos contínuo de dados
Detecção de novidade
Teoria de conjuntos fuzzy
Data streams
Novelty detection
Fuzzy sets theory
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO
title_short Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados
title_full Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados
title_fullStr Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados
title_full_unstemmed Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados
title_sort Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados
author Silva, Tiago Pinho da
author_facet Silva, Tiago Pinho da
author_role author
dc.contributor.authorlattes.por.fl_str_mv http://lattes.cnpq.br/7999009941456802
dc.contributor.author.fl_str_mv Silva, Tiago Pinho da
dc.contributor.advisor1.fl_str_mv Camargo, Heloisa de Arruda
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/0487231065057783
dc.contributor.authorID.fl_str_mv 349bf7f3-3703-49e7-b551-7872d8d06896
contributor_str_mv Camargo, Heloisa de Arruda
dc.subject.por.fl_str_mv Fluxos contínuo de dados
Detecção de novidade
Teoria de conjuntos fuzzy
topic Fluxos contínuo de dados
Detecção de novidade
Teoria de conjuntos fuzzy
Data streams
Novelty detection
Fuzzy sets theory
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO
dc.subject.eng.fl_str_mv Data streams
Novelty detection
Fuzzy sets theory
dc.subject.cnpq.fl_str_mv CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO
description In recent years, we have witnessed the advent of computational systems capable of generating an immense amount of data in a short time period. These applications can be found in areas such as sensor networks, financial markets and computer networks. Systems that produce data incessantly, creating a continuous Data Stream (DS), can be infinite in size and can mutate in its statistical distribution over time. These DS can be used as sources for the automatic acquisition of useful knowledge by machine learning methods. However, the infinite and mutable nature of these data sets can essentially cause new concepts to emerge, which are examples that differ significantly from the examples learned by the model. Occurrences of this behavior in real-world applications may be credit card fraud or computer network intrusions. In this way, the task of detecting these examples, known as novelty detection, stands out as an important research topic. In general, classical methods for detecting novelty are not able to deal with the particularities of DS. Thus, different approaches have been proposed in order to create adaptable models that can accomplish this task. However, the unpredictable characteristics of DS's create difficulties in the learning process, encouraging the search for a more flexible learning. The integration of fuzzy set theory concepts is a timely way of making DS learning more adaptable to imprecisions. Recently, there have been proposals for machine learning models in DS based on fuzzy sets theory with the objective of collaborating for the flexibility and adaptability of the knowledge learned in DS's. Nonetheless, in the context of novelty detection the proposed approaches are few and limited to the domains of study. This paper presents a proposal for a fuzzy approach to detecting novelty in DS investigating techniques for detection of novelty in DS and machine learning models in DS based on fuzzy set theory. The analysis of the results, showed that the proposals favor the novelty detection task, facilitating the identification of discrepant data through the representation and treatment of imprecise data.
publishDate 2018
dc.date.accessioned.fl_str_mv 2018-10-04T18:56:32Z
dc.date.available.fl_str_mv 2018-10-04T18:56:32Z
dc.date.issued.fl_str_mv 2018-04-25
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv SILVA, Tiago Pinho da. Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados. 2018. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2018. Disponível em: https://repositorio.ufscar.br/handle/20.500.14289/10544.
dc.identifier.uri.fl_str_mv https://repositorio.ufscar.br/handle/20.500.14289/10544
identifier_str_mv SILVA, Tiago Pinho da. Abordagem fuzzy para detecção de novidade em fluxo contínuo de dados. 2018. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2018. Disponível em: https://repositorio.ufscar.br/handle/20.500.14289/10544.
url https://repositorio.ufscar.br/handle/20.500.14289/10544
dc.language.iso.fl_str_mv por
language por
dc.relation.confidence.fl_str_mv 600
600
dc.relation.authority.fl_str_mv abf34796-0d89-460f-9185-e460cb1c066a
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de São Carlos
Câmpus São Carlos
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Ciência da Computação - PPGCC
dc.publisher.initials.fl_str_mv UFSCar
publisher.none.fl_str_mv Universidade Federal de São Carlos
Câmpus São Carlos
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSCAR
instname:Universidade Federal de São Carlos (UFSCAR)
instacron:UFSCAR
instname_str Universidade Federal de São Carlos (UFSCAR)
instacron_str UFSCAR
institution UFSCAR
reponame_str Repositório Institucional da UFSCAR
collection Repositório Institucional da UFSCAR
bitstream.url.fl_str_mv https://repositorio.ufscar.br/bitstreams/284e8448-7a4a-41ac-9051-710c3b733cff/download
https://repositorio.ufscar.br/bitstreams/15abb488-169b-4717-9d42-5e8503a4a2b4/download
https://repositorio.ufscar.br/bitstreams/41124847-03d7-463d-97fc-2c405ccaa494/download
https://repositorio.ufscar.br/bitstreams/87ca48c7-35f5-445e-86a0-3684189bfefc/download
bitstream.checksum.fl_str_mv e3e53c2093ee35fe2055c01d4a772d3b
ae0398b6f8b235e40ad82cba6c50031d
8b8c56665b83ce1305f89cfacd91ea81
f60e79b6ac5d8f22f814eb9b1343ad44
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR)
repository.mail.fl_str_mv repositorio.sibi@ufscar.br
_version_ 1851688893090365440