Um estudo comparativo de técnicas de detecção de outliers no contexto de classificação de dados

Detalhes bibliográficos
Ano de defesa: 2019
Autor(a) principal: Freitas, Igor Wescley Silva de
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
dARK ID: ark:/74562/0013000007kbk
Idioma: por
Instituição de defesa: Universidade Federal Rural do Semi-Árido
Brasil
Centro de Ciências Exatas e Naturais - CCEN
UFERSA
Programa de Pós-Graduação em Ciência da Computação
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: https://repositorio.ufersa.edu.br/handle/prefix/1093
Resumo: Outliers are objects that deviate considerably from others in relation to some measure, and promote great influence in the analysis of the data. In statistics, this influence may induce an equivocal analysis of the data, in which case the outliers constitute data that need to be removed. For other applications, the outlier may represent some valuable information, dealing with some type of fraud, system intrusion, computer network anomalies, mechanical failures and critical clinical condition. In any case, outliers need to be identified, regardless of their treatment. The literature provides several techniques for detection of outliers, each with its characteristics and specificities, which in turn have been applied in several domains, in order to solve singular problems. To specify which technique performs better for a particular data domain is a challenge that is still little explored in the literature and causes the development of strategies to measure the performance of outliers detection techniques. In this sense, the proposal of this work is to present a comparative study of outliers detection techniques, through a methodology that allows a uniform and objective analysis. The techniques used in the comparative analysis are distributed in techniques based on statistical methods, proximity and distance. As part of the methodology, they are applied in the pre-processing of the data, where their performance is measured by analyzing the effect of this application on the classifier induction. Classifier evaluation metrics serve as performance indicators for classifiers. According to the results of the experiments, it was possible to effectively analyze the performance of outliers detection techniques for different domains, and confirm the validity of the methodology
id UFER_457e0b3e2d6b769d5e165f61e390afab
oai_identifier_str oai:repositorio.ufersa.edu.br:prefix/1093
network_acronym_str UFER
network_name_str Repositório Digital da Universidade Federal Rural do Semi-Árido (RDU)
repository_id_str
spelling Um estudo comparativo de técnicas de detecção de outliers no contexto de classificação de dadosOutliersDetecção de OutliersClassificaçãoMetodologiaOutliersOutlier DetectionClassificationmethodologyCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOOutliers are objects that deviate considerably from others in relation to some measure, and promote great influence in the analysis of the data. In statistics, this influence may induce an equivocal analysis of the data, in which case the outliers constitute data that need to be removed. For other applications, the outlier may represent some valuable information, dealing with some type of fraud, system intrusion, computer network anomalies, mechanical failures and critical clinical condition. In any case, outliers need to be identified, regardless of their treatment. The literature provides several techniques for detection of outliers, each with its characteristics and specificities, which in turn have been applied in several domains, in order to solve singular problems. To specify which technique performs better for a particular data domain is a challenge that is still little explored in the literature and causes the development of strategies to measure the performance of outliers detection techniques. In this sense, the proposal of this work is to present a comparative study of outliers detection techniques, through a methodology that allows a uniform and objective analysis. The techniques used in the comparative analysis are distributed in techniques based on statistical methods, proximity and distance. As part of the methodology, they are applied in the pre-processing of the data, where their performance is measured by analyzing the effect of this application on the classifier induction. Classifier evaluation metrics serve as performance indicators for classifiers. According to the results of the experiments, it was possible to effectively analyze the performance of outliers detection techniques for different domains, and confirm the validity of the methodologyOutliers são objetos que se desviam consideravelmente dos demais em relação a alguma medida, e promovem grande influência na análise dos dados. Na estatística, essa influência pode induzir uma análise equívoca dos dados, neste caso, os outliers constituem dados que precisam ser removidos. Para outras aplicações, o outlier pode representar alguma informação valiosa, tratando-se de algum tipo de fraude, intrusão em sistemas, anomalias em redes de computadores, falhas mecânicas e condição clinica crítica. Para todo caso, os outliers precisam ser identificados, independente de seu tratamento. A literatura fornece diversas técnicas para detecção de outliers, cada uma com suas características e especificidades, que por sua vez foram aplicadas em diversos domínios, tendo em vista resolver problemas singulares. Precisar qual técnica tem melhor desempenho para determinado domínio de dados, constitui um desafio ainda pouco explorado na literatura e provoca o desenvolvimento de estratégias, para mensurar a performance de técnicas de detecção de outliers. Nesse sentido, a proposta deste trabalho é apresentar um estudo comparativo de técnicas de detecção de outliers, através de uma metodologia que permita uma análise uniforme e objetiva. As técnicas utilizadas na análise comparativa estão distribuídas em técnicas baseadas em métodos estatísticos, proximidade e distância. Como parte da metodologia, elas são aplicadas no pré-processamento dos dados, onde seu desempenho é mensurado analisando o efeito desta aplicação na indução de classificadores. As métricas de avaliação de classificadores funcionam como indicadores de desempenho das técnicas. De acordo com os resultados dos experimentos realizados, foi possível analisar efetivamente o desempenho das técnicas de detecção de outliers para diferentes domínios, e confirmar a validade da metodologiaTrabalho não financiado por agência de fomento, ou autofinanciadoUniversidade Federal Rural do Semi-ÁridoBrasilCentro de Ciências Exatas e Naturais - CCENUFERSAPrograma de Pós-Graduação em Ciência da ComputaçãoAraújo, Daniel Sabino Amorim de04634747405http://lattes.cnpq.br/4744754780165354Nunes, Isabel Dilmann75535998087http://lattes.cnpq.br/2087785677186785Santos, Araken de Medeiros00739803409http://lattes.cnpq.br/8059198436766378Freitas, Igor Wescley Silva de2019-04-22T11:48:58Z2019-04-182019-04-22T11:48:58Z2019-01-25info:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/publishedVersionapplication/pdfCitação com autor incluído no texto: Freitas (2019) Citação com autor não incluído no texto: (FREITAS, 2019)https://repositorio.ufersa.edu.br/handle/prefix/1093ark:/74562/0013000007kbkporFREITAS, Igor Wescley Silva de. Um estudo comparativo de técnicas de detecção de outliers no contexto de classificação de dados. 2019. 99 f. Dissertação (Mestrado em Ciência da Computação), Universidade Federal Rural do Semi-Árido, Mossoró, 2019.info:eu-repo/semantics/openAccessCC-BY-SAreponame:Repositório Digital da Universidade Federal Rural do Semi-Árido (RDU)instname:Universidade Federal Rural do Semi-Árido (UFERSA)instacron:UFERSA2024-11-28T00:06:41Zoai:repositorio.ufersa.edu.br:prefix/1093Repositório Institucionalhttps://repositorio.ufersa.edu.br/PUBhttps://repositorio.ufersa.edu.br/server/oai/requestrepositorio@ufersa.edu.br || admrepositorio@ufersa.edu.bropendoar:2024-11-28T00:06:41Repositório Digital da Universidade Federal Rural do Semi-Árido (RDU) - Universidade Federal Rural do Semi-Árido (UFERSA)false
dc.title.none.fl_str_mv Um estudo comparativo de técnicas de detecção de outliers no contexto de classificação de dados
title Um estudo comparativo de técnicas de detecção de outliers no contexto de classificação de dados
spellingShingle Um estudo comparativo de técnicas de detecção de outliers no contexto de classificação de dados
Freitas, Igor Wescley Silva de
Outliers
Detecção de Outliers
Classificação
Metodologia
Outliers
Outlier Detection
Classification
methodology
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
title_short Um estudo comparativo de técnicas de detecção de outliers no contexto de classificação de dados
title_full Um estudo comparativo de técnicas de detecção de outliers no contexto de classificação de dados
title_fullStr Um estudo comparativo de técnicas de detecção de outliers no contexto de classificação de dados
title_full_unstemmed Um estudo comparativo de técnicas de detecção de outliers no contexto de classificação de dados
title_sort Um estudo comparativo de técnicas de detecção de outliers no contexto de classificação de dados
author Freitas, Igor Wescley Silva de
author_facet Freitas, Igor Wescley Silva de
author_role author
dc.contributor.none.fl_str_mv Araújo, Daniel Sabino Amorim de
04634747405
http://lattes.cnpq.br/4744754780165354
Nunes, Isabel Dilmann
75535998087
http://lattes.cnpq.br/2087785677186785
Santos, Araken de Medeiros
00739803409
http://lattes.cnpq.br/8059198436766378
dc.contributor.author.fl_str_mv Freitas, Igor Wescley Silva de
dc.subject.por.fl_str_mv Outliers
Detecção de Outliers
Classificação
Metodologia
Outliers
Outlier Detection
Classification
methodology
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
topic Outliers
Detecção de Outliers
Classificação
Metodologia
Outliers
Outlier Detection
Classification
methodology
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
description Outliers are objects that deviate considerably from others in relation to some measure, and promote great influence in the analysis of the data. In statistics, this influence may induce an equivocal analysis of the data, in which case the outliers constitute data that need to be removed. For other applications, the outlier may represent some valuable information, dealing with some type of fraud, system intrusion, computer network anomalies, mechanical failures and critical clinical condition. In any case, outliers need to be identified, regardless of their treatment. The literature provides several techniques for detection of outliers, each with its characteristics and specificities, which in turn have been applied in several domains, in order to solve singular problems. To specify which technique performs better for a particular data domain is a challenge that is still little explored in the literature and causes the development of strategies to measure the performance of outliers detection techniques. In this sense, the proposal of this work is to present a comparative study of outliers detection techniques, through a methodology that allows a uniform and objective analysis. The techniques used in the comparative analysis are distributed in techniques based on statistical methods, proximity and distance. As part of the methodology, they are applied in the pre-processing of the data, where their performance is measured by analyzing the effect of this application on the classifier induction. Classifier evaluation metrics serve as performance indicators for classifiers. According to the results of the experiments, it was possible to effectively analyze the performance of outliers detection techniques for different domains, and confirm the validity of the methodology
publishDate 2019
dc.date.none.fl_str_mv 2019-04-22T11:48:58Z
2019-04-18
2019-04-22T11:48:58Z
2019-01-25
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv Citação com autor incluído no texto: Freitas (2019) Citação com autor não incluído no texto: (FREITAS, 2019)
https://repositorio.ufersa.edu.br/handle/prefix/1093
dc.identifier.dark.fl_str_mv ark:/74562/0013000007kbk
identifier_str_mv Citação com autor incluído no texto: Freitas (2019) Citação com autor não incluído no texto: (FREITAS, 2019)
ark:/74562/0013000007kbk
url https://repositorio.ufersa.edu.br/handle/prefix/1093
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv FREITAS, Igor Wescley Silva de. Um estudo comparativo de técnicas de detecção de outliers no contexto de classificação de dados. 2019. 99 f. Dissertação (Mestrado em Ciência da Computação), Universidade Federal Rural do Semi-Árido, Mossoró, 2019.
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
CC-BY-SA
eu_rights_str_mv openAccess
rights_invalid_str_mv CC-BY-SA
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal Rural do Semi-Árido
Brasil
Centro de Ciências Exatas e Naturais - CCEN
UFERSA
Programa de Pós-Graduação em Ciência da Computação
publisher.none.fl_str_mv Universidade Federal Rural do Semi-Árido
Brasil
Centro de Ciências Exatas e Naturais - CCEN
UFERSA
Programa de Pós-Graduação em Ciência da Computação
dc.source.none.fl_str_mv reponame:Repositório Digital da Universidade Federal Rural do Semi-Árido (RDU)
instname:Universidade Federal Rural do Semi-Árido (UFERSA)
instacron:UFERSA
instname_str Universidade Federal Rural do Semi-Árido (UFERSA)
instacron_str UFERSA
institution UFERSA
reponame_str Repositório Digital da Universidade Federal Rural do Semi-Árido (RDU)
collection Repositório Digital da Universidade Federal Rural do Semi-Árido (RDU)
repository.name.fl_str_mv Repositório Digital da Universidade Federal Rural do Semi-Árido (RDU) - Universidade Federal Rural do Semi-Árido (UFERSA)
repository.mail.fl_str_mv repositorio@ufersa.edu.br || admrepositorio@ufersa.edu.br
_version_ 1846631478780231680