Detecção heurística de Concept Drift baseado em TEDA

• Ano de defesa: 2024
• Autor(a) principal: Nunes, Yuri Thomas Pinheiro
• Orientador(a): Oliveira, Luiz Affonso Henderson Guedes de
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal do Rio Grande do Norte
• Programa de Pós-Graduação: PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E DE COMPUTAÇÃO
• País: Brasil
• Palavras-chave em Português: Aprendizado não supervisionado; Data Stream; TEDA; Classificação em Data Stream; Detector de Concept Drift
• Área do conhecimento CNPq: CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
• Link de acesso: https://repositorio.ufrn.br/handle/123456789/59806

A produção de dados apresenta dinâmicas não-estacionárias através de sazonalidade e tendência, características que dificultam a aplicação de aprendizado de máquina. Este fenômeno pode ser representado como um data stream: fonte ordenadas e ilimitadas de dados não-estacionários. Os data streams são utilizados frequentemente para representar sistemas evolutivos (evolving systems) e sua nãoestacionariedade é atribuída à concept drifts. Neste contexto, as técnicas de aprendizado de máquina devem ser adaptadas para o processamento de data streams. É necessário considerar retreinamento em tempo real, resposta à concept drift, disponibilidade parcial dos dados, limitação de memória, entre outros. Para endereçar tais questões, é essencial o uso de detectores de concept drift (CDD) para possibilitar a adaptação de modelos. A literatura é rica em trabalhos sobre de detecção de concept drift distribuídos em três grupos com relação a disponibilidade de rótulos verdadeiros: supervisionados, semi-supervisionados e não supervisionados. É possível argumentar que métodos não supervisionados possibilitam menor atraso de detecção em aplicações reais por realizar detecções em tempo de predição, antes da realimentação. Este trabalho apresenta um novo método de detecção de concept drift, o TEDA-CDD. Esse detector é composto por dois modelos para representar conceitos baseados em TEDA: o modelo de referência e o modelo dinâmico. O modelo de referência tem como objetivo representar o conceito conhecido pelo modelo de aprendizado de máquina enquanto o modelo dinâmico é livre para se adaptar a qualquer novo conceito que emergir do data stream. Os modelos são comparados de forma heurística através do índice de Jaccard para indicar similaridade. Quando o índice indicar baixa similaridade entre os modelos o detector indica um concept drift. Afim de comparar o método proposto com outros métodos presentes na literatura, inicialmente, propõe-se uma abordagem realística para modelos de data stream. Essa abordagem possibilita aplicar diversos classificadores e detectores na tarefa de classificação de data stream e estimar métricas de desempenho especificas ao contexto de data streams. Nos experimentos, o método proposto é comparado a outros métodos presentes na literatura utilizando benchmarks sintéticos e reais. O método proposto possui desempenho comparável em termos de precisão em relação aos métodos consolidados na literatura ao passo que é o mais eficiente em termos de consumo de memória.