FIRE-DES and FIRE-DES₊₊: dynamic classifier ensemble selection frameworks

• Ano de defesa: 2018
• Autor(a) principal: OLIVEIRA, Dayvid Victor Rodrigues de
• Orientador(a): CAVALCANTI, George Darmiton da Cunha
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de Pernambuco
• Programa de Pós-Graduação: Programa de Pos Graduacao em Ciencia da Computacao
• País: Brasil
• Palavras-chave em Português: Inteligência artificial; Seleção dinâmica de classificadores
• Link de acesso: https://repositorio.ufpe.br/handle/123456789/30974

Dynamic Ensemble Selection (DES) techniques aim to select only the most competent classifiers for the classification of each test sample. The key issue in DES is how to estimate the competence of classifiers for the classification of each new test sample. Most DES techniques estimate the competence of classifiers using a given criterion over the set of nearest neighbors of the test sample in the validation set, these nearest neighbors compose the region of competence. Despite achieving interesting results in several applications, DES techniques can select locally incompetent classifiers for the classification of a test sample because they do not consider different types of regions of competence: safe regions (neighborhood with homogeneous class labels), indecision regions (neighborhood surrounding classes boundaries), and noisy regions (with at least one sample from one class in an area of another class). In this work, we propose two dynamic selection frameworks for two-class problems: Frienemy Indecision Region Dynamic Ensemble Selection (FIRE-DES) and Enhanced Frienemy Indecision Region Dynamic Ensemble Selection (FIRE-DES₊₊). Given a test sample, FIRE-DES decides if it is located in an indecision region and, if so, prunes the pool of classifiers, pre-selecting classifiers with decision boundaries crossing the region of competence of the test sample (if such classifier exists), then, it uses a DES technique to select the most competent classifiers from the pre-selected classifiers. FIRE-DES₊₊ is an improvement of FIRE-DES that uses prototype selection to remove noise and reduce the overlap of classes in the validation set; defines the region of competence using an equal number of samples from each class, avoiding selecting a region of competence with samples of a single class; applies the pre-selection of classifiers crossing the region of competence of the test sample (if such classifiers exist); and finally, uses a DES technique to select the most competent classifiers from the pre-selected classifiers. Experiments were conducted using FIRE-DES and FIRE-DES₊₊ with 8 different dynamic selection techniques on 40 classification datasets. Experimental results show that FIRE-DES and FIRE-DES₊₊ increase the classification performance of all DES techniques considered in this work, with FIRE-DES₊₊ outperforming FIRE-DES in 6 out of the 8 DES techniques, and FIRE-DES₊₊ outperforming state-of-the-art DES techniques.Técnicas de Seleção Dinâmica de Ensembles (DES) tem objetivo de selecionar os classificadores mais competentes para classificação de cada padrão de teste. A questão central em DES é como estimar a competência de classificadores para classificação de um padrão de teste. A maioria das técnicas de DES estimam a competência dos classificadores usando algum critério sobre o conjunto de vizinhos mais próximos do padrão de teste no conjunto de validação, estes vizinhos mais próximos compõem a região de competência. Apesar de alcançar resultados interessantes em várias aplicações, técnicas de DES podem selecionar classificadores localmente incompetentes para a classificação de um padrão de teste pelo fato de não considerar diferentes tipos de região de competência: regiões seguras (vizinhança com amostras de classes homogêneas), regiões de indecisão (vizinhança nas fronteiras de classes), regiões ruidosas (vizinhança com pelo menos um padrão de uma classe na área de uma outra classe). Neste trabalho, nós propomos dois frameworks de seleção dinâmica para problemas de classificação binários: Frienemy Indecision Region Dynamic Ensemble Selection(FIRE-DES), and Enhanced Frienemy Indecision Region Dynamic Ensemble Selection (FIRE-DES₊₊). Dado um padrão de teste, FIRE-DES verifica se o padrão está localizado em uma região de indecisão, se sim, FIRE-DES poda o conjunto de classificadores, pré-selecionando classificadores com fronteiras de decisão cruzando a região de competência do padrão de teste (se houver classificadores que atendam este critério), e então, FIRE-DES usa uma técnica de DES para selecionar os classificadores mais competentes dentre os classificadores pré-selecionados. FIRE-DES₊₊ é uma versão melhorada do FIRE-DES que usa seleção de protótipos para remover ruídos e reduzir a sobreposição de classes no conjunto de validação; define a região de competência usando um número equivalente de amostras de cada classe, evitando a seleção de uma região de competência composta de padrões pertencentes a uma única classe; aplica a pré-seleção de classificadores cruzando a região de competência do padrão de teste (se houver classificadores que atendam este critério); e finalmente, usa uma técnica de DES para selecionar os classificadores mais competentes dentre os classificadores pré-selecionados. Foram realizados experimentos usando FIRE-DES e FIRE-DES₊₊ com 8 técnicas de DES diferentes em 40 bases de dados de classificação. Os resultados experimentais mostram que FIRE-DES e FIRE-DES₊₊ aumentam a performance de classificação de todas as técnicas de DES consideradas neste trabalho, com FIRE-DES₊₊ sendo superior a FIRE-DES com 6 dentre as 8 técnicas de DES utilizadas, e FIRE-DES₊₊ sendo superior ao estado da arte em DES.