Implementação de algoritmos de regras de associação nos arcabouços Hadoop-MapReduce e Spark - Castro, Eduardo Petrini Silva (2016)
Em meio ao grande volume de dados produzidos constantemente em sistemas de informação computadorizados, há algoritmos de mineração de dados capazes de encontrar informações ocultas nesses dados. Uma das técnicas implementadas por esses algoritmos é conhecida como regras de associação, a qual visa encontrar relações entre itens de um mesmo conjunto de dados. Uma proposta recente utiliza regras de associação para tratar o problema de classificação de ofertas de produtos em lojas de vendas online. Porém, para grandes volumes de dados, o tempo de execução do algoritmo proposto se torna problemático, dificultando seu uso. Existem frameworks que possibilitam a implementação de algoritmos distribuídos em cluster de computadores, como o Hadoop e Spark. Muitos algoritmos de mineração de dados, como o algoritmo Apriori, que gera regras de associação, tiveram diversas propostas de implementações utilizando o modelo MapReduce. Este trabalho realizou um estudo das soluções propostas de implementações do algoritmo Apriori para o Hadoop-MapReduce. Os algoritmos também foram implementados no Spark e foi feito um comparativo entre as implementações de ambos frameworks. Os resultados mostram que as implementações no Spark superam as implementações no Hadoop-MapReduce na maioria das experimentos. Porém, não houve uma implementação única que se sobressaia em todas as situações avaliadas. Também foi implementada no Hadoop-MapReduce e Spark uma alternativa para o problema de classificação de ofertas de produtos de lojas de vendas online de modo a permitir o processamento de grandes volumes de dados em tempo hábil. Os resultados mostram elevada capacidade das adaptações em processar volume de dados maiores.