Um mecanismo de persistência para um ambiente de processamento de fluxos de dados

• Ano de defesa: 2012
• Autor(a) principal: Ana Paula de Carvalho
• Orientador(a): Renato Antonio Celso Ferreira
• Banca de defesa: Alberto Henrique Frade Laender, Wagner Meira Junior, Luiz Eduardo da Silva Ramos
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de Minas Gerais
• Palavras-chave em Português: Processamento de fluxos de dados; Persistência de fluxos de dados; Computação de alto desempenho
• Link de acesso: http://hdl.handle.net/1843/ESBF-8XFK9G

A contínua evolução da tecnologia nas variadas áreas do conhecimento vem propiciando que volumes cada vez maiores de dados estejam disponíveis. Por isso hoje, mais do que nunca, existe uma demanda real por aplicações capazes de processar grandes volumes de dados. Em geral, essas aplicações precisam executar, com alto desempenho, algoritmos computacionalmente intensivos que processam fluxos de dados. Diversas dessas aplicações também requerem que fluxos de dados sejam persistidos, principalmente pelas seguintes razões: i) possibilitar o rastreamento das transformações realizadas nos dados, ii) permitir que os dados sejam analisados futuramente e iii) reprocessar os dados em casos de falha. O objetivo geral do presente trabalho é contribuir no projeto e implementação do Watershed, um ambiente de execução de alto desempenho que provê abstrações para o desenvolvimento de aplicações distribuídas que processam fluxos de dados massivos. Para tanto, propõe-se nesta dissertação um mecanismo de persistência de fluxos de dados capaz de se acoplar ao Watershed. O ambiente de execução implementa o modelo de programação filtro-fluxo, dessa forma cada aplicação é decomposta em módulos de processamento que se comunicam por canais denominados fluxos. Algumas características diferem o Watershed da maioria dos ambientes/sistemas descritos na literatura, como: suporte ao desenvolvimento e execução de aplicações com topologia dinâmica, suporte a execução simultânea de múltiplas aplicações e possibilidade de compartilhamento de resultados intermediários entre diferentes aplicações. O mecanismo de persistência de fluxos proposto torna o Watershed um ambiente mais genérico e flexível, uma vez que possibilita que os módulos de processamento executem em diferentes períodos de tempo, tendo disponível para consumo todos os dados anteriormente produzidos, além dos dados atuais. O mecanismo também é distribuído, provê transparência no armazenamento dos dados, suporte a manipulação de dados semiestruturados e fornece recursos para que um módulo de processamento filtre de um fluxo apenas as unidades de dados, atuais ou históricas, de seu interesse. Nos experimentos realizados o impacto do mecanismo de persistência no tempo de execução das aplicações foi de no máximo 13%.