Dynamic tuning and reconfiguration of the I/O forwarding layer in HPC platforms

• Ano de defesa: 2021
• Autor(a) principal: Bez, Jean Luca
• Orientador(a): Navaux, Philippe Olivier Alexandre
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Palavras-chave em Português: Processamento : Alto desempenho; Aprendizado : máquina; Supercomputadores
• Palavras-chave em Inglês: High performance I/O; Parallel I/O; I/O Forwarding; I/O Scheduling; Dynamic tuning; Dynamic reconfiguration
• Link de acesso: http://hdl.handle.net/10183/223297

As operações de entrada e saída (E/S) são um gargalo para um número crescente de aplicativos em plataformas de Processamento de Alto Desempenho (PAD). Além disso, tem o potencial de impactar criticamente o desempenho da próxima geração de supercomputadores. As técnicas de otimização de E/S podem melhorar o desempenho para configurações específicas do sistema e para alguns padrões de acesso das aplicações, mas não para todos eles. Chamamos o padrão de acesso a maneira como uma aplicação executa suas operações de E/S. Essas técnicas freqüentemente dependem do ajuste preciso dos parâmetros, que normalmente recai sobre os usuários. Em tais sistemas de grande escala, temos um conjunto de aplicações em execução com características e demandas distintas. Portanto, para melhorar o desempenho global, é essencial adaptar o sistema a uma carga de trabalho que está sempre em constante mudança de forma dinâmica. Neste trabalho, buscamos guiar estratégias de otimização e reconfiguração identificando o padrão de acesso de E/S da aplicação. Avaliamos três técnicas de aprendizado de máquina para automaticamente detectar esses padrões em tempo de execução: árvores de decisão, florestas aleatórias e redes neurais. Utilizando o padrão detectado, propomos uma estratégia de reconfiguração que utiliza uma técnica de aprendizado por reforço (bandidos contextuais) para tornar o sistema capaz de aprender o melhor valor de parâmetro para cada padrão de acesso observado durante sua execução. Isso elimina a necessidade de uma fase anterior de treinamento complicada e demorada. Finalmente, argumentamos a favor de uma alocação dinâmica e sob demanda de nós de E/S considerando as características de E/S da aplicação. Mostramos que a aplicação global da camada de encaminhamento combinada com a política de alocação estática existente baseada exclusivamente no tamanho do aplicativo deve ser dinâmica e considerar os padrões de acesso dos aplicativos para melhorar o desempenho global. Apresentamos uma solução de encaminhamento de E/S em nível de usuário chamada GekkoFWD que não requer modificações nas aplicações e permite um remapeamento dinâmico de recursos de encaminhamento para nós de computação. Propusemos uma nova política de alocação de encaminhamento baseada no problema da mochila de múltipla escolha. Demonstramos a aplicabilidade de nossa política dinâmica MCKP para arbitrar nós de E/S por meio de extensa avaliação e experimentação. Mostramos que tal solução pode melhorar, de forma transparente, a largura de banda de E/S global em até 23 em comparação com a política estática existente.