Aprimoramento de um algoritmo de roteamento baseado em aprendizado por reforço: um estudo de caso usando VoIP

• Ano de defesa: 2021
• Autor(a) principal: Militani, Davi Ribeiro
• Orientador(a): Zegarra Rodríguez, Demóstenes
• Banca de defesa: Nardelli, Pedro Henrique Juliano, Correia, Luiz Henrique Andrade
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de Lavras
• Programa de Pós-Graduação: Programa de Pós-Graduação em Ciência da Computação
• Departamento: Departamento de Ciência da Computação
• País: brasil
• Palavras-chave em Português: Algoritmos de roteamento; Aprendizagem de máquina; Roteamento inteligente; VoIP; QoE; Routing algorithms; Machine learning; Intelligent routing
• Área do conhecimento CNPq: Ciência da Computação
• Link de acesso: https://repositorio.ufla.br/handle/1/46116

A capacidade do canal de transmissão, a capacidade de processamento dos roteadores e os algoritmos de roteamento são alguns dos principais fatores que impactam diretamente o desempenho de uma rede de computadores. Enquanto os parâmetros de rede, como perda de pacote, taxa de transferência e atraso, afetam a qualidade da experiência dos usuários em diferentes serviços multimídia. Os algoritmos de roteamento são responsáveis por escolher a melhor rota entre um nó de origem e um destino. Porém, algoritmos de roteamento convencionais não consideram o histórico de dados da rede na tomada de decisão sobre por exemplo, overhead ou falhas recorrentes nos equipamentos. Portanto, espera-se que algoritmos de roteamento baseados em aprendizado de máquina que utilizam o histórico da rede para tomada de decisão apresentem algumas vantagens. No entanto, um algoritmo de roteamento baseado na técnica de aprendizado por reforço (Reinforcement Learning, RL) pode necessitar de cabeçalhos de mensagens de controle adicionais. Nesse contexto, esta pesquisa apresenta um protocolo de roteamento aprimorado baseado em RL, denominado e-RLRP, no qual o overhead de mensagens de controle é reduzido. Especificamente, um ajuste dinâmico no intervalo da mensagem Hello é implementado para compensar o overhead gerado pelo uso de RL. Diferentes cenários de rede ad-hoc são implementados nos quais os parâmetros de desempenho da rede, como perda de pacotes, atraso, taxa de transferência e overhead são obtidos. Além disso, um cenário de comunicação Voice Over IP (VoIP) é implementado, no qual o algoritmo E-model é usado para prever a qualidade da comunicação. Para comparação de desempenho, são usados os protocolos OLSR, BATMAN e RLRP. Resultados experimentais mostram que o e-RLRP reduz o overhead da rede em relação ao RLRP e supera na maioria dos casos testados todos esses protocolos, considerando os parâmetros de rede e a qualidade de uma comunicação VoIP.