Reinforcement learning-aided NOMA random access: an AoI-based timeliness perspective

Detalhes bibliográficos
Ano de defesa: 2025
Autor(a) principal: Pereira, Felippe Moraes
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
UTFPR
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Internet das coisas
Aprendizado do computador
Protocolos de acesso múltiplo (protocolos de rede de computadores)
Aprendizado por Reforço
Internet of things
Machine learning
Multiple access protocols (Computer network protocols)
Reinforcement learning
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia Elétrica
Link de acesso: http://repositorio.utfpr.edu.br/jspui/handle/1/36890
Resumo: Age-of-Information (AoI) is a critical metric for assessing the freshness of data in Internet of Things (IoT) networks, particularly in non-orthogonal multiple access (NOMA) networks. This study investigates the AoI performance in a NOMA network, where multiple IoT devices transmit data to a common gateway in a grant-free, random manner. Specifically, we consider a framed setup with multiple time slots and employ the Q-learning algorithm to define, in a distributed manner, the time slots and power levels at which each IoT device transmits within a frame. In the proposed AoI-QL-NOMA scheme, the Q-learning reward is adapted to minimize the average AoI of the network, requiring only a single feedback bit per time slot on a per-frame basis. Our results show that AoI-QL-NOMA significantly improves AoI performance compared to several recently proposed schemes, without significantly reducing network throughput.
id UTFPR-12_a269a603790700bf67acccf415d78217
oai_identifier_str oai:repositorio.utfpr.edu.br:1/36890
network_acronym_str UTFPR-12
network_name_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository_id_str
spelling Reinforcement learning-aided NOMA random access: an AoI-based timeliness perspectiveAcesso aleatório NOMA com auxílio de aprendizado por reforço: uma perspectiva baseada na pontualidade da informaçãoInternet das coisasAprendizado do computadorProtocolos de acesso múltiplo (protocolos de rede de computadores)Aprendizado por ReforçoInternet of thingsMachine learningMultiple access protocols (Computer network protocols)Reinforcement learningCNPQ::ENGENHARIAS::ENGENHARIA ELETRICAEngenharia ElétricaAge-of-Information (AoI) is a critical metric for assessing the freshness of data in Internet of Things (IoT) networks, particularly in non-orthogonal multiple access (NOMA) networks. This study investigates the AoI performance in a NOMA network, where multiple IoT devices transmit data to a common gateway in a grant-free, random manner. Specifically, we consider a framed setup with multiple time slots and employ the Q-learning algorithm to define, in a distributed manner, the time slots and power levels at which each IoT device transmits within a frame. In the proposed AoI-QL-NOMA scheme, the Q-learning reward is adapted to minimize the average AoI of the network, requiring only a single feedback bit per time slot on a per-frame basis. Our results show that AoI-QL-NOMA significantly improves AoI performance compared to several recently proposed schemes, without significantly reducing network throughput.O Age-of-Information (AoI) é uma métrica essencial para avaliar a pontualidade da informação em redes de Internet das Coisas (IoT), especialmente em redes de múltiplos acessos, como as baseadas em Non-Orthogonal Multiple Access (NOMA). Neste trabalho, investiga-se o desempenho do AoI em uma rede NOMA com dispositivos IoT que transmitem dados para um gateway comum de maneira aleatória e sem concessões explícitas de tempo. O estudo considera uma configuração estruturada em múltiplos slots de tempo e adota o algoritmo de Q-learning para definir, de forma distribuída, os slots de tempo e os níveis de potência em que cada dispositivo IoT transmite dentro de um quadro de tempo. No esquema proposto, denominado AoI-QLNOMA, a recompensa do Q-learning é ajustada com o objetivo de minimizar o AoI médio da rede, sendo necessário apenas um bit de feedback por slot de tempo, enviados ao fim de cada quadro. Os resultados obtidos demonstram que o AoI-QL-NOMA melhora significativamente o desempenho do AoI em comparação com esquemas recentemente propostos, sem causar uma redução significativa no throughput da rede.Universidade Tecnológica Federal do ParanáCuritibaBrasilPrograma de Pós-Graduação em Engenharia Elétrica e Informática IndustrialUTFPRRebelatto, João Luizhttps://orcid.org/0000-0002-1682-2215http://lattes.cnpq.br/8633387185514637Farhat, Jamil de Araujohttps://orcid.org/0000-0002-7525-4334http://lattes.cnpq.br/7539776887110465Leone, André de Souzahttps://orcid.org/0000-0001-5550-735Xhttp://lattes.cnpq.br/9228139664884781Peron, Guilherme de Santihttps://orcid.org/0000-0001-5794-0237http://lattes.cnpq.br/7845448730478685Rebelatto, João Luizhttps://orcid.org/0000-0002-1682-2215http://lattes.cnpq.br/8633387185514637Pereira, Felippe Moraes2025-05-22T18:59:26Z2025-05-22T18:59:26Z2025-04-24info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfPEREIRA, Felippe Moraes. Reinforcement learning-aided NOMA random access: an AoI-based timeliness perspective. 2025. Dissertação (Mestrado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2025.http://repositorio.utfpr.edu.br/jspui/handle/1/36890enghttp://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2025-05-23T06:11:12Zoai:repositorio.utfpr.edu.br:1/36890Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2025-05-23T06:11:12Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false
dc.title.none.fl_str_mv Reinforcement learning-aided NOMA random access: an AoI-based timeliness perspective
Acesso aleatório NOMA com auxílio de aprendizado por reforço: uma perspectiva baseada na pontualidade da informação
title Reinforcement learning-aided NOMA random access: an AoI-based timeliness perspective
spellingShingle Reinforcement learning-aided NOMA random access: an AoI-based timeliness perspective
Pereira, Felippe Moraes
Internet das coisas
Aprendizado do computador
Protocolos de acesso múltiplo (protocolos de rede de computadores)
Aprendizado por Reforço
Internet of things
Machine learning
Multiple access protocols (Computer network protocols)
Reinforcement learning
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia Elétrica
title_short Reinforcement learning-aided NOMA random access: an AoI-based timeliness perspective
title_full Reinforcement learning-aided NOMA random access: an AoI-based timeliness perspective
title_fullStr Reinforcement learning-aided NOMA random access: an AoI-based timeliness perspective
title_full_unstemmed Reinforcement learning-aided NOMA random access: an AoI-based timeliness perspective
title_sort Reinforcement learning-aided NOMA random access: an AoI-based timeliness perspective
author Pereira, Felippe Moraes
author_facet Pereira, Felippe Moraes
author_role author
dc.contributor.none.fl_str_mv Rebelatto, João Luiz
https://orcid.org/0000-0002-1682-2215
http://lattes.cnpq.br/8633387185514637
Farhat, Jamil de Araujo
https://orcid.org/0000-0002-7525-4334
http://lattes.cnpq.br/7539776887110465
Leone, André de Souza
https://orcid.org/0000-0001-5550-735X
http://lattes.cnpq.br/9228139664884781
Peron, Guilherme de Santi
https://orcid.org/0000-0001-5794-0237
http://lattes.cnpq.br/7845448730478685
Rebelatto, João Luiz
https://orcid.org/0000-0002-1682-2215
http://lattes.cnpq.br/8633387185514637
dc.contributor.author.fl_str_mv Pereira, Felippe Moraes
dc.subject.por.fl_str_mv Internet das coisas
Aprendizado do computador
Protocolos de acesso múltiplo (protocolos de rede de computadores)
Aprendizado por Reforço
Internet of things
Machine learning
Multiple access protocols (Computer network protocols)
Reinforcement learning
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia Elétrica
topic Internet das coisas
Aprendizado do computador
Protocolos de acesso múltiplo (protocolos de rede de computadores)
Aprendizado por Reforço
Internet of things
Machine learning
Multiple access protocols (Computer network protocols)
Reinforcement learning
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Engenharia Elétrica
description Age-of-Information (AoI) is a critical metric for assessing the freshness of data in Internet of Things (IoT) networks, particularly in non-orthogonal multiple access (NOMA) networks. This study investigates the AoI performance in a NOMA network, where multiple IoT devices transmit data to a common gateway in a grant-free, random manner. Specifically, we consider a framed setup with multiple time slots and employ the Q-learning algorithm to define, in a distributed manner, the time slots and power levels at which each IoT device transmits within a frame. In the proposed AoI-QL-NOMA scheme, the Q-learning reward is adapted to minimize the average AoI of the network, requiring only a single feedback bit per time slot on a per-frame basis. Our results show that AoI-QL-NOMA significantly improves AoI performance compared to several recently proposed schemes, without significantly reducing network throughput.
publishDate 2025
dc.date.none.fl_str_mv 2025-05-22T18:59:26Z
2025-05-22T18:59:26Z
2025-04-24
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv PEREIRA, Felippe Moraes. Reinforcement learning-aided NOMA random access: an AoI-based timeliness perspective. 2025. Dissertação (Mestrado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2025.
http://repositorio.utfpr.edu.br/jspui/handle/1/36890
identifier_str_mv PEREIRA, Felippe Moraes. Reinforcement learning-aided NOMA random access: an AoI-based timeliness perspective. 2025. Dissertação (Mestrado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2025.
url http://repositorio.utfpr.edu.br/jspui/handle/1/36890
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
UTFPR
publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
UTFPR
dc.source.none.fl_str_mv reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
instname:Universidade Tecnológica Federal do Paraná (UTFPR)
instacron:UTFPR
instname_str Universidade Tecnológica Federal do Paraná (UTFPR)
instacron_str UTFPR
institution UTFPR
reponame_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
collection Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository.name.fl_str_mv Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)
repository.mail.fl_str_mv riut@utfpr.edu.br || sibi@utfpr.edu.br
_version_ 1850498242929754112

Registros relacionados