Redução de Complexidade no Affine Motion Estimation do Padrão VVC

• Ano de defesa: 2022
• Autor(a) principal: Sagrilo, Fernando Funghetto
• Orientador(a): Sanchez, Gustavo Freitas
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal do Pampa
• Programa de Pós-Graduação: Mestrado Acadêmico em Engenharia Elétrica
• Departamento: Campus Alegrete
• País: Brasil
• Palavras-chave em Português: Engenharia elétrica; Vídeo digital; Aprendizado do computador; Electrical engineering; Digital video; Machine learning
• Área do conhecimento CNPq: CNPQ::ENGENHARIAS
• Link de acesso: https://repositorio.unipampa.edu.br/jspui/handle/riu/7826

No atual estado-da-arte da codificação de vídeos está o Versatile Video Coding (VVC), desenvolvido com o objetivo de atender a necessidade cada vez maior por compressão de dados de vídeo decorrente do aumento do consumo desses conteúdos, além disso, traz no seu nome a versatilidade, com a proposta de suportar diversos conteúdos de vídeo incluindo as novidades que estão surgindo no mercado, como realidade virtual, realidade aumentada, vídeos em 360o entre outros, possibilita ainda suporte para altas resoluções além da 4k UHD. Em 2015 um grupo de experts em codificação de vídeo chamado Joint Video Exploration Team (JVET) se uniram para criação de um novo padrão de codificador de vídeo. Então em julho de 2020 o novo padrão de codificação VVC foi finalizado buscando alcançar uma taxa de redução de bits de 50% sobre seu antecessor High Efficiency Video Coding (HEVC). VVC foi implementado baseado no seu antecessor HEVC, do qual herdou a maioria das ferramentas, das quais muitas foram aprimoradas e outras novas foram adicionadas, isso possibilitou uma redução na taxa de bits média em relação ao seu antecessor de 44%. Porém esses aprimoramentos vieram com uma consequência, o aumento da complexidade computacional o que dificulta que esse novo padrão possa ser utilizado em determinadas situações como transmissão de vídeo em tempo real ou utilizado em dispositivos portáteis que possuam capacidade de energia limitada. Umas das novidades, que possui um alto custo computacional, implementadas no VVC é a Affine, seu propósito é realizar a predição mais eficiente de movimentos complexos como zoom, rotação e cisalhamento, que por utilizar técnicas mais sofisticadas acaba aumentando o tempo para codificar esses movimentos, podendo chegar a representar 54,75% do tempo total da Motion Estimation (ME). Pensando na redução do tempo de codificação, são apresentadas duas propostas para reduzir o esforço computacional do VVC, uma proposta baseada em hardware e outra em otimização de software. A proposta baseada em hardware apresenta uma heurística configurável para a etapas de Estimação de Movimento Unidirecional, Bidirecional e Affine do VVC. A heurística é de fácil implementação em hardware e se baseia na avaliação adaptativa de tamanhos de unidade de codificação (CU) para reduzir o consumo de energia. Três pontos de operação são suportados, alcançando um redução entre 7,7% e 30% do consumo de energia, com uma perda da qualidade de imagem entre 0,04% e 1%. A proposta baseada em software apresenta uma Estimação de Movimento Affine (AME) rápida para o VVC. Essa abordagem utiliza Aprendizado de Máquina com o método classificador Florestas Aleatórias (RF). O trabalho desenvolve um modelo de RF para cada tamanho de CU. Os modelos são treinados utilizando informações extraídas das CU atual, pai e vizinhas. Casa modelo é utilizado para definir se determinado tamanho de CU deverá ser ignorada pela AME ou não. A solução proposta alcança uma redução média tempo de 20% na AME e 3% no tempo total de codificação, com uma perda de qualidade de imagem de 0,07%. Palavras-chave: VVC, Inter-quadros, Affine, Machine Learning, Random Forest