An asymmetric multi-layer visual signal compression approach combining handcrafted and learned solutions

Detalhes bibliográficos
Ano de defesa: 2025
Autor(a) principal: Cancellier, Luiz Henrique De Lorenzi
Orientador(a): Güntzel, José Luís Almada
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Link de acesso: https://repositorio.ufsc.br/handle/123456789/269451
Resumo: Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2025.
id UFSC_51e1d6c12f9ace89b7955a2ea275d28a
oai_identifier_str oai:repositorio.ufsc.br:123456789/269451
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str
spelling Universidade Federal de Santa CatarinaCancellier, Luiz Henrique De LorenziGüntzel, José Luís AlmadaCruz, Luis Alberto da Silva2025-10-13T23:32:54Z2025-10-13T23:32:54Z2025394141https://repositorio.ufsc.br/handle/123456789/269451Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2025.As soluções utilizando Redes Neurais (RN) têm ganhado popularidade em diversos domínios científicos e aplicações nos últimos anos. Os primeiros trabalhos de compressão de vídeo por aprendizado concentraram-se na substituição de algoritmos utilizados em etapas específicas da codificação híbrida por implementações baseadas em NN. Mais recentemente, modelos de compressão totalmente baseados em aprendizagem foram desenvolvidos, alcançando resultados de eficiência de compressão semelhante ou superiores àqueles alcançados por padrões convencionais, os quais têm sido otimizados por décadas. Entretanto, até o presente momento, poucos estudos exploraram a combinação de soluções baseadas em aprendizagem e em algoritmos convencionais em uma estrutura de compressão em múltiplas camadas, abordagem esta investigada neste trabalho. A metodologia proposta aproveita as vantagens de ambos os métodos ao aplicá-los em camadas apropriadas: o bitstream da camada base, gerado por um codec convencional, mantém conformidade com um padrão consolidado, enquanto que a camada de aprimoramento utiliza os espaços latentes para melhorar a compressão e reconstrução. Além disso, o modelo proposto, nomeado Compressor Multi-Camadas Assimétrico -- Asymmetric Multi-layer compressor (AMLC), desacopla as camadas base e de aprimoramento na etapa de codificação, permitindo simplificações da codificação na camada de aprimoramento, que é aprendida de ponta-a-ponta. Experimentos com uma implementação parcial do framework, incorporando diferentes soluções de upscaling espacial e temporal, revelaram que o uso exclusivo de upscaling espacial apresenta resultados mais próximos aos da compressão convencional em camada única. Consequentemente, optou-se pela implementação do framework para codificação quadro-a-quadro. O AMLC codifica uma imagem 1,28 vezes mais rapidamente do que um codec multi-camadas totalmente aprendido, apresentando eficiência de codificação semelhante, mesmo utilizando uma camada base convencional que é menos eficiente em termos de compressão. O codificador assimétrico aprendido, em conjunto com a camada base convencional, reduz a complexidade geral, enquanto a camada de aprimoramento aprendida melhora a eficiência de codificação. Os resultados experimentais demonstram que o AMLC supera a eficiência de codificação do software de referência SHVC, um codec convencional multi-camadas. Em uma segunda análise, observou-se que a inclusão das dependências entre camadas na etapa de codificação produziu resultados semelhantes ao AMLC, confirmando que a adoção das simplificações adotadas pelo AMLC não causa perdas significativas de eficiência de codificação.Abstract: Neural Network (NN) solutions have gained popularity in many scientific domains and applications in recent years. Early works on learned solutions for video compression focused on replacing specific handcrafted algorithms with NN-based implementations. More recently, fully learned compression models have been developed, achieving similar or better compression efficiency than handcrafted standards, which have been optimized for decades. However, few studies have explored combining learned and handcrafted solutions in a multi-layer compression framework, the way we explored in this research. The approach proposed in this thesis leverages the advantages of both methods by employing them on appropriate layers: the Base Layer (BL) bitstream, generated by a handcrafted codec, remains compliant with a well-established standard, while the Enhancement Layer (EL) utilizes learned latent spaces to improve the compression and reconstruction. Additionally, the proposed AMLC model decouples the base and enhancement layers on the encoding stage, enabling an end-to-end learned enhancement layer that simplifies the coding process. Experiments conducted with a partial implementation of the proposed framework, incorporating different spatial and temporal upscaling solutions, revealed that using only spatial upscaling yields results closest to those from handcrafted single-layer compression. Consequently, the framework was implemented for single-frame encoding. The experimental results showed that AMLC encodes an image 1.28 times faster than a fully learned multi-layer codec while maintaining similar coding efficiency, despite relying on a less coding-efficient handcrafted base layer. The asymmetric learned encoder and handcrafted BL reduce the overall complexity, while the learned enhancement layer improves coding efficiency. The results also show that AMLC outperforms the coding efficiency of SHVC reference software, a handcrafted multi-layer codec. Furthermore, an alternative implementation of the proposed model, incorporating inter-layer dependency during encoding, produces results that are similar to AMLC, confirming its potential to simplify multi-layer compression without significant losses in coding efficiency.117 p.| il., tabs.engComputaçãoPortabilidade (Software)Redes neurais (Computação)An asymmetric multi-layer visual signal compression approach combining handcrafted and learned solutionsinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCinfo:eu-repo/semantics/openAccessORIGINALPGCC1320-T.pdfPGCC1320-T.pdfapplication/pdf8563940https://repositorio.ufsc.br/bitstream/123456789/269451/-1/PGCC1320-T.pdf181df86abec8e27ddedd05995267df96MD5-1123456789/2694512025-10-13 20:32:54.284oai:repositorio.ufsc.br:123456789/269451Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestsandra.sobrera@ufsc.bropendoar:23732025-10-13T23:32:54Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv An asymmetric multi-layer visual signal compression approach combining handcrafted and learned solutions
title An asymmetric multi-layer visual signal compression approach combining handcrafted and learned solutions
spellingShingle An asymmetric multi-layer visual signal compression approach combining handcrafted and learned solutions
Cancellier, Luiz Henrique De Lorenzi
Computação
Portabilidade (Software)
Redes neurais (Computação)
title_short An asymmetric multi-layer visual signal compression approach combining handcrafted and learned solutions
title_full An asymmetric multi-layer visual signal compression approach combining handcrafted and learned solutions
title_fullStr An asymmetric multi-layer visual signal compression approach combining handcrafted and learned solutions
title_full_unstemmed An asymmetric multi-layer visual signal compression approach combining handcrafted and learned solutions
title_sort An asymmetric multi-layer visual signal compression approach combining handcrafted and learned solutions
author Cancellier, Luiz Henrique De Lorenzi
author_facet Cancellier, Luiz Henrique De Lorenzi
author_role author
dc.contributor.none.fl_str_mv Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Cancellier, Luiz Henrique De Lorenzi
dc.contributor.advisor1.fl_str_mv Güntzel, José Luís Almada
dc.contributor.advisor-co1.fl_str_mv Cruz, Luis Alberto da Silva
contributor_str_mv Güntzel, José Luís Almada
Cruz, Luis Alberto da Silva
dc.subject.classification.none.fl_str_mv Computação
Portabilidade (Software)
Redes neurais (Computação)
topic Computação
Portabilidade (Software)
Redes neurais (Computação)
description Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2025.
publishDate 2025
dc.date.accessioned.fl_str_mv 2025-10-13T23:32:54Z
dc.date.available.fl_str_mv 2025-10-13T23:32:54Z
dc.date.issued.fl_str_mv 2025
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufsc.br/handle/123456789/269451
dc.identifier.other.none.fl_str_mv 394141
identifier_str_mv 394141
url https://repositorio.ufsc.br/handle/123456789/269451
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 117 p.| il., tabs.
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
bitstream.url.fl_str_mv https://repositorio.ufsc.br/bitstream/123456789/269451/-1/PGCC1320-T.pdf
bitstream.checksum.fl_str_mv 181df86abec8e27ddedd05995267df96
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv sandra.sobrera@ufsc.br
_version_ 1851759170673442816

Registros relacionados