Deep learning based objective quality assessment of multidimensional visual content

Detalhes bibliográficos
Ano de defesa: 2022
Autor(a) principal: Alamgeer, Sana
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Qualidade visual
Campos de luz 4D
Atenção visual
Aprendizado profundo
Recursos de gargalo
Link de acesso: https://repositorio.unb.br/handle/10482/45117
Resumo: Tese (doutorado) — Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2022.
id UNB_7fba409888cda93f4ce71174b8fd7a34
oai_identifier_str oai:repositorio.unb.br:10482/45117
network_acronym_str UNB
network_name_str Repositório Institucional da UnB
repository_id_str
spelling Deep learning based objective quality assessment of multidimensional visual contentQualidade visualCampos de luz 4DAtenção visualAprendizado profundoRecursos de gargaloTese (doutorado) — Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2022.Na última década, houve um tremendo aumento na popularidade dos aplicativos multimídia, aumentando assim o conteúdo multimídia. Quando esses conteúdossão gerados, transmitidos, reconstruídos e compartilhados, seus valores de pixel originais são transformados. Nesse cenário, torna-se mais crucial e exigente avaliar a qualidade visual do conteúdo visual afetado para que os requisitos dos usuários finais sejam atendidos. Neste trabalho, investigamos recursos espaciais, temporais e angulares eficazes desenvolvendo algoritmos sem referência que avaliam a qualidade visual de conteúdo visual multidimensional distorcido. Usamos algoritmos de aprendizado de máquina e aprendizado profundo para obter precisão de previsão.Para avaliação de qualidade de imagem bidimensional (2D), usamos padrões binários locais multiescala e informações de saliência e treinamos/testamos esses recursos usando o Random Forest Regressor. Para avaliação de qualidade de vídeo 2D, apresentamos um novo conceito de saliência espacial e temporal e pontuações de qualidade objetivas personalizadas. Usamos um modelo leve baseado em Rede Neural Convolucional (CNN) para treinamento e teste em patches selecionados de quadros de vídeo.Para avaliação objetiva da qualidade de imagens de campo de luz (LFI) em quatro dimensões (4D), propomos sete métodos de avaliação de qualidade LFI (LF-IQA) no total. Considerando que o LFI é composto por multi-views densas, Inspired by Human Visual System (HVS), propomos nosso primeiro método LF-IQA que é baseado em uma arquitetura CNN de dois fluxos. O segundo e terceiro métodos LF-IQA também são baseados em uma arquitetura de dois fluxos, que incorpora CNN, Long Short-Term Memory (LSTM) e diversos recursos de gargalo. O quarto LF-IQA é baseado nas camadas CNN e Atrous Convolution (ACL), enquanto o quinto método usa as camadas CNN, ACL e LSTM. O sexto método LF-IQA também é baseado em uma arquitetura de dois fluxos, na qual EPIs horizontais e verticais são processados no domínio da frequência. Por último, mas não menos importante, o sétimo método LF-IQA é baseado em uma Rede Neural Convolucional de Gráfico. Para todos os métodos mencionados acima, realizamos experimentos intensivos e os resultados mostram que esses métodos superaram os métodos de última geração em conjuntos de dados de qualidade populares.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES).In the last decade, there has been a tremendous increase in the popularity of multimedia applications, hence increasing multimedia content. When these contents are generated, transmitted, reconstructed and shared, their original pixel values are transformed. In this scenario, it becomes more crucial and demanding to assess visual quality of the affected visual content so that the requirements of end-users are satisfied. In this work, we investigate effective spatial, temporal, and angular features by developing no-reference algorithms that assess the visual quality of distorted multi-dimensional visual content. We use machine learning and deep learning algorithms to obtain prediction accuracy. For two-dimensional (2D) image quality assessment, we use multiscale local binary patterns and saliency information, and train / test these features using Random Forest Regressor. For 2D video quality assessment, we introduce a novel concept of spatial and temporal saliency and custom objective quality scores. We use a Convolutional Neural Network (CNN) based light-weight model for training and testing on selected patches of video frames. For objective quality assessment of four-dimensional (4D) light field images (LFI), we propose seven LFI quality assessment (LF-IQA) methods in total. Considering that LFI is composed of dense multi-views, Inspired by Human Visual System (HVS), we propose our first LF-IQA method that is based on a two-streams CNN architecture. The second and third LF-IQA methods are also based on a two-stream architecture, which incorporates CNN, Long Short-Term Memory (LSTM), and diverse bottleneck features. The fourth LF-IQA is based on CNN and Atrous Convolution layers (ACL), while the fifth method uses CNN, ACL, and LSTM layers. The sixth LF-IQA method is also based on a two-stream architecture, in which, horizontal and vertical EPIs are processed in the frequency domain. Last, but not least, the seventh LF-IQA method is based on a Graph Convolutional Neural Network. For all of the methods mentioned above, we performed intensive experiments, and the results show that these methods outperformed state-of-the-art methods on popular quality datasets.Faculdade de Tecnologia (FT)Departamento de Engenharia Elétrica (FT ENE)Farias, Mylène Christine Queiroz desanaalamgeer@gmail.comAlamgeer, Sana2022-11-04T22:13:49Z2022-11-04T22:13:49Z2022-11-042022-07-01info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfALAMGEER, Sana. Deep learning based objective quality assessment of multidimensional visual content. 2022. xvii, 357 f., il. Tese (Doutorado em Engenharia Elétrica) — Universidade de Brasília, Brasília, 2022.https://repositorio.unb.br/handle/10482/45117engA concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor com as seguintes condições: Na qualidade de titular dos direitos de autor da publicação, autorizo a Universidade de Brasília e o IBICT a disponibilizar por meio dos sites www.bce.unb.br, www.ibict.br, http://hercules.vtls.com/cgi-bin/ndltd/chameleon?lng=pt&skin=ndltd sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o texto integral da obra disponibilizada, conforme permissões assinaladas, para fins de leitura, impressão e/ou download, a título de divulgação da produção científica brasileira, a partir desta data.info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UnBinstname:Universidade de Brasília (UnB)instacron:UNB2025-03-19T16:20:52Zoai:repositorio.unb.br:10482/45117Repositório InstitucionalPUBhttps://repositorio.unb.br/oai/requestrepositorio@unb.bropendoar:2025-03-19T16:20:52Repositório Institucional da UnB - Universidade de Brasília (UnB)false
dc.title.none.fl_str_mv Deep learning based objective quality assessment of multidimensional visual content
title Deep learning based objective quality assessment of multidimensional visual content
spellingShingle Deep learning based objective quality assessment of multidimensional visual content
Alamgeer, Sana
Qualidade visual
Campos de luz 4D
Atenção visual
Aprendizado profundo
Recursos de gargalo
title_short Deep learning based objective quality assessment of multidimensional visual content
title_full Deep learning based objective quality assessment of multidimensional visual content
title_fullStr Deep learning based objective quality assessment of multidimensional visual content
title_full_unstemmed Deep learning based objective quality assessment of multidimensional visual content
title_sort Deep learning based objective quality assessment of multidimensional visual content
author Alamgeer, Sana
author_facet Alamgeer, Sana
author_role author
dc.contributor.none.fl_str_mv Farias, Mylène Christine Queiroz de
sanaalamgeer@gmail.com
dc.contributor.author.fl_str_mv Alamgeer, Sana
dc.subject.por.fl_str_mv Qualidade visual
Campos de luz 4D
Atenção visual
Aprendizado profundo
Recursos de gargalo
topic Qualidade visual
Campos de luz 4D
Atenção visual
Aprendizado profundo
Recursos de gargalo
description Tese (doutorado) — Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2022.
publishDate 2022
dc.date.none.fl_str_mv 2022-11-04T22:13:49Z
2022-11-04T22:13:49Z
2022-11-04
2022-07-01
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv ALAMGEER, Sana. Deep learning based objective quality assessment of multidimensional visual content. 2022. xvii, 357 f., il. Tese (Doutorado em Engenharia Elétrica) — Universidade de Brasília, Brasília, 2022.
https://repositorio.unb.br/handle/10482/45117
identifier_str_mv ALAMGEER, Sana. Deep learning based objective quality assessment of multidimensional visual content. 2022. xvii, 357 f., il. Tese (Doutorado em Engenharia Elétrica) — Universidade de Brasília, Brasília, 2022.
url https://repositorio.unb.br/handle/10482/45117
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UnB
instname:Universidade de Brasília (UnB)
instacron:UNB
instname_str Universidade de Brasília (UnB)
instacron_str UNB
institution UNB
reponame_str Repositório Institucional da UnB
collection Repositório Institucional da UnB
repository.name.fl_str_mv Repositório Institucional da UnB - Universidade de Brasília (UnB)
repository.mail.fl_str_mv repositorio@unb.br
_version_ 1839083760764583936

Registros relacionados