Real-time highlight removal from a single image

Detalhes bibliográficos
Ano de defesa: 2021
Autor(a) principal: Ramos, Vítor Saraiva
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal do Rio Grande do Norte
Brasil
UFRN
PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E DE COMPUTAÇÃO
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: https://repositorio.ufrn.br/handle/123456789/32626
Resumo: The problem of highlight removal from image data refers to an open problem in computer vision concerning the estimation of specular reflection components and the removal thereof. In recent applications, highlight removal methods have been employed for the reproduction of specular highlights on high dynamic range (HDR) displays; to increase glossiness of images in specular reflection control technologies; to improve image quality in display systems such as TVs; and to enhance the dynamic range of low dynamic range (LDR) images. However, the underlying processing required by state-of-the-art methods is computationally expensive and does not meet real-time operational requirements in image processing pipelines found in consumer electronics applications. In addition, these applications may require that methods work with a single frame in imaging or video streams. Thus, this work proposes a novel method for the real-time removal of specular highlights from a single image. The essence of the proposed method consists in matching the histogram of the luminance component of a pseudo-specular-free representation using as reference the luminance component of the input image. The operations performed by the proposed method have, at most, linear time complexity. In experimental evaluations, the proposed method is capable of matching or improving upon state-of-the-art results on the task of diffuse reflection component estimation from a single image, while being 5× faster than the method with the best computational time and 1500× faster than the method with the best results. The proposed method has high industrial applicability, and targeted use cases can take advantage of contributions of this work by incorporating the proposed method as a building block in image processing pipelines.
id UFRN_df213dfd2458bd165c24ef52bbe0f4c3
oai_identifier_str oai:repositorio.ufrn.br:123456789/32626
network_acronym_str UFRN
network_name_str Repositório Institucional da UFRN
repository_id_str
spelling Real-time highlight removal from a single imageImage color analysisImage enhancementImage processingImage texture analysisThe problem of highlight removal from image data refers to an open problem in computer vision concerning the estimation of specular reflection components and the removal thereof. In recent applications, highlight removal methods have been employed for the reproduction of specular highlights on high dynamic range (HDR) displays; to increase glossiness of images in specular reflection control technologies; to improve image quality in display systems such as TVs; and to enhance the dynamic range of low dynamic range (LDR) images. However, the underlying processing required by state-of-the-art methods is computationally expensive and does not meet real-time operational requirements in image processing pipelines found in consumer electronics applications. In addition, these applications may require that methods work with a single frame in imaging or video streams. Thus, this work proposes a novel method for the real-time removal of specular highlights from a single image. The essence of the proposed method consists in matching the histogram of the luminance component of a pseudo-specular-free representation using as reference the luminance component of the input image. The operations performed by the proposed method have, at most, linear time complexity. In experimental evaluations, the proposed method is capable of matching or improving upon state-of-the-art results on the task of diffuse reflection component estimation from a single image, while being 5× faster than the method with the best computational time and 1500× faster than the method with the best results. The proposed method has high industrial applicability, and targeted use cases can take advantage of contributions of this work by incorporating the proposed method as a building block in image processing pipelines.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPESO problema da remoção de realces especulares em dados de imagem refere-se a um problema em aberto em visão computacional relativo à estimativa dos componentes de reflexão especular e à remoção dos mesmos. Em aplicações recentes, métodos de remoção de realces especulares têm sido empregados para a reprodução de realces especulares em monitores de alta faixa dinâmica (HDR); para aumentar o brilho das imagens em tecnologias de controle de reflexão especular; para melhorar a qualidade da imagem em dispositivos de visualização como TVs; e para melhorar a faixa dinâmica de imagens de baixa faixa dinâmica (LDR). No entanto, o processamento subjacente exigido pelos métodos do estado da arte é computacionalmente dispendioso e não atende aos requisitos operacionais de processamento em tempo real de pipelines de processamento de imagem encontrados em aplicações em eletrônica de consumo. Além disso, essas aplicações podem exigir que os métodos trabalhem com um único quadro em circuitos de processamento de imagens ou de vídeos. Assim, este trabalho propõe um novo método para a remoção em tempo real de realces especulares em uma única imagem. A essência do método proposto consiste em casar o histograma do componente de luminância de uma representação pseudolivre de especularidades, usando como referência o componente de luminância da imagem de entrada. As operações realizadas pelo método proposto têm, no máximo, complexidade de tempo linear. Nas avaliações experimentais, o método proposto é capaz de alcançar ou superar os resultados do estado da arte na tarefa de estimativa do componente de reflexão difusa a partir de uma única imagem, sendo 5× mais rápido do que o método com o melhor tempo computacional e 1500× mais rápido do que o método com os melhores resultados. O método proposto tem alta aplicabilidade industrial, e as aplicações visadas podem usufruir das contribuições deste trabalho, incorporando o método proposto como um componente básico em pipelines de processamento de imagem.Universidade Federal do Rio Grande do NorteBrasilUFRNPROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E DE COMPUTAÇÃOSilveira, Luiz Felipe de Queirozhttp://lattes.cnpq.br/8826091429362301http://lattes.cnpq.br/4139452169580807Silveira Júnior, Luiz Gonzaga de Queirozhttp://lattes.cnpq.br/5714183212530259Gomes, Rafael Beserrahttp://lattes.cnpq.br/5849107545126304Bernardino Júnior, Francisco MadeirosRamos, Vítor Saraiva2021-06-09T18:44:42Z2021-06-09T18:44:42Z2021-03-31info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfRAMOS, Vítor Saraiva. Real-time highlight removal from a single image. 2021. 66f. Dissertação (Mestrado em Engenharia Elétrica e de Computação) - Centro de Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2021.https://repositorio.ufrn.br/handle/123456789/32626info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFRNinstname:Universidade Federal do Rio Grande do Norte (UFRN)instacron:UFRN2021-06-09T18:45:44Zoai:repositorio.ufrn.br:123456789/32626Repositório InstitucionalPUBhttp://repositorio.ufrn.br/oai/repositorio@bczm.ufrn.bropendoar:2021-06-09T18:45:44Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)false
dc.title.none.fl_str_mv Real-time highlight removal from a single image
title Real-time highlight removal from a single image
spellingShingle Real-time highlight removal from a single image
Ramos, Vítor Saraiva
Image color analysis
Image enhancement
Image processing
Image texture analysis
title_short Real-time highlight removal from a single image
title_full Real-time highlight removal from a single image
title_fullStr Real-time highlight removal from a single image
title_full_unstemmed Real-time highlight removal from a single image
title_sort Real-time highlight removal from a single image
author Ramos, Vítor Saraiva
author_facet Ramos, Vítor Saraiva
author_role author
dc.contributor.none.fl_str_mv Silveira, Luiz Felipe de Queiroz

http://lattes.cnpq.br/8826091429362301

http://lattes.cnpq.br/4139452169580807
Silveira Júnior, Luiz Gonzaga de Queiroz

http://lattes.cnpq.br/5714183212530259
Gomes, Rafael Beserra

http://lattes.cnpq.br/5849107545126304
Bernardino Júnior, Francisco Madeiros

dc.contributor.author.fl_str_mv Ramos, Vítor Saraiva
dc.subject.por.fl_str_mv Image color analysis
Image enhancement
Image processing
Image texture analysis
topic Image color analysis
Image enhancement
Image processing
Image texture analysis
description The problem of highlight removal from image data refers to an open problem in computer vision concerning the estimation of specular reflection components and the removal thereof. In recent applications, highlight removal methods have been employed for the reproduction of specular highlights on high dynamic range (HDR) displays; to increase glossiness of images in specular reflection control technologies; to improve image quality in display systems such as TVs; and to enhance the dynamic range of low dynamic range (LDR) images. However, the underlying processing required by state-of-the-art methods is computationally expensive and does not meet real-time operational requirements in image processing pipelines found in consumer electronics applications. In addition, these applications may require that methods work with a single frame in imaging or video streams. Thus, this work proposes a novel method for the real-time removal of specular highlights from a single image. The essence of the proposed method consists in matching the histogram of the luminance component of a pseudo-specular-free representation using as reference the luminance component of the input image. The operations performed by the proposed method have, at most, linear time complexity. In experimental evaluations, the proposed method is capable of matching or improving upon state-of-the-art results on the task of diffuse reflection component estimation from a single image, while being 5× faster than the method with the best computational time and 1500× faster than the method with the best results. The proposed method has high industrial applicability, and targeted use cases can take advantage of contributions of this work by incorporating the proposed method as a building block in image processing pipelines.
publishDate 2021
dc.date.none.fl_str_mv 2021-06-09T18:44:42Z
2021-06-09T18:44:42Z
2021-03-31
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv RAMOS, Vítor Saraiva. Real-time highlight removal from a single image. 2021. 66f. Dissertação (Mestrado em Engenharia Elétrica e de Computação) - Centro de Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2021.
https://repositorio.ufrn.br/handle/123456789/32626
identifier_str_mv RAMOS, Vítor Saraiva. Real-time highlight removal from a single image. 2021. 66f. Dissertação (Mestrado em Engenharia Elétrica e de Computação) - Centro de Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2021.
url https://repositorio.ufrn.br/handle/123456789/32626
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal do Rio Grande do Norte
Brasil
UFRN
PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E DE COMPUTAÇÃO
publisher.none.fl_str_mv Universidade Federal do Rio Grande do Norte
Brasil
UFRN
PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E DE COMPUTAÇÃO
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRN
instname:Universidade Federal do Rio Grande do Norte (UFRN)
instacron:UFRN
instname_str Universidade Federal do Rio Grande do Norte (UFRN)
instacron_str UFRN
institution UFRN
reponame_str Repositório Institucional da UFRN
collection Repositório Institucional da UFRN
repository.name.fl_str_mv Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)
repository.mail.fl_str_mv repositorio@bczm.ufrn.br
_version_ 1855758707362627584