Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo

Detalhes bibliográficos
Ano de defesa: 2019
Autor(a) principal: Campos, Virginia Pinto
Orientador(a): Gonçalves, Luiz Marcos Garcia
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E DE COMPUTAÇÃO
Departamento: Não Informado pela instituição
País: Brasil
Palavras-chave em Português:
Acessibilidade
Audiodescrição
Descrição de vídeo
Aprendizado profundo
Geração automática
Área do conhecimento CNPq:
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Link de acesso: https://repositorio.ufrn.br/jspui/handle/123456789/28616
Resumo: A audiodescrição é um recurso de acessibilidade projetado para tornar a informação visual acessível a pessoas cegas ou com baixa visão. Para aumentar a oferta de faixas de audiodescrição em aplicações de vídeo digital, propomos um sistema para a geração automática de audiodescrição para vídeos. O sistema pode utilizar como fonte de informação sobre o filme o roteiro original e o próprio vídeo. Como prova de conceito, desenvolvemos um protótipo que gera roteiros de audiodescrição com base em ações extraídas do roteiro e objetos reconhecidos no vídeo. Os experimentos contemplaram a aplicação da solução em filmes de ficção e em vídeos de vigilância. Para os filmes de ficção, foi feita uma avaliação com pessoas cegas. Os resultados indicaram que, através da audiodescrição automática gerada pela solução, foi possível fornecer informações sobre o contexto e que podem auxiliar o usuário no entendimento geral da história. Para os vídeos de vigilância, foi feita uma avaliação de desempenho através da medição do tempo de atraso de cada componente. Os resultados indicaram que a solução tem o potencial para ser utilizada em contextos que exigem AD em tempo-real.
id UFRN_4df86dac0e258366aff9a7f9d2b3de47
oai_identifier_str oai:https://repositorio.ufrn.br:123456789/28616
network_acronym_str UFRN
network_name_str Repositório Institucional da UFRN
repository_id_str
spelling Campos, Virginia PintoGomes, Rafael BeserraSilva, Bruno Marques Ferreira daReis, Ney Robinson Salvi dosAraújo, Tiago Maritan Ugulino deGonçalves, Luiz Marcos Garcia2020-03-20T19:18:15Z2020-03-20T19:18:15Z2019-11-28CAMPOS, Virginia Pinto. Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo. 2019. 92f. Tese (Doutorado em Engenharia Elétrica e de Computação) - Centro de Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2019.https://repositorio.ufrn.br/jspui/handle/123456789/28616A audiodescrição é um recurso de acessibilidade projetado para tornar a informação visual acessível a pessoas cegas ou com baixa visão. Para aumentar a oferta de faixas de audiodescrição em aplicações de vídeo digital, propomos um sistema para a geração automática de audiodescrição para vídeos. O sistema pode utilizar como fonte de informação sobre o filme o roteiro original e o próprio vídeo. Como prova de conceito, desenvolvemos um protótipo que gera roteiros de audiodescrição com base em ações extraídas do roteiro e objetos reconhecidos no vídeo. Os experimentos contemplaram a aplicação da solução em filmes de ficção e em vídeos de vigilância. Para os filmes de ficção, foi feita uma avaliação com pessoas cegas. Os resultados indicaram que, através da audiodescrição automática gerada pela solução, foi possível fornecer informações sobre o contexto e que podem auxiliar o usuário no entendimento geral da história. Para os vídeos de vigilância, foi feita uma avaliação de desempenho através da medição do tempo de atraso de cada componente. Os resultados indicaram que a solução tem o potencial para ser utilizada em contextos que exigem AD em tempo-real.Audio description is an accessibility feature designed to make visual information accessible to blind or low vision people. To increase the range of audio description tracks in digital video applications, we propose a system for automatic audio description generation of videos. The system can use as source of information about the film the original script or the video itself. As a proof of concept, we developed a prototype that automatically generates audio description based on actions taken from the script and objects recognized in the video. The experiments contemplated the application of the solution in fiction films and surveillance videos. For fiction films, an evaluation was made with blind people. The results indicated that through the automatic audio description generated by the solution, it was possible to provide contextual information that can help the user in the general understanding of the story. For surveillance videos, a performance evaluation was made using the delay time of each component. Results indicate that a solution has the potential to be used in contexts that require real-time AD.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPESCNPQ::ENGENHARIAS::ENGENHARIA ELETRICAAcessibilidadeAudiodescriçãoDescrição de vídeoAprendizado profundoGeração automáticaSistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisPROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E DE COMPUTAÇÃOUFRNBrasilinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFRNinstname:Universidade Federal do Rio Grande do Norte (UFRN)instacron:UFRNORIGINALSistemageracaoautomatica_Campos_2019.pdfapplication/pdf5474800https://repositorio.ufrn.br/bitstream/123456789/28616/1/Sistemageracaoautomatica_Campos_2019.pdf7cc07e8bed24b1f108ea2b81a1c8f65eMD51TEXTSistemageracaoautomatica_Campos_2019.pdf.txtSistemageracaoautomatica_Campos_2019.pdf.txtExtracted texttext/plain215178https://repositorio.ufrn.br/bitstream/123456789/28616/2/Sistemageracaoautomatica_Campos_2019.pdf.txt6339a088ce74e1fafa492a1c9043d28dMD52THUMBNAILSistemageracaoautomatica_Campos_2019.pdf.jpgSistemageracaoautomatica_Campos_2019.pdf.jpgGenerated Thumbnailimage/jpeg1471https://repositorio.ufrn.br/bitstream/123456789/28616/3/Sistemageracaoautomatica_Campos_2019.pdf.jpgb1898a2a86e36c12b041f04bc30f94a8MD53123456789/286162020-03-22 04:46:55.593oai:https://repositorio.ufrn.br:123456789/28616Repositório de PublicaçõesPUBhttp://repositorio.ufrn.br/oai/opendoar:2020-03-22T07:46:55Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)false
dc.title.pt_BR.fl_str_mv Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo
title Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo
spellingShingle Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo
Campos, Virginia Pinto
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Acessibilidade
Audiodescrição
Descrição de vídeo
Aprendizado profundo
Geração automática
title_short Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo
title_full Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo
title_fullStr Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo
title_full_unstemmed Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo
title_sort Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo
author Campos, Virginia Pinto
author_facet Campos, Virginia Pinto
author_role author
dc.contributor.authorID.pt_BR.fl_str_mv
dc.contributor.advisorID.pt_BR.fl_str_mv
dc.contributor.referees1.none.fl_str_mv Gomes, Rafael Beserra
dc.contributor.referees1ID.pt_BR.fl_str_mv
dc.contributor.referees2.none.fl_str_mv Silva, Bruno Marques Ferreira da
dc.contributor.referees2ID.pt_BR.fl_str_mv
dc.contributor.referees3.none.fl_str_mv Reis, Ney Robinson Salvi dos
dc.contributor.referees3ID.pt_BR.fl_str_mv
dc.contributor.referees4.none.fl_str_mv Araújo, Tiago Maritan Ugulino de
dc.contributor.referees4ID.pt_BR.fl_str_mv
dc.contributor.author.fl_str_mv Campos, Virginia Pinto
dc.contributor.advisor1.fl_str_mv Gonçalves, Luiz Marcos Garcia
contributor_str_mv Gonçalves, Luiz Marcos Garcia
dc.subject.cnpq.fl_str_mv CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
topic CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Acessibilidade
Audiodescrição
Descrição de vídeo
Aprendizado profundo
Geração automática
dc.subject.por.fl_str_mv Acessibilidade
Audiodescrição
Descrição de vídeo
Aprendizado profundo
Geração automática
description A audiodescrição é um recurso de acessibilidade projetado para tornar a informação visual acessível a pessoas cegas ou com baixa visão. Para aumentar a oferta de faixas de audiodescrição em aplicações de vídeo digital, propomos um sistema para a geração automática de audiodescrição para vídeos. O sistema pode utilizar como fonte de informação sobre o filme o roteiro original e o próprio vídeo. Como prova de conceito, desenvolvemos um protótipo que gera roteiros de audiodescrição com base em ações extraídas do roteiro e objetos reconhecidos no vídeo. Os experimentos contemplaram a aplicação da solução em filmes de ficção e em vídeos de vigilância. Para os filmes de ficção, foi feita uma avaliação com pessoas cegas. Os resultados indicaram que, através da audiodescrição automática gerada pela solução, foi possível fornecer informações sobre o contexto e que podem auxiliar o usuário no entendimento geral da história. Para os vídeos de vigilância, foi feita uma avaliação de desempenho através da medição do tempo de atraso de cada componente. Os resultados indicaram que a solução tem o potencial para ser utilizada em contextos que exigem AD em tempo-real.
publishDate 2019
dc.date.issued.fl_str_mv 2019-11-28
dc.date.accessioned.fl_str_mv 2020-03-20T19:18:15Z
dc.date.available.fl_str_mv 2020-03-20T19:18:15Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv CAMPOS, Virginia Pinto. Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo. 2019. 92f. Tese (Doutorado em Engenharia Elétrica e de Computação) - Centro de Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2019.
dc.identifier.uri.fl_str_mv https://repositorio.ufrn.br/jspui/handle/123456789/28616
identifier_str_mv CAMPOS, Virginia Pinto. Sistema de geração automática de audiodescrição a partir de análise de conteúdo de vídeo. 2019. 92f. Tese (Doutorado em Engenharia Elétrica e de Computação) - Centro de Tecnologia, Universidade Federal do Rio Grande do Norte, Natal, 2019.
url https://repositorio.ufrn.br/jspui/handle/123456789/28616
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.program.fl_str_mv PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E DE COMPUTAÇÃO
dc.publisher.initials.fl_str_mv UFRN
dc.publisher.country.fl_str_mv Brasil
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRN
instname:Universidade Federal do Rio Grande do Norte (UFRN)
instacron:UFRN
instname_str Universidade Federal do Rio Grande do Norte (UFRN)
instacron_str UFRN
institution UFRN
reponame_str Repositório Institucional da UFRN
collection Repositório Institucional da UFRN
bitstream.url.fl_str_mv https://repositorio.ufrn.br/bitstream/123456789/28616/1/Sistemageracaoautomatica_Campos_2019.pdf
https://repositorio.ufrn.br/bitstream/123456789/28616/2/Sistemageracaoautomatica_Campos_2019.pdf.txt
https://repositorio.ufrn.br/bitstream/123456789/28616/3/Sistemageracaoautomatica_Campos_2019.pdf.jpg
bitstream.checksum.fl_str_mv 7cc07e8bed24b1f108ea2b81a1c8f65e
6339a088ce74e1fafa492a1c9043d28d
b1898a2a86e36c12b041f04bc30f94a8
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)
repository.mail.fl_str_mv
_version_ 1797777770854481920

Registros relacionados