Spatial-temporal reasoning in symbolic neural network for semantic interpretation of videos

Detalhes bibliográficos
Ano de defesa: 2022
Autor(a) principal: Tenório, Milena Rodrigues
Outros Autores: http://lattes.cnpq.br/6956100919315911
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Universidade Federal do Amazonas
Instituto de Computação
Brasil
UFAM
Programa de Pós-graduação em Informática
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Processamento de imagens
Videos
Análise de imagem
CIENCIAS EXATAS E DA TERRA
Neural-symbolic
Semantic interpretation of video
Spatial-temporal reasoning
Link de acesso: https://tede.ufam.edu.br/handle/tede/9003
Resumo: The Semantic Video Interpretation field of study looks for ways to model the information in videos. Existing methods can be divided into generic and specialized methods; the former can efficiently categorize information while the latter does not perform well for generic data. One way for researchers to deal with this impasse, in other fields of study, is to use the knowledge and basic restrictions on it. For this, we use neural-symbolic reasoning. Our hypothesis is to use a neural-symbolic network to extract information from images in a video to model this information, and finally perform reasoning to extract the semantic description. For this purpose, three main steps were chosen: (1) identification of the objects in the video images, (2) identification of the spatial relations in frame groups, and (3) analysis of the temporal relations found.
id UFAM_37e510a4c49ad1fc9af36ce36be9173c
oai_identifier_str oai:https://tede.ufam.edu.br/handle/:tede/9003
network_acronym_str UFAM
network_name_str Biblioteca Digital de Teses e Dissertações da UFAM
repository_id_str
spelling Spatial-temporal reasoning in symbolic neural network for semantic interpretation of videosRaciocínio espaço-temporal em rede neural simbólica para interpretação semântica de vídeosProcessamento de imagensVideosAnálise de imagemCIENCIAS EXATAS E DA TERRANeural-symbolicSemantic interpretation of videoSpatial-temporal reasoningThe Semantic Video Interpretation field of study looks for ways to model the information in videos. Existing methods can be divided into generic and specialized methods; the former can efficiently categorize information while the latter does not perform well for generic data. One way for researchers to deal with this impasse, in other fields of study, is to use the knowledge and basic restrictions on it. For this, we use neural-symbolic reasoning. Our hypothesis is to use a neural-symbolic network to extract information from images in a video to model this information, and finally perform reasoning to extract the semantic description. For this purpose, three main steps were chosen: (1) identification of the objects in the video images, (2) identification of the spatial relations in frame groups, and (3) analysis of the temporal relations found.O campo de estudo sobre Interpretação Semântica de Vídeos procura maneiras de modelar as informações existentes nos vídeos. Os métodos existentes podem ser divididos em métodos genéricos e especializados, o primeiro é capaz de categorizar as informações com eficiência e o especialista não tem um bom desempenho para dados genéricos. Uma maneira de os pesquisadores lidarem com esse impasse, em outros campos de estudo, é usar o conhecimento e as restrições sobre ele. Para isso, usamos o raciocínio neural-simbólico. Nossa hipótese é usar uma rede neural simbólica para extrair informações de imagens de um vídeo para modelar essas informações, e enfim realizar raciocínio para extração da descrição semântica. Para tal propósito foram escolhidos três principais etapas (1) identificação dos objetos nas imagens do vídeo, (2) identificação das relações espaciais em grupos de frames e (3) analise das relações temporais encontradas, através dessas etapas identificamos com esta pesquisa que é possível inferirmos as ações que acontecem em um vídeo através do algoritmo proposto.CNPq - Conselho Nacional de Desenvolvimento Científico e TecnológicoTrabalhos relacionados e artigos publicados.Universidade Federal do AmazonasInstituto de ComputaçãoBrasilUFAMPrograma de Pós-graduação em InformáticaMota, Edjard de Souzahttp://lattes.cnpq.br/0757666181169076Fonseca, Paulo Cesarhttp://lattes.cnpq.br/3639575844521754Giusti, Rafaelhttp://lattes.cnpq.br/0613781010575440Tenório, Milena Rodrigueshttp://lattes.cnpq.br/69561009193159112022-08-09T16:03:01Z2022-03-18info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfTENORIO, Milena Rodrigues. Spatial-temporal reasoning in symbolic neural network for semantic interpretation of videos. 2022. 67 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas, Manaus (AM), 2022.https://tede.ufam.edu.br/handle/tede/9003enghttp://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFAMinstname:Universidade Federal do Amazonas (UFAM)instacron:UFAM2022-08-10T05:03:32Zoai:https://tede.ufam.edu.br/handle/:tede/9003Biblioteca Digital de Teses e Dissertaçõeshttp://200.129.163.131:8080/PUBhttp://200.129.163.131:8080/oai/requestddbc@ufam.edu.br||ddbc@ufam.edu.bropendoar:65922022-08-10T05:03:32Biblioteca Digital de Teses e Dissertações da UFAM - Universidade Federal do Amazonas (UFAM)false
dc.title.none.fl_str_mv Spatial-temporal reasoning in symbolic neural network for semantic interpretation of videos
Raciocínio espaço-temporal em rede neural simbólica para interpretação semântica de vídeos
title Spatial-temporal reasoning in symbolic neural network for semantic interpretation of videos
spellingShingle Spatial-temporal reasoning in symbolic neural network for semantic interpretation of videos
Tenório, Milena Rodrigues
Processamento de imagens
Videos
Análise de imagem
CIENCIAS EXATAS E DA TERRA
Neural-symbolic
Semantic interpretation of video
Spatial-temporal reasoning
title_short Spatial-temporal reasoning in symbolic neural network for semantic interpretation of videos
title_full Spatial-temporal reasoning in symbolic neural network for semantic interpretation of videos
title_fullStr Spatial-temporal reasoning in symbolic neural network for semantic interpretation of videos
title_full_unstemmed Spatial-temporal reasoning in symbolic neural network for semantic interpretation of videos
title_sort Spatial-temporal reasoning in symbolic neural network for semantic interpretation of videos
author Tenório, Milena Rodrigues
author_facet Tenório, Milena Rodrigues
http://lattes.cnpq.br/6956100919315911
author_role author
author2 http://lattes.cnpq.br/6956100919315911
author2_role author
dc.contributor.none.fl_str_mv Mota, Edjard de Souza
http://lattes.cnpq.br/0757666181169076
Fonseca, Paulo Cesar
http://lattes.cnpq.br/3639575844521754
Giusti, Rafael
http://lattes.cnpq.br/0613781010575440
dc.contributor.author.fl_str_mv Tenório, Milena Rodrigues
http://lattes.cnpq.br/6956100919315911
dc.subject.por.fl_str_mv Processamento de imagens
Videos
Análise de imagem
CIENCIAS EXATAS E DA TERRA
Neural-symbolic
Semantic interpretation of video
Spatial-temporal reasoning
topic Processamento de imagens
Videos
Análise de imagem
CIENCIAS EXATAS E DA TERRA
Neural-symbolic
Semantic interpretation of video
Spatial-temporal reasoning
description The Semantic Video Interpretation field of study looks for ways to model the information in videos. Existing methods can be divided into generic and specialized methods; the former can efficiently categorize information while the latter does not perform well for generic data. One way for researchers to deal with this impasse, in other fields of study, is to use the knowledge and basic restrictions on it. For this, we use neural-symbolic reasoning. Our hypothesis is to use a neural-symbolic network to extract information from images in a video to model this information, and finally perform reasoning to extract the semantic description. For this purpose, three main steps were chosen: (1) identification of the objects in the video images, (2) identification of the spatial relations in frame groups, and (3) analysis of the temporal relations found.
publishDate 2022
dc.date.none.fl_str_mv 2022-08-09T16:03:01Z
2022-03-18
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv TENORIO, Milena Rodrigues. Spatial-temporal reasoning in symbolic neural network for semantic interpretation of videos. 2022. 67 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas, Manaus (AM), 2022.
https://tede.ufam.edu.br/handle/tede/9003
identifier_str_mv TENORIO, Milena Rodrigues. Spatial-temporal reasoning in symbolic neural network for semantic interpretation of videos. 2022. 67 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas, Manaus (AM), 2022.
url https://tede.ufam.edu.br/handle/tede/9003
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal do Amazonas
Instituto de Computação
Brasil
UFAM
Programa de Pós-graduação em Informática
publisher.none.fl_str_mv Universidade Federal do Amazonas
Instituto de Computação
Brasil
UFAM
Programa de Pós-graduação em Informática
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFAM
instname:Universidade Federal do Amazonas (UFAM)
instacron:UFAM
instname_str Universidade Federal do Amazonas (UFAM)
instacron_str UFAM
institution UFAM
reponame_str Biblioteca Digital de Teses e Dissertações da UFAM
collection Biblioteca Digital de Teses e Dissertações da UFAM
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFAM - Universidade Federal do Amazonas (UFAM)
repository.mail.fl_str_mv ddbc@ufam.edu.br||ddbc@ufam.edu.br
_version_ 1809740059885174784

Registros relacionados