Análise de métodos de reconhecimento de comportamento humano em ambientes domésticos utilizando sensores RGB+D

Detalhes bibliográficos
Ano de defesa: 2021
Autor(a) principal: Grassl, E. de B.
Orientador(a): Aquino Junior, Plínio T.
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Centro Universitário FEI, São Bernardo do Campo
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
reconhecimento de ações humanas
kinect
graph convolutional networks
Link de acesso: https://repositorio.fei.edu.br/handle/FEI/3227
https://doi.org/10.31414/EE.2021.D.131338
Resumo: trabalho proposto busca realizar uma revisão bibliográfica para levantar as bases de dados e reconhecedores de ações estado da arte na literatura recente, além de selecionar dois reconhecedores para compará-los. De acordo com o estudo realizado, os reconhecedores baseados em esqueletos 3D se mostraram promissores e os dois com maior desempenho foram selecionados: MS-G3D e Shift-GCN. Por outro lado, as bases de dados escolhidas foram a NTU RGB+D 120, com 11480 amostras e 120 classes, e a NTU RGB+D HOME, obtida por um subconjunto da NTU RGB+D 120 de 23784 amostras e 25 classes com o foco em ações realizadas em ambientes domésticos ou relacionadas à saúde. Assim, 12 configurações dos reconhecedores selecionados foram criadas e comparadas nas bases de dados propostas pelos métodos cross-subject e cross-setup, onde todas mostraram desempenhos estado da arte de até 85,80% para a base de dados NTU RGB+D 120 e até 84,32% para a NT RGB+D HOME. Além disso, foi possível observar que os reconhecedores baseados em esqueletos 3D são mais robustos em relação a ambientes e perspectivas diferentes e que as informações das arestas entre as juntas ou as movimentação entre as juntas dos esqueletos 3D em frames adjacentes resultaram em um maior desempenho dos reconhecedores. Por último, é possível observar que a fusão dos resultados de reconhecedores treinados com informações diferentes pode trazer um aumento considerável de seus desempenhos. Espera-se que o estudo realizado neste trabalho pode ser utilizado para guiar outros pesquisadores para a seleção de bases de dados e reconhecedores de ações, além de auxiliar a equipe do programa RoboFEI@HOME a incrementar a plataforma robótica HERA com capacidades de reconhecimento de comportamento humano.
id FEI_5bf75d207caa0ea9407bdacec57122f8
oai_identifier_str oai:repositorio.fei.edu.br:FEI/3227
network_acronym_str FEI
network_name_str Repositório do Conhecimento Institucional do Centro Universitário da Fundação Educacional Inaciana (FEI)
repository_id_str
spelling Grassl, E. de B.Aquino Junior, Plínio T.2021-06-09T14:05:27Z2021-06-09T14:05:27Z2021GRASSL, E. de B. <b> Análise de métodos de reconhecimento de comportamento humano em ambientes domésticos utilizando sensores RGB+D. </b> São Bernardo do Campo, 2021. 90 f. Dissertação (Mestrado em Engenharia Elétrica) - Centro Universitário FEI, São Bernardo do Campo, 2021 Disponível em: https://doi.org/10.31414/EE.2021.D.131338.https://repositorio.fei.edu.br/handle/FEI/3227https://doi.org/10.31414/EE.2021.D.131338trabalho proposto busca realizar uma revisão bibliográfica para levantar as bases de dados e reconhecedores de ações estado da arte na literatura recente, além de selecionar dois reconhecedores para compará-los. De acordo com o estudo realizado, os reconhecedores baseados em esqueletos 3D se mostraram promissores e os dois com maior desempenho foram selecionados: MS-G3D e Shift-GCN. Por outro lado, as bases de dados escolhidas foram a NTU RGB+D 120, com 11480 amostras e 120 classes, e a NTU RGB+D HOME, obtida por um subconjunto da NTU RGB+D 120 de 23784 amostras e 25 classes com o foco em ações realizadas em ambientes domésticos ou relacionadas à saúde. Assim, 12 configurações dos reconhecedores selecionados foram criadas e comparadas nas bases de dados propostas pelos métodos cross-subject e cross-setup, onde todas mostraram desempenhos estado da arte de até 85,80% para a base de dados NTU RGB+D 120 e até 84,32% para a NT RGB+D HOME. Além disso, foi possível observar que os reconhecedores baseados em esqueletos 3D são mais robustos em relação a ambientes e perspectivas diferentes e que as informações das arestas entre as juntas ou as movimentação entre as juntas dos esqueletos 3D em frames adjacentes resultaram em um maior desempenho dos reconhecedores. Por último, é possível observar que a fusão dos resultados de reconhecedores treinados com informações diferentes pode trazer um aumento considerável de seus desempenhos. Espera-se que o estudo realizado neste trabalho pode ser utilizado para guiar outros pesquisadores para a seleção de bases de dados e reconhecedores de ações, além de auxiliar a equipe do programa RoboFEI@HOME a incrementar a plataforma robótica HERA com capacidades de reconhecimento de comportamento humano.The purpose of this project is to review the bibliography in order to understand the characteristics of the state-of-the-art databases and recognition methods for human action and to evaluate two of the studied methods. According to the recent literature, the 3D skeleton based methods have shown promising results, thus the two methods with better performance were selected: MS-G3D and Shift-GCN. On the other hand, to train these methods, the NTU RGB+D 120 database, composed by 114480 samples from 120 classes, and the NTU RGB+D HOME, composed by 23784 samples and 25 classes from a subset of the NTU RGB+D 120 database, where selected. Twelve configurations of the MS-G3D and Shift-GCN where created and evaluated in the proposed databases by the cross-subject and cross-setup methods where state-of-the-art performance was achieved with results up to 85,80% and 84,32% for the NTU RGB+D 120 and NTU RGB+D HOME databases, respectively. Furthermore, the 3D skeleton bases methods achieved a better performance on the cross-setup evaluation where different environments and view points where tested. Also, the configurations trained with bone information and joint motion information presented higher performance. At last, the results indicate that fusion from models trained with different information such as joint, bone, joint motion and bone motion information can achieve a better recognition performance. It is expected that this project may be used by other researchers as a guide in the process of choosing database or methods for human action recognition, and also help the roboFEI@HOME team to increment their robot platform named HERA with human action recognition capabilities.porpt_BRCentro Universitário FEI, São Bernardo do Camporeconhecimento de ações humanaskinectgraph convolutional networksAnálise de métodos de reconhecimento de comportamento humano em ambientes domésticos utilizando sensores RGB+Dinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisInteligência Artificial Aplicada à Automação e Robóticareponame:Repositório do Conhecimento Institucional do Centro Universitário da Fundação Educacional Inaciana (FEI)instname:Centro Universitário da Fundação Educacional Inaciana (FEI)instacron:FEIinfo:eu-repo/semantics/openAccessORIGINALfulltext.pdfapplication/pdf5445548https://repositorio-novo.fei.edu.br/bitstreams/12c12ab8-b747-431a-b7f2-5bcdddb721e9/download5b95e0694699f409cc0d923b33d58fefMD51trueAnonymousREADTEXTfulltext.pdf.txtfulltext.pdf.txtExtracted texttext/plain102957https://repositorio-novo.fei.edu.br/bitstreams/e3938687-5784-4414-8b36-878470db596f/download0db3439f218c0ba40f49f8f0e8480553MD54falseAnonymousREADTHUMBNAILfulltext.pdf.jpgfulltext.pdf.jpgGenerated Thumbnailimage/jpeg2506https://repositorio-novo.fei.edu.br/bitstreams/727ee190-e8c7-47c7-92c8-b45935752e63/download22446a83773792ef3b7054438638f392MD55falseAnonymousREADFEI/32272023-03-14 12:57:41.038open.accessoai:repositorio.fei.edu.br:FEI/3227https://repositorio-novo.fei.edu.brBiblioteca Digital de Teses e Dissertaçõeshttp://sofia.fei.edu.br/pergamum/biblioteca/PRIhttps://repositorio-api.fei.edu.br/server/oai/requestcfernandes@fei.edu.bropendoar:2023-03-14T12:57:41Repositório do Conhecimento Institucional do Centro Universitário da Fundação Educacional Inaciana (FEI) - Centro Universitário da Fundação Educacional Inaciana (FEI)false
dc.title.pt_BR.fl_str_mv Análise de métodos de reconhecimento de comportamento humano em ambientes domésticos utilizando sensores RGB+D
title Análise de métodos de reconhecimento de comportamento humano em ambientes domésticos utilizando sensores RGB+D
spellingShingle Análise de métodos de reconhecimento de comportamento humano em ambientes domésticos utilizando sensores RGB+D
Grassl, E. de B.
reconhecimento de ações humanas
kinect
graph convolutional networks
title_short Análise de métodos de reconhecimento de comportamento humano em ambientes domésticos utilizando sensores RGB+D
title_full Análise de métodos de reconhecimento de comportamento humano em ambientes domésticos utilizando sensores RGB+D
title_fullStr Análise de métodos de reconhecimento de comportamento humano em ambientes domésticos utilizando sensores RGB+D
title_full_unstemmed Análise de métodos de reconhecimento de comportamento humano em ambientes domésticos utilizando sensores RGB+D
title_sort Análise de métodos de reconhecimento de comportamento humano em ambientes domésticos utilizando sensores RGB+D
author Grassl, E. de B.
author_facet Grassl, E. de B.
author_role author
dc.contributor.author.fl_str_mv Grassl, E. de B.
dc.contributor.advisor1.fl_str_mv Aquino Junior, Plínio T.
contributor_str_mv Aquino Junior, Plínio T.
dc.subject.por.fl_str_mv reconhecimento de ações humanas
kinect
graph convolutional networks
topic reconhecimento de ações humanas
kinect
graph convolutional networks
description trabalho proposto busca realizar uma revisão bibliográfica para levantar as bases de dados e reconhecedores de ações estado da arte na literatura recente, além de selecionar dois reconhecedores para compará-los. De acordo com o estudo realizado, os reconhecedores baseados em esqueletos 3D se mostraram promissores e os dois com maior desempenho foram selecionados: MS-G3D e Shift-GCN. Por outro lado, as bases de dados escolhidas foram a NTU RGB+D 120, com 11480 amostras e 120 classes, e a NTU RGB+D HOME, obtida por um subconjunto da NTU RGB+D 120 de 23784 amostras e 25 classes com o foco em ações realizadas em ambientes domésticos ou relacionadas à saúde. Assim, 12 configurações dos reconhecedores selecionados foram criadas e comparadas nas bases de dados propostas pelos métodos cross-subject e cross-setup, onde todas mostraram desempenhos estado da arte de até 85,80% para a base de dados NTU RGB+D 120 e até 84,32% para a NT RGB+D HOME. Além disso, foi possível observar que os reconhecedores baseados em esqueletos 3D são mais robustos em relação a ambientes e perspectivas diferentes e que as informações das arestas entre as juntas ou as movimentação entre as juntas dos esqueletos 3D em frames adjacentes resultaram em um maior desempenho dos reconhecedores. Por último, é possível observar que a fusão dos resultados de reconhecedores treinados com informações diferentes pode trazer um aumento considerável de seus desempenhos. Espera-se que o estudo realizado neste trabalho pode ser utilizado para guiar outros pesquisadores para a seleção de bases de dados e reconhecedores de ações, além de auxiliar a equipe do programa RoboFEI@HOME a incrementar a plataforma robótica HERA com capacidades de reconhecimento de comportamento humano.
publishDate 2021
dc.date.accessioned.fl_str_mv 2021-06-09T14:05:27Z
dc.date.available.fl_str_mv 2021-06-09T14:05:27Z
dc.date.issued.fl_str_mv 2021
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv GRASSL, E. de B. <b> Análise de métodos de reconhecimento de comportamento humano em ambientes domésticos utilizando sensores RGB+D. </b> São Bernardo do Campo, 2021. 90 f. Dissertação (Mestrado em Engenharia Elétrica) - Centro Universitário FEI, São Bernardo do Campo, 2021 Disponível em: https://doi.org/10.31414/EE.2021.D.131338.
dc.identifier.uri.fl_str_mv https://repositorio.fei.edu.br/handle/FEI/3227
dc.identifier.doi.none.fl_str_mv https://doi.org/10.31414/EE.2021.D.131338
identifier_str_mv GRASSL, E. de B. <b> Análise de métodos de reconhecimento de comportamento humano em ambientes domésticos utilizando sensores RGB+D. </b> São Bernardo do Campo, 2021. 90 f. Dissertação (Mestrado em Engenharia Elétrica) - Centro Universitário FEI, São Bernardo do Campo, 2021 Disponível em: https://doi.org/10.31414/EE.2021.D.131338.
url https://repositorio.fei.edu.br/handle/FEI/3227
https://doi.org/10.31414/EE.2021.D.131338
dc.language.iso.fl_str_mv por
pt_BR
language por
language_invalid_str_mv pt_BR
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.coverage.area.none.fl_str_mv Inteligência Artificial Aplicada à Automação e Robótica
dc.publisher.none.fl_str_mv Centro Universitário FEI, São Bernardo do Campo
publisher.none.fl_str_mv Centro Universitário FEI, São Bernardo do Campo
dc.source.none.fl_str_mv reponame:Repositório do Conhecimento Institucional do Centro Universitário da Fundação Educacional Inaciana (FEI)
instname:Centro Universitário da Fundação Educacional Inaciana (FEI)
instacron:FEI
instname_str Centro Universitário da Fundação Educacional Inaciana (FEI)
instacron_str FEI
institution FEI
reponame_str Repositório do Conhecimento Institucional do Centro Universitário da Fundação Educacional Inaciana (FEI)
collection Repositório do Conhecimento Institucional do Centro Universitário da Fundação Educacional Inaciana (FEI)
bitstream.url.fl_str_mv https://repositorio-novo.fei.edu.br/bitstreams/12c12ab8-b747-431a-b7f2-5bcdddb721e9/download
https://repositorio-novo.fei.edu.br/bitstreams/e3938687-5784-4414-8b36-878470db596f/download
https://repositorio-novo.fei.edu.br/bitstreams/727ee190-e8c7-47c7-92c8-b45935752e63/download
bitstream.checksum.fl_str_mv 5b95e0694699f409cc0d923b33d58fef
0db3439f218c0ba40f49f8f0e8480553
22446a83773792ef3b7054438638f392
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositório do Conhecimento Institucional do Centro Universitário da Fundação Educacional Inaciana (FEI) - Centro Universitário da Fundação Educacional Inaciana (FEI)
repository.mail.fl_str_mv cfernandes@fei.edu.br
_version_ 1856221266892029952

Registros relacionados