Monitoramento de segurança em canteiros de obra utilizando inferência multiestágio em inteligência artificial na borda

Detalhes bibliográficos
Ano de defesa: 2026
Autor(a) principal: Ito, Luiz Guilherme Martinho Sampaio
Orientador(a): Azambuja, José Rodrigo Furlanetto de
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Palavras-chave em Inglês:
Link de acesso: http://hdl.handle.net/10183/311156
Resumo: A indústria da construção civil apresenta índices elevados de acidentes de trabalho, o que evidencia as limitações dos métodos tradicionais de monitoramento. A visão computacional, impulsionada por técnicas de inteligência artificial, apresenta potencial para automatizar a vigilância de segurança. Contudo, soluções baseadas em processamento na nuvem enfrentam desafios de latência e dependência de conectividade. Trabalhos anteriores demonstraram a viabilidade de detecção com modelo único em dispositivos de borda, porém nenhum emprega inferência em cascata com modelos especializados por domínio. Esta dissertação apresenta o projeto e a validação de um sistema de análise de vídeo inteligente baseado em computação de borda. O sistema utiliza uma arquitetura de inferência em cascata composta por um modelo primário, denominado PGIE (Primary GPU Inference Engine), que detecta cinco classes (pessoa, veículo, capacete, colete e ferramenta) e três modelos secundários especializados, denominados SGIEs (Secondary GPU Inference Engines), que operam sobre as regiões recortadas: SGIE-EPI para equipamentos de proteção individual, SGIE-Maquinário para identificação de máquinas pesadas e SGIEFerramentas para detecção de ferramentas e materiais. O sistema opera em um dispositivo NVIDIA Jetson AGX Xavier e processa fluxos de vídeo em tempo real. A metodologia emprega o framework NVIDIA DeepStream para orquestrar o pipeline de inferência acelerado por hardware. Os modelos foram treinados com datasets públicos (SODA, MOCS, Roboflow) e otimizados com TensorRT. Como resultado, o sistema alcançou vazão de 20 quadros por segundo (FPS – Frames Per Second) com latência de 58 milissegundos no pipeline completo. O PGIE obteve mAP@0,5 (mean Average Precision) de 0,83, enquanto os SGIEs alcançaram mAP@0,5 entre 0,71 e 0,84. Esta dissertação demonstra a viabilidade técnica de um sistema de monitoramento autônomo com inferência em cascata na borda.
id UFRGS-2_de7695545d5fa7bd3bdef65d2832db86
oai_identifier_str oai:www.lume.ufrgs.br:10183/311156
network_acronym_str UFRGS-2
network_name_str Lume - Repositório Digital da Universidade Federal do Rio Grande do Sul (UFRGS)
repository_id_str
spelling Ito, Luiz Guilherme Martinho SampaioAzambuja, José Rodrigo Furlanetto de2026-08-06T08:08:02Z2026http://hdl.handle.net/10183/311156001308645A indústria da construção civil apresenta índices elevados de acidentes de trabalho, o que evidencia as limitações dos métodos tradicionais de monitoramento. A visão computacional, impulsionada por técnicas de inteligência artificial, apresenta potencial para automatizar a vigilância de segurança. Contudo, soluções baseadas em processamento na nuvem enfrentam desafios de latência e dependência de conectividade. Trabalhos anteriores demonstraram a viabilidade de detecção com modelo único em dispositivos de borda, porém nenhum emprega inferência em cascata com modelos especializados por domínio. Esta dissertação apresenta o projeto e a validação de um sistema de análise de vídeo inteligente baseado em computação de borda. O sistema utiliza uma arquitetura de inferência em cascata composta por um modelo primário, denominado PGIE (Primary GPU Inference Engine), que detecta cinco classes (pessoa, veículo, capacete, colete e ferramenta) e três modelos secundários especializados, denominados SGIEs (Secondary GPU Inference Engines), que operam sobre as regiões recortadas: SGIE-EPI para equipamentos de proteção individual, SGIE-Maquinário para identificação de máquinas pesadas e SGIEFerramentas para detecção de ferramentas e materiais. O sistema opera em um dispositivo NVIDIA Jetson AGX Xavier e processa fluxos de vídeo em tempo real. A metodologia emprega o framework NVIDIA DeepStream para orquestrar o pipeline de inferência acelerado por hardware. Os modelos foram treinados com datasets públicos (SODA, MOCS, Roboflow) e otimizados com TensorRT. Como resultado, o sistema alcançou vazão de 20 quadros por segundo (FPS – Frames Per Second) com latência de 58 milissegundos no pipeline completo. O PGIE obteve mAP@0,5 (mean Average Precision) de 0,83, enquanto os SGIEs alcançaram mAP@0,5 entre 0,71 e 0,84. Esta dissertação demonstra a viabilidade técnica de um sistema de monitoramento autônomo com inferência em cascata na borda.The construction industry consistently exhibits high rates of occupational accidents, highlighting the limitations of traditional monitoring methods. Computer vision, powered by artificial intelligence techniques, shows potential to automate safety surveillance. However, cloud-based solutions face latency and connectivity challenges. Previous works have demonstrated the feasibility of single-model detection on edge devices, but none employs cascade inference with domain-specialized models. This dissertation presents the design and validation of an intelligent video analytics system based on edge computing. The system employs a cascade inference architecture composed of a Primary GPU Inference Engine (PGIE) that detects five classes (person, vehicle, hardhat, safety vest, and tool) and three specialized Secondary GPU Inference Engines (SGIEs) operating on cropped regions: SGIE-PPE for personal protective equipment, SGIE-Machinery for heavy machine identification, and SGIE-Tools for tool and material detection. The system operates on an NVIDIA Jetson AGX Xavier device and processes real-time video streams. The methodology employs the NVIDIA DeepStream SDK to orchestrate the hardwareaccelerated inference pipeline. The models were trained using public datasets (SODA, MOCS, Roboflow) and optimized with TensorRT. As a result, the system achieved 20 FPS throughput with 58 milliseconds latency for the complete pipeline. The PGIE achieved mAP@0.5 of 0.83, while the SGIEs reached mAP@0.5 between 0.71 and 0.84. This dissertation demonstrates the technical feasibility of an autonomous monitoring system with cascade inference at the edge.application/pdfporVisão computacionalInteligência artificialComputação de bordaSegurança do trabalhoInferência em cascataNVIDIA deepStreamConstruction Site SafetyMonitoramento de segurança em canteiros de obra utilizando inferência multiestágio em inteligência artificial na bordaSafety monitoring on construction sites using video analytics and multistage inference in edge AI info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPrograma de Pós-Graduação em ComputaçãoPorto Alegre, BR-RS2026mestradoinfo:eu-repo/semantics/openAccessreponame:Lume - Repositório Digital da Universidade Federal do Rio Grande do Sul (UFRGS)instname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001308645.pdf.txt001308645.pdf.txtExtracted Texttext/plain158404http://www.lume.ufrgs.br/bitstream/10183/311156/2/001308645.pdf.txte58097e4ec74c6da4256221a3f4e8519MD52ORIGINAL001308645.pdfTexto completoapplication/pdf7405778http://www.lume.ufrgs.br/bitstream/10183/311156/1/001308645.pdfab6f1c5e70c3938bb4870b880e49fe30MD5110183/3111562026-08-16 08:06:30.579695oai:www.lume.ufrgs.br:10183/311156Repositório InstitucionalPUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.bropendoar:2026-08-16T11:06:30Lume - Repositório Digital da Universidade Federal do Rio Grande do Sul (UFRGS) - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Monitoramento de segurança em canteiros de obra utilizando inferência multiestágio em inteligência artificial na borda
dc.title.alternative.en.fl_str_mv Safety monitoring on construction sites using video analytics and multistage inference in edge AI
title Monitoramento de segurança em canteiros de obra utilizando inferência multiestágio em inteligência artificial na borda
spellingShingle Monitoramento de segurança em canteiros de obra utilizando inferência multiestágio em inteligência artificial na borda
Ito, Luiz Guilherme Martinho Sampaio
Visão computacional
Inteligência artificial
Computação de borda
Segurança do trabalho
Inferência em cascata
NVIDIA deepStream
Construction Site Safety
title_short Monitoramento de segurança em canteiros de obra utilizando inferência multiestágio em inteligência artificial na borda
title_full Monitoramento de segurança em canteiros de obra utilizando inferência multiestágio em inteligência artificial na borda
title_fullStr Monitoramento de segurança em canteiros de obra utilizando inferência multiestágio em inteligência artificial na borda
title_full_unstemmed Monitoramento de segurança em canteiros de obra utilizando inferência multiestágio em inteligência artificial na borda
title_sort Monitoramento de segurança em canteiros de obra utilizando inferência multiestágio em inteligência artificial na borda
author Ito, Luiz Guilherme Martinho Sampaio
author_facet Ito, Luiz Guilherme Martinho Sampaio
author_role author
dc.contributor.author.fl_str_mv Ito, Luiz Guilherme Martinho Sampaio
dc.contributor.advisor1.fl_str_mv Azambuja, José Rodrigo Furlanetto de
contributor_str_mv Azambuja, José Rodrigo Furlanetto de
dc.subject.por.fl_str_mv Visão computacional
Inteligência artificial
Computação de borda
Segurança do trabalho
Inferência em cascata
topic Visão computacional
Inteligência artificial
Computação de borda
Segurança do trabalho
Inferência em cascata
NVIDIA deepStream
Construction Site Safety
dc.subject.eng.fl_str_mv NVIDIA deepStream
Construction Site Safety
description A indústria da construção civil apresenta índices elevados de acidentes de trabalho, o que evidencia as limitações dos métodos tradicionais de monitoramento. A visão computacional, impulsionada por técnicas de inteligência artificial, apresenta potencial para automatizar a vigilância de segurança. Contudo, soluções baseadas em processamento na nuvem enfrentam desafios de latência e dependência de conectividade. Trabalhos anteriores demonstraram a viabilidade de detecção com modelo único em dispositivos de borda, porém nenhum emprega inferência em cascata com modelos especializados por domínio. Esta dissertação apresenta o projeto e a validação de um sistema de análise de vídeo inteligente baseado em computação de borda. O sistema utiliza uma arquitetura de inferência em cascata composta por um modelo primário, denominado PGIE (Primary GPU Inference Engine), que detecta cinco classes (pessoa, veículo, capacete, colete e ferramenta) e três modelos secundários especializados, denominados SGIEs (Secondary GPU Inference Engines), que operam sobre as regiões recortadas: SGIE-EPI para equipamentos de proteção individual, SGIE-Maquinário para identificação de máquinas pesadas e SGIEFerramentas para detecção de ferramentas e materiais. O sistema opera em um dispositivo NVIDIA Jetson AGX Xavier e processa fluxos de vídeo em tempo real. A metodologia emprega o framework NVIDIA DeepStream para orquestrar o pipeline de inferência acelerado por hardware. Os modelos foram treinados com datasets públicos (SODA, MOCS, Roboflow) e otimizados com TensorRT. Como resultado, o sistema alcançou vazão de 20 quadros por segundo (FPS – Frames Per Second) com latência de 58 milissegundos no pipeline completo. O PGIE obteve mAP@0,5 (mean Average Precision) de 0,83, enquanto os SGIEs alcançaram mAP@0,5 entre 0,71 e 0,84. Esta dissertação demonstra a viabilidade técnica de um sistema de monitoramento autônomo com inferência em cascata na borda.
publishDate 2026
dc.date.accessioned.fl_str_mv 2026-08-06T08:08:02Z
dc.date.issued.fl_str_mv 2026
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/311156
dc.identifier.nrb.pt_BR.fl_str_mv 001308645
url http://hdl.handle.net/10183/311156
identifier_str_mv 001308645
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Lume - Repositório Digital da Universidade Federal do Rio Grande do Sul (UFRGS)
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Lume - Repositório Digital da Universidade Federal do Rio Grande do Sul (UFRGS)
collection Lume - Repositório Digital da Universidade Federal do Rio Grande do Sul (UFRGS)
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/311156/2/001308645.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/311156/1/001308645.pdf
bitstream.checksum.fl_str_mv e58097e4ec74c6da4256221a3f4e8519
ab6f1c5e70c3938bb4870b880e49fe30
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Lume - Repositório Digital da Universidade Federal do Rio Grande do Sul (UFRGS) - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv lume@ufrgs.br
_version_ 1877356710969999360