Classificação de caminhões por eixos com Aprendizagem Profunda e um Modelo Multimodal de Larga Escala

Detalhes bibliográficos
Ano de defesa: 2025
Autor(a) principal: Marcomini, Leandro Arab
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: https://www.teses.usp.br/teses/disponiveis/18/18144/tde-11022026-082130/
Resumo: A classificação de veículos de carga no Brasil é um processo complexo, regido por um detalhado arcabouço normativo e executado, em grande parte, por meio de inspeção manual, o que o torna suscetível a erros e ineficiências. O objetivo central desta tese foi desenvolver e avaliar um sistema automático baseado em visão computacional e aprendizagem profunda para a classificação de caminhões a partir da contagem de seus eixos em imagens de vídeo. Para tal, foram exploradas duas abordagens: um pipeline especialista e um Modelo Multimodal de Larga Escala (LMM). O método principal envolveu a construção de um dataset público com mais de 1.000 imagens reais e sintéticas, o treinamento e a comparação de diversas arquiteturas de redes neurais, e o desenvolvimento de um classificador algorítmico que implementa as regras da legislação brasileira. Os resultados do sistema especializado demonstraram alta eficácia, com o modelo YOLOv11x alcançando 100% de sensibilidade e 99,04% de mAP na tarefa de detecção de eixos, o que culminou em uma acurácia de classificação final de 91,51% para o sistema integrado. Adicionalmente, a análise exploratória com um LMM de propósito geral, utilizando aprendizado em contexto, alcançou uma acurácia de 73% na classificação oficial. Os resultados validam a viabilidade da automação desta tarefa com alta precisão e, como contribuição adicional, a pesquisa identificou uma configuração de caminhão em circulação não catalogada pela normativa vigente, sugerindo o potencial de sistemas automáticos para a auditoria da legislação.
id USP_dc1b84a93e8efc3fa3eba563860a4189
oai_identifier_str oai:teses.usp.br:tde-11022026-082130
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str
spelling Classificação de caminhões por eixos com Aprendizagem Profunda e um Modelo Multimodal de Larga EscalaClassification of trucks by axles using Deep Learning and a Large Multimodal Modelclassificação de veículoscomputer visionconvolutional neural networksdetecção de objetosengenharia de transportesobject detectionredes neurais convolucionaistransportation engineeringvehicle classificationvisão computacionalyoloyoloA classificação de veículos de carga no Brasil é um processo complexo, regido por um detalhado arcabouço normativo e executado, em grande parte, por meio de inspeção manual, o que o torna suscetível a erros e ineficiências. O objetivo central desta tese foi desenvolver e avaliar um sistema automático baseado em visão computacional e aprendizagem profunda para a classificação de caminhões a partir da contagem de seus eixos em imagens de vídeo. Para tal, foram exploradas duas abordagens: um pipeline especialista e um Modelo Multimodal de Larga Escala (LMM). O método principal envolveu a construção de um dataset público com mais de 1.000 imagens reais e sintéticas, o treinamento e a comparação de diversas arquiteturas de redes neurais, e o desenvolvimento de um classificador algorítmico que implementa as regras da legislação brasileira. Os resultados do sistema especializado demonstraram alta eficácia, com o modelo YOLOv11x alcançando 100% de sensibilidade e 99,04% de mAP na tarefa de detecção de eixos, o que culminou em uma acurácia de classificação final de 91,51% para o sistema integrado. Adicionalmente, a análise exploratória com um LMM de propósito geral, utilizando aprendizado em contexto, alcançou uma acurácia de 73% na classificação oficial. Os resultados validam a viabilidade da automação desta tarefa com alta precisão e, como contribuição adicional, a pesquisa identificou uma configuração de caminhão em circulação não catalogada pela normativa vigente, sugerindo o potencial de sistemas automáticos para a auditoria da legislação.The classification of freight vehicles in Brazil is a complex process, governed by a detailed regulatory framework and largely executed through manual inspection, making it prone to errors and inefficiencies. The main objective of this thesis was to develop and evaluate an automatic system based on computer vision and deep learning for the classification of trucks from the counting of their axles in images. To this end, two distinct methodological approaches were explored: a specialist pipeline and a Large Multimodal Model (LMM). The main methodology involved the construction of a public dataset with over 1,000 real and synthetic images, the training and comparison of several neural network architectures, and the development of an algorithmic classifier that implements the rules of the Brazilian legislation. The results from the specialist pipeline demonstrated high effectiveness, with the YOLOv11x model achieving 100% recall and 99.04% mAP in the axle detection task, which culminated in a final classification accuracy of 91.51% for the integrated system. Additionally, the exploratory analysis with a general-purpose LMM, using in-context learning, reached an accuracy of 73% for the official classification. The results validate the feasibility of automating this task with high precision. As an additional contribution, the research identified an existing truck configuration not catalogued by the current regulations, suggesting the potential of automatic systems for auditing legislation.Biblioteca Digitais de Teses e Dissertações da USPCunha, André Luiz Barbosa Nunes daMarcomini, Leandro Arab2025-12-08info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/18/18144/tde-11022026-082130/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2026-02-13T20:07:02Zoai:teses.usp.br:tde-11022026-082130Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212026-02-13T20:07:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Classificação de caminhões por eixos com Aprendizagem Profunda e um Modelo Multimodal de Larga Escala
Classification of trucks by axles using Deep Learning and a Large Multimodal Model
title Classificação de caminhões por eixos com Aprendizagem Profunda e um Modelo Multimodal de Larga Escala
spellingShingle Classificação de caminhões por eixos com Aprendizagem Profunda e um Modelo Multimodal de Larga Escala
Marcomini, Leandro Arab
classificação de veículos
computer vision
convolutional neural networks
detecção de objetos
engenharia de transportes
object detection
redes neurais convolucionais
transportation engineering
vehicle classification
visão computacional
yolo
yolo
title_short Classificação de caminhões por eixos com Aprendizagem Profunda e um Modelo Multimodal de Larga Escala
title_full Classificação de caminhões por eixos com Aprendizagem Profunda e um Modelo Multimodal de Larga Escala
title_fullStr Classificação de caminhões por eixos com Aprendizagem Profunda e um Modelo Multimodal de Larga Escala
title_full_unstemmed Classificação de caminhões por eixos com Aprendizagem Profunda e um Modelo Multimodal de Larga Escala
title_sort Classificação de caminhões por eixos com Aprendizagem Profunda e um Modelo Multimodal de Larga Escala
author Marcomini, Leandro Arab
author_facet Marcomini, Leandro Arab
author_role author
dc.contributor.none.fl_str_mv Cunha, André Luiz Barbosa Nunes da
dc.contributor.author.fl_str_mv Marcomini, Leandro Arab
dc.subject.por.fl_str_mv classificação de veículos
computer vision
convolutional neural networks
detecção de objetos
engenharia de transportes
object detection
redes neurais convolucionais
transportation engineering
vehicle classification
visão computacional
yolo
yolo
topic classificação de veículos
computer vision
convolutional neural networks
detecção de objetos
engenharia de transportes
object detection
redes neurais convolucionais
transportation engineering
vehicle classification
visão computacional
yolo
yolo
description A classificação de veículos de carga no Brasil é um processo complexo, regido por um detalhado arcabouço normativo e executado, em grande parte, por meio de inspeção manual, o que o torna suscetível a erros e ineficiências. O objetivo central desta tese foi desenvolver e avaliar um sistema automático baseado em visão computacional e aprendizagem profunda para a classificação de caminhões a partir da contagem de seus eixos em imagens de vídeo. Para tal, foram exploradas duas abordagens: um pipeline especialista e um Modelo Multimodal de Larga Escala (LMM). O método principal envolveu a construção de um dataset público com mais de 1.000 imagens reais e sintéticas, o treinamento e a comparação de diversas arquiteturas de redes neurais, e o desenvolvimento de um classificador algorítmico que implementa as regras da legislação brasileira. Os resultados do sistema especializado demonstraram alta eficácia, com o modelo YOLOv11x alcançando 100% de sensibilidade e 99,04% de mAP na tarefa de detecção de eixos, o que culminou em uma acurácia de classificação final de 91,51% para o sistema integrado. Adicionalmente, a análise exploratória com um LMM de propósito geral, utilizando aprendizado em contexto, alcançou uma acurácia de 73% na classificação oficial. Os resultados validam a viabilidade da automação desta tarefa com alta precisão e, como contribuição adicional, a pesquisa identificou uma configuração de caminhão em circulação não catalogada pela normativa vigente, sugerindo o potencial de sistemas automáticos para a auditoria da legislação.
publishDate 2025
dc.date.none.fl_str_mv 2025-12-08
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/18/18144/tde-11022026-082130/
url https://www.teses.usp.br/teses/disponiveis/18/18144/tde-11022026-082130/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1857669977492946944