Aprimorando a análise visual detalhada de nuvens por LLMs multimodais através da integração de segmentação semântica como ferramenta externa

Detalhes bibliográficos
Ano de defesa: 2025
Autor(a) principal: Cerentini, Allan
Orientador(a): Wangenheim, Aldo v.
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Link de acesso: https://repositorio.ufsc.br/handle/123456789/267564
Resumo: Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2025.
id UFSC_d212a76e8b45c5386229a75c255eee7f
oai_identifier_str oai:repositorio.ufsc.br:123456789/267564
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str
spelling Universidade Federal de Santa CatarinaCerentini, AllanWangenheim, Aldo v.2025-08-20T23:30:06Z2025-08-20T23:30:06Z2025393284https://repositorio.ufsc.br/handle/123456789/267564Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2025.A análise visual de nuvens, essencial para a meteorologia e energia solar, é uma tarefa complexa. Modelos de Aprendizado Profundo (Deep Learning) usados para a segmentação de nuvens frequentemente apresentam inconsistências, como o \"vazamento de segmentação\". Esta tese inicialmente desenvolveu um método híbrido para mitigar essas falhas. O foco da pesquisa, contudo, evoluiu para avaliar o desempenho de Modelos de Linguagem Grandes com suporte a visão. Constatou-se que, embora sejam competentes em tarefas gerais, esses modelos falham em análises que exigem detalhe espacial e quantitativo, sendo especialmente ineficazes na detecção de nuvens com baixa cobertura visual. A contribuição central do trabalho foi demonstrar que o desempenho desses modelos de linguagem pode ser drasticamente aprimorado ao receberem informações de uma ferramenta externa de segmentação. Experimentos comprovaram que fornecer dados sobre a classe, posição e cobertura das nuvens, mesmo que imperfeitos, aumenta significativamente a precisão e reduz erros. Com o uso de dados de segmentação ideais (ground truth), os modelos atingiram um desempenho quase perfeito. Conclui-se, portanto, que a sinergia entre modelos de linguagem com suporte a visão e ferramentas externas especializadas é uma estratégia poderosa para análises científicas complexas, sendo a qualidade da ferramenta externa o principal fator limitante para o sucesso.Abstract: Visual cloud analysis, essential for meteorology and solar energy, is a complex task. Deep Learning models used for cloud segmentation often exhibit inconsistencies, such as \"segmentation leakage.\" This thesis initially developed a hybrid method to mitigate these flaws. However, the research focus shifted to evaluating the performance of Large Language Models with vision support. It was found that while competent in general tasks, these models fail in analyses requiring spatial and quantitative detail, proving especially ineffective at detecting clouds with low visual coverage. The core contribution of this work was to demonstrate that the performance of these language models can be drastically improved by feeding them information from an external segmentation tool. Experiments proved that providing data on the class, position, and coverage of clouds?even if imperfect?significantly increases accuracy and reduces errors. Using ideal (ground truth) segmentation data, the models achieved near-perfect performance. Therefore, it is concluded that the synergy between vision-enabled Large Language Models and specialized external tools is a powerful strategy for complex scientific analyses, with the quality of the external tool being the main limiting factor for success.138 p.| il., tabs.porComputaçãoAprendizado profundo (aprendizado do computador)Aprendizado do computadorVisão por computadorSensoriamento remotoAprimorando a análise visual detalhada de nuvens por LLMs multimodais através da integração de segmentação semântica como ferramenta externainfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCinfo:eu-repo/semantics/openAccessORIGINALPGCC1310-T.pdfPGCC1310-T.pdfapplication/pdf19062125https://repositorio.ufsc.br/bitstream/123456789/267564/-1/PGCC1310-T.pdf47ba7ef2853715795b4475edb8227e66MD5-1123456789/2675642025-08-20 20:30:06.443oai:repositorio.ufsc.br:123456789/267564Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestsandra.sobrera@ufsc.bropendoar:23732025-08-20T23:30:06Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Aprimorando a análise visual detalhada de nuvens por LLMs multimodais através da integração de segmentação semântica como ferramenta externa
title Aprimorando a análise visual detalhada de nuvens por LLMs multimodais através da integração de segmentação semântica como ferramenta externa
spellingShingle Aprimorando a análise visual detalhada de nuvens por LLMs multimodais através da integração de segmentação semântica como ferramenta externa
Cerentini, Allan
Computação
Aprendizado profundo (aprendizado do computador)
Aprendizado do computador
Visão por computador
Sensoriamento remoto
title_short Aprimorando a análise visual detalhada de nuvens por LLMs multimodais através da integração de segmentação semântica como ferramenta externa
title_full Aprimorando a análise visual detalhada de nuvens por LLMs multimodais através da integração de segmentação semântica como ferramenta externa
title_fullStr Aprimorando a análise visual detalhada de nuvens por LLMs multimodais através da integração de segmentação semântica como ferramenta externa
title_full_unstemmed Aprimorando a análise visual detalhada de nuvens por LLMs multimodais através da integração de segmentação semântica como ferramenta externa
title_sort Aprimorando a análise visual detalhada de nuvens por LLMs multimodais através da integração de segmentação semântica como ferramenta externa
author Cerentini, Allan
author_facet Cerentini, Allan
author_role author
dc.contributor.none.fl_str_mv Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Cerentini, Allan
dc.contributor.advisor1.fl_str_mv Wangenheim, Aldo v.
contributor_str_mv Wangenheim, Aldo v.
dc.subject.classification.none.fl_str_mv Computação
Aprendizado profundo (aprendizado do computador)
Aprendizado do computador
Visão por computador
Sensoriamento remoto
topic Computação
Aprendizado profundo (aprendizado do computador)
Aprendizado do computador
Visão por computador
Sensoriamento remoto
description Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2025.
publishDate 2025
dc.date.accessioned.fl_str_mv 2025-08-20T23:30:06Z
dc.date.available.fl_str_mv 2025-08-20T23:30:06Z
dc.date.issued.fl_str_mv 2025
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufsc.br/handle/123456789/267564
dc.identifier.other.none.fl_str_mv 393284
identifier_str_mv 393284
url https://repositorio.ufsc.br/handle/123456789/267564
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 138 p.| il., tabs.
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
bitstream.url.fl_str_mv https://repositorio.ufsc.br/bitstream/123456789/267564/-1/PGCC1310-T.pdf
bitstream.checksum.fl_str_mv 47ba7ef2853715795b4475edb8227e66
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv sandra.sobrera@ufsc.br
_version_ 1851759127922999296

Registros relacionados