Augmenting individual Tree Crowns Dataset with Scarce Labels Information

• Ano de defesa: 2024
• Autor(a) principal: Ferranti, Tomas
• Orientador(a): Oliveira, Dário Augusto Borges
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Palavras-chave em Português: Aprendizado profundo; Sensoriamento remoto; Imagens de drone; Segmentação de imagens; Aprendizado de representações; Aprendizado semi-supervisionado; Classificação de imagens; Bioma cerrado; Florestas tropicais
• Palavras-chave em Inglês: Deep learning; Remote sensing; Drone imagery; Zero-shot image segmentation; Representation learning; Semi-supervised learning; Image classification; Cerrado biome; Tropical forests
• Link de acesso: https://hdl.handle.net/10438/36413

A informação sobre a distribuição espacial de espécies arbóreas em biomas tropicais é essencial para a conservação e o manejo sustentável desses ecossistemas. Por causa do difícil acesso à essas regiões de florestas densas e a necessidade de especialistas botânicos, bancos de dados de copas individuais de árvores (ITC) com espécies rotuladas são escassos e pequenos. O objetivo deste trabalho é apresentar um framework de deep learning onde três modelos de diferentes tarefas são combinados para aumentar o tamanho de um banco de dados de ITCs rotuladas.Nossa técnica é autônoma e usa como dados adicionais apenas imagens aéreas de drones na região das anotações. Experimentos em uma região de cerrado mostram que: (i) é possível separar as ITCs presentes em imagens RGB através de um modelo zero-shot de segmentação de objetos, encontrando um total de 36181 possíveis máscaras em 25 hectares; (ii) as segmentações resultantes são agrupadas por um modelo de representation learning, onde os aspectos visuais são aprendidos comparando predições trocadas dos códigos, calculados por transporte ótimo, de transformações de uma mesma imagem. Um encoder robusto para downstream tasks é treinado, juntamente com 128 protótipos representantes de características específicas do conjunto de dados (cores, formatos e texturas); (iii) finalmente, a partir dos pesos anteriormente aprendidos, um modelo de classificação semi-supervisionado gera uma distribuição de probabilidade para cada segmentação ao longo de 9 espécies. Usando um critério de limiar de confiança 2827 novas amostras são geradas, um aumento significativo comparado aos 334 rótulos iniciais.