Explorando uma abordagem de Fusão Multimodal para auxílio a Gestão de Desastres: um estudo de caso com tweets e dados contextuais

• Ano de defesa: 2021
• Autor(a) principal: Costa, Thiago Aparecido Gonçalves da
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Classificação textual; Consciência situacional; Disaster management; Fusão multimodal; Gestão de desastres; Identificação de alagamentos; Identification of floods; Multimodal fusion; Situational awareness; Text classification
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-10112021-105635/

Atualmente, muito se tem discutido sobre a quantidade abundante de enchentes que assolam a cidade de São Paulo, inclusive esses desastres naturais preocupam excessivamente as autoridades governamentais paulistas, pois geram diversos prejuízos financeiros e sociais para a população afetada. Assim, existem iniciativas como a Gestão de Desastres que possuem o objetivo de prevenir e diminuir os impactos dos desastres naturais em nossa sociedade, visto que há fases com a tarefa de localizar e socorrer as vítimas das inundações. Dessa forma, as redes sociais (por exemplo, o Twitter) são essenciais para o auxílio da etapa de resposta da Gestão de Desastres, porque existe a disseminação de uma quantidade demasiada de mensagens relacionadas com alagamentos, no qual são capazes de serem úteis ao processo de localização de possíveis vítimas. No entanto, não é uma tarefa simples a obtenção da Consciência Situacional de desastres naturais a partir de tweets, visto que essas mensagens são frequentemente escritas de maneira coloquial e os algoritmos de Aprendizado de Máquina não são capazes de compreender o contexto das mensagens do Twitter. Dessa forma, com o objetivo de melhorar o processo de classificação textual e consequentemente captar Consciência Situacional de alagamentos de maneira mais precisa, então esta pesquisa investiga a Fusão Multimodal de informações textuais com contextuais. Esta pesquisa tem o objetivo de desenvolver uma abordagem de Fusão Multimodal capaz de auxiliar a etapa de resposta da Gestão de Desastres a partir de tweets, dados climáticos e incidências históricas de enchentes, além de implementar um software capaz de detectar possíveis vítimas de enchentes. Em vista disso, foram desenvolvidos mecanismos computacionais capazes de realizar o Processamento de Linguagem Natural das mensagens do Twitter, descobrir as regiões propícias ao acontecimento de alagamentos da capital paulista e combinar os dados heterogêneos por intermédio de estratégias baseadas em Aprendizado de Máquina. Os resultados revelam que o modelo de Fusão Multimodal do tipo híbrido com foco na decisão proporcionada pelos dados meteorológicos pode identificar as possíveis vítimas de alagamentos com 84,70% de precisão, aliás combinar dados textuais com multimodais proporciona um acréscimo de 18,53% na precisão da obtenção de Consciência Situacional de inundações, portanto para auxílio a fase de resposta da Gestão de Desastres, abordagens multimodais são mais eficazes dos que as unimodais. Ademais, algoritmos de agrupamento hierárquico demonstraram ser capazes de descobrir regiões propícias ao acontecimento de enchentes da cidade de São Paulo mais bem definidas do que os mecanismos de agrupamento baseados em densidade. Além disso, estratégias de definição da distância máxima de formação de áreas de alagamentos embasadas em abordagens empíricas se mostraram mais promissoras do que as baseadas em estratégias geo estatísticas. Por último, esta abordagem de Fusão Multimodal pode ser adaptada para diferentes idiomas, regiões e desastres naturais, além de que o software desenvolvido pode auxiliar as autoridades governamentais a localizar possíveis vítimas de inundações da capital paulista em tempo real.