X-net: uma arquitetura bioinspirada para modulação de representações multimodais através de sincronização e reconstrução cruzada - Furlanetto, Gustavo [UNESP] (2025)
Os recentes avanços nas pesquisas com modelos multimodais reacenderam o interesse na exploração de novas aplicações na área. Grandes modelos generativos multimodais obtiveram sucesso ao atrair a atenção não apenas de pesquisadores, mas também do público em geral. Inspirados na capacidade humana de lidar com múltiplas modalidades sensoriais, este projeto explorou a convergência entre representações sonoras e visuais, examinando o espaço latente que existe entre elas. Iniciamos nossa investigação com a criação e o treinamento de modelos dedicados à conversão de dados de áudio em imagens e vice-versa. A partir da análise estrutural e representacional desses modelos, aliada ao conhecimento biológico sobre o processamento multimodal no cérebro humano, propusemos uma arquitetura inovadora para o processamento audiovisual: a X-Net. Essa arquitetura é composta por módulos especializados em sincronização temporal e reconstrução cruzada, cuja saída modula dinamicamente os caminhos de processamento unimodal, enriquecendo a extração de características em ambas as modalidades. A X-Net foi avaliada em tarefas de classificação nos conjuntos de dados COIN e UCF101, obtendo melhorias de desempenho consistentes com o uso do módulo de controle multimodal: no COIN, a acurácia Top-1 subiu de 52,3% para 59,1%, e no UCF101, de 75,5% para 81,7%. Esses resultados validam a eficácia da abordagem proposta e reforçam o potencial de mecanismos inspirados biologicamente na construção de modelos multimodais mais interpretáveis e eficientes.