Multsurv: a multimodal deep learning model for hospitalized patients survival analysis in the contexto of a pandemic

• Ano de defesa: 2024
• Autor(a) principal: Zeiser, Felipe André
• Orientador(a): Costa, Cristiano André da
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade do Vale do Rio dos Sinos
• Programa de Pós-Graduação: Programa de Pós-Graduação em Computação Aplicada
• Departamento: Escola Politécnica
• País: Brasil
• Palavras-chave em Português: Análise de sobrevivência; Pandemia; Aprendizado profundo; Inteligência Artificial
• Palavras-chave em Inglês: Multimodal data; Survival analysis; Pandemics; Deep learning; Artificial Intelligence
• Área do conhecimento CNPq: ACCNPQ::Ciências Exatas e da Terra::Ciência da Computação
• Link de acesso: http://repositorio.jesuita.org.br/handle/UNISINOS/13418

CONTEXTO: As doenças infecciosas respiratórias representam um grande desafio na sociedade moderna. Recentemente, enfrentamos o maior desafio de saúde pública do último século. A Severe Acute Respiratory Syndrome Coronavirus 2 provocou uma sobrecarga em quase todos os sistemas de saúde do mundo, evidenciando as fragilidades preexistentes. A heterogeneidade das manifestações clínicas da COVID-19 dificultou o manejo dos pacientes hospitalizados, tornando crucial a identificação daqueles em maior risco, especialmente para a alocação de recursos vitais. Diferentemente de pandemias passadas, os pacientes hospitalizados atualmente são monitorados de forma contínua e por meio de diferentes modalidades. Esses dados geram grandes conjuntos de dados longitudinais e multimodais nas instituições de saúde. Nesse contexto, soluções baseadas em dados podem apoiar as decisões clínicas e fornecer novas ferramentas para a gestão de riscos dos pacientes hospitalizados durante pandemias. OBJETIVO: Deste modo, propomos integrar características clínicas, laboratoriais e de imagens de Raio-X do tórax em um modelo de análise de sobrevivência para pacientes hospitalizados com COVID-19. Com o modelo, buscamos combinar dados multimodais e longitudinais para capturar a natureza dinâmica da COVID-19 e fornecer uma função de risco explicável. METODOLOGIA: A metodologia envolve a proposição e desenvolvimento do modelo MultSurv. O modelo é dividido em cinco componentes principais: (i) pre-processing; (ii) feature encoders; (iii) temporal attention; (iv) CheXReport; e (v) multitask networks. O pre-processing é responsável pela limpeza de dados, remoção de outliers, seleção de variáveis e processamento de imagens. Nos feature encoders, os dados categóricos e contínuos são transformados em um vetor de embeddings que captura as relações complexas e não-lineares entre as variáveis. Em seguida, com base nos embeddings até o instante de tempo atual, extraímos um vetor de contexto temporal utilizando a temporal attention. O CheXReport processa as imagens de Raio-X do paciente utilizando uma arquitetura fully-transformers, que integra características visuais com os elementos textuais dos laudos. Finalmente, todos os vetores de características são concatenados para serem processados nas multitask networks, um conjunto de redes neurais multitarefas que permite ao modelo capturar as características específicas de cada risco. RESULTADOS: Para avaliar o desempenho do modelo MultSurv, realizamos um estudo de ablação incremental. Utilizamos os conjuntos de dados públicos PBC2, MIMIC-CXR, Curated Dataset for COVID-19 e um conjunto de dados privado. Em seguida, comparamos os resultados do modelo MultSurv com o estado da arte. Os resultados obtidos demonstram que o modelo MultSurv superou todas as arquiteturas de referência, com um C-index de 0.723 ± 0.008 para t =1e t = 1, e 0.695 ± 0.003 para t =7e t = 7. CONCLUSÃO: A principal contribuição científica deste estudo é a proposta de um modelo multimodal para o processamento de dados dinâmicos e longitudinais na análise de sobrevivência no contexto da COVID-19. Além disso, o modelo MultSurv oferece uma ferramenta de apoio à priorização de pacientes em cenários de pandemia. Por fim, a aplicação do modelo MultSurv pode ser adaptada para diferentes contextos clínicos, estendendo-se além da COVID-19.