A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis

Detalhes bibliográficos
Ano de defesa: 2021
Autor(a) principal: SANTANA, Caio Pinheiro lattes
Orientador(a): BASTOS, Guilherme Sousa lattes
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Universidade Federal de Itajubá
Programa de Pós-Graduação: PPG - Programas de Pós Graduação - Itajubá
Departamento: IESTI - Instituto de Engenharia de Sistemas e Tecnologia da Informação
País: Brasil
Palavras-chave em Português:
Área do conhecimento CNPq:
Link de acesso: https://repositorio.unifei.edu.br/jspui/handle/123456789/2370
Resumo: O Transtorno do Espectro Autista (TEA) é uma condição complexa e heterogênea que afeta o desenvolvimento cerebral e é caracterizada por disfunções cognitivas, comportamentais e sociais. Muito esforço vem sendo feito para identificar biomarcadores baseados em imagens cerebrais e desenvolver ferramentas que poderiam facilitar o diagnóstico do TEA - atualmente baseado em critérios comportamentais, através de um processo longo e demorado. Em particular, o uso de algoritmos de Aprendizado de Máquina para classificação de dados de Imagens de Ressonância Magnética funcional em estado de repouso (rs-fMRI) é promissor, mas há uma necessidade contínua de pesquisas adicionais a respeito da precisão desses classificadores. Assim, este trabalho realiza uma revisão sistemática e meta-análise de modo a resumir e agregar as evidências disponíveis na literatura da área até o momento. A busca sistemática por artigos resultou na seleção de 93 deles, que tiveram seus dados extraídos e analisados através da revisão sistemática. Um modelo meta-analítico bivariado de efeitos aleatórios foi implementado para investigar a sensibilidade e especificidade dos 55 estudos (132 amostras independentes) que ofereceram informação suficiente para serem utilizados na análise quantitativa. Os resultados obtidos indicaram estimativas gerais de sensibilidade e especificidade de 73.8% (95% IC: 71.8- 75.8%) e 74.8% (95% IC: 72.3-77.1%), respectivamente, e os classificadores baseados em SVM (do inglês, Support Vector Machine) se destacaram como os mais utilizados, apresentando estimativas acima de 76%. Estudos que utilizaram amostras maiores tenderam a obter piores resultados de precisão, com exceção do subgrupo composto por classificadores baseados em Redes Neurais Artificiais. O uso de outros tipos de imagens cerebrais ou dados fenotípicos para complementar as informações obtidas através da rs-fMRI se mostrou promissor, alcançando especialmente sensibilidades mais altas ( = 0.002) em relação aos estudos que utilizaram apenas dados de rs-fMRI (84.7% - 95% IC: 78.5-89.4% - versus 72.8% - 95% IC: 70.6-74.8%). Valores menores de sensibilidade/especificidade foram encontrados quando o número de Regiões de Interesse (ROIs, do inglês Regions of Interest) aumentou. Vale destacar também o desempenho das abordagens utilizando o atlas AAL (do inglês, Automated Anatomical Labelling) com 116 ROIs. Em relação às features usadas para treinar os classificadores, foram encontrados melhores resultados nos estudos que utilizaram a correlação de Pearson em conjunto com a transformação Z de Fisher ou outras features em comparação ao uso da correlação de Pearson sem modifica- ções. Finalmente, a análise revelou valores da área sob a curva ROC (do inglês, Receiver Operating Characteristic) entre aceitável e excelente. Entretanto, considerando as várias limitações que são indicadas no estudo, mais estudos bem desenhados são necessários para estender o uso potencial desses algoritmos de classificação a ambientes clínicos.
id UFEI_29b53188b4fcf271d04f2d832849b474
oai_identifier_str oai:repositorio.unifei.edu.br:123456789/2370
network_acronym_str UFEI
network_name_str Repositório Institucional da UNIFEI (RIUNIFEI)
repository_id_str
spelling 2021-02-242021-03-262021-03-28T00:19:00Z2021-03-28T00:19:00Zhttps://repositorio.unifei.edu.br/jspui/handle/123456789/2370O Transtorno do Espectro Autista (TEA) é uma condição complexa e heterogênea que afeta o desenvolvimento cerebral e é caracterizada por disfunções cognitivas, comportamentais e sociais. Muito esforço vem sendo feito para identificar biomarcadores baseados em imagens cerebrais e desenvolver ferramentas que poderiam facilitar o diagnóstico do TEA - atualmente baseado em critérios comportamentais, através de um processo longo e demorado. Em particular, o uso de algoritmos de Aprendizado de Máquina para classificação de dados de Imagens de Ressonância Magnética funcional em estado de repouso (rs-fMRI) é promissor, mas há uma necessidade contínua de pesquisas adicionais a respeito da precisão desses classificadores. Assim, este trabalho realiza uma revisão sistemática e meta-análise de modo a resumir e agregar as evidências disponíveis na literatura da área até o momento. A busca sistemática por artigos resultou na seleção de 93 deles, que tiveram seus dados extraídos e analisados através da revisão sistemática. Um modelo meta-analítico bivariado de efeitos aleatórios foi implementado para investigar a sensibilidade e especificidade dos 55 estudos (132 amostras independentes) que ofereceram informação suficiente para serem utilizados na análise quantitativa. Os resultados obtidos indicaram estimativas gerais de sensibilidade e especificidade de 73.8% (95% IC: 71.8- 75.8%) e 74.8% (95% IC: 72.3-77.1%), respectivamente, e os classificadores baseados em SVM (do inglês, Support Vector Machine) se destacaram como os mais utilizados, apresentando estimativas acima de 76%. Estudos que utilizaram amostras maiores tenderam a obter piores resultados de precisão, com exceção do subgrupo composto por classificadores baseados em Redes Neurais Artificiais. O uso de outros tipos de imagens cerebrais ou dados fenotípicos para complementar as informações obtidas através da rs-fMRI se mostrou promissor, alcançando especialmente sensibilidades mais altas ( = 0.002) em relação aos estudos que utilizaram apenas dados de rs-fMRI (84.7% - 95% IC: 78.5-89.4% - versus 72.8% - 95% IC: 70.6-74.8%). Valores menores de sensibilidade/especificidade foram encontrados quando o número de Regiões de Interesse (ROIs, do inglês Regions of Interest) aumentou. Vale destacar também o desempenho das abordagens utilizando o atlas AAL (do inglês, Automated Anatomical Labelling) com 116 ROIs. Em relação às features usadas para treinar os classificadores, foram encontrados melhores resultados nos estudos que utilizaram a correlação de Pearson em conjunto com a transformação Z de Fisher ou outras features em comparação ao uso da correlação de Pearson sem modifica- ções. Finalmente, a análise revelou valores da área sob a curva ROC (do inglês, Receiver Operating Characteristic) entre aceitável e excelente. Entretanto, considerando as várias limitações que são indicadas no estudo, mais estudos bem desenhados são necessários para estender o uso potencial desses algoritmos de classificação a ambientes clínicos.The Autism Spectrum Disorder (ASD) is a complex and heterogeneous neurodevelopmental condition characterized by cognitive, behavioral, and social dysfunction. Much effort is being made to identify brain imaging biomarkers and develop tools that could facilitate its diagnosis - currently based on behavioral criteria through a lengthy and timeconsuming process. In particular, the use of Machine Learning (ML) classifiers based on resting-state functional Magnetic Resonance Imaging (rs-fMRI) data is promising, but there is an ongoing need for further research on their accuracy. Therefore, we conducted a systematic review and meta-analysis to summarize and aggregate the available evidence in the literature so far. The systematic search resulted in the selection of 93 articles, whose data were extracted and analyzed through the systematic review. A bivariate randomeffects meta-analytic model was implemented to investigate the sensitivity and specificity across the 55 studies (132 independent samples) that offered sufficient information for a quantitative analysis. Our results indicated overall summary sensitivity and specificity estimates of 73.8% (95% CI: 71.8-75.8%) and 74.8% (95% CI: 72.3-77.1%), respectively, and Support Vector Machine (SVM) stood out as the most used classifier, presenting summary estimates above 76%. Studies with bigger samples tended to obtain worse accuracies, except in the subgroup analysis for Artificial Neural Network (ANN) classifiers. The use of other brain imaging or phenotypic data to complement rs-fMRI information seem to be promising, achieving specially higher sensitivities (p = 0.002) when compared to rs-fMRI data alone (84.7% - 95% CI: 78.5-89.4% - versus 72.8% - 95% CI: 70.6-74.8%). Lower values of sensitivity/specificity were found when the number of Regions of Interest (ROIs) increased. We also highlight the performance of the approaches using the Automated Anatomical Labelling atlas with 116 ROIs (AAL116). Regarding the features used to train the classifiers, we found better results using the Pearson Correlation (PC) Fishertransformed or other features in comparison to the use of the PC without modifications. Finally, our analysis showed AUC values between acceptable and excellent, but given the many limitations indicated in our study, further well-designed studies are warranted to extend the potential use of those classification algorithms to clinical settings.Agência 1engUniversidade Federal de ItajubáPPG - Programas de Pós Graduação - ItajubáUNIFEIBrasilIESTI - Instituto de Engenharia de Sistemas e Tecnologia da InformaçãoCNPQ::CIÊNCIAS EXATAS E DA TERRA::CIÊNCIA DA COMPUTAÇÃOTranstorno do espectro autistaAprendizado de máquinars-fMRIMeta-análiseA meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisBASTOS, Guilherme Sousahttp://lattes.cnpq.br/1508015681115848SOUZA, Adler Diniz dehttp://lattes.cnpq.br/0659198149444462http://lattes.cnpq.br/6045750620219171SANTANA, Caio PinheiroSANTANA, Caio Pinheiro. A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis. 2021. 120 f. Dissertação (Mestrado em Ciência e Tecnologia da Computação.) – Universidade Federal de Itajubá, Itajubá, 2021.info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNIFEI (RIUNIFEI)instname:Universidade Federal de Itajubá (UNIFEI)instacron:UNIFEIORIGINALDissertação_2021086.pdfDissertação_2021086.pdfapplication/pdf2532929https://repositorio.unifei.edu.br/jspui/bitstream/123456789/2370/3/Disserta%c3%a7%c3%a3o_2021086.pdf5ffc2b9d8df647fe99d41b21fe80a129MD53LICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://repositorio.unifei.edu.br/jspui/bitstream/123456789/2370/2/license.txt8a4605be74aa9ea9d79846c1fba20a33MD52123456789/23702022-11-29 07:45:07.149oai:repositorio.unifei.edu.br:123456789/2370Tk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=Repositório InstitucionalPUBhttps://repositorio.unifei.edu.br/oai/requestrepositorio@unifei.edu.br || geraldocarlos@unifei.edu.bropendoar:70442022-11-29T10:45:07Repositório Institucional da UNIFEI (RIUNIFEI) - Universidade Federal de Itajubá (UNIFEI)false
dc.title.pt_BR.fl_str_mv A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis
title A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis
spellingShingle A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis
SANTANA, Caio Pinheiro
CNPQ::CIÊNCIAS EXATAS E DA TERRA::CIÊNCIA DA COMPUTAÇÃO
Transtorno do espectro autista
Aprendizado de máquina
rs-fMRI
Meta-análise
title_short A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis
title_full A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis
title_fullStr A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis
title_full_unstemmed A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis
title_sort A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis
author SANTANA, Caio Pinheiro
author_facet SANTANA, Caio Pinheiro
author_role author
dc.contributor.advisor1.fl_str_mv BASTOS, Guilherme Sousa
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/1508015681115848
dc.contributor.advisor-co1.fl_str_mv SOUZA, Adler Diniz de
dc.contributor.advisor-co1Lattes.fl_str_mv http://lattes.cnpq.br/0659198149444462
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/6045750620219171
dc.contributor.author.fl_str_mv SANTANA, Caio Pinheiro
contributor_str_mv BASTOS, Guilherme Sousa
SOUZA, Adler Diniz de
dc.subject.cnpq.fl_str_mv CNPQ::CIÊNCIAS EXATAS E DA TERRA::CIÊNCIA DA COMPUTAÇÃO
topic CNPQ::CIÊNCIAS EXATAS E DA TERRA::CIÊNCIA DA COMPUTAÇÃO
Transtorno do espectro autista
Aprendizado de máquina
rs-fMRI
Meta-análise
dc.subject.por.fl_str_mv Transtorno do espectro autista
Aprendizado de máquina
rs-fMRI
Meta-análise
description O Transtorno do Espectro Autista (TEA) é uma condição complexa e heterogênea que afeta o desenvolvimento cerebral e é caracterizada por disfunções cognitivas, comportamentais e sociais. Muito esforço vem sendo feito para identificar biomarcadores baseados em imagens cerebrais e desenvolver ferramentas que poderiam facilitar o diagnóstico do TEA - atualmente baseado em critérios comportamentais, através de um processo longo e demorado. Em particular, o uso de algoritmos de Aprendizado de Máquina para classificação de dados de Imagens de Ressonância Magnética funcional em estado de repouso (rs-fMRI) é promissor, mas há uma necessidade contínua de pesquisas adicionais a respeito da precisão desses classificadores. Assim, este trabalho realiza uma revisão sistemática e meta-análise de modo a resumir e agregar as evidências disponíveis na literatura da área até o momento. A busca sistemática por artigos resultou na seleção de 93 deles, que tiveram seus dados extraídos e analisados através da revisão sistemática. Um modelo meta-analítico bivariado de efeitos aleatórios foi implementado para investigar a sensibilidade e especificidade dos 55 estudos (132 amostras independentes) que ofereceram informação suficiente para serem utilizados na análise quantitativa. Os resultados obtidos indicaram estimativas gerais de sensibilidade e especificidade de 73.8% (95% IC: 71.8- 75.8%) e 74.8% (95% IC: 72.3-77.1%), respectivamente, e os classificadores baseados em SVM (do inglês, Support Vector Machine) se destacaram como os mais utilizados, apresentando estimativas acima de 76%. Estudos que utilizaram amostras maiores tenderam a obter piores resultados de precisão, com exceção do subgrupo composto por classificadores baseados em Redes Neurais Artificiais. O uso de outros tipos de imagens cerebrais ou dados fenotípicos para complementar as informações obtidas através da rs-fMRI se mostrou promissor, alcançando especialmente sensibilidades mais altas ( = 0.002) em relação aos estudos que utilizaram apenas dados de rs-fMRI (84.7% - 95% IC: 78.5-89.4% - versus 72.8% - 95% IC: 70.6-74.8%). Valores menores de sensibilidade/especificidade foram encontrados quando o número de Regiões de Interesse (ROIs, do inglês Regions of Interest) aumentou. Vale destacar também o desempenho das abordagens utilizando o atlas AAL (do inglês, Automated Anatomical Labelling) com 116 ROIs. Em relação às features usadas para treinar os classificadores, foram encontrados melhores resultados nos estudos que utilizaram a correlação de Pearson em conjunto com a transformação Z de Fisher ou outras features em comparação ao uso da correlação de Pearson sem modifica- ções. Finalmente, a análise revelou valores da área sob a curva ROC (do inglês, Receiver Operating Characteristic) entre aceitável e excelente. Entretanto, considerando as várias limitações que são indicadas no estudo, mais estudos bem desenhados são necessários para estender o uso potencial desses algoritmos de classificação a ambientes clínicos.
publishDate 2021
dc.date.issued.fl_str_mv 2021-02-24
dc.date.available.fl_str_mv 2021-03-26
2021-03-28T00:19:00Z
dc.date.accessioned.fl_str_mv 2021-03-28T00:19:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.unifei.edu.br/jspui/handle/123456789/2370
url https://repositorio.unifei.edu.br/jspui/handle/123456789/2370
dc.language.iso.fl_str_mv eng
language eng
dc.relation.references.pt_BR.fl_str_mv SANTANA, Caio Pinheiro. A meta-analysis of machine learning classification tools using rs-fmri data for autism spectrum disorder diagnosis. 2021. 120 f. Dissertação (Mestrado em Ciência e Tecnologia da Computação.) – Universidade Federal de Itajubá, Itajubá, 2021.
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Itajubá
dc.publisher.program.fl_str_mv PPG - Programas de Pós Graduação - Itajubá
dc.publisher.initials.fl_str_mv UNIFEI
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv IESTI - Instituto de Engenharia de Sistemas e Tecnologia da Informação
publisher.none.fl_str_mv Universidade Federal de Itajubá
dc.source.none.fl_str_mv reponame:Repositório Institucional da UNIFEI (RIUNIFEI)
instname:Universidade Federal de Itajubá (UNIFEI)
instacron:UNIFEI
instname_str Universidade Federal de Itajubá (UNIFEI)
instacron_str UNIFEI
institution UNIFEI
reponame_str Repositório Institucional da UNIFEI (RIUNIFEI)
collection Repositório Institucional da UNIFEI (RIUNIFEI)
bitstream.url.fl_str_mv https://repositorio.unifei.edu.br/jspui/bitstream/123456789/2370/3/Disserta%c3%a7%c3%a3o_2021086.pdf
https://repositorio.unifei.edu.br/jspui/bitstream/123456789/2370/2/license.txt
bitstream.checksum.fl_str_mv 5ffc2b9d8df647fe99d41b21fe80a129
8a4605be74aa9ea9d79846c1fba20a33
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UNIFEI (RIUNIFEI) - Universidade Federal de Itajubá (UNIFEI)
repository.mail.fl_str_mv repositorio@unifei.edu.br || geraldocarlos@unifei.edu.br
_version_ 1797311973830950912