Propriedades psicométricas da versão brasileira do child behavior checklist for ages 1½-5 (CBCL/1.5-5) para triagem de Transtorno do Espectro Autista
| Ano de defesa: | 2021 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Presbiteriana Mackenzie
|
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | https://dspace.mackenzie.br/handle/10899/28649 |
Resumo: | O Transtorno do Espectro do Autismo (TEA) é um transtorno do neurodesenvolvimento que afeta a comunicação e interação sociais, cujo diagnóstico precoce impacta no prognóstico. Assim, estudos de validação de instrumentos de rastreio e diagnóstico na primeira infância são relevantes para o contexto brasileiro. O estudo teve como objetivos verificar as propriedades psicométricas do Child Behavior Checklist for Ages 1,5-5 (CBCL/1,5-5) para o uso do inventário durante a triagem em processos de diagnóstico de TEA. Foram analisados os perfis no CBCL/1,5-5 de 426 crianças obtidos de pesquisadores colaboradores, as quais estavam classificadas entre três grupos, com 142 crianças cada: um grupo de crianças diagnosticadas com TEA, um com crianças com desenvolvimento típico (DT) e outro grupo, de crianças encaminhadas para serviços de saúde mental (ESSM). Para a análise estatística, foram realizadas Análises de Variância Univariadas (ANOVA) para comparar as médias de pontuação dos três grupos em cada escala; Regressões Logísticas binárias com quatro modelos de análise, buscando avaliar quais escalas melhor discriminavam o grupo com TEA dos demais. Também foi utilizada a Receiver Operating Characteristic (Curva ROC), com a intenção de verificar índices de sensibilidade e especificidade do instrumento para o rastreio de TEA. Utilizou-se os softwares Statistical Package for Social Sciences (SPSS 26.0) e Jamovi 1.6.15 com p=0,05 como nível de significância. A consistência interna das escalas foi satisfatória, com valores de coeficiente Ômega no geral acima de 0,75. Os índices de sensibilidade e especificidade para as escalas de Problemas do Espectro do Autismo e Problemas de Retraimento foram bons, especialmente nas comparações entre o grupo com TEA e o grupo com DT, desempenho desejado para uma ferramenta de rastreio de nível 1. O CBCL/1,5-5 também foi capaz de discriminar crianças com TEA de crianças encaminhadas, porém com menores índices de especificidade, em especial. Os resultados do presente estudo foram comparados aos de quatro estudos anteriores com objetivos semelhantes, tendo obtido no geral concordância com os resultados da literatura, tanto em relação às escalas com o melhor desempenho no rastreio quanto a índices de sensibilidade e especificidade. Assim, se pôde considerar que o uso do inventário para triagem de TEA com a população brasileira, tanto em contextos de pesquisa quanto clínicos teria um bom desempenho. No entanto, ainda há a necessidade de novos estudos, com amostras maiores e mais representativas da população brasileira. |
| id |
UPM_60b454ef838e71fe31fd04337278b24e |
|---|---|
| oai_identifier_str |
oai:dspace.mackenzie.br:10899/28649 |
| network_acronym_str |
UPM |
| network_name_str |
Repositório Digital do Mackenzie |
| repository_id_str |
|
| spelling |
Zaffarani, Luiza SerriPaula, Cristiane Silvestre de2022-01-13T19:15:19Z2022-01-13T19:15:19Z2021-11-11https://dspace.mackenzie.br/handle/10899/28649O Transtorno do Espectro do Autismo (TEA) é um transtorno do neurodesenvolvimento que afeta a comunicação e interação sociais, cujo diagnóstico precoce impacta no prognóstico. Assim, estudos de validação de instrumentos de rastreio e diagnóstico na primeira infância são relevantes para o contexto brasileiro. O estudo teve como objetivos verificar as propriedades psicométricas do Child Behavior Checklist for Ages 1,5-5 (CBCL/1,5-5) para o uso do inventário durante a triagem em processos de diagnóstico de TEA. Foram analisados os perfis no CBCL/1,5-5 de 426 crianças obtidos de pesquisadores colaboradores, as quais estavam classificadas entre três grupos, com 142 crianças cada: um grupo de crianças diagnosticadas com TEA, um com crianças com desenvolvimento típico (DT) e outro grupo, de crianças encaminhadas para serviços de saúde mental (ESSM). Para a análise estatística, foram realizadas Análises de Variância Univariadas (ANOVA) para comparar as médias de pontuação dos três grupos em cada escala; Regressões Logísticas binárias com quatro modelos de análise, buscando avaliar quais escalas melhor discriminavam o grupo com TEA dos demais. Também foi utilizada a Receiver Operating Characteristic (Curva ROC), com a intenção de verificar índices de sensibilidade e especificidade do instrumento para o rastreio de TEA. Utilizou-se os softwares Statistical Package for Social Sciences (SPSS 26.0) e Jamovi 1.6.15 com p=0,05 como nível de significância. A consistência interna das escalas foi satisfatória, com valores de coeficiente Ômega no geral acima de 0,75. Os índices de sensibilidade e especificidade para as escalas de Problemas do Espectro do Autismo e Problemas de Retraimento foram bons, especialmente nas comparações entre o grupo com TEA e o grupo com DT, desempenho desejado para uma ferramenta de rastreio de nível 1. O CBCL/1,5-5 também foi capaz de discriminar crianças com TEA de crianças encaminhadas, porém com menores índices de especificidade, em especial. Os resultados do presente estudo foram comparados aos de quatro estudos anteriores com objetivos semelhantes, tendo obtido no geral concordância com os resultados da literatura, tanto em relação às escalas com o melhor desempenho no rastreio quanto a índices de sensibilidade e especificidade. Assim, se pôde considerar que o uso do inventário para triagem de TEA com a população brasileira, tanto em contextos de pesquisa quanto clínicos teria um bom desempenho. No entanto, ainda há a necessidade de novos estudos, com amostras maiores e mais representativas da população brasileira.CAPES - Coordenação de Aperfeiçoamento de Pessoal de NívelUniversidade Presbiteriana MackenzieAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccesstranstorno do espectro do autismorastreiopropriedades psicométricasPropriedades psicométricas da versão brasileira do child behavior checklist for ages 1½-5 (CBCL/1.5-5) para triagem de Transtorno do Espectro Autistainfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisporreponame:Repositório Digital do Mackenzieinstname:Universidade Presbiteriana Mackenzie (MACKENZIE)instacron:MACKENZIEhttp://lattes.cnpq.br/8241114701792148http://lattes.cnpq.br/2927107648852649Seabra, Alessandra Gotuzohttp://lattes.cnpq.br/7828325860191703Lowenthal, Rosanehttp://lattes.cnpq.br/3764252492071682Teixeira, Maria Cristina Triguero Velozhttp://lattes.cnpq.br/1500695593391363Autism Spectrum Disorder (ASD) is a neurodevelopmental disorder that affects communication and social interaction, of which early diagnosis impacts prognosis. Thus, validation studies of screening and diagnostic tools for preschool children are relevant to the Brazilian context. This study aimed to verify the psychometric properties of the Child Behavior Checklist for Ages 1.5-5 (CBCL/1,5-5) for the use of the checklist during screening in ASD diagnosis processes. The CBCL/1.5-5 profiles of 426 children obtained from contributing researchers, which were classified into three groups, with 142 children each: one group of children diagnosed with ASD, one of children with typical development (TD) and another group referred to mental health services (RMHS). For statistical analysis, Univariate Analyzes of Variance (ANOVA) were performed to compare the mean scores of the three groups on each scale; Binary Logistic Regressions with four analysis models were used, seeking to assess which scales best differentiated the group with ASD from the others. The Receiver Operating Characteristic (ROC curve) was also used, with the intention of verifying the instrument's sensitivity and specificity indexes for ASD screening. The Statistical Package for Social Sciences (SPSS 26.0) and Jamovi 1.6.15 softwares were used with p=0.05 as the level of significance. The internal consistency of the scales was satisfactory, with Omega coefficient values generally above 0.75. The sensitivity and specificity indexes for the Autism Spectrum Problems and Withdrawn scales were good, especially in comparisons between the ASD group and the TD group, a desired outcome for a level 1 screening tool. The CBCL/1,5-5 was also able to distinguish children with ASD from the referred children, but with lower specificity rates. The results of the present study were compared to those of four previous studies with similar aims, having obtained general agreement with the results of the previous studies, both in relation to the scales with the best performances in screening for ASD and in relation to sensitivity and specificity indexes. Thus, it could be considered that the use of the inventory for ASD screening with the Brazilian population, both in research and clinical contexts, would have a good performance. However, there is still a need for further studies with larger samples, that better represent the Brazilian population.autism spectrum disorderscreeningpsychometric proprietiesBrasilCentro de Ciências Biológicas e da Saúde (CCBS)UPMDistúrbios do DesenvolvimentoCNPQ::CIENCIAS HUMANAS::PSICOLOGIA::FUNDAMENTOS E MEDIDAS DA PSICOLOGIA::CONSTRUCAO E VALIDADE DE TESTES, ESCALAS E OUTRAS MEDIDAS PSICOLOGICASORIGINALLuiza Serri Zaffarani.pdfLuiza Serri Zaffarani.pdfLuiza Serri Zaffaraniapplication/pdf1358589https://dspace.mackenzie.br/bitstreams/698603ee-b7ef-402d-bd58-6a1a2b6bdf2f/download9ce4411b24a7a43e2a445d6a6628ebe2MD51trueAnonymousREADCC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://dspace.mackenzie.br/bitstreams/88217b41-c928-42e7-8741-80b50b9b77af/downloade39d27027a6cc9cb039ad269a5db8e34MD52falseAnonymousREADLICENSElicense.txtlicense.txttext/plain; charset=utf-81997https://dspace.mackenzie.br/bitstreams/09366c3f-9fc4-4500-9a72-e56e783bba29/downloadfb735e1a8fa1feda568f1b61905f8d57MD53falseAnonymousREADTEXTLuiza Serri Zaffarani.pdf.txtLuiza Serri Zaffarani.pdf.txtExtracted texttext/plain142166https://dspace.mackenzie.br/bitstreams/f86ca32a-407e-4a57-9dfb-cf1cdfd866ca/downloaddd278521f58b1784f4231071c34b07efMD56falseAnonymousREADTHUMBNAILLuiza Serri Zaffarani.pdf.jpgLuiza Serri Zaffarani.pdf.jpgGenerated Thumbnailimage/jpeg1168https://dspace.mackenzie.br/bitstreams/4fedae43-065b-4f91-be54-a636561e035f/download81e71f5edfe455786d4c0c582ba3d412MD57falseAnonymousREAD10899/286492022-03-15T01:30:47.737Zhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/Attribution-NonCommercial-NoDerivs 3.0 Brazilopen.accessoai:dspace.mackenzie.br:10899/28649https://dspace.mackenzie.brBiblioteca Digital de Teses e Dissertaçõeshttp://tede.mackenzie.br/jspui/PRIhttps://adelpha-api.mackenzie.br/server/oai/repositorio@mackenzie.br||paola.damato@mackenzie.bropendoar:102772022-03-15T01:30:47Repositório Digital do Mackenzie - Universidade Presbiteriana Mackenzie (MACKENZIE)falseTElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEKCkNvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvciAoZXMpIG91IG8gdGl0dWxhciBkb3MgZGlyZWl0b3MgZGUgYXV0b3IpIGNvbmNlZGUgw6AgVW5pdmVyc2lkYWRlIFByZXNiaXRlcmlhbmEgTWFja2VuemllIG8gZGlyZWl0byBuw6NvLWV4Y2x1c2l2byBkZSByZXByb2R1emlyLCAgdHJhZHV6aXIgKGNvbmZvcm1lIGRlZmluaWRvIGFiYWl4byksIGUvb3UgZGlzdHJpYnVpciBzZXUgdHJhYmFsaG8gKGluY2x1aW5kbyBvIHJlc3VtbykgcG9yIHRvZG8gbyBtdW5kbyBubyBmb3JtYXRvIGltcHJlc3NvIGUgZWxldHLDtG5pY28gZSBlbSBxdWFscXVlciBtZWlvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KClZvY8OqIGNvbmNvcmRhIHF1ZSBhIFVuaXZlcnNpZGFkZSBQcmVzYml0ZXJpYW5hIE1hY2tlbnppZSBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhbnNwb3IgbyBzZXUgdHJhYmFsaG8gcGFyYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gcGFyYSBmaW5zIGRlIHByZXNlcnZhw6fDo28uCgpWb2PDqiB0YW1iw6ltIGNvbmNvcmRhIHF1ZSBhIFVuaXZlcnNpZGFkZSBQcmVzYml0ZXJpYW5hIE1hY2tlbnppZSBwb2RlIG1hbnRlciBtYWlzIGRlIHVtYSBjw7NwaWEgZG8gc2V1IHRyYWJhbGhvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIHNldSB0cmFiYWxobyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gVm9jw6ogdGFtYsOpbSBkZWNsYXJhIHF1ZSBvIGRlcMOzc2l0byBkbyBzZXUgdHJhYmFsaG8gbsOjbywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc2V1IHRyYWJhbGhvIGNvbnRlbmhhIG1hdGVyaWFsIHF1ZSB2b2PDqiBuw6NvIHBvc3N1aSBhIHRpdHVsYXJpZGFkZSBkb3MgZGlyZWl0b3MgYXV0b3JhaXMsIHZvY8OqIGRlY2xhcmFyIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgw6AgVW5pdmVyc2lkYWRlIFByZXNiaXRlcmlhbmEgTWFja2VuemllIG9zIGRpcmVpdG9zIGFwcmVzZW50YWRvcyBuZXN0YSBsaWNlbsOnYSwgZSBxdWUgZXNzZSBtYXRlcmlhbCBkZSBwcm9wcmllZGFkZSBkZSB0ZXJjZWlyb3MgZXN0w6EgY2xhcmFtZW50ZSBpZGVudGlmaWNhZG8gZSByZWNvbmhlY2lkbyBubyB0ZXh0byBvdSBubyBjb250ZcO6ZG8gZG8gc2V1IHRyYWJhbGhvIG9yYSBkZXBvc2l0YWRvLgoKQ0FTTyBPIFRSQUJBTEhPIE9SQSBERVBPU0lUQURPIFRFTkhBIFNJRE8gUkVTVUxUQURPIERFIFVNIFBBVFJPQ8ONTklPIE9VIEFQT0lPIERFIFVNQSBBR8OKTkNJQSBERSBGT01FTlRPIE9VIE9VVFJPIE9SR0FOSVNNTyBRVUUgTsODTyBTRUpBIEEgVU5JVkVSU0lEQURFIFBSRVNCSVRFUklBTkEgTUFDS0VOWklFLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyBUQU1Cw4lNIEFTIERFTUFJUyBPQlJJR0HDh8OVRVMgRVhJR0lEQVMgUE9SIENPTlRSQVRPIE9VIEFDT1JETy4KCkEgVW5pdmVyc2lkYWRlIFByZXNiaXRlcmlhbmEgTWFja2VuemllIHNlIGNvbXByb21ldGUgYSBpZGVudGlmaWNhciBjbGFyYW1lbnRlIG8gc2V1IG5vbWUgKHMpIG91IG8ocykgbm9tZShzKSBkbyhzKSBkZXRlbnRvcihlcykgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRvIHNldSB0cmFiYWxobywgZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvLCBhbMOpbSBkYXF1ZWxhcyBjb25jZWRpZGFzIHBvciBlc3RhIGxpY2Vuw6dhLgo= |
| dc.title.pt_BR.fl_str_mv |
Propriedades psicométricas da versão brasileira do child behavior checklist for ages 1½-5 (CBCL/1.5-5) para triagem de Transtorno do Espectro Autista |
| title |
Propriedades psicométricas da versão brasileira do child behavior checklist for ages 1½-5 (CBCL/1.5-5) para triagem de Transtorno do Espectro Autista |
| spellingShingle |
Propriedades psicométricas da versão brasileira do child behavior checklist for ages 1½-5 (CBCL/1.5-5) para triagem de Transtorno do Espectro Autista Zaffarani, Luiza Serri transtorno do espectro do autismo rastreio propriedades psicométricas |
| title_short |
Propriedades psicométricas da versão brasileira do child behavior checklist for ages 1½-5 (CBCL/1.5-5) para triagem de Transtorno do Espectro Autista |
| title_full |
Propriedades psicométricas da versão brasileira do child behavior checklist for ages 1½-5 (CBCL/1.5-5) para triagem de Transtorno do Espectro Autista |
| title_fullStr |
Propriedades psicométricas da versão brasileira do child behavior checklist for ages 1½-5 (CBCL/1.5-5) para triagem de Transtorno do Espectro Autista |
| title_full_unstemmed |
Propriedades psicométricas da versão brasileira do child behavior checklist for ages 1½-5 (CBCL/1.5-5) para triagem de Transtorno do Espectro Autista |
| title_sort |
Propriedades psicométricas da versão brasileira do child behavior checklist for ages 1½-5 (CBCL/1.5-5) para triagem de Transtorno do Espectro Autista |
| author |
Zaffarani, Luiza Serri |
| author_facet |
Zaffarani, Luiza Serri |
| author_role |
author |
| dc.contributor.author.fl_str_mv |
Zaffarani, Luiza Serri |
| dc.contributor.advisor1.fl_str_mv |
Paula, Cristiane Silvestre de |
| contributor_str_mv |
Paula, Cristiane Silvestre de |
| dc.subject.por.fl_str_mv |
transtorno do espectro do autismo rastreio propriedades psicométricas |
| topic |
transtorno do espectro do autismo rastreio propriedades psicométricas |
| description |
O Transtorno do Espectro do Autismo (TEA) é um transtorno do neurodesenvolvimento que afeta a comunicação e interação sociais, cujo diagnóstico precoce impacta no prognóstico. Assim, estudos de validação de instrumentos de rastreio e diagnóstico na primeira infância são relevantes para o contexto brasileiro. O estudo teve como objetivos verificar as propriedades psicométricas do Child Behavior Checklist for Ages 1,5-5 (CBCL/1,5-5) para o uso do inventário durante a triagem em processos de diagnóstico de TEA. Foram analisados os perfis no CBCL/1,5-5 de 426 crianças obtidos de pesquisadores colaboradores, as quais estavam classificadas entre três grupos, com 142 crianças cada: um grupo de crianças diagnosticadas com TEA, um com crianças com desenvolvimento típico (DT) e outro grupo, de crianças encaminhadas para serviços de saúde mental (ESSM). Para a análise estatística, foram realizadas Análises de Variância Univariadas (ANOVA) para comparar as médias de pontuação dos três grupos em cada escala; Regressões Logísticas binárias com quatro modelos de análise, buscando avaliar quais escalas melhor discriminavam o grupo com TEA dos demais. Também foi utilizada a Receiver Operating Characteristic (Curva ROC), com a intenção de verificar índices de sensibilidade e especificidade do instrumento para o rastreio de TEA. Utilizou-se os softwares Statistical Package for Social Sciences (SPSS 26.0) e Jamovi 1.6.15 com p=0,05 como nível de significância. A consistência interna das escalas foi satisfatória, com valores de coeficiente Ômega no geral acima de 0,75. Os índices de sensibilidade e especificidade para as escalas de Problemas do Espectro do Autismo e Problemas de Retraimento foram bons, especialmente nas comparações entre o grupo com TEA e o grupo com DT, desempenho desejado para uma ferramenta de rastreio de nível 1. O CBCL/1,5-5 também foi capaz de discriminar crianças com TEA de crianças encaminhadas, porém com menores índices de especificidade, em especial. Os resultados do presente estudo foram comparados aos de quatro estudos anteriores com objetivos semelhantes, tendo obtido no geral concordância com os resultados da literatura, tanto em relação às escalas com o melhor desempenho no rastreio quanto a índices de sensibilidade e especificidade. Assim, se pôde considerar que o uso do inventário para triagem de TEA com a população brasileira, tanto em contextos de pesquisa quanto clínicos teria um bom desempenho. No entanto, ainda há a necessidade de novos estudos, com amostras maiores e mais representativas da população brasileira. |
| publishDate |
2021 |
| dc.date.issued.fl_str_mv |
2021-11-11 |
| dc.date.accessioned.fl_str_mv |
2022-01-13T19:15:19Z |
| dc.date.available.fl_str_mv |
2022-01-13T19:15:19Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
https://dspace.mackenzie.br/handle/10899/28649 |
| url |
https://dspace.mackenzie.br/handle/10899/28649 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
| eu_rights_str_mv |
openAccess |
| dc.publisher.none.fl_str_mv |
Universidade Presbiteriana Mackenzie |
| publisher.none.fl_str_mv |
Universidade Presbiteriana Mackenzie |
| dc.source.none.fl_str_mv |
reponame:Repositório Digital do Mackenzie instname:Universidade Presbiteriana Mackenzie (MACKENZIE) instacron:MACKENZIE |
| instname_str |
Universidade Presbiteriana Mackenzie (MACKENZIE) |
| instacron_str |
MACKENZIE |
| institution |
MACKENZIE |
| reponame_str |
Repositório Digital do Mackenzie |
| collection |
Repositório Digital do Mackenzie |
| bitstream.url.fl_str_mv |
https://dspace.mackenzie.br/bitstreams/698603ee-b7ef-402d-bd58-6a1a2b6bdf2f/download https://dspace.mackenzie.br/bitstreams/88217b41-c928-42e7-8741-80b50b9b77af/download https://dspace.mackenzie.br/bitstreams/09366c3f-9fc4-4500-9a72-e56e783bba29/download https://dspace.mackenzie.br/bitstreams/f86ca32a-407e-4a57-9dfb-cf1cdfd866ca/download https://dspace.mackenzie.br/bitstreams/4fedae43-065b-4f91-be54-a636561e035f/download |
| bitstream.checksum.fl_str_mv |
9ce4411b24a7a43e2a445d6a6628ebe2 e39d27027a6cc9cb039ad269a5db8e34 fb735e1a8fa1feda568f1b61905f8d57 dd278521f58b1784f4231071c34b07ef 81e71f5edfe455786d4c0c582ba3d412 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositório Digital do Mackenzie - Universidade Presbiteriana Mackenzie (MACKENZIE) |
| repository.mail.fl_str_mv |
repositorio@mackenzie.br||paola.damato@mackenzie.br |
| _version_ |
1863649774640562176 |