Crise de reprodutibilidade científica em química analítica: avaliação com foco na validação dos métodos e na incerteza dos resultados

Detalhes bibliográficos
Ano de defesa: 2021
Autor(a) principal: Gonçalves, Bruna Drielen Ferreira
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: https://www.teses.usp.br/teses/disponiveis/75/75135/tde-11012022-110019/
Resumo: Os dados apresentados em 2016 pelo artigo 1500 scientists lift the lid on reproducibility de Monya Baker, trouxeram uma discussão sobre a existência de significativa crise de reprodutibilidade em diversas áreas da pesquisa científica, e a química foi a área de conhecimento que os cientistas relataram grande dificuldade em reproduzir resultados publicados. Além disso, as principais causas apontadas, de acordo com a experiência dos cientistas consultados, referem-se ao baixo entendimento e aplicação das ferramentas estatísticas, além de replicações insuficientes no laboratório original. Neste trabalho, desenvolveu-se uma pesquisa baseada na busca pela verificação da confirmação ou não de uma potencial crise de reprodutibilidade na área de química analítica, devido a um baixo entendimento e aplicação das ferramentas estatísticas. Primeiramente, o objetivo foi avaliar se a percepção da existência de uma crise de reprodutibilidade era passível de ser confirmada e quantificada. O segundo objetivo foi avaliar a relação entre a potencial existência da crise de reprodutibilidade com as fontes descritas pelos entrevistados com foco em validação métodos e incerteza dos resultados. Com base nos critérios constantes em protocolos e legislações vigentes, foram realizadas avaliações de conformidade e verificações dos cálculos estatísticos dos dados analíticos publicados. Para avaliação dos dados e resultados, utilizou-se como referência os softwares validados voltados à laboratórios de ensaio, denominados ConfLab Validação e ConfLab Incerteza, os quais foram projetados para atender os principais Sistemas de Gestão da Qualidade. As discussões ocorreram a partir da comparação dos resultados obtidos da forma como se apresentaram nos documentos originais com os resultados obtidos pelos softwares. Os resultados, apontaram que 28% dos trabalhos apresentaram valores de incerteza maiores que 100% e apenas 19% dos autores realizaram os estudos dos parâmetros de validação de acordo com os protocolos e em 17% das validações todos os parâmetros atenderam aos critérios de aceitação de resultados dos protocolos, valores que permitiram evidenciar com probabilidade considerável a existência de uma crise de reprodutibilidade causada pelo uso equivocado da validação de métodos, sustentada pelos elevados valores de incerteza não avaliados nos documentos científicos estudados nas diferentes áreas de conhecimento.
id USP_0ed496d5b185fd0f002a880182da67c7
oai_identifier_str oai:teses.usp.br:tde-11012022-110019
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str
spelling Crise de reprodutibilidade científica em química analítica: avaliação com foco na validação dos métodos e na incerteza dos resultadosCrisis of Scientific Reproducibility in Analytical Chemistry: Evaluation with a Focus on Method Validation and Results UncertaintyestatísticaincertezareproducibilityreprodutibilidadesoftwaresoftwarestatisticsuncertaintyvalidaçãovalidationOs dados apresentados em 2016 pelo artigo 1500 scientists lift the lid on reproducibility de Monya Baker, trouxeram uma discussão sobre a existência de significativa crise de reprodutibilidade em diversas áreas da pesquisa científica, e a química foi a área de conhecimento que os cientistas relataram grande dificuldade em reproduzir resultados publicados. Além disso, as principais causas apontadas, de acordo com a experiência dos cientistas consultados, referem-se ao baixo entendimento e aplicação das ferramentas estatísticas, além de replicações insuficientes no laboratório original. Neste trabalho, desenvolveu-se uma pesquisa baseada na busca pela verificação da confirmação ou não de uma potencial crise de reprodutibilidade na área de química analítica, devido a um baixo entendimento e aplicação das ferramentas estatísticas. Primeiramente, o objetivo foi avaliar se a percepção da existência de uma crise de reprodutibilidade era passível de ser confirmada e quantificada. O segundo objetivo foi avaliar a relação entre a potencial existência da crise de reprodutibilidade com as fontes descritas pelos entrevistados com foco em validação métodos e incerteza dos resultados. Com base nos critérios constantes em protocolos e legislações vigentes, foram realizadas avaliações de conformidade e verificações dos cálculos estatísticos dos dados analíticos publicados. Para avaliação dos dados e resultados, utilizou-se como referência os softwares validados voltados à laboratórios de ensaio, denominados ConfLab Validação e ConfLab Incerteza, os quais foram projetados para atender os principais Sistemas de Gestão da Qualidade. As discussões ocorreram a partir da comparação dos resultados obtidos da forma como se apresentaram nos documentos originais com os resultados obtidos pelos softwares. Os resultados, apontaram que 28% dos trabalhos apresentaram valores de incerteza maiores que 100% e apenas 19% dos autores realizaram os estudos dos parâmetros de validação de acordo com os protocolos e em 17% das validações todos os parâmetros atenderam aos critérios de aceitação de resultados dos protocolos, valores que permitiram evidenciar com probabilidade considerável a existência de uma crise de reprodutibilidade causada pelo uso equivocado da validação de métodos, sustentada pelos elevados valores de incerteza não avaliados nos documentos científicos estudados nas diferentes áreas de conhecimento.The data provided in 2016 by the article 1500 scientists raise the reproducibility limit by Monya Baker, brought a discussion about the existence of reproducibility crisis in several areas of scientific research, and chemistry was the area of knowledge that scientists reported great difficulty in reproducing published results. Furthermore, the main causes identified, according to the experience of the scientists consulted, are specific to the low understanding and application of statistical tools, in addition to insufficient replication in the original laboratory. In this work, research based on the search for verification of verification or not of a potential reproducibility crisis in the field of analytical chemistry is specialized, due to a low understanding and application of statistical tools. First, the objective was to assess whether the perception of the existence of a reproducibility crisis could be confirmed and quantified. The second objective was to assess the relationship between the existence of a potential existence of the reproducibility crisis with the sources of origin by the interviewees, focusing on validation methods and uncertainty of the results. Based on the criteria contained in current protocols and legislation, conformity assessments and verifications of statistical calculations of published analytical data were carried out. To evaluate the data and results, the validated software aimed at testing laboratories, the ConfLab Validation and ConfLab Uncertainty, which were assigned to meet the main Quality Management Systems, used as a reference. How the cost occurred from the comparison of the results obtained in the form of original documents with the results obtained by the software. The results showed that 28% of the general works with uncertainty values greater than 100% and only 19% of the authors carried out the studies of the validation parameters according to the protocols and in 17% of the validations all parameters met the acceptance criteria of protocol results, values that make it possible to evidence with probability the existence of a reproducibility crisis caused by the mistaken use of the validation of methods, supported by uncertainty values not appreciated in the scientific documents studied in different areas of knowledge.Biblioteca Digitais de Teses e Dissertações da USPCarrilho, EmanuelPacces, Vítor Hugo PolisélGonçalves, Bruna Drielen Ferreira2021-11-29info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/75/75135/tde-11012022-110019/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2022-01-11T18:29:03Zoai:teses.usp.br:tde-11012022-110019Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212022-01-11T18:29:03Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Crise de reprodutibilidade científica em química analítica: avaliação com foco na validação dos métodos e na incerteza dos resultados
Crisis of Scientific Reproducibility in Analytical Chemistry: Evaluation with a Focus on Method Validation and Results Uncertainty
title Crise de reprodutibilidade científica em química analítica: avaliação com foco na validação dos métodos e na incerteza dos resultados
spellingShingle Crise de reprodutibilidade científica em química analítica: avaliação com foco na validação dos métodos e na incerteza dos resultados
Gonçalves, Bruna Drielen Ferreira
estatística
incerteza
reproducibility
reprodutibilidade
software
software
statistics
uncertainty
validação
validation
title_short Crise de reprodutibilidade científica em química analítica: avaliação com foco na validação dos métodos e na incerteza dos resultados
title_full Crise de reprodutibilidade científica em química analítica: avaliação com foco na validação dos métodos e na incerteza dos resultados
title_fullStr Crise de reprodutibilidade científica em química analítica: avaliação com foco na validação dos métodos e na incerteza dos resultados
title_full_unstemmed Crise de reprodutibilidade científica em química analítica: avaliação com foco na validação dos métodos e na incerteza dos resultados
title_sort Crise de reprodutibilidade científica em química analítica: avaliação com foco na validação dos métodos e na incerteza dos resultados
author Gonçalves, Bruna Drielen Ferreira
author_facet Gonçalves, Bruna Drielen Ferreira
author_role author
dc.contributor.none.fl_str_mv Carrilho, Emanuel
Pacces, Vítor Hugo Polisél
dc.contributor.author.fl_str_mv Gonçalves, Bruna Drielen Ferreira
dc.subject.por.fl_str_mv estatística
incerteza
reproducibility
reprodutibilidade
software
software
statistics
uncertainty
validação
validation
topic estatística
incerteza
reproducibility
reprodutibilidade
software
software
statistics
uncertainty
validação
validation
description Os dados apresentados em 2016 pelo artigo 1500 scientists lift the lid on reproducibility de Monya Baker, trouxeram uma discussão sobre a existência de significativa crise de reprodutibilidade em diversas áreas da pesquisa científica, e a química foi a área de conhecimento que os cientistas relataram grande dificuldade em reproduzir resultados publicados. Além disso, as principais causas apontadas, de acordo com a experiência dos cientistas consultados, referem-se ao baixo entendimento e aplicação das ferramentas estatísticas, além de replicações insuficientes no laboratório original. Neste trabalho, desenvolveu-se uma pesquisa baseada na busca pela verificação da confirmação ou não de uma potencial crise de reprodutibilidade na área de química analítica, devido a um baixo entendimento e aplicação das ferramentas estatísticas. Primeiramente, o objetivo foi avaliar se a percepção da existência de uma crise de reprodutibilidade era passível de ser confirmada e quantificada. O segundo objetivo foi avaliar a relação entre a potencial existência da crise de reprodutibilidade com as fontes descritas pelos entrevistados com foco em validação métodos e incerteza dos resultados. Com base nos critérios constantes em protocolos e legislações vigentes, foram realizadas avaliações de conformidade e verificações dos cálculos estatísticos dos dados analíticos publicados. Para avaliação dos dados e resultados, utilizou-se como referência os softwares validados voltados à laboratórios de ensaio, denominados ConfLab Validação e ConfLab Incerteza, os quais foram projetados para atender os principais Sistemas de Gestão da Qualidade. As discussões ocorreram a partir da comparação dos resultados obtidos da forma como se apresentaram nos documentos originais com os resultados obtidos pelos softwares. Os resultados, apontaram que 28% dos trabalhos apresentaram valores de incerteza maiores que 100% e apenas 19% dos autores realizaram os estudos dos parâmetros de validação de acordo com os protocolos e em 17% das validações todos os parâmetros atenderam aos critérios de aceitação de resultados dos protocolos, valores que permitiram evidenciar com probabilidade considerável a existência de uma crise de reprodutibilidade causada pelo uso equivocado da validação de métodos, sustentada pelos elevados valores de incerteza não avaliados nos documentos científicos estudados nas diferentes áreas de conhecimento.
publishDate 2021
dc.date.none.fl_str_mv 2021-11-29
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/75/75135/tde-11012022-110019/
url https://www.teses.usp.br/teses/disponiveis/75/75135/tde-11012022-110019/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1815258019805528064