Ir direto ao conteúdo

Por que é importante reproduzir pesquisas científicas

Projeto brasileiro busca atrair laboratórios para replicar experimentos na área biomédica e saber quão confiável é a ciência no país

     

    Um experimento feito para medir a ansiedade em ratos e camundongos precisa apresentar os mesmos resultados em qualquer laboratório onde for realizado. Só assim o método pode ser cientificamente aceito e comprovado. A reprodutibilidade, conceito considerado um dos pilares da ciência, costuma, porém, ser pouco verificada.

    “Não é da cultura da academia e das agências de fomento se preocupar em fazer um controle de qualidade”, diz Olavo Amaral, professor do Instituto de Bioquímica Médica Leopoldo de Meis da UFRJ (Universidade Federal do Rio de Janeiro), ao Nexo.

    Ele coordena a Iniciativa Brasileira de Reprodutibilidade, projeto iniciado em 2018 para replicar em diferentes lugares experimentos da área biomédica e estimar, assim, o grau de confiança da ciência no país.

    Com apoio de R$ 1 milhão do Instituto Serrapilheira, entidade de fomento à pesquisa criada pelo cineasta João Moreira Salles em 2017, a iniciativa recebeu inscrições de 71 laboratórios no país para integrar uma rede que irá testar até cem resultados científicos apresentados em artigos acadêmicos nos últimos 20 anos. Cada experimento selecionado será reproduzido por ao menos três laboratórios diferentes. Os resultados serão apresentados até 2021.

    Segundo Amaral, a reprodutibilidade da ciência publicada tem sido predominantemente estudada por iniciativas privadas com “colaborações independentes”. Para medir a qualidade de uma pesquisa, diz ele, é praxe calcular somente quantos artigos foram publicados a partir dela e quantas citações foram feitas a ela. Artigos também passam pela revisão por pares (peer review), que é quando um especialista da área avalia anonimamente um trabalho de um colega antes de ele ser publicado por uma revista científica.

    Para Amaral, o método não dá conta de selecionar o que é estritamente confiável, pois revisores e revistas acessam apenas descrições das pesquisas, sem contato com todo o caminho usado para se chegar até eles.

    O grau de confiança

    A discussão sobre o quanto a ciência é confiável vem sendo feita há alguns anos. O médico e pesquisador da Universidade de Stanford John Ioannidis, autor de “Por que a maior parte dos resultados de pesquisa publicados são falsos”, de 2005, aplicou, neste outro trabalho do mesmo ano, o método de reprodutibilidade em 45 estudos clínicos.

    Os resultados foram:

    • 16% foram contestados por estudos subsequentes
    • 16% tiveram resultados mais fortes no primeiro experimento do que nas pesquisas posteriores
    • 44% foram replicados
    • 24% não foram contestados (nenhuma pesquisa conseguiu validar sua eficácia)

    Outra pesquisa de 2011, publicada na revista Nature Reviews Drug Discovery, mostrou que, de 67 projetos, a maioria deles na área de oncologia (dedicada ao estudo do câncer), apenas de 20% a 25% eram replicáveis.

    O Nexo conversou com Olavo Amaral sobre a iniciativa brasileira.

    Acreditamos cegamente na produção científica? Como ela tem sido avaliada?

    OLAVO AMARAL A suposição implícita de como a ciência funciona e é financiada, revisada e administrada é que o processo de revisão por pares, da forma como existe, daria conta de selecionar a ciência confiável. Não é o caso. Tem muita coisa publicada que parece não ser reprodutível. A gente tem poucos dados sobre reprodutibilidade, mas, nas áreas de pesquisa em que alguém estudou isso, claramente tem bastante coisa que não se sustenta, seja por questões de má conduta, seja por erros acidentais ou por fruto do acaso. O revisor ou a revista científica acessam artigos científicos com uma versão muito filtrada da realidade.

    Historicamente, cientistas têm acreditado que a revisão por pares seria suficiente para que a comunidade científica pudesse se autorregular. Não é da cultura da academia e das agências de fomento se preocupar em fazer um controle de qualidade para ver se o que a gente está financiando de fato está dando respostas. Se você pegar como as pessoas avaliam ciência, elas vão usar indicadores relacionados a publicações: quantos artigos e em que revistas foram publicados ou quantos foram citados. São índices de volume, de impacto acadêmico, de quanto esse dado teve repercussão. Mas perguntar se de fato ele se sustenta, se é rigoroso ou reprodutível, é algo que, de modo geral, não é feito na avaliação científica. É uma questão para a qual a gente não olha sistematicamente.

    Não existe uma preocupação com a qualidade?

    OLAVO AMARAL Não existe uma cultura institucional de controle de qualidade. Se você pegar os maiores levantamentos de reprodutibilidade científica, que pegam uma série de artigos e tentam reproduzir em vários lugares, os melhores que a gente tem foram feitos com financiamento privado e colaborações independentes, de pesquisadores que se preocupam com o tema.  

    A iniciativa brasileira se baseou em algum modelo que já foi feito?

    OLAVO AMARAL Sim. Não há muitas iniciativas sistemáticas, mas as melhores foram feitas pelo Center for Open Science, que é uma organização americana fundada originalmente por gente da psicologia e que tem debatido muito essa questão. Tem alguns levantamentos interessantes, com artigos das áreas da psicologia social e cognitiva, economia, ciências sociais, biologia do câncer. São colaborações descentralizadas. Eles abriram o levantamento da psicologia para o mundo todo. Colocaram online os experimentos para quem quisesse fazê-los. Você se voluntaria e faz.

    A reprodutibilidade pode ser medida em todas as áreas do conhecimento?

    OLAVO AMARAL Tem coisas que você consegue repetir em laboratório, mas tem outras que não. Em ecologia, por exemplo, se alguém foi estudar uma floresta japonesa e concluiu uma coisa, não tem como fazer em outra floresta que não seja a japonesa. Mas tem coisas interessantes na área da psicologia humana, que são interessantes de avaliar em diferentes culturas, por exemplo.

    Quais projetos já foram selecionados?

    OLAVO AMARAL A gente está definindo as técnicas e está selecionando projetos agora. Vamos fazer em três ondas porque a gente não sabe o custo do projeto todo. Vamos começar com três técnicas e 20 experimentos em cada um, ou seja, 60 experimentos que temos confiança que cabem no orçamento. Conforme formos descobrindo quanto custa, podemos fazer mais 20, e depois adicionar mais outros 20. Vamos fazer entre 60 e 100, com de três a cinco técnicas diferentes. A ideia é que quem replique os experimentos receba apenas os protocolos e não os resultados originais. A gente não vai tornar a seleção pública até os experimentos serem realizados.

    Mas tem uma área de enfoque?

    OLAVO AMARAL Nosso recorte é metodológico dentro da ciência biomédica. Vamos começar com três técnicas comuns de laboratório. Um para medir a concentração de mRNA [o RNA mensageiro, que carrega a sequência de bases para a síntese da proteína], um para medir a viabilidade celular em culturas de célula, e o labirinto em cruz elevado, que é uma tarefa de comportamento para analisar ansiedade em ratos e camundongos. São 20 experimentos por técnicas. A gente só vai dizer publicamente quais são os experimentos depois de acabar, para os responsáveis pelos experimentos não saberem quem são os autores originais. O prazo para apresentar os resultados é até 2021.

    A iniciativa pode ser confundida com uma caça às bruxas a pesquisadores por tentar achar apenas o que não funciona?

    OLAVO AMARAL Vamos tentar achar o que não funciona, mas não chamaria de caça às bruxas. A gente se preocupa em não ser enquadrado dessa forma. Minha preocupação é não equacionar o debate como sendo algo sobre ética. É importante deixar claro que, se algo não foi reproduzido, não quer dizer que tenha havido fraude. O levantamento inicial pode ter sido malfeito ou enviesado, ou pode ser que tenha se chegado ao resultado por um acaso e que ele nunca mais vai acontecer de novo. Existem erros completamente honestos. Às vezes, algo pode funcionar num laboratório e não funciona em outro por razões que não se sabe explicar. Por outro lado, tem coisas que são de fato antiéticas, mas a gente não tem como entrar no mérito de por que algo não foi reproduzido. Não gostaria que a iniciativa fosse usada como uma base para acusar alguém de ter feito alguma coisa errada.

    Pode revelar deficiências na formação dos pesquisadores?

    OLAVO AMARAL Com certeza. Acho que boa parte do problema é erro ou viés. Não estou isentando e dizendo que o problema da reprodutibilidade não é culpa de ninguém. É de muita gente. Mas não quero apontar o dedo para ninguém, porque isso estaria além do que podemos fazer responsavelmente. E temos que evitar uma caça às bruxas. A gente vai pegar um experimento por artigo, que talvez nem invalide o artigo e não vai acabar com a carreira de ninguém. A gente gostaria que o projeto fosse o mais impessoal possível. A ideia é ter uma amostragem grande da ciência brasileira selecionada aleatoriamente. Vamos revelar os estudos no final por questão de transparência, mas não vamos nos meter no porquê de algo não ter sido reproduzido. Mas é importante olhar para o tema. É saudável que exista uma malha fina, que você saiba que pode ser questionado após uma publicação.

    Qual a importância da iniciativa num contexto de anticientificismo, em que se questiona, por exemplo, a existência do aquecimento global?

    OLAVO AMARAL É uma questão complicada. Se a ciência já está combalida, a iniciativa vai questioná-la ainda mais? Nós acreditamos que a ciência tem muitos problemas, mas que é melhor do que a ausência da ciência, com toda a certeza. Muito do que a humanidade evoluiu foi por causa do desenvolvimento científico. Por mais problemas que tenhamos, muita coisa funciona, mas poderia funcionar muito mais. É importante que se tenha um sistema de comprovação científica, em que, de fato, os achados publicados sejam confiáveis. Se qualquer coisa acaba publicada, começa a ter gente usando a fragilidade do sistema para negar aquecimento global e evolução. Até para conseguir demarcar o que é ciência sólida, comprovada, bem-feita metodologicamente, temos que aumentar o rigor do sistema acadêmico. É uma tentativa de recuperar o espaço da ciência como algo em que a gente confia; caso constrário acabamos caindo numa vala comum onde qualquer um diz qualquer coisa. Uma ciência mais robusta funciona como uma vacina contra esse tipo de relativismo extremo em que qualquer um confia no que bem entender.  

    Todos os conteúdos publicados no Nexo têm assinatura de seus autores. Para saber mais sobre eles e o processo de edição dos conteúdos do jornal, consulte as páginas Nossa Equipe e Padrões editoriais. Percebeu um erro no conteúdo? Entre em contato. O Nexo faz parte do Trust Project. Saiba mais.

    Mais recentes

    Você ainda tem 2 conteúdos grátis neste mês.

    Informação com clareza, equilíbrio e qualidade.
    Apoie o jornalismo independente. Junte-se ao Nexo!