Em sua coluna de 2 de dezembro, Marcelo Viana relata sua experiência como revisor de projetos para o ERC (European Research Council), agência de fomento europeia que, como o Instituto Serrapilheira, é signatário da Dora (Declaração de São Francisco sobre Avaliação de Pesquisa). Criada em 2012, o intuito da Dora é melhorar a avaliação da pesquisa acadêmica.

Seus signatários assumem um compromisso central: não avaliar artigos científicos com base no periódico onde eles foram publicados, mas pelo conteúdo e qualidade da pesquisa em si. Isso porque a métrica em geral usada em avaliações de cientistas quando eles concorrem a financiamentos ou cargos é o fator de impacto do periódico –o número médio de citações dos artigos publicados nele nos últimos anos.

Mais importante do que tornar público seu compromisso, quem assina a Dora deve implementar as decisões na rotina de avaliação de projetos e cientistas. O que significa, na prática, o Serrapilheira ser signatário da Dora?

Ao avaliarem cientistas, um dos compromissos das agências de fomento é considerar, além de publicações, o valor e o impacto de todos os resultados (incluindo conjuntos de dados e softwares), a atuação dos cientistas em políticas públicas, entre outros fatores.

No caso do Serrapilheira, tal medida impacta diretamente nossas chamadas públicas de ciência. Orientamos os revisores a avaliar os artigos pelo seu conteúdo, não pela revista que os publicou. Não basta ter saído na Nature ou na Science: os trabalhos precisam ser lidos.

Dá mais trabalho, claro. Por isso, pedimos aos candidatos que indiquem três trabalhos que melhor representem suas contribuições até aquele momento e expliquem as razões dessa escolha.

É fácil entender por que métricas como o fator de impacto prevalecem. Primeiro, ele é imediato: assim que um trabalho é publicado, já é possível avaliá-lo pelo fator de impacto do periódico, antes mesmo de ele ser lido pela comunidade científica, de ser citado, ser replicado, impactar o campo de pesquisa –saber se ele é bom, de fato.

Segundo, permite que qualquer um avalie a qualidade de uma pesquisa. Eu não sou matemático, então não sei julgar a importância da prova de um teorema, mas sei comparar os fatores de impacto de dois periódicos e dizer qual é maior.

A discussão não é nova, mas a Dora foi um catalisador para um movimento maior de reforma da avaliação de ciência, que pede o uso responsável dessas métricas, envolve organizações globais como a Coalizão para o Avanço da Avaliação da Pesquisa (CoARA) e luta por reformas mais abrangentes do sistema universitário (por exemplo, nos Países Baixos). A própria Dora, para além da declaração original, tornou-se, em 2018, uma organização que promove a reforma do sistema de avaliação –com a qual o Serrapilheira colabora como parte de um dos seus grupos de discussão de financiadores.

Mesmo que a passos pequenos, o cenário vem mudando. A avaliação dos programas de pós-graduação feita pela Capes, por exemplo, agora poderá considerar não só as métricas que dizem respeito aos periódicos, mas também critérios qualitativos. Esperamos que mais instituições que fomentam ou fazem pesquisa se juntem a nós na reflexão sobre as práticas de avaliação da pesquisa.

O Ciência Fundamental é editado pelo Serrapilheira, um instituto privado, sem fins lucrativos, de apoio à ciência no Brasil. Inscreva-se na newsletter do Serrapilheira para acompanhar as novidades do instituto e da coluna.

LINK PRESENTE: Gostou deste texto? Assinante pode liberar sete acessos gratuitos de qualquer link por dia. Basta clicar no F azul abaixo.