Na medida em que aumenta a importância do conhecimento, em sua produção, transmissão e uso, também aumenta a preocupação com a maneira pela qual a produção de conhecimento e a educação são avaliados. Este tema foi objeto de matéria recente no Suplemento Sobre Cultura da revista Ciência Hoje, para o qual colaborei com uma nota que reproduzo abaixo. Recentemente foi publicada uma importante “Declaração de São Francisco” sobre a avaliação da pesquisa, criticando o uso indiscriminado do chamado “fator de impacto” das revistas científicas como critério de avaliação, que pode ser assinada por pessoas que concordem com o seu teor. Para quem se interessar, publiquei também um artigo meses atrás sobre os usos e abusos da avaliação educacional no Brasil, que está disponível em inglês. Transcrevo abaixo a nota da revista Ciência Hoje e uma tradução do texto introdutório da Declaração de São Francisco (DORA),
Publicar ou perecer
A ideia de que cientistas e pesquisadores precisam ser avaliados por sua produtividade, e que essa produtividade se expressa em produtos tangíveis – artigos, patentes e outros – é correta. Não há dúvida de que ela coloca os pesquisadores sob tensão, mas isso é parte da vida. Não há nada de errado no ‘produtivismo’ – se esses profissionais querem ser financiados e sustentados pelo seu trabalho, não há de ser pelos seus belos olhos ou boas intenções. Eles precisam mostrar o que fazem.
Existem, no entanto, alguns riscos importantes que surgem sem•pre que se busca colocar essa ideia na prática. O primeiro é quando se toma uma tendência geral – uma correlação – como válida e aplicável a situações individuais. Dados mostram que os melhores pesquisadores publicam muito e são muito citados, mas podem existir aqueles com muitas publicações desinteressantes, e outros com poucas publicações e trabalhos, mas de grande impacto. A única maneira de lidar com isso é entender que o dado estatístico, o indicador, é apenas um dado, que precisa ser interpretado caso a caso pelos pares. Quando pesquisadores ou departamentos de pesquisa são avaliados exclusivamente por seus indicadores, muitas vezes por pessoas ou instituições que nem sequer entendem do conteúdo dos trabalhos, a chance de erros é muito grande.
O segundo problema, bastante geral nas avaliações, é quando o indicador passa a ser mais importante do que aquilo que ele deveria indicar. Se o que importa é o número de publicações e citações, e não o que está sendo publicado ou citado, isso abre a porta para manipular os indicadores – dividir um artigo em três; dar preferência a projetos de curto prazo, em detrimento de projetos de duração mais longa; aprender como escrever para agradar os editores das revistas, sem correr riscos; e combinar com os amigos citações cruzadas – eu cito você, você me cita, e nós dois subimos nos rankings.
O terceiro problema é o chamado ‘efeito Mateus’, descrito pelo sociólogo estadunidense Robert Merton (1910-2003) anos atrás para descrever a concentração da pesquisa nos principais centros e ao redor dos nomes mais famosos (“ao que tem, se lhe dará e terá em abundância, mas ao que não tem será tirado até mesmo o que tem” – Mateus 13:2). Como os que mais têm trabalham e publicam em inglês nas revistas mais famosas dos países centrais, então mais vale colocar um artigo mais bem comportado junto a esses do que publicar um artigo mais brilhante e criativo em uma revista que ninguém importante vai ler ou comentar.
Existem outros riscos, como os de valorizar mais as publicações acadêmicas do que os trabalhos aplicados, e a pesquisa pública em detrimento da pesquisa industrial, ou supor que áreas de estudo e pesquisa como as ciências sociais, as humanidades e as engenharias deveriam ter o mesmo padrão de publicações do que as ciências naturais.
Nada disso significa que os indicadores de produtividade não sejam importantes, mas sim que eles não podem ser aplicados de forma burocrática e automática. Em última análise, indicadores de publicações e citações não são dados ‘objetivos’, mas agregações das avaliações subjetivas feitas pelos editores das revistas e pelos leitores dos artigos. Essa subjetividade não pode ser ignorada, mas precisa ser ponderada pelo juízo crítico dos pares que têm a responsabilidade de decidir sobre a qualidade e o futuro profissional de seus colegas em cada caso. É como um médico que precisa usar de sua experiência e do conhecimento do paciente para avaliar o resultado de um exame de laboratório; uma responsabilidade que não pode ser transferida a indicadores de nenhum tipo, por melhores que sejam.
Declaração de São Francisco (introdução)
Os produtos da pesquisa científica são muitos e variados, e incluem artigos de pesquisa relatando novos conhecimentos, dados , reagentes e software; propriedade intelectual; e jovens cientistas altamente treinados. Agências de fomento, instituições que empregam cientistas e próprios cientistas, todos têm desejo e necessidade de avaliar a qualidade e o impacto de produtos científicos. É, portanto, imperativo que a produção científica seja medida com precisão e avaliada com cuidado. O Fator de Impacto de Periódicos é frequentemente utilizado como o principal parâmetro com o qual se compara a produção científica de indivíduos e instituições. O fator de impacto, calculado pela Thomson Reuters, foi originalmente criado como uma ferramenta para ajudar os bibliotecários a identificar revistas para comprar, e não como uma medida da qualidade científica da pesquisa em um artigo. Com isso em mente, é fundamental entender que o fator de impacto tem inúmeras deficiências bem documentadas que afetam seu uso como ferramenta para a avaliação da pesquisa. Estes limitações incluem: A) as distribuições de citações dentro das revistas são altamente enviesadas; B) a propriedades do fator de impacto são específicas de cada campo, sendo compostos de diferentes tipos de artigos, incluindo trabalhos de pesquisa originais e resenhas da literatura; C) Os fatores de impacto podem ser manipulados (“gamed”) pelas práticas editoriais das revistas; e D) dados utilizados para calcular os fatores de impacto não são transparentes nem abertamente disponíveis para o público.
Varias recomendações são apresentadas para melhorar a maneira pela qual os resultados da pesquisa devem ser avaliados. Outros produtos além de artigos de pesquisa terão importância cada vez maior para a avaliação da eficácia da pesquisa no futuro, mas os artigos de pesquisa avaliados por pares continuarão sendo centrais nestas avaliações. Nossas recomendações, portanto, se referem principalmente às práticas relacionadas aos artigos de pesquisa publicados em revistas com revisão por pares, mas podem e devem ser ampliadas para reconhecer a importância de produtos adicionais tais como bancos de dados. Estes recomendações são destinadas a agências de fomento, instituições acadêmicas, revistas, organizações que fornecem métricas e pesquisadores individuais.
Alguns temas centrais permeiam todas estas recomendações:
– A necessidade de eliminar o uso de métricas baseadas em revistas, como o fator de impacto, em decisões de financiamento, nomeação e promoção;
– A necessidade de avaliar a pesquisa em seus próprios méritos e não em função do revista em que a pesquisa foi publicada, e
– a necessidade de aproveitar as oportunidades oferecidas pela publicação on-line (inclusive ao reduzir os limites desnecessários sobre o número de palavras, ilustrações e referências nos artigos, e explorar novos indicadores de importância e impacto).
Reconhecemos que muitas agências de fomento, instituições, editores e pesquisadores já estão incentivando melhores práticas de avaliação da pesquisa. Tais medidas estão começando a aumentar o impulso em prol de abordagens mais sofisticadas e significativas que agora podem ser ser desenvolvidas e adotadas por todos os setores interessados.
Boa tarde.
Recebi o texto em minha caixa de entrada de e mail e teci alguns comentários. Mais centrados na dificuldade encontrada por alguém que é contratado por empresas para , literalmente, “garimpar” em teses publicadas ( e livros) , patentes existentes ou requeridas, um ou mais bens científico – tecnológicos de possível uso presente ou futuro. Ou ainda a sugestão de associações , participação nas famosas start-ups, grupos de pesquisa, etc.
É lidar – no Brasil, com um cipoal , com egos inflados que pensam ter descoberto a pólvora e com programas governamentais de difícil trato. Afora a linguagem empolada , altissonante e inteligível apenas para iniciados. Mesmo para os poucos profissionais com os quais me consorcio.
É como se existisse um inóspito fôsso entre academia e sociedade produtiva e/ou necessitada.
Pela vertente , digamos seminal, tenho acompanhado o debate internacional a respeito do “produzir e/ou publicar ou morrer”. Os escândalos, as tentativas de filtrar , avaliar, etc
Este debate, lá fora, no norte maravilha é de sumo interesse para nosso país. Penso que a simples atitude de repercutir, ainda que caudatàriamente tal debate possa eventualmente trazer frutos. Um banho de realidade. Necessário antes que a tendência estatizante e centralizadora não se instale.
Cordialmente. AJSCampello
Simon, isso precisa de fato ser discutido a sério. As regras em vigor já estão devidamente assimiladas pelos jogadores. Do jeito que a coisa vai, estão jogando água no moinho dos críticos de qualquer forma de avaliação. Enquanto não se aprimoram as regras, há uma medida simples, que já serviria para inibir, no caso do Brasil, as fábricas de Lattes.
Basta limitar a, digamos, três produções anuais, somente em periódicos, o que será contado para fins de avaliação de pesquisadores. Isso, talvez, tornasse possível caminharmos no sentido de algo que avalie qualidade.
Por que precisamos desconsiderar os livros? Porque, se há críticas quanto à seriedade de muitas revistas, supostamente “peer-reviewed”, com os livros, a coisa é mais grave. Com um punhado de moedas compra-se, hoje, uma edição. Tem até editora virtual, on-demand. O livro tem sua “edição” comprada pelo autor e entra em um catálogo virtual. Se alguém se interessar por adquirir, a editora faz um exemplar e envia. Talvez a mãe do autor compre.
Mesmo editoras tradicionais vendem hoje a edição de livos a autores. Há, por fim, as editoras de universidades que são fábricas de Lattes para seus professores. O destino das obras é algum depósito, pois nem mesmo são distribuídas.
Três ou quatro produções por ano parece, ao menos na área de humanas, algo improvável de ser ultrapassado como produção original e relevante.
Concordo com o Prof. Simon Schwartzman de que é preciso qualificar o velho dito acadêmico do “publish or perish’. Aliás, vale notar a facilidade e generosidade com que as faculdades no Brasil andam distribuindo títulos de mestrado e doutorado…