Resenha de Brasil, André, Advancing the evaluation of graduate education: towards a multidimensional model in Brazil. Leiden, Holanda: Universiteit Leiden / ProefschriftMaken, 2023, 378p.
(para um comentário adicional a esta resenha veja a postagem seguinte, A CAPES e suas avaliações)
O modelo nacional de avaliação de programas de pós-graduação da CAPES, implementado em 1980, tem recebido muita atenção da comunidade acadêmica brasileira, especialmente considerando seu profundo impacto no financiamento e na regulação da pós-graduação no país. Enquanto muitos reconhecem que a estrutura da avaliação nacional, aplicada a todos os programas do país em intervalos regulares, tem sido eficaz na promoção da qualidade do programa, outros vêem o esforço de uma forma mais negativa, argumentando, entre outras críticas, que a qualidade educacional é vista de maneira restrita e excessivamente quantitativa, o que interfere na autonomia acadêmica das universidades garantida na Constituição brasileira. Embora muitos artigos tenham contribuído ao debate em curso, nunca houve um livro detalhado dedicado exclusivamente ao tema, até recentemente. Esta ausência na literatura de avaliação foi agora remediada, pelo menos para a comunidade internacional, por um livro que acaba de ser publicado em inglês, intitulado “Avançando a avaliação da educação de pós-graduação: rumo a um modelo multidimensional de educação de pós-graduação”.[1] O livro, que tem quase 400 páginas, é baseado em uma tese de doutorado de autoria de André Brasil, gestor de alto escalão da Diretoria de Avaliação da CAPES.
O livro está dividido em 12 capítulos e aborda detalhadamente a construção e a dinâmica da avaliação nacional, seu impacto na produção acadêmica e na qualidade da aprendizagem, seus pontos fortes e fracos e, por fim, as medidas que devem ser tomadas para seu aprimoramento. O livro conclui apresentando dez princípios que norteiam o modelo de avaliação da CAPES e oferece treze recomendações para seu aprimoramento, que, segundo o autor, foram “meticulosamente delineadas para respeitar os contornos socioculturais distintos do Brasil” (p. 298). Devido à riqueza de detalhes do livro, a presente resenha não pretende analisar todos os seus muitos aspectos. Em vez disso, o resenhista apresenta elementos-chave que considera mais relevantes para a reforma e melhoria do modelo de avaliação da CAPES atualmente em uso.
Para quem já conhece o modelo CAPES, o capítulo mais interessante do livro é o Capítulo 5, que traz uma análise comparativa dos sistemas brasileiro e holandês de avaliação de programas de pós-graduação, identificando diferenças e semelhanças no que diz respeito à estrutura organizacional, métodos de avaliação e dados, partes interessadas relevantes e grau de transparência. A análise revela que as duas abordagens de avaliação são muito diferentes, refletindo pontos de vista distintos em relação à avaliação, à autonomia universitária e à gestão da educação superior. As universidades holandesas, que datam do século XVI, são muito mais antigas que as congêneres brasileiras, o que significa que a autonomia universitária e a internacionalização estão muito mais firmemente enraizadas nas primeiras do que nas segundas. Diferentemente do Brasil, na Holanda o uso do inglês é enfatizado e a pesquisa é organizada em unidades acadêmicas e não em programas de pós-graduação.
Como o Brasil começou tarde a promover o estudo e a pesquisa sobre a universidade, tem tentado recuperar o tempo adotando uma abordagem central e nacional para garantir a qualidade dos programas de pós-graduação, capaz de causar um impacto rápido e universalizado. Essa orientação centralizada resultou na criação do Sistema Nacional de Pós-Graduação (SNPG) e na concentração da avaliação em órgão governamental nacional. A avaliação tende a ser uniforme, aplicada a todos os programas do país, e tem grandes implicações para as unidades avaliadas, estando diretamente vinculada às políticas regulatórias e de financiamento e desenhada para garantir o funcionamento, a estabilidade e a qualidade do sistema através de uma abordagem hierárquica governamental. No Brasil, o governo “dirige” o desenvolvimento da ciência no país, utilizando a avaliação dos programas de pós-graduação como principal ferramenta de regulação.
Na Holanda, o foco da avaliação está na pesquisa e não nos programas de pós-graduação, e a pesquisa é organizada de acordo com disciplinas e unidades acadêmicas, nas quais estão incluídos programas de doutorado (mas não de mestrado). Ao contrário do Brasil, o estado não possui uma atuação avaliadora na Holanda. Embora as diretrizes sejam fornecidas por organizações não-governamentais nacionais de reitores e de professores universitários, as instituições têm autonomia para definir a sua própria estratégia, organização e escopo de avaliação. Assim, o sistema de avaliação holandês é bottom-up e descentralizado. A avaliação é uma prática interna e participativa realizada com base na identidade, objetivos e estratégias de cada unidade avaliada, tornando o processo predominantemente interno, formativo, contextual e qualitativo. Não foi concebido para controle externo, regulação estatal ou responsabilização. Os protocolos nacionais definem objetivos gerais de avaliação a nível nacional, mas os critérios não são rígidos, padronizados ou obrigatórios. As unidades de investigação têm autonomia para as reorganizar de acordo com as suas características específicas. Os protocolos não definem regras ou diretrizes sobre as consequências da avaliação e nenhuma instituição nacional é responsável por definir ou aplicar sanções, recompensas e incentivos. Essa é prerrogativa de cada unidade ou instituição, seguindo suas políticas internas. Assim, ao contrário do caso brasileiro, na Holanda a avaliação não é regulatória, não estabelece classificações e não cria indicadores que permitam a comparabilidade entre unidades.
Ao fazer a sua análise comparativa, o autor do livro teve o cuidado de notar que os dois sistemas se baseiam em trajetórias históricas, desafios geográficos e estruturas institucionais. Os mecanismos de avaliação devem ser adaptados aos contextos únicos de cada país. Contudo, existem inspirações e lições que podem ser tiradas das experiências positivas de cada país. Em última análise, ele reconhece vantagens para ambas as abordagens, afirmando que, do ponto de vista comparativo, o modelo brasileiro tem servido de forma mais eficaz para estimular a produção de pesquisas e publicações, especialmente em um contexto em que o desenvolvimento da cultura da pesquisa é relativamente recente, enquanto o modelo holandês promoveu com mais sucesso um ponto de vista contextualizado conducente ao reconhecimento da diversidade, diferenciação e autonomia institucionais.
O autor volta à questão da autoavaliação de programa no Capítulo 11, que aborda a questão da multidimensionalidade, tema subjacente ao qual todo o livro é dedicado. Ele observa que, em 2018, a CAPES reconheceu a necessidade de desenhar uma estratégia de autoavaliação para o SNPG. Este reconhecimento, na opinião do autor, derivou de duas tendências principais. Em primeiro lugar, a expansão significativa do SNPG, que cresceu de cerca de 400 programas em 1980 para quase 5.000 em 2020, tornou-se um obstáculo para captar as narrativas complexas vividas pelo número rapidamente crescente de iniciativas de pós-graduação. Em segundo lugar, era cada vez mais evidente que a sua abordagem de avaliação externa tinha promovido um sistema científico excessivamente homogêneo, levando os programas de pós-graduação “a tornarem-se fotocópias de qualidade inferior aos de melhor desempenho” (p. 260).
No que diz respeito ao tema da multidimensionalidade, entendido como uma abordagem avaliativa que busca captar a realidade de forma ampla, focando em uma variedade de dimensões, subdimensões e indicadores operacionais que se relacionam, de forma articulada, com a qualidade educacional, o autor afirma que a autoavaliação é potencialmente “o instrumento mais valioso numa avaliação genuinamente multidimensional” (p. 273), pois, se bem desenvolvido, pode assegurar a relevância contextualizada que historicamente faltou ao modelo de avaliação da CAPES. Ele postula que uma abordagem multidimensional eficaz “só é verdadeiramente possível por meio da autoavaliação”, pois permite que a multidimensionalidade “incentive a diversidade na ciência brasileira e que possa empregar as próprias instituições como parceiras mais ativas no processo de avaliação” (p. 277).
É claro que, no Capítulo 11, a sua discussão sobre a abordagem da multidimensionalidade à avaliação trata de muito mais do que apenas a autoavaliação. Ele analisa a proposta multidimensional feita em 2018 pela Comissão do PNPG, responsável por acompanhar o Plano do período 2011-2020. Esta proposta defendia a utilização de cinco dimensões, com cada dimensão classificada separadamente numa escala de um a sete, preservando assim a classificação dos programas, mas eliminando a atribuição de uma nota única a cada programa. Embora a Comissão do PNPG tenha anunciado a sua proposta como um “novo modelo”, o autor argumenta corretamente que o seu enquadramento não muda muito em relação à avaliação já em vigor. Ainda assim, ele vê a proposta da referida Comissão como um avanço, representando “um passo modesto, mas relevante, para permitir que os programas de pós-graduação encontrem suas próprias identidades” (p. 273). O mesmo também ressalta o fato de ser uso-amigável, no sentido de que os programas individuais podem selecionar os indicadores ou itens que os ajudariam a definir os perfis dos seus programas de acordo com os seus interesses. Afirma, ainda, que essa flexibilidade orientada para o utilizador produziria resultados mais ricos e mais relevantes para a melhoria do programa.
Apesar da sua argumentação coerente, detalhada e bem fundamentada, muitos aspectos da sua narrativa podem ser questionados, incluindo o fato, reconhecido pelo próprio autor, de que o seu estudo não aborda os aspectos operacionais das suas muitas recomendações, limitando, potencialmente, sua aplicabilidade. Contudo, para este resenhista, quatro questões merecem atenção especial aqui. Cada uma é brevemente discutida abaixo.
- O autor defende a avaliação externa realizada pela CAPES. Embora reconheça suas limitações e a necessidade de reformas à luz da complexidade e diversidade do Sistema de Pós-graduação do Brasil, ele enfatiza seu importante papel na promoção da qualidade e da produção acadêmica, além de ser muito positivo ao descrever o uso de comissões de pares, áreas de avaliação, um padrão formulário de avaliação para orientar a aplicação de critérios e indicadores, e o Sistema Qualis para julgar, por meio de análises qualitativas e quantitativas, artigos de periódicos e outros produtos. Mas, por outro lado, sugere que a avaliação externa não é sustentável devido ao tamanho crescente do SNPG e critica-o frequentemente por limitar a diversidade e a inovação em todo o sistema. Assim, conforme descrito acima, ele concentra grande parte do livro na importância da autoavaliação, que descreve com detalhes brilhantes. Mas, nunca fica claro como ele vê a avaliação externa e a autoavaliação inter-relacionadas. A autoavaliação é um complemento ou substituto do modelo externo? Em alguns momentos, ele parece indicar que o processo interno deveria substituir a abordagem centralizada e de cima para baixo, como ocorreu na Holanda, enquanto em outros momentos ele sugere que o componente externo deveria permanecer o elemento principal, devido ao seu impacto global e a sua capacidade de fornecer resultados comparativos. Segundo ele, as duas iniciativas exigiriam articulação, mas ele não faz nenhum esforço para revelar o que “articulação” pode significar em termos concretos.
- Em diversas ocasiões, o autor defende uma abordagem de avaliação amigável, na qual o programa escolhe as dimensões e os indicadores com base nos quais seria avaliado. A recomendação faz todo o sentido no caso da autoavaliação, mas o autor parece aplicá-la também à avaliação externa, especialmente quando apoia o sistema de cinco notas proposto pela Comissão do PNPG por ser um passo modesto, mas relevante. O problema desse argumento é que o programa de pós-graduação não é o único “usuário”. Na verdade, como fica claro nos capítulos iniciais dos livros, o principal usuário é e sempre foi o governo brasileiro, que utiliza os resultados da avaliação para financiar estudos de pós-graduação (via a CAPES) e para regular a qualidade dos programas (via o Conselho Nacional de Educação). Outro usuário é o público brasileiro, que exige (e merece) que todos os programas de pós-graduação do país, independentemente de onde estejam, atendam a padrões mínimos de qualidade. O próprio autor parece contradizer sua postura a favor da chamada avaliação amigável, quando, por exemplo, defende o direito das áreas de avaliação estabelecerem indicadores e critérios a serem utilizados e quando afirma que um ingrediente essencial do modelo de avaliação da CAPES é seu quadro comparativo.
- Outra posição discutível adotada pelo autor envolve a defesa de notas múltiplas, sendo uma atribuída a cada dimensão, em vez de uma nota unitária gerada pela ponderação dos componentes com o modelo multidimensional da CAPES. Este ponto de vista não está incorreto, mas requer uma análise mais profunda. A abordagem multi-nota é útil para os programas, pois fornece uma imagem desagregada da sua qualidade que pode facilitar as decisões para a sua melhoria. Porém, o autor deixa de mencionar que os programas já recebem seus resultados de avaliação de forma desagregada, com avaliação em escala de cinco graus feita para cada quesito, item e indicador incluídos na Ficha de Avaliação. Na área de Educação, por exemplo, cada programa recebeu, em 2022, uma avaliação para 62 elementos diferentes, abordando 3 quesitos, 12 itens e 47 indicadores. Por outro lado, o resultado da nota única é útil para outros fins, como na tomada de decisões governamentais relativas ao financiamento e à regulamentação e quando indivíduos e organizações, incluindo os do exterior, estão decidindo se devem ou não trabalhar com um determinado programa. A CAPES, por exemplo, recebe solicitações de todo o mundo perguntando sobre a equivalência entre os conceitos (E a A) dados aos programas anteriores a 1998 e as notas (1 a 7) dadas a partir de então. Essas solicitações são uma prova do valor, da legitimidade e do reconhecimento internacional conferidos às notas da CAPES na forma como estão divulgadas atualmente.
- Por fim, ao defender o modelo de cinco dimensões proposto pela Comissão do PNPG, o autor ignora totalmente o formato de avaliação construído e aprovado pelo Conselho Técnico Científico (CTC-ES) da CAPES em dezembro de 2018. Ao invés de ser composto por dimensões avaliadas de forma independente e isoladas entre si, a Ficha de Avaliação aprovada pelo CTC-ES apresenta uma abordagem mais holística, integrada e condensada, organizada em torno de três dimensões e 12 subdimensões que espelham o chamado modelo clássico de avaliação de programas que se concentra, sistematicamente, em insumos (Programa), processos (Formação) e resultados (Impacto na Sociedade). A dimensão Programa, que existia anteriormente mas nunca foi ponderada, inclui como componentes-chave tanto o planejamento estratégico como a autoavaliação do programa, dois ingredientes que o autor considera cruciais para a melhoria do programa, mas que são omitidos no modelo proposto pela Comissão do PNPG. Outra vantagem da Ficha aprovada em 2018 é que a dimensão formativa dá ênfase, pela primeira vez, às trajetórias e opiniões dos egressos do programa. Além disso, inclui como um de seus itens a produção acadêmica dos docentes, aspecto que era uma dimensão à parte tanto na avaliação da CAPES no passado quanto no modelo proposto pela Comissão do PNPG. Agora, no novo formato, trata-se apenas de um componente de dimensão mais geral, reduzindo assim sua influência, algo condizente com o pensamento do autor, ao mesmo tempo em que destaca a principal justificativa para promover a pesquisa e a publicação nos programas de pós-graduação, como estratégia pedagógica para possibilitar que os alunos aprendam sobre a produção de conhecimento trabalhando em estreita colaboração com aqueles que têm experiência profunda com tais processos. Também, a nova Ficha de Avaliação aumentou a importância dada aos impactos do programa e relativizou, de forma multidimensional, os impactos internacionais versus aqueles de natureza mais local. E ainda, como parte da nova abordagem, os indicadores qualitativos receberam muito mais peso e valor do que no passado. Todos estes avanços vão ao encontro dos argumentos apresentados pelo autor em vários momentos da sua longa narrativa, embora nenhum deles faça parte do modelo da Comissão do PNPG que o autor abraça.
Apesar das dúvidas levantadas acima, este resenhista avalia o livro produzido por André Brasil de forma bastante positiva. Em suma, o autor acredita que a avaliação da CAPES deveria ser mais flexível, adaptável e contextualizada, “permitindo variação e customização de acordo com as especificidades de cada programa de pós-graduação, em harmonia com contextos institucionais e disciplinares mais amplos” (p. 302). Os esforços para melhorar ainda mais o Sistema serão muito beneficiados pelo que este livro tem a oferecer. Dou a sua leitura a minha mais alta recomendação.
Nota
[1] Todos os trechos do texto colocados entre aspas foram traduzidos do inglês para o português pelo autor da resenha.