No dia 6 de agosto o Ministério da Educação divulgou um até então desconhecido “Conceito Preliminar de Curso” que classificou 508 dos 2.028 cursos avaliados pelo ENADE de 2007 como de qualidade insuficiente, 444 da rede privada (19,5% do setor) , e 64 da rede pública (12,2%).
Embora “preliminares”, e aparentemente sujeitos a revisão, estes conceitos foram amplamente divulgados pela imprensa, afetando a reputação e provocando a reação indignada de muita gente. Existem de fato muitos cursos superiores de má qualidade neste país, públicos e privados, que precisam ser avaliados de forma externa e independente. A avaliação, quando bem feita, informa o público sobre cursos que devem ser buscados ou evitados, e estimula as instituições a melhorar seu desempenho. A auto-avaliação não é suficiente, porque ela não produz resultados comparáveis, e são geralmente defensivas.
O problema com a avaliação do ensino superior brasileiro não é que ela exista, mas a forma como ela é feita, e como os resultados são divulgados. O ENADE tem problemas técnicos graves, alguns dos quais eu apontei tempos atrás, e não me parece que tenham sido resolvidos. Entre outros, ele inclui uma prova de “formação geral” que, com 10 perguntas, tenta medir dezenas de competências, e não mede nenhuma (uma simples prova bem feita de linguagem seria melhor); provas de formação específica que não estão devidamente elaboradas em termos das competências que deveriam medir (cada uma delas se baseia em uma lista de matérias que o estudante deveria conhecer, o que é bem diferente); e uma estranha aritmética em que os resultados das provas aplicadas aos alunos que iniciam os cursos são somados aos resultados dos que terminam, aumentando os conceitos dos cursos que conseguem atrair estudantes mais qualificados, presumivelmente de nivel socio-econômico mais alto, mesmo que aprendam muito pouco nos anos seguintes, e punindo os que admitem alunos menos qualificados e contribuem mais para formá-los.
Sem poder mexer nesta aritmética, o INEP calculou um “indice de diferença de desempenho (IDD)”, que estima em que medida o desempenho dos alunos ao final do curso está acima ou abaixo do que seria estatisticamente esperado dadas as condições gerais dos alunos ingressantes. Além disto, o INEP desenvolveu um outro índice de “insumos” que combina informações sobre professores com doutorado e em tempo integral e opiniões dos alunos sobre os programas dos cursos. Tudo isto – ENADE, IDD, Insumos – é combinado com pesos definidos não se sabe como, e daí sai o “Conceito Provisório”.
Como o ENADE e o IDD medem coisas diferentes, e o segundo foi inventado para corrigir os erros do primeiro, é difícil interpretar o que de fato o Conceito Provisório está medindo (não parece que as informações sobre insumos privilegiem as instituições públicas, já que elas só entram na medida em que se correlacionam com o IDD). Uma medida de avaliação, além de ser tecnicamente bem feita, precisa ter uma interpretação clara, e precisa ser feita de forma independente e transparente, para que tenha legitimidade. Nada disto ocorreu com o Conceito Provisório.
Quando eu tenho uma dor de barriga e procuro um médico, ele não pode olhar as estatísticas sobre os possíveis correlatos da dor de barriga, e assim orientar meu tratamento. Ele precisa fazer um diagnóstico clínico de meu caso, e para isto, claro,os exames e as estatísticas são muito úteis. Da mesma forma, não é possível emitir juizos de valor sobre cursos superiores específicos a partir de estimativas estatísticas, por melhores que sejam. A avaliação deve ser feita por pessoas de carne e osso, com nome e sobrenome, que sejam respeitadas em seu meio, e que assinem embaixo. Sem isto, a credibilidade dos resultados sofre, e os sistemas de avaliação, que deveriam desempenhar um papel importante, acabam desmoralizados.