Tenho recebido vários comentários sobre minha análise dos resultados do ENADE, e o texto, que está disponível na minha página na Internet, tem passado por sucessivas revisões (veja o link na nota abaixo). Um dos comentários é que os resultados estão sendo bem recebidos em muitas faculdades, porque elas melhoraram de conceito em relação ao Provão.
Para testar isto, comparei os conceitos no Provão de 2002 e no ENADE para 78 cursos de medicina que foram avaliados por ambos.
E, de fato, em uma escala de 1 a 5, em que 5 é o conceito mais alto, a média do Provão era de 3.01, e a média do ENADE é de 4.18! Seria um verdadeiro milagre, se os cursos de medicina tivessem tido uma melhora tão espetacular nestes poucos anos. Mas é claro que não é nada disto. Como as notas do Provão são padronizadas, a média só pode ser 3, em uma escala de 1 a 5. As notas do ENADE também foram padronizadas, mas de uma maneira estranha que depende do valor mais baixo, e além disto elas foram ponderadas pelas notas do exame de conhecimentos gerais e do exame aplicado aos alunos iniciantes, como está explicado no “resumo técnico” divulgado pelo INEP e no meu texto. O resultado é o “milagre” da melhoria dos conceitos de quase todo mundo.
Uma outra informação interessante é que a correlação de Pearson entre os conceitos do Provão de 2002 e os do ENADE é de .409, ou seja , um r2 de 0,167, Isto pode ser interpretado como significando que só 16.7% dos resultados medidos pelo ENADE se explicam pela qualidade medida pelo Provão de 2002. O resto é milagre mesmo.
O texto que explica o mistério do ENADE é excelente – seria um ótimo texto didático em cursos de metodologia e/ou de avaliação – e eu acho que seria importante destacar as conclusões que apontam para a incompetência técnica que se instalou no ministério da educação, particularmente no INEP. Na verdade, essas questões todas – destacando-se a dificuldade para interpretar (se é que é possível fazer isso, diante dos problemas apontados) os resultados do ENADE – acabam se traduzindo num processo que favorece as instituições privadas ou públicas de má qualidade, que deixam de ter sua baixa qualidade exposta ao público.A idéia parece ser uma forma de dificultar que o estudante menos informado (em geral, os mais pobres) possa saber através de jornais, por exemplo, (COMO ESTAVA COMEÇANDO A SER FEITO) quais os resultados a instituição pretendida havia obtido no PROVÃO. Tal como está agora, mesmo os estudantes mais preparados teriam dificuldades de se informar. Mas esses têm acesso a outras formas de informação. A incompetência, assim, traduz-se no fechamento ou no estreitamento de uma janela de oportunidade, na redução das chances de produção de um sistema de ensino um pouco mais equânime justamente por ser mais transparente para seu público potencial. E o que é mais grave: essa é uma parcela ínfima de uma política que parece estar atingindo toda a área de educação do governo federal.