Verhine discorda de Castro e Castro discorda de Verhine

Recebi de Claudio de Moura Castro a seguinte resposta ao texto de Roberto Verhine sobre o “Conceito Preliminar de Curso”  do Ministério da Educação:

O novo Blog do Simon aparece com uma critica de Robert Verhine ao meu ensaio na revista Veja, sobre os novos critérios de avaliação do MEC. Respondo?

Claro que sim, pois se trata de um comentário educado, apoiado em argumentos técnicos e sem que vislumbremos filtros ideológicos colorindo as idéia.  Ademais, o tema é importante. Independentemente do lado para o qual possa pender a simpatia do leitor, a atenção que merece o assunto já é suficiente para justificar a troca de argumentos.

Em primeiro lugar há uma questão de agrimensura. Meu ensaio tem seu tamanho limitado pela página da revista. O de Verhine dispõe do latifúndio oferecido pelo Simon. Tive que comprimir todos os argumentos em menos de 700 palavras. Para comentar meu ensaio, ele usou quase o dobro das palavras.

Além da limitação de espaço, em uma revista para o grande público, os argumentos técnicos têm que ser simplificados. Por exemplo. Disse que “Subtraindo das notas dos formandos a nota dos calouros, captura-se o conhecimento que o curso ‘adicionou’ aos alunos”. Poderia haver falado na “distância entre a pontuação do curso e uma curva linear de regressão múltipla, ajustada pelo método dos mínimos quadrados”. Isso seria tecnicamente muito mais preciso, mas poucos leitores me acompanhariam. A simplificação que usei deixa clara a natureza do conceito, sem introduzir distorções de interpretação.

Mas vamos ao assunto. Os argumentos do meu ensaio caminham em quatro linhas.

i) O uso inapropriado de um índice composto

Índices compostos podem ser apropriados em certos casos e impróprios em outros. Nem sempre é boa idéia somar alhos com bugalhos.

O IDEB é um índice composto. Venho sistematicamente defendendo o seu uso. O IDH também e nada tenho contra ele.

Por que então a rebeldia contra o novo indicador do MEC? É simples, uma mensuração é uma resposta a uma necessidade de uso. O IDH permite comparar países ou cidades.  Agrupa renda, saúde e educação, fatores reconhecidos por medirem qualidade de vida. Em conjunto dão uma idéia melhor do conceito complexo que se está tentando medir.

Mas ao mesclar o que saem sabendo os graduados (ENADE) com a contribuição líquida do curso (IDD), estamos justamente obliterando diferenças que interessa conhecer. Voltando ao exemplo da Veja, um empregador gostaria de saber que o primeiro curso de farmácia  obteve 5 (quanto o graduado sabe) e 2 (quanto o curso adicionou ao conhecimento do aluno).

Contratar alguém do primeiro curso pode ser uma boa idéia, pois sabe mais. Contudo, como o segundo curso obteve 2 e 5, para um aluno modesto que deva escolher onde fazer seu vestibular, este último dá a ele maior perspectiva de crescimento pessoal.

Se o objetivo do MEC é apenas decidir inicialmente que cursos deixar correr soltos e quais colocar no “CTI”, bastaria o resultado na prova aos graduandos (ENADE). Se o escore é muito baixo, sinal de alarme: vamos ver o que está errado. Ainda no caso dos dois cursos citados, o segundo tem méritos, pois alavanca as carreiras pessoais dos alunos, apesar de que entram muito mal preparados. Já o ensino do primeiro curso é péssimo, pois recebe alunos bons e pouco oferece a eles. O que fazer com cada um? Essas são decisões críticas para o MEC: Punir um curso fraco na sala de aula, mas que recebe bons alunos? Punir um curso que faz um bom trabalho, mas recebe alunos fracos?  O índice que junta os dois indicadores oblitera deficiências muito diferentes.

ii) Tal como formulado, o índice introduz um viés a favor do ensino público

Em uma pesquisa em que Chico Soares e eu realizamos, foi possível medir com considerável precisão o valor adicionado.  As equações nos permitiram também concluir que da ordem de 80% da variância explicada (não poderia usar essa expressão na Veja!) se deveu à pontuação dos alunos ao entrarem no superior.

Como a vasta maioria dos cursos superiores públicos recebe os melhores alunos, somar à prova dos graduandos o resultado da prova aplicada aos calouros infla o resultado do ENADE para tais cursos. Se o curso ensina mal, mas recebe alunos bons, a medida introduz um viés que esconde a fragilidade da sua sala de aula, superestimando, ipso facto, a qualidade do curso. Por que o MEC estaria usando uma medida tão bizarra?

Em outro diapasão, somente cursos públicos têm recursos para manter todos ou quase todos os professores em tempo integral. Independentemente do que saem sabendo os alunos, os públicos ganham um bônus de pontos no escore final.

Igualmente, um curso privado que contrata profissionais atuantes no mercado, estará oferecendo um ensino melhor nas disciplinas aplicadas – comparado com as públicas. Não obstante, será penalizado na nota final.

Nesse particular, seria também o caso de examinar as provas do ENADE e verificar se não seriam excessivamente acadêmicas e distanciadas da prática das profissões correspondentes. Nunca fiz isso, mas alguém deveria fazer. Se isso acontece, seria outra instância de discriminação contra cursos que usam profissionais  em vez de acadêmicos. Note-se que, no país do Verhine, há muitos cursos profissionais que não contratam professores que não estejam atuando no mercado – quaisquer que sejam os seus diplomas.

iii) Ao tomar medidas de resultado e juntar a elas medidas de processo, o índice mescla meios com fins

Imaginemos engenheiros que precisam avaliar o desempenho no ar de um protótipo de avião que ainda não voou. Como não têm medidas de resultados, são obrigados a todos os malabarismos teóricos para prever como a aeronave se comportará após a decolagem.

Assim são as avaliações americanas. Se lá houvesse um Provão ou ENADE, poderiam jogar fora as dezenas de indicadores de processo que são obrigados a usar.  É sabido que são muito imperfeitos como preditores de desempenho. Mas como é o que existe, os americanos têm que usá-los. Só o Brasil tem uma prova desse tipo, aplicada em graduados. Portanto, podemos e devemos dispensar as medidas de processo.

Se aplicarmos uma prova para medir o que aprenderam os graduados, como chegaram lá se torna irrelevante. Se a prova ainda é imperfeita, vamos melhorá-la. Por exemplo, o SAEB usa uma prova com muitas questões. Tantas são que é preciso usar três alunos diferentes para completar a prova. Por que não fazer o mesmo no ENADE?

Naturalmente, se a nota dos graduados é baixa demais, nesse caso, vamos usar as variáveis de processo, para identificar onde pode estar o problema. Os meios ou os processos são variáveis de diagnóstico de disfunções. São eminentemente úteis para isso.

Voltando à metáfora do restaurante, se os clientes sofreram uma epidemia de salmonela, aí então, a saúde pública vai verificar se os pratos e a cozinha foram rigorosamente esterilizados. Mas o visitador do Michelin não se ocupa disso (exceto se ele próprio for vítima de desinteria).

iv) Não conhecemos bem a natureza dos indicadores usados

Não amadurecemos ainda uma boa interpretação dos resultados do valor adicionado (IDD). É um conceito novo e de difícil interpretação. Quando escrevi o ensaio com Chico Soares, tive muitas dificuldades em interpretar os dados que encontramos. Nas provas do INEP, tampouco estamos diante de um construto com interpretações intuitivas e transparentes.

Caberia, nesse momento, explorar o IDD e mostrar como se combina com o ENADE, tomando como exemplo a observação dos cursos incluídos nas avaliações já realizadas.  Pergunte-se a qualquer jornalista da área se o IDD dos cursos muito bons tende a ser maior ou menor do que o dos cursos fraquíssimos? Aposto que não sabem, embora essa diferença seja importantíssima para a política pública. Responde a uma pergunta crucial: os cursos de desempenho fraco dos graduandos estão oferecendo pouco aos seus alunos? Ou podem estar oferecendo muito a alunos fracos? Tal como o conceito de “empate técnico” nas pesquisas de intenção de voto, o IDD leva tempo para ser digerido pela opinião pública.

O mesmo desconhecimento existe para os indicadores de insumos ou de processo. Muitos livros na biblioteca fazem os alunos aprender mais? Professores de tempo integral têm um impacto positivo no aprendizado? E nas áreas profissionais?  Doutores ensinam melhor? Como se comparam com mestres? Para que perfil de alunos? Mesmo as análises multivariadas são muito enganosas, por confundir causa, efeito e multicolinearidade.

Daí a minha crítica ao MEC, por divulgar um conceito excessivamente complexo, abstrato e cheio de cacoetes. Na prática, o que vimos na imprensa foi o previsível: Oba! Mais uma olimpíada do MEC. Quem são os medalhistas? Quem são os fracassados? Ao mesmo tempo, não houve esforços de interpretar as nuances dos resultados.

Em conclusão: (i) Minha argumentação acima tenta demonstrar que Verhine não logrou apontar erros técnicos nos meus argumentos. (ii) Na minha leitura dos seus comentários, tampouco encontro que suas críticas contenham falhas lógicas ou teóricas. (iii) Nossas divergências são de interpretação e de uso de diferentes componentes do labirinto estatístico criado pelo CPC. Mas nesse campo, não são poucos os desacordos.