Recebi a nota abaixo de Robert Verhine, professor da Universidade Federal da Bahia e membro da Comissão Nacional de Avaliação do Ensino Superior, com pedido de publicação. Ainda que a nota só faça referência ao artigo publicado recentemente por Cláudio de Moura Castro na revista Veja, ele se refere indiretamente também à crítica que eu tenho feito ao conceito, disponível neste blog.
Tenho lido textos de autoria de Cláudio de Moura Castro desde quando eu era aluno de pósgraduação nos Estados Unidos, nos idos da década de 70. Moura Castro é um pensador líder no campo da Economia da Educação e seus freqüentes artigos, publicados na Revista Veja, têm servido para esclarecer temas complexos, além de habitualmente endereçar tópicos controversos de forma independente e reveladora. Por essa razão, fui surpreendido pelo artigo publicado na Veja de 24 de setembro último, sob o título “Quem entendeu a nova avaliação de ensino?”, que oferece uma linha argumentativa confusa, baseada em informação incompleta e, por vezes, distorcida.
O artigo tem como foco o Conceito Preliminar de Cursos (CPC), que Moura Castro erroneamente chama de Conceito Preliminar de Avaliação. Este índice, composto por três indicadores e com escala de cinco níveis (1 a 5), foi criado pelo MEC para identificar cursos com problemas potenciais. Com base na legislação vigente, todos os cursos da Educação Superior devem ser visitados uma vez a cada três anos, mas a realidade aponta para a impossibilidade do atendimento dessa freqüência, pela simples razão de que o número dos cursos é grande demais (mais de 20.000) e que continua a crescer. O CPC foi criado como resposta a esse problema, viabilizando a avaliação ao permitir identificar, no conjunto dos cursos, aqueles que necessitam da visita ao tempo que, com base em informações confiáveis e já existentes, atribui um escore aos demais. Tendo isso em vista, foi implementada uma abordagem diferente para cada um de dois grupos de cursos. No primeiro grupo, todos os cursos nos níveis mais baixos da escala (níveis 1 e 2) devem ser visitados por uma comissão composta por membros da comunidade acadêmica especialmente treinados nessa avaliação. Durante a visita, três aspectos do curso – sua organização pedagógica, corpo social e instalações – são cuidadosamente avaliados e, como resultado, um conceito final é emitido. Do segundo grupo fazem parte os cursos que recebem um CPC de 3, 4 ou 5. Esses cursos podem, se desejarem, solicitar uma visita de avaliação. Contudo, se não o fizerem dentro de 30 dias, o conceito preliminar é mantido como conc eito final.
No seu artigo, Moura Castro não fornece nenhum dado sobre o propósito do CPC, concentrando-se em censuras não contextualizadas. O autor começa criticando a composição do índice, argumentando que o mesmo foi criado a partir da soma de indicadores muito díspares. Pior ainda, para ele, é o fato de esses indicadores serem pouco conhecidos individualmente. Esse argumento não se sustenta quando se observam outros índices, igualmente compostos por indicadores os mais diversos, como é o caso, por exemplo, do Índice de Desenvolvimento Humano (IDH), do Índice de Desenvolvimento Econômico (IDE) e do Índice de Qualidade de Vida (IQV). Todos esses são comumente utilizados para sintetizar, em uma única escala, variáveis representativas de diferentes dimensões de um mesmo fenômeno. No caso do CPC, como Moura Castro afirma, dois dos indicadores (os resultados do ENADE e o IDD) referem-se aos resultados da Educação Superior e o terceiro (composto por quatro sub-dimensões) abrange insumos do curso. Esses indicadores são bastante conhecidos por aqueles envolvidos com a comunidade universitária e estão descritos detalhadamente, assim como o CPC, no site do INEP. Para a população não universitária, espera-se do CTC o mesmo nível de conhecimento obtido pelos exemplos de índice citados acima. Além disso, é incorreto declarar que o CTC seja uma mera soma de três indicadores. Para seu cálculo, como indicado na página do INEP, os três indicadores são ponderados de acordo com equações matemáticas complexas.
Estranhamente, Moura Castro é crítico do fato de um indicador de insumo ser considerado na formulação do índice, vez que isso equivaleria, em suas palavras, a julgar um restaurante a partir da “marca do fogão, os horários dos cozinheiros ou o número de livros de culinária disponíveis”. Digo estranhamente por que avaliações externas da Educação Superior, uma prática hoje estabelecida regularmente em mais de 50 países, focalizam primariamente os insumos. Daí por que, nesses locais, tais avaliações envolvem visitas que objetivam verificar, in loco, as condições (ou seja, os insumos) que o curso ou instituição oferecem. A idéia de focar os resultados, como proposto por Moura Castro, é teoricamente interessante, mas traz em seu bojo o problema de mensurá-los adequadamente. Testes, a exemplo dos utilizados pelo ENADE ou pelo Provão, são limitados e capturam, no melhor dos casos, apenas uma porção daquilo que deve ser aprendido ou conhecido ao final de um curso de graduação. O ENADE é especialmente fraco nesse aspecto, por usar apenas 40 itens (30 sobre a formação específica e 10 sobre a formação geral), número obviamente insuficiente para avaliar o conhecimento necessário ao exercício de uma profissão de nível superior. Ademais, como observado por Moura Castro, os desempenhos nos testes sofrem influências de fatores externos, tais como a situação familiar, a preparação na Educação Básica, os níveis de motivação e de inteligência do respondente. Nesse sentido o IDD, que compara os resultados de alunos ingressantes com aqueles dos alunos concluintes, é um indicador bastante útil por apontar o que o curso adicionou aos alunos.
Aliás, ao discutir o IDD, Moura Castro omitiu dois aspectos importantes. Primeiro, o IDD é muito mais sofisticado que o que ele pareceu destacar. O indicador não é uma mera subtração da nota dos calouros daquela dos formandos, mas, particularmente, estima, baseado nos dados dos ingressantes, uma expectativa de nota final. Para isso considera não apenas os escores dos testes, mas também a educação dos pais e a seletividade do curso (percentagem dos ingressantes que concluem a graduação). Dessa maneira, o IDD representa a diferença entre os escores observados e esperados dos formandos e, assim, pode gerar tanto um escore positivo (quando o observado supera o esperado) quanto negativo (quando o observado é inferior ao esperado). Moura Castro refere-se ao IDD como Índice de Diferença de Desempenho quando, em verdade, o nome completo é Índice de Diferença entre os Desempenhos Esperado e Observado.
A segunda omissão feita é o não reconhecimento de que o IDD apenas funciona quando ambos os grupos de alunos (ingressantes e concluintes) estão motivados a responder, da melhor maneira que possam, o teste. Seria um desastre se os ingressantes optassem por obter uma nota baixa, dessa maneira contribuindo para um IDD artificialmente maior. Para evitar esse tipo de comportamento, os resultados dos ingressantes foram incorporados (com peso total de 27,5%) à nota do curso no ENADE. Assim, interessa à instituição incentivar os alunos, nas duas pontas do curso de graduação, a efetivamente participarem da avaliação, sob pena de prejudicarem a nota do curso. Moura Castro critica tal inclusão, declarando que a mesma “premia o curso superior que atrai os melhores alunos”. Tal fato também ocorreria mesmo se os resultados dos ingressantes não fossem incluídos, vez que os resultados dos concluintes são sempre influenciados pela qualidade dos alunos na entrada. Em outras palavras, não faz sentido defender a importância do IDD, por um lado, e criticar a inclusão dos resultados dos ingressantes na determinação do conceito do ENADE, por outro.
Moura Castro finaliza seu ensaio declarando que “parece inapropriado entregar ao público uma medida tão confusa”. O mesmo pode ser dito sobre o ensaio que, infelizmente, foi disponibilizado ao público apesar de conduzir a novas confusões.
Sou Jorge Alberto Rodriguez, diretor da Faculdade de Educação da Universidade Estadual do Ceará – UECE, no campos de Quixadá, um leitor de seus artigos e também tenho lido alguns dos livros de Moura Castro, inclusive li muitos dos artigos que ele publica na revista veja, revista esta que perdeu muito de sua qualidade e credibilidade ao abrir espaço para publicações com falta de seriedade que menosprezaram a capacidade critica do leitor poder fazer suas leituras de mundo, acharam que pelo Brasil ser um pais com alto índice de analfabetismo qualquer um poderia falar o que quisesse em veículos de ampa distribuição como a veja, e todo mundo acreditaria.
As evidências estão mostrando o contrário, não é pelo fato do senhor Moura Castro ser ou ter sido consultor do Banco Mundial ou ser um dos conselheiros do grupo Pitágoras que ele pode emitir opiniões sem ser bem fundamentadas e tentar criar confusão ou dúvidas, poi isso pode esconder, aparentemente, outras intenções. Penso que, embora que todos tenhamos e defendamos posições ideológicas, ao usarmos veículos como esses deveríamos de tentar ser o mais isentos possíveis e não ocultar detalhes ou informações importantes como, aparentemente, o senhor Moura Castro Fez no seu artigo. Por último gostaria de dizer que concordo com todas as colocações do Professor Verhine (Acho que é Verlhine).
Gostaria, também, se for possivel que seja publicado.
Obrigado