Recebi de Robert Verhine o texto abaixo, dando continuidade ao diálogo sobre a avaliação do ensino superior:
Confesso que estou adorando minha nova carreira como blogger. Gostei muito da resposta detalhada (e espirituosa) de Cláudio de Moura Castro e das colocações gentis e ponderadas de Renato Janine. Ainda que concorde com boa parte do argumento de Castro, não posso resistir à oportunidade de fazer mais uma provocação, discordando da posição de defesa do uso exclusivo (ou quase exclusivo) dos resultados do ENADE para avaliar cursos de educação superior (e, implicitamente, das instituições que os oferecem). Castro afirma que “Só Brasil tem uma prova desse tipo, aplicado em graduados. Portanto, podemos e devemos dispensar as medidas de processo”. Ele acrescenta o seguinte: “Se a prova é ainda imperfeita, vamos melhorá-la”, e, como um exemplo de como fazer isto, propõe a utilização da técnica de espiralização, atualmente empregada pelo SAEB, em que cada aluno completa apenas uma parte da prova.
Apresento alguns argumentos. Comecemos com o fato de que o Brasil é o único país que aplica exames padronizados a alunos de graduação para avaliar, em toda parte da nação, cursos de educação superior. Seria interessante saber se Castro tem refletido sobre o porquê dessa aplicação. É por que em outros países ninguém tem conhecimento dessa maneira de avaliar cursos de graduação? Ou é por que em outros países existe uma aversão geral ao uso de exames, em qualquer nível de ensino? Ou ainda é porque, diferentemente do caso brasileiro, em outros países não há recursos financeiros suficientes para cobrir os altos custos envolvidos? Acho que a maioria dos leitores concordaria que a resposta para cada uma das perguntas acima é, sem dúvida, “não”. Uma outra hipótese me parece ser mais sustentável. Talvez nenhum outro país tenha adotado um enfoque do tipo Provão/ENADE porque existe uma ampla concordância com o argumento que fiz no meu ensaio anterior. Neste, apontei que: “Testes, a exemplo dos utilizados pelo ENADE ou pelo Provão, são limitados e capturam, no melhor dos casos, apenas uma porção daquilo que deve ser aprendido ou conhecido ao final de um curso de graduação”.
Tenho participado com regularidade em encontros internacionais no campo de educação comparada (a área de meus estudos de doutoramento). No decorrer do tempo, apresentei vários papers sobre a experiência brasileira com o Provão/ENADE. Aproveitei tais momentos para discutir com os acadêmicos presentes, oriundos de diversos países, as questões apresentadas no parágrafo anterior. Suas reações serviram para fortalecer minha posição a respeito das limitações inerentes à utilização de exames para medir resultados de cursos de graduação. Tais acadêmicos tendiam a enfatizar dois pontos centrais. Primeiro, eles argumentavam que a maioria das profissões relacionadas à educação superior não requer a acumulação e memorização de conhecimento testável. Pelo contrário, tais profissões exigem, principalmente, habilidades e competências que abrangem, entre outras coisas, localizar conhecimento quando for necessário e, mais importante ainda, a capacidade para adquirir novo conhecimento, através de processos de aprendizagem contínua. Tais habilidades e competências são dificilmente captadas através de exames padronizados, escritos (embora, é claro, o ENEM represente um avanço nesse sentido). Assim, os acadêmicos indicam que o uso de testes faz, talvez, algum sentido em áreas em que a absorção de conteúdos específicos é intensiva (como direito e contabilidade, por exemplo), mas, para a vasta maioria das profissões, testes simplesmente não captam a essência da formação que um curso de graduação procura desenvolver. São poucos os que acham que esse problema é solucionável apenas “melhorando” as provas.
O segundo argumento usado pelos acadêmicos é que, mesmo em áreas em que testar torna-se justificável, é impossível desenvolver um teste suficientemente detalhado que possa ser aplicado de forma padronizada em uma amostra (ou população) nacional ampla. Conforme mencionei em meu ensaio anterior, 40 questões (10 para formação geral e 30 referentes à formação específica) simplesmente não são suficientes. Para fazer justiça a uma área de formação, o teste teria que ser bem mais extenso. O exame da OAB, por exemplo, é realizado em etapas, envolvendo, pelo menos, dois momentos diferentes de aplicação das provas. Nos Estados Unidos, o USMLE (Medicina), o MBE (Direito) e o CPAE (Contabilidade) são provas realizadas em múltiplas etapas, envolvendo mais do que um dia. Assim, para assegurar a validade dos resultados do ENADE, seria necessário aumentar significativamente o tempo do teste (que é atualmente de 4 horas), o que poderia introduzir um fator negativo que é o cansaço de quem está a ele se submetendo e, ainda, acrescentar em muito o custo global do processo de implementação.
Todos esses elementos me levam à sugestão feita por Castro referente à utilização da abordagem da espiralização no ENADE. O problema é que, no meu entender, essa abordagem só funciona quando as amostras são grandes. E é devido ao uso da espiralização (em conjunto com sua abordagem amostral) que o SAEB apenas pode revelar tendências para os estados, mas não pode fazer o mesmo para os municípios e, especialmente, não pode indicar tendências para cada escola individualmente. Como conseqüência disso, a Prova Brasil foi criada. No caso do ENADE, as populações testadas são frequentemente bem pequenas. O ENADE, não se pode deixar de lembrar, foi desenhado para medir o desempenho médio de cada curso de uma determinada área e o número de estudantes envolvidos nos referidos cursos é, em muitos casos, bastante reduzido. Por exemplo, para o ENADE-2005, cursos tais como os de Matemática e de Química apresentaram média de menos de 30 alunos/curso. Assim, embora a sugestão de Castro seja criativa, a verdade é que a utilização da espiralização nas provas do ENADE não é, em termos gerais, tecnicamente viável.
Apesar das limitações inerentes ao modelo Provão/ENADE, sempre defendi o referido modelo, por três razões. Em primeiro lugar, considerando que a utilização de testes representa algo concreto e operacional, sua utilização tem ajudado a criar um clima favorável à avaliação da educação superior. Anteriormente ao Provão, embora a necessidade da avaliação da educação superior fosse amplamente reconhecida, sua implementação foi sempre impedida por aqueles que estavam contra ela, em nome da criação de um modelo “perfeito”. Atualmente, por causa da introdução do Provão em 1995, a avaliação da educação superior faz parte permanente do cenário nacional. Em segundo lugar, o exame é acompanhado por um questionário sócio-econômico que é preenchido pelos estudantes submetidos ao teste. As informações geradas pela aplicação desses questionários são de grande valor, vez que resultam em importantes informações sobre as características e opiniões dos estudantes da educação superior no Brasil. Sem os testes, tais questionários poderiam nunca ser preenchidos em uma escala ampla e, como conseqüência, nosso conhecimento sobre e nossa compreensão a respeito das características e opiniões do corpo discente nacional seria muito mais restrito do que a situação atual. Finalmente, eu acho que os testes, embora imperfeitos na apreensão de resultados, são, certamente, melhores do que nada. É melhor ter alguns resultados do que nenhum deles. Mas as limitações de tais resultados têm que ser conhecidas e, ademais, eles nunca deveriam ser tomados como a única medida de qualidade. É somente combinando-os com outros indicadores, inclusive os que tratam de insumos, frequentemente melhor mensuráveis através de visitas “in loco”, que podemos avaliar a “qualidade” de cursos de graduação e, por extensão, das instituições brasileiras de educação superior.
Bob Verhine – UFBA verhine@ufba.br
