Category: Educação Superior

Mais uma nota, somente para leitores com estômago para controvérsias infindas. Data vênia, examinemos alguns dos argumentos levantados por Verhine na sua última intervenção.

1.    Sobre a inexistência de Provões pelo mundo afora, minha teoria é que não se trata de uma solução politicamente palatável. Suspeito que muitos países gostariam de ter o seu Provão, mas que falta coragem ou viabilidade política para implementá-lo, sobretudo, em sociedades com sistemas educativos muito maduros e rígidos. Em países como os Estados Unidos, apaixonados pelos testes, as provas desse tipo são usadas para certificação profissional (médicos, advogados, contadores). Ou seja, a oposição é vencida por estarem os testes fora do sistema educacional e dentro de instituições com forte peso corporativista. Portanto, propensas a criar barreiras de entrada (nos casos citados, são justificadas).

2.    Verhine tem muita razão ao dizer que o Provão/ENADE amostra muito pouco dos traços requeridos para um bom desempenho profissional. Contudo, as alternativas existentes são ainda menos adequadas. O número de candidatos por vaga, o número de Rhodes Scholars e os muitos outros indicadores usados nos Estados Unidos e dentre nós são até mais inaptos para prever desempenho profissional. Basicamente, as provas testam se os alunos aprenderam o que o curso teria tentado ensinar. Pouco mais dizem. Portanto, nesse aspecto, o Provão é o teste menos ruim.

3.    Sobre o tamanho e confiabilidade da prova, acho que pairou uma ambiguidade, tanto no argumento meu quanto no dele. Estamos falando de testes para etiquetar indivíduos ou para tomar a média dos escores e dar nota em um curso? Enquanto a prova for usada para a segunda alternativa, a precisão torna-se muito menos crítica. Para tais usos, talvez não seja tão importante uma prova longa.  É diferente o caso dos exames de ordem, seja aqui seja em outros países, pois determinam o futuro profissional do candidato. Portanto, o custo do erro é muito maior. Se o ENADE passasse a ser um passaporte, usado pelos alunos para pleitear empregos ou exigido pelos potenciais empregadores, neste caso, realmente deveríamos pensar em reduzir a margem. O que não quer dizer que a prova não possa ser melhorada.

4.    No presente, o uso mais “high stakes” do ENADE é para tomar decisões quanto às políticas do MEC, vis a vis cada faculdade. Acima de certa nota, não precisará pedir autorização para expandir vagas. Se a nota for realmente ruim, o curso entra no índex do MEC, sendo penalizado e obrigado a fazer revisões. Nesse segundo caso, estamos falando de um processo que deveria contemplar duas etapas. Se o ENADE revela notas baixas, entra em cena uma segunda fase, mais aprofundada, em que se inclui a avaliação institucional, que pode conter as variáveis de processo (cuja inclusão no CPC sou contra). Contudo, essa avaliação institucional não pode ou não deve ser feita por atacado.  Não é possível aferir a confiabilidade ou honestidade das informações prestadas à distância, sobretudo, no caso de instituições que mostraram mau desempenho no ENADE. É preciso enviar visitadores para conferir e para sentir a realidade da instituição. Em outras palavras, no único caso em que as variáveis de processo serviriam para alguma coisa, se forem informações prestadas pelos interessados, não são confiáveis. Se é assim, por que perder tempo coletando esse mundo de dados? Questionários aplicados nos alunos, por outro lado, têm muitos usos. Mas não como instrumento para avaliar a excelência do ensino Em uma pesquisa que realizei, muitos anos atrás, comparando cursos de economia, encontrei uma relação inversa entre qualidade e opinião dos alunos. Ou seja, quanto melhor o curso, mais críticos eram os alunos.

Recebi  de Robert Verhine o texto abaixo, dando continuidade ao diálogo sobre a avaliação do ensino superior:
Confesso que estou adorando minha nova carreira como blogger. Gostei muito da resposta detalhada (e espirituosa) de Cláudio de Moura Castro e das colocações gentis e ponderadas de Renato Janine. Ainda que concorde com boa parte do argumento de Castro, não posso resistir à oportunidade de fazer mais uma provocação, discordando da posição de defesa do uso exclusivo (ou quase exclusivo) dos resultados do ENADE para avaliar cursos de educação superior (e, implicitamente, das instituições que os oferecem). Castro afirma que “Só Brasil tem uma prova desse tipo, aplicado em graduados. Portanto, podemos e devemos dispensar as medidas de processo”. Ele acrescenta o seguinte: “Se a prova é ainda imperfeita, vamos melhorá-la”, e, como um exemplo de como fazer isto, propõe a utilização da técnica de espiralização, atualmente empregada pelo SAEB, em que cada aluno completa apenas uma parte da prova.

Apresento alguns argumentos. Comecemos com o fato de que o Brasil é o único país que aplica exames padronizados a alunos de graduação para avaliar, em toda parte da nação, cursos de educação superior. Seria interessante saber se Castro tem refletido sobre o porquê dessa aplicação. É por que em outros países ninguém tem conhecimento dessa maneira de avaliar cursos de graduação? Ou é por que em outros países existe uma aversão geral ao uso de exames, em qualquer nível de ensino? Ou ainda é porque, diferentemente do caso brasileiro, em outros países não há recursos financeiros suficientes para cobrir os altos custos envolvidos? Acho que a maioria dos leitores concordaria que a resposta para cada uma das perguntas acima é, sem dúvida, “não”. Uma outra hipótese me parece ser mais sustentável. Talvez nenhum outro país tenha adotado um enfoque do tipo Provão/ENADE porque existe uma ampla concordância com  o argumento que fiz no meu ensaio anterior. Neste, apontei que: “Testes, a exemplo dos utilizados pelo ENADE ou pelo Provão, são limitados e capturam, no melhor dos casos, apenas uma porção daquilo que deve ser aprendido ou conhecido ao final de um curso de graduação”.

Tenho participado com regularidade em encontros internacionais no campo de educação comparada (a área de meus estudos de doutoramento). No decorrer do tempo, apresentei vários papers sobre a experiência brasileira com o Provão/ENADE. Aproveitei tais momentos para discutir com os acadêmicos presentes, oriundos de diversos países, as questões apresentadas no parágrafo anterior. Suas reações serviram para fortalecer minha posição a respeito das limitações inerentes à utilização de exames para medir resultados de cursos de graduação. Tais acadêmicos tendiam a enfatizar dois pontos centrais. Primeiro, eles argumentavam que a maioria das profissões relacionadas à educação superior não requer a acumulação e memorização de conhecimento testável. Pelo contrário, tais profissões exigem, principalmente, habilidades e competências que abrangem, entre outras coisas, localizar conhecimento quando for necessário e, mais importante ainda, a capacidade para adquirir novo conhecimento, através de processos de aprendizagem contínua. Tais habilidades e competências são dificilmente captadas através de exames padronizados, escritos (embora, é claro, o ENEM represente um avanço nesse sentido). Assim, os acadêmicos indicam que o uso de testes faz, talvez, algum sentido em áreas em que a absorção de conteúdos específicos é intensiva (como direito e contabilidade, por exemplo), mas, para a vasta maioria das profissões, testes simplesmente não captam a essência da formação que um curso de graduação procura desenvolver. São poucos os que acham que esse problema é solucionável apenas “melhorando” as provas.

O segundo argumento usado pelos acadêmicos é que, mesmo em áreas em que testar torna-se justificável, é impossível desenvolver um teste suficientemente detalhado que possa ser aplicado de forma padronizada em uma amostra (ou população) nacional ampla. Conforme mencionei em meu ensaio anterior, 40 questões (10 para formação geral e 30 referentes à formação específica) simplesmente não são suficientes. Para fazer justiça a uma área de formação, o teste teria que ser bem mais extenso. O exame da OAB, por exemplo, é realizado em etapas, envolvendo, pelo menos, dois momentos diferentes de aplicação das provas. Nos Estados Unidos, o USMLE (Medicina), o MBE (Direito) e  o CPAE (Contabilidade) são provas realizadas em múltiplas etapas, envolvendo mais do que um dia. Assim, para assegurar a validade dos resultados do ENADE, seria necessário aumentar significativamente o tempo do teste (que é atualmente de 4 horas), o que poderia introduzir um fator negativo que é o cansaço de quem está a ele se submetendo e, ainda, acrescentar em muito o custo global do processo de implementação.

Todos esses elementos me levam à sugestão feita por Castro referente à utilização da abordagem da espiralização no ENADE. O problema é que, no meu entender, essa abordagem só funciona quando as amostras são grandes. E é devido ao uso da espiralização (em conjunto com sua abordagem amostral) que o SAEB apenas pode revelar tendências para os estados, mas não pode fazer o mesmo para os municípios e, especialmente, não pode indicar tendências para cada escola individualmente. Como conseqüência disso, a Prova Brasil foi criada. No caso do ENADE, as populações testadas são frequentemente bem pequenas. O ENADE, não se pode deixar de lembrar, foi desenhado para medir o desempenho médio de cada curso de uma determinada área e  o número de estudantes envolvidos nos referidos cursos é, em muitos casos, bastante reduzido. Por exemplo, para o ENADE-2005, cursos tais como os de Matemática e de Química apresentaram média de menos de 30 alunos/curso. Assim, embora a sugestão de Castro seja criativa, a verdade é que a utilização da espiralização nas provas do ENADE não é, em termos gerais, tecnicamente viável.

Apesar das limitações inerentes ao modelo Provão/ENADE, sempre defendi o referido modelo, por três razões. Em primeiro lugar, considerando que a utilização de testes representa algo concreto e operacional, sua utilização tem ajudado a criar um clima favorável à avaliação da educação superior. Anteriormente ao Provão, embora a necessidade da avaliação da educação superior fosse amplamente reconhecida, sua implementação foi sempre impedida por aqueles que estavam contra ela, em nome da criação de um modelo “perfeito”. Atualmente, por causa da introdução do Provão em 1995, a avaliação da educação superior faz parte permanente do cenário nacional. Em segundo lugar, o exame é acompanhado por um questionário sócio-econômico que é preenchido pelos estudantes submetidos ao teste. As informações geradas pela aplicação desses questionários são de grande valor, vez que resultam em importantes informações sobre as características e opiniões dos estudantes da educação superior no Brasil. Sem os testes, tais questionários poderiam nunca ser preenchidos em uma escala ampla e, como conseqüência, nosso conhecimento sobre e nossa compreensão a respeito das características e opiniões do corpo discente nacional seria muito mais restrito do que a situação atual. Finalmente, eu acho que os testes, embora imperfeitos na apreensão de resultados, são, certamente, melhores do que nada. É melhor ter alguns resultados do que nenhum deles. Mas as limitações de tais resultados têm que ser conhecidas e, ademais, eles nunca deveriam ser tomados como a única medida de qualidade. É somente combinando-os com outros indicadores, inclusive os que tratam de insumos, frequentemente melhor mensuráveis através de visitas “in loco”, que podemos avaliar a “qualidade” de cursos de graduação e, por extensão, das instituições brasileiras de educação superior.

Bob Verhine – UFBA verhine@ufba.br

Os programas de pós-graduação em economia da Universidade Católica do Rio de Janeiro e da Fundação Getúlio Vargas vivem um paradoxo. Como os mestrados são muito bons, seus melhores alunos conseguem ser admitidos em programas de doutorado no exterior, e por isto os cursos formam poucos doutores; e, como formam poucos doutores, não recebem boas avaliações da CAPES. Que fazer?  Impedir que estes estudantes estudem fora do país? Para os que estudam fora e recebem convites e propostas de trabalho de universidades e empresas de outros países, processá-los para que voltem ou devolvam o dinheiro que o país investiu em sua educação? Piorar a qualidade dos mestrados, para que os estudantes façam seu doutorado por aqui?

Jorge Balán discute este tema em uma nova revista publicada nos Estados Unidos, a Primera Revista Latinoamericana de Libros, que permite acesso integral aos textos dos artigos. Observa ele que

“Resulta imposible, en la práctica, frenar la emigración de talentos con políticas restrictivas de la movilidad o el pago de reparaciones por los costos de la educación que han recibido. El intento de la Unión Soviética y de otros países socialistas de limitar la salida de talentos resultó en un enorme sufrimiento humano y en importantes distorsiones de la economía, llevando eventualmente a uno de los drenajes de capital humano mayores de la historia. En la actualidad, conviene recordarlo, rusos y europeos orientales contribuyen con un gran contingente de emigrantes calificados a Europa occidental. El reconocimiento por parte del gobierno chino de que no podía continuar con políticas restrictivas de los estudios en el exterior es igualmente ilustrativo. La movilidad internacional es un derecho y su regulación, dentro de ciertos límites, queda en manos de los gobiernos en los países receptores”.

Se é assim, então não há nada a fazer? Ao invés de tentar segurar os alentos, o que os países devem fazer é apostar nos benefícios que derivam da abertura internacional e da circulação de talentos. Como diz Balán, “el comportamiento migratorio de los talentosos se ha transformado a nivel global, hecho muy relevante para la elaboración e implementación de políticas de retorno.  La residencia doble o incluso múltiple, alimenta la migración circular de los talentosos. La residencia dejó para muchos de estar atada a una fuente de empleo, ya que los talentos tienen valores más portátiles y escogen residencia con otros criterios” . E, citando a Richard Florida:

“Los talentosos —la clase creativa por la que compiten empresas, comunidades y gobiernos— no responden exclusivamente a mejores salarios y beneficios, sino que son sumamente sensibles a la autonomía personal y a la calidad de vida que ofrecen la empresa y la comunidad local. De allí la importancia de la tolerancia al diferente —ellos lo son por naturaleza— y de la receptividad a la innovación en todos los órdenes de vida. Esto nos dice mucho, también, sobre cómo responderían los talentosos a las oportunidades de vinculación y eventual retorno que se abren con las políticas imaginadas por países en desarrollo”

Vale a pena ler o artigo na íntegra: Jorge Balán, La competencia internacional por los talentos, Primera Revista Latinoamericana de Libros, Octubre-Noviembre 2008.

Saiu uma nova lista das melhores universidades do mundo, publicada pelo The Times Higher Education Supplement. Como sempre, Harvard University é a primeira, seguida de Oxford e Cambridge (of course). As 15 primeiras são todas dos Estados Unidos e Inglaterra, com a exceção da Universidade de McGill no Canadá. Da América Latina aparecem somente três: a Universidade Autônoma do México, na posição 74, e as  universidades de São Paulo e Campinas, nas posições 175 e 177.

Para este ordenamento, a revista pesquisou a opinião dos pares e empregadores, a proporção de estudantes por professor, o número de citações por professor, e a internacionalização do corpo docente e discente. Em uma escala de 0 a 100, a pontuação mais alta da UNICAMP , 78, é no número de estudantes por professor , e a mais baixa, 16, é na internacionalização do corpo discente. A nota mais alta da USP é na avaliação dos pares, 65, e a mais baixa, também na internacionalização do corpo discente, 14.

Segundo a revista, “despite the presence of South African, Brazilian and Mexican institutions in this table, the overall message of these rankings is that the sort of universities we list here, mainly large, general institutions, with a mingling of technology specialists, are a dauntingly expensive prospect for any country, let alone one in the developing world”. “apesar da presença de instituições da África do Sul, Brasil e México nesta lista, a mensagem mais geral deste ordenamento é que o tipo de universidades listadas aqui, grandes, gerais, com uma combinação de especialistas de diferentes tecnologias, é um prospecto muito caro para qualquer país, e sobretudo para o dos países em desenvolvimento”. Mas é claro que não é somente uma questão de dinheiro.

Qual é a validade deste ordenamento?  Se fosse um ranking oficial, de algum governo ou agência internacional, haveria muitas razões para questionar e criticar. Mas como é um trabalho jornalístico, ele vale como tal. Com suas limitações e possiveis tendenciosidades, esta lista nos diz coisas importantes, que só teremos a perder se não tomarmos em conta.

Recebi de Claudio de Moura Castro a seguinte resposta ao texto de Roberto Verhine sobre o “Conceito Preliminar de Curso”  do Ministério da Educação:

O novo Blog do Simon aparece com uma critica de Robert Verhine ao meu ensaio na revista Veja, sobre os novos critérios de avaliação do MEC. Respondo?

Claro que sim, pois se trata de um comentário educado, apoiado em argumentos técnicos e sem que vislumbremos filtros ideológicos colorindo as idéia.  Ademais, o tema é importante. Independentemente do lado para o qual possa pender a simpatia do leitor, a atenção que merece o assunto já é suficiente para justificar a troca de argumentos.

Em primeiro lugar há uma questão de agrimensura. Meu ensaio tem seu tamanho limitado pela página da revista. O de Verhine dispõe do latifúndio oferecido pelo Simon. Tive que comprimir todos os argumentos em menos de 700 palavras. Para comentar meu ensaio, ele usou quase o dobro das palavras.

Além da limitação de espaço, em uma revista para o grande público, os argumentos técnicos têm que ser simplificados. Por exemplo. Disse que “Subtraindo das notas dos formandos a nota dos calouros, captura-se o conhecimento que o curso ‘adicionou’ aos alunos”. Poderia haver falado na “distância entre a pontuação do curso e uma curva linear de regressão múltipla, ajustada pelo método dos mínimos quadrados”. Isso seria tecnicamente muito mais preciso, mas poucos leitores me acompanhariam. A simplificação que usei deixa clara a natureza do conceito, sem introduzir distorções de interpretação.

Mas vamos ao assunto. Os argumentos do meu ensaio caminham em quatro linhas.

i) O uso inapropriado de um índice composto

Índices compostos podem ser apropriados em certos casos e impróprios em outros. Nem sempre é boa idéia somar alhos com bugalhos.

O IDEB é um índice composto. Venho sistematicamente defendendo o seu uso. O IDH também e nada tenho contra ele.

Por que então a rebeldia contra o novo indicador do MEC? É simples, uma mensuração é uma resposta a uma necessidade de uso. O IDH permite comparar países ou cidades.  Agrupa renda, saúde e educação, fatores reconhecidos por medirem qualidade de vida. Em conjunto dão uma idéia melhor do conceito complexo que se está tentando medir.

Mas ao mesclar o que saem sabendo os graduados (ENADE) com a contribuição líquida do curso (IDD), estamos justamente obliterando diferenças que interessa conhecer. Voltando ao exemplo da Veja, um empregador gostaria de saber que o primeiro curso de farmácia  obteve 5 (quanto o graduado sabe) e 2 (quanto o curso adicionou ao conhecimento do aluno).

Contratar alguém do primeiro curso pode ser uma boa idéia, pois sabe mais. Contudo, como o segundo curso obteve 2 e 5, para um aluno modesto que deva escolher onde fazer seu vestibular, este último dá a ele maior perspectiva de crescimento pessoal.

Se o objetivo do MEC é apenas decidir inicialmente que cursos deixar correr soltos e quais colocar no “CTI”, bastaria o resultado na prova aos graduandos (ENADE). Se o escore é muito baixo, sinal de alarme: vamos ver o que está errado. Ainda no caso dos dois cursos citados, o segundo tem méritos, pois alavanca as carreiras pessoais dos alunos, apesar de que entram muito mal preparados. Já o ensino do primeiro curso é péssimo, pois recebe alunos bons e pouco oferece a eles. O que fazer com cada um? Essas são decisões críticas para o MEC: Punir um curso fraco na sala de aula, mas que recebe bons alunos? Punir um curso que faz um bom trabalho, mas recebe alunos fracos?  O índice que junta os dois indicadores oblitera deficiências muito diferentes.

ii) Tal como formulado, o índice introduz um viés a favor do ensino público

Em uma pesquisa em que Chico Soares e eu realizamos, foi possível medir com considerável precisão o valor adicionado.  As equações nos permitiram também concluir que da ordem de 80% da variância explicada (não poderia usar essa expressão na Veja!) se deveu à pontuação dos alunos ao entrarem no superior.

Como a vasta maioria dos cursos superiores públicos recebe os melhores alunos, somar à prova dos graduandos o resultado da prova aplicada aos calouros infla o resultado do ENADE para tais cursos. Se o curso ensina mal, mas recebe alunos bons, a medida introduz um viés que esconde a fragilidade da sua sala de aula, superestimando, ipso facto, a qualidade do curso. Por que o MEC estaria usando uma medida tão bizarra?

Em outro diapasão, somente cursos públicos têm recursos para manter todos ou quase todos os professores em tempo integral. Independentemente do que saem sabendo os alunos, os públicos ganham um bônus de pontos no escore final.

Igualmente, um curso privado que contrata profissionais atuantes no mercado, estará oferecendo um ensino melhor nas disciplinas aplicadas – comparado com as públicas. Não obstante, será penalizado na nota final.

Nesse particular, seria também o caso de examinar as provas do ENADE e verificar se não seriam excessivamente acadêmicas e distanciadas da prática das profissões correspondentes. Nunca fiz isso, mas alguém deveria fazer. Se isso acontece, seria outra instância de discriminação contra cursos que usam profissionais  em vez de acadêmicos. Note-se que, no país do Verhine, há muitos cursos profissionais que não contratam professores que não estejam atuando no mercado – quaisquer que sejam os seus diplomas.

iii) Ao tomar medidas de resultado e juntar a elas medidas de processo, o índice mescla meios com fins

Imaginemos engenheiros que precisam avaliar o desempenho no ar de um protótipo de avião que ainda não voou. Como não têm medidas de resultados, são obrigados a todos os malabarismos teóricos para prever como a aeronave se comportará após a decolagem.

Assim são as avaliações americanas. Se lá houvesse um Provão ou ENADE, poderiam jogar fora as dezenas de indicadores de processo que são obrigados a usar.  É sabido que são muito imperfeitos como preditores de desempenho. Mas como é o que existe, os americanos têm que usá-los. Só o Brasil tem uma prova desse tipo, aplicada em graduados. Portanto, podemos e devemos dispensar as medidas de processo.

Se aplicarmos uma prova para medir o que aprenderam os graduados, como chegaram lá se torna irrelevante. Se a prova ainda é imperfeita, vamos melhorá-la. Por exemplo, o SAEB usa uma prova com muitas questões. Tantas são que é preciso usar três alunos diferentes para completar a prova. Por que não fazer o mesmo no ENADE?

Naturalmente, se a nota dos graduados é baixa demais, nesse caso, vamos usar as variáveis de processo, para identificar onde pode estar o problema. Os meios ou os processos são variáveis de diagnóstico de disfunções. São eminentemente úteis para isso.

Voltando à metáfora do restaurante, se os clientes sofreram uma epidemia de salmonela, aí então, a saúde pública vai verificar se os pratos e a cozinha foram rigorosamente esterilizados. Mas o visitador do Michelin não se ocupa disso (exceto se ele próprio for vítima de desinteria).

iv) Não conhecemos bem a natureza dos indicadores usados

Não amadurecemos ainda uma boa interpretação dos resultados do valor adicionado (IDD). É um conceito novo e de difícil interpretação. Quando escrevi o ensaio com Chico Soares, tive muitas dificuldades em interpretar os dados que encontramos. Nas provas do INEP, tampouco estamos diante de um construto com interpretações intuitivas e transparentes.

Caberia, nesse momento, explorar o IDD e mostrar como se combina com o ENADE, tomando como exemplo a observação dos cursos incluídos nas avaliações já realizadas.  Pergunte-se a qualquer jornalista da área se o IDD dos cursos muito bons tende a ser maior ou menor do que o dos cursos fraquíssimos? Aposto que não sabem, embora essa diferença seja importantíssima para a política pública. Responde a uma pergunta crucial: os cursos de desempenho fraco dos graduandos estão oferecendo pouco aos seus alunos? Ou podem estar oferecendo muito a alunos fracos? Tal como o conceito de “empate técnico” nas pesquisas de intenção de voto, o IDD leva tempo para ser digerido pela opinião pública.

O mesmo desconhecimento existe para os indicadores de insumos ou de processo. Muitos livros na biblioteca fazem os alunos aprender mais? Professores de tempo integral têm um impacto positivo no aprendizado? E nas áreas profissionais?  Doutores ensinam melhor? Como se comparam com mestres? Para que perfil de alunos? Mesmo as análises multivariadas são muito enganosas, por confundir causa, efeito e multicolinearidade.

Daí a minha crítica ao MEC, por divulgar um conceito excessivamente complexo, abstrato e cheio de cacoetes. Na prática, o que vimos na imprensa foi o previsível: Oba! Mais uma olimpíada do MEC. Quem são os medalhistas? Quem são os fracassados? Ao mesmo tempo, não houve esforços de interpretar as nuances dos resultados.

Em conclusão: (i) Minha argumentação acima tenta demonstrar que Verhine não logrou apontar erros técnicos nos meus argumentos. (ii) Na minha leitura dos seus comentários, tampouco encontro que suas críticas contenham falhas lógicas ou teóricas. (iii) Nossas divergências são de interpretação e de uso de diferentes componentes do labirinto estatístico criado pelo CPC. Mas nesse campo, não são poucos os desacordos.

Recebi a nota abaixo de Robert Verhine, professor da Universidade Federal da Bahia e membro da Comissão Nacional de Avaliação do Ensino Superior, com pedido de publicação. Ainda que a nota só faça referência ao artigo publicado recentemente por Cláudio de Moura Castro na revista Veja, ele se refere indiretamente também à crítica que eu tenho feito ao conceito, disponível neste blog.

Tenho lido textos de autoria de Cláudio de Moura Castro desde quando eu era aluno de pósgraduação nos Estados Unidos, nos idos da década de 70. Moura Castro é um pensador líder no campo da Economia da Educação e seus freqüentes artigos, publicados na Revista Veja, têm servido para esclarecer temas complexos, além de habitualmente endereçar tópicos controversos de forma independente e reveladora. Por essa razão, fui surpreendido pelo artigo publicado na Veja de 24 de setembro último, sob o título “Quem entendeu a nova avaliação de ensino?”, que oferece uma linha argumentativa confusa, baseada em informação incompleta e, por vezes, distorcida.

O artigo tem como foco o Conceito Preliminar de Cursos (CPC), que Moura Castro erroneamente chama de Conceito Preliminar de Avaliação. Este índice, composto por três indicadores e com escala de cinco níveis (1 a 5), foi criado pelo MEC para identificar cursos com problemas potenciais. Com base na legislação vigente, todos os cursos da Educação Superior devem ser visitados uma vez a cada três anos, mas a realidade aponta para a impossibilidade do atendimento dessa freqüência, pela simples razão de que o número dos cursos é grande demais (mais de 20.000) e que continua a crescer. O CPC foi criado como resposta a esse problema, viabilizando a avaliação ao permitir identificar, no conjunto dos cursos, aqueles que necessitam da visita ao tempo que, com base em informações confiáveis e já existentes, atribui um escore aos demais. Tendo isso em vista, foi implementada uma abordagem diferente para cada um de dois grupos de cursos. No primeiro grupo, todos os cursos nos níveis mais baixos da escala (níveis 1 e 2) devem ser visitados por uma comissão composta por membros da comunidade acadêmica especialmente treinados nessa avaliação. Durante a visita, três aspectos do curso – sua organização pedagógica, corpo social e instalações – são cuidadosamente avaliados e, como resultado, um conceito final é emitido. Do segundo grupo fazem parte os cursos que recebem um CPC de 3, 4 ou 5. Esses cursos podem, se desejarem, solicitar uma visita de avaliação. Contudo, se não o fizerem dentro de 30 dias, o conceito preliminar é mantido como conc eito final.

No seu artigo, Moura Castro não fornece nenhum dado sobre o propósito do CPC, concentrando-se em censuras não contextualizadas. O autor começa criticando a composição do índice, argumentando que o mesmo foi criado a partir da soma de indicadores muito díspares. Pior ainda, para ele, é o fato de esses indicadores serem pouco conhecidos individualmente. Esse argumento não se sustenta quando se observam outros índices, igualmente compostos por indicadores os mais diversos, como é o caso, por exemplo, do Índice de Desenvolvimento Humano (IDH), do Índice de Desenvolvimento Econômico (IDE) e do Índice de Qualidade de Vida (IQV). Todos esses são comumente utilizados para sintetizar, em uma única escala, variáveis representativas de diferentes dimensões de um mesmo fenômeno. No caso do CPC, como Moura Castro afirma, dois dos indicadores (os resultados do ENADE e o IDD) referem-se aos resultados da Educação Superior e o terceiro (composto por quatro sub-dimensões) abrange insumos do curso. Esses indicadores são bastante conhecidos por aqueles envolvidos com a comunidade universitária e estão descritos detalhadamente, assim como o CPC, no site do INEP. Para a população não universitária, espera-se do CTC o mesmo nível de conhecimento obtido pelos exemplos de índice citados acima. Além disso, é incorreto declarar que o CTC seja uma mera soma de três indicadores. Para seu cálculo, como indicado na página do INEP, os três indicadores são ponderados de acordo com equações matemáticas complexas.

Estranhamente, Moura Castro é crítico do fato de um indicador de insumo ser considerado na formulação do índice, vez que isso equivaleria, em suas palavras, a julgar um restaurante a partir da “marca do fogão, os horários dos cozinheiros ou o número de livros de culinária disponíveis”. Digo estranhamente por que avaliações externas da Educação Superior, uma prática hoje estabelecida regularmente em mais de 50 países, focalizam primariamente os insumos. Daí por que, nesses locais, tais avaliações envolvem visitas que objetivam verificar, in loco, as condições (ou seja, os insumos) que o curso ou instituição oferecem. A idéia de focar os resultados, como proposto por Moura Castro, é teoricamente interessante, mas traz em seu bojo o problema de mensurá-los adequadamente. Testes, a exemplo dos utilizados pelo ENADE ou pelo Provão, são limitados e capturam, no melhor dos casos, apenas uma porção daquilo que deve ser aprendido ou conhecido ao final de um curso de graduação. O ENADE é especialmente fraco nesse aspecto, por usar apenas 40 itens (30 sobre a formação específica e 10 sobre a formação geral), número obviamente insuficiente para avaliar o conhecimento necessário ao exercício de uma profissão de nível superior. Ademais, como observado por Moura Castro, os desempenhos nos testes sofrem influências de fatores externos, tais como a situação familiar, a preparação na Educação Básica, os níveis de motivação e de inteligência do respondente. Nesse sentido o IDD, que compara os resultados de alunos ingressantes com aqueles dos alunos concluintes, é um indicador bastante útil por apontar o que o curso adicionou aos alunos.

Aliás, ao discutir o IDD, Moura Castro omitiu dois aspectos importantes. Primeiro, o IDD é muito mais sofisticado que o que ele pareceu destacar. O indicador não é uma mera subtração da nota dos calouros daquela dos formandos, mas, particularmente, estima, baseado nos dados dos ingressantes, uma expectativa de nota final. Para isso considera não apenas os escores dos testes, mas também a educação dos pais e a seletividade do curso (percentagem dos ingressantes que concluem a graduação). Dessa maneira, o IDD representa a diferença entre os escores observados e esperados dos formandos e, assim, pode gerar tanto um escore positivo (quando o observado supera o esperado) quanto negativo (quando o observado é inferior ao esperado). Moura Castro refere-se ao IDD como Índice de Diferença de Desempenho quando, em verdade, o nome completo é Índice de Diferença entre os Desempenhos Esperado e Observado.

A segunda omissão feita é o não reconhecimento de que o IDD apenas funciona quando ambos os grupos de alunos (ingressantes e concluintes) estão motivados a responder, da melhor maneira que possam, o teste. Seria um desastre se os ingressantes optassem por obter uma nota baixa, dessa maneira contribuindo para um IDD artificialmente maior. Para evitar esse tipo de comportamento, os resultados dos ingressantes foram incorporados (com peso total de 27,5%) à nota do curso no ENADE. Assim, interessa à instituição incentivar os alunos, nas duas pontas do curso de graduação, a efetivamente participarem da avaliação, sob pena de prejudicarem a nota do curso. Moura Castro critica tal inclusão, declarando que a mesma “premia o curso superior que atrai os melhores alunos”. Tal fato também ocorreria mesmo se os resultados dos ingressantes não fossem incluídos, vez que os resultados dos concluintes são sempre influenciados pela qualidade dos alunos na entrada. Em outras palavras, não faz sentido defender a importância do IDD, por um lado, e criticar a inclusão dos resultados dos ingressantes na determinação do conceito do ENADE, por outro.

Moura Castro finaliza seu ensaio declarando que “parece inapropriado entregar ao público uma medida tão confusa”. O mesmo pode ser dito sobre o ensaio que, infelizmente, foi disponibilizado ao público apesar de conduzir a novas confusões.

A convite da Associação Brasileira de Mantenedoras de Ensino Superior – ABMES, preparei uma análise do “conceito preliminar de curso” e, mais amplamente, do sistema de avaliação do ensino superior brasileiro, à luz das boas práticas intenacionais de avaliação, para um seminário que deve ocorrer em Brasilia no início de setembro. O texto permite também entender melhor a “cozinha” deste conceito recentemente divulgado.  O texto, em versão também preliminar, e aberto a críticas, correções e sugestões de melhoria, está disponível aqui.