Recebi de José Francisco Soares o texto abaixo sobre as limitações do IDEB que colocam em questão a proposta de torná-lo uma medida oficial da qualidade das escolas, apesar de reconhecer a contribuição que o índice trouxe.
IDEB NA LEI?
A proposta do Plano Nacional de Educação enviada pelo poder Executivo para análise pela Câmara dos deputados, projetos de lei de iniciativa de deputados, colunas em revista e editoriais de jornais defenderam, nas últimas semanas, a inserção do IDEB em leis educacionais. Se esta idéia for vitoriosa, o IDEB será alçado à condição de síntese oficial da qualidade da educação básica no Brasil. Naturalmente nessa situação, os sistemas e as escolas buscarão usar políticas e práticas que aumentem o valor desse indicador, tornando este índice a bússola da educação básica brasileira. Antes de tudo ocorrer, é razoável que o IDEB passe por escrutínio público e técnico. Este texto pretende contribuir para esse necessário debate.
Como se sabe o IDEB é o produto dois números. O primeiro é um indicador de desempenho dos alunos, obtido através da Prova Brasil e o segundo um indicador de rendimento obtido com o Censo Escolar.
O indicador de desempenho é uma média das proficiências dos alunos, presentes nas escolas no dia da prova Brasil, nos testes de leitura e de matemática. O fato de o IDEB considerar apenas os alunos presentes sinaliza que a maneira mais fácil de aumentar o seu valor é dificultar a presença dos alunos mais fracos no dia da Prova Brasil. O uso da média sugere que para aumentar o IDEB, a escola pode concentrar seus esforços nos seus alunos com maior capacidade de aprendizagem, os quais, obtendo desempenhos mais altos, elevarão a média da escola.
Para agregar as proficiências em Leitura e em Matemática em um único número, a metodologia do IDEB faz primeiramente uma padronização dessas duas proficiências, e em seguida toma sua média como indicador de desempenho. Por um artefato estatístico pouco conhecido e analisado, a proficiência padronizada em Matemática é quase sempre maior do que a em Leitura. Ou seja, o IDEB assume que os alunos de educação básica de nosso país estão melhores em Matemática do que em Leitura, fato que contraria todas as outras análises.
O segundo número usado para compor o IDEB é um indicador de rendimento, i.e., uma média das taxas de aprovação das séries de cada ciclo. Entre todos os tipos de média usa-se a média harmônica, uma construção estatística que, embora completamente adequada à situação, é de difícil entendimento já que se trata do inverso da média aritmética dos inversos.
Como conseqüência do uso do produto para sintetizar os indicadores de desempenho e rendimento, cria-se uma equivalência entre vários valores dos dois indicadores. Ou seja, um maior desempenho compensa uma maior reprovação. As conseqüências educacionais das taxas de substituição induzida pelo uso do produto na fórmula do IDEB precisam ser explicitadas e sua adequação para políticas públicas educacionais estabelecidas. Isto não foi feito ainda.
Tem-se divulgado, principalmente imprensa, que se pode usar a experiência de interpretação de notas escolares, usualmente atribuídas com números entre 0 e 10, para interpretar o IDEB. Isso facilitaria a compreensão do índice. No entanto, o IDEB só atinge o valor mais alto em uma situação inusitada, aquela em que todos os alunos de uma mesma escola têm a mesma nota e essa nota é a maior nota possível. Isto obviamente não ocorre em situações educacionais reais. A interpretação ingênua do IDEB como nota da escola é muito problemática, pois toma como reais situações que são apenas construções estatísticas. Por exemplo, um IDEB de 5 não é tão baixo como a nota 5 e escolas com IDEB de 4 e 5 estão muito longe uma das outras, ao invés de próximas como as notas sugerem.
Finalmente, e muito mais importante é o fato pouco apreciado é que o IDEB tem alta correlação com o nível socioeconômico do alunado. Assim, ao atribuir a esse indicador o status de síntese da qualidade da educação, assume-se que a escola pode superar toda a exclusão promovida pela sociedade. Há uma farta literatura que mostra que isso é impossível. Todos os alunos têm direito de aprender, e os conhecimentos e habilidades especificados para educação básica devem ser os mesmos para todos. No entanto, obter este aprendizado em escolas que atendem alunos que trazem menos de suas famílias é muito mais difícil, fato que deve ser considerado quando se usa o indicador de aprendizagem para comparar escolas e identificar sucessos.
Todos estes pontos são de conhecimento dos que tem estudado os aspectos estatísticos do IDEB e que já propuseram soluções que, naturalmente, precisam do mesmo escrutínio que se defende aqui. Cabe ressaltar também que algumas destas limitações afetam os indicadores similares ao IDEB criados por estados e municípios.
A necessária discussão das limitações do IDEB, nesse momento que se advoga sua inscrição em leis, deve, entretanto, iniciar-se reconhecendo sua fundamental contribuição para a promoção da qualidade da educação básica no Brasil. Foi a criação do IDEB que trouxe a idéia de que o aprendizado dos alunos e seu fluxo entre as várias etapas da educação básica é, hoje, a mais clara expressão do direito constitucional à educação
José Francisco Soares
GAME- FAE- UFMG
Obrigado Chico e Simon.
Assino os elogios acima. Acrescento uma questão, para mim não explicada, desde que o IDEB foi apresentado. O segundo componente da fórmula, o indicador de fluxo, não lida com a intensa troca de alunos que ocorre entre as escolas ao longo dos segmentos do ensino fundamental. Desconfio que há uma forma também eficaz de melhorar o desempenho da escola progressivamente: basta trocar alunos de pior desempenho por outros melhores. A “evasão” induzida no dia da prova não é uma estratégia apenas para aquele dia. Algumas escolas podem fazer isso e o fazem regularmente, ainda que, por ora, não com intenção de incrementar seu IDEB. Me parece que a taxa de aprovação não é afetada se a escola trocou de alunos ao longo dos anos. Esse troca-troca não é aleatório (como não é aleatória a distribuição inicial dos alunos pelas escolas). Acredito – estamos pesquisando isso – que as escolas tendem a se tornar, socialmente e em termos de desempenho, mais homogêneas, conforme vão passando as séries escolares. O risco é a formação de escolas gueto, como já existem inúmeras. Apoio a divulgação ampla dos resultados e, sobretudo, a ênfase que traz para o aprendizado escolar, mas a cautela proposta pelo Chico é indispensável. Pesquisadores norte-americanos e britânicos têm alertado na mesma direção.
Chico Soares consegue introduzir seriedade na questão. O diabo é que a imprensa adora questões simplificadas e “facilmente” publicáveis e o legislativo precisa de votar qualquer besteira para não ter que enfrentar as questões importantes! Está tudo fora do lugar. O judiciário cai no ativismo legislativo e o legislativo decide currículo e qualidade da educação por lei…
Além das coisas as idéias também estão fora do lugar. E elas parece que nunca mais vão se encontrar.
Brilhante a exposição do Professor Francisco Soares: muito oportuna e esclarecedora. De fato, ele trouxe grande contribuição ao atual debate sobre o PNE. Restou-me, contudo, uma dúvida, no que se refere a sistemática adotada em outros países: no caso do Chile e da Inglaterra, por exemplo, os resultados de testes de rendimento dos alunos por escola, recebem ampla publicidade, com vistas à melhor informar os pais e a sociedade sobre o padrão educacional da escola, versus região e país Nestes casos, os índices utilizados apresentam um grau de fidedignidade maior ou adequado?
Atenciosamente,
Ana Maria de Rezende Pinto
Pedagoga
Excelente texto. Chico e Simon, parabéns por enriquecerem a discussão.
Simon e Chico,
Obrigada por encerrarem o FeBeAPa e elevarem o nível da discussão para um patamar sério, tecnicamente embasado e racional.
Quem sabe ainda dá tempo de revogar algumas leis…
Concordo plenamente com as questões assinaladas pelo Prof. Francisco Soares. Há necessidade de maior análise do IDEB em que pese seu valor como indicador educacional. As questões colocadas em relação à LP e Mat também merecem considerações. Um projeto de lei a esta altura sem uma análise das fragilidades do IDEB não é desejável. Antes, seria necessário, uma grande e séria análise de especialistas , não necessariamente ligados ao INEP. Uma boa contribuição pode se perder se correções e maior transparência não forem realizadas.
Excelente artigo de Francisco Soares, que mostra com bastante clareza os pontos positivos e as fragilidades do IDEB. O IDEB foi fundamental para fortalecer a cultura da avaliação no país e acender o debate a respeito do papel dos indicadores na formulação de ações que possam promover a melhoria da qualidade da educação. No entanto, as limitações e fragilidades do IDEB, como bem assinaladas neste artigo, requerem um debate sério e tecnicamente rigoroso sobre o projeto de lei em tramitação no Congresso. Nessas condições, aprovar uma lei que se sustenta na divulgação do IDEB na porta de cada escola pública sem antes fazer uma discussão adequada de sua pertinência, seria cometer injustiças indevidas que afetariam a grande maioria das escolas e dos seus alunos. Sou favorável à total transparencia das informações sobre o desempenho escolar e acredito na importancia da disseminação dos resultados para promover maior responsabilização pela qualidade do ensino ofertado. Mas não é isso que está em jogo. Trata-se antes de aprofundar o debate sobre a qualidade e relevância dos indicadores educacionais. O IDEB foi um passo importante, está na hora de aprimorá-lo!
Muito pertinente e oportuno o artigo de Francisco Soares. Gostaria, entretanto, de comentar o que parece ser uma sugestão do autor para que o indicador de aprendizagem dos alunos fosse ponderado pelo seu background sócio-econômico familiar, com o intuito de corrigir possíveis distorções na análise comparativa entre as escolas. Do meu ponto de vista, o indicador de aprendizagem deve refletir,de fato, o desempenho escolar dos alunos sem qualquer ponderação para anular efeitos de outras variáveis que possam estar interferindo com os resultado. Estas variáveis, como o background familiar do aluno, devem ser utilizadas com fatores explicativos das diferenças ente as escolas, mas não como fatores de ponderação do indicador que mede a aprendizagem.