Escreve José Francisco Soares, do Conselho Nacional de Educação:
O governo federal, ao divulgar, na semana passada, os resultados da Prova Brasil, dividiu as notas dos estudantes em três níveis referidos como: Insuficiente, Básico e Adequado. Ao usar adjetivos com claras interpretações pedagógicas, busca facilitar o uso dos dados para o planejamento pedagógico das escolas e das redes de ensino, assim como a comunicação com a sociedade.
No entanto, as escolhas de pontos de corte que definiram os níveis produziram uma mudança drástica no diagnóstico da realidade educacional brasileira. Experiencias consideradas exemplares até 2017 se tornaram fracassos com a nova metodologia. Por exemplo, a cidade de Sobral, que era considerada exemplo nacional, passou a ter apenas 13,4% dos alunos com aprendizado adequado em língua portuguesa, ao invés de 79,8 % em 2015.
Na realidade não ocorreu nenhum desastre educacional nos últimos dois anos, mas apenas a introdução de uma forma equivocada de sintetizar os dados da Prova Brasil.
A classificação das notas dos estudantes em níveis exige basicamente a definição de pontos de corte na escala usada para expressar as notas. Para estas escolhas, a técnica usada internacionalmente consiste, primeiramente, em ordenar por nível de dificuldade os itens usados no teste. A seguir um painel de professores, depois de informados sobre quantos níveis serão criados e a função pedagógica esperada de cada um, escolhem os pontos de cortes, primeiramente, de forma individual e depois em grupos. Várias rodadas de discussão são usualmente necessárias para a criação de um consenso.
Infelizmente, a pesquisa necessária para o uso desta métrica ainda não foi feita de forma definitiva no Brasil, apesar de grandes avanços recentes. Diante disso, a definição de valores de referência para a escala do SAEB tem sido feita de forma comparativa. Tanto na definição de metas para o IDEB, como as metas do movimento “Todos pela Educação”, quanto para a criação de níveis nos sistemas de avaliação estaduais, utilizou-se a experiência brasileira no PISA. Basicamente, mediu-se o aumento necessário no desempenho obtido pelos estudantes brasileiros no PISA para que as notas do conjunto de estudantes brasileiros tivessem a mesma distribuição estatística que a dos estudantes de um país típico da OECD. Este aumento, transformado em desvios-padrão, é utilizado para criar a distribuição de referência na escala do SAEB. Nesta distribuição escolheu-se, por consenso pedagógico, o ponto de 70% para definir o ponto de corte do nível adequado. Dois outros pontos de corte adicionais foram escolhidos, definindo-se quatro níveis: abaixo do básico, básico, adequado e avançado. Os níveis assim obtidos vêm sendo usados há anos em artigos, por muitos sistemas de ensino, em plataformas de acesso aos dados e por setores da sociedade civil. No entanto, é importante registrar que outras escolhas poderiam ser feitas.
Para a divulgação dos dados referentes à Prova Brasil de 2017, o governo federal optou por trabalhar com uma divisão estatística de níveis feita sem comparação externa. Em seguida, arbitrou, sem nenhuma justificativa, valores para os pontos de corte muito maiores do que os que tem sido praticados. Como consequência, a nova síntese sugere que os resultados em Língua Portuguesa são melhores do que os resultados em Matemática, em completo desacordo com o que vem sido aceito, que é que os resultados de aprendizagem de todos estudantes brasileiros estão em níveis catastróficos.
Usar evidências empíricas em relação aos resultados educacionais: acesso, permanência na escola e aprendizado, assim como indicadores das condições das escolas, é fundamental para a melhoria da educação. Mas isso exige a criação de consensos baseados em análises compartilhadas dos dados. O trabalho que vem sendo feito nessa direção mostra que o sistema educacional tem sérios problemas no aprendizado de seus estudantes, assim como de condições de funcionamento. Mas uma mudança abrupta de metodologia não ajuda no debate.
O governo federal deveria usar a oportunidade para não só corrigir o diagnóstico apresentado como também para iniciar um processo, baseado na literatura internacional e conduzido por especialistas e professores, que defina e interprete níveis de referência oficiais para a análise dos dados de aprendizado obtidos pela Prova Brasil.
Pedrosa,
A mudança não é usada em outras etapas da divulgação. Os diferentes índices construidos com os dados, como o IDEB não são afetados.
CHICOsoares
Mamma mia, como isso ocorreu? Esperamos que o INEP e o MEC se manifestem sobre isso. Se a tal nota IDEB já apresentava dificuldades para ser bem interpretada, como bem notado no seu artigo, imagine agora? Parabéns Chico pelo comentário.