Recebi vários comentários sobre a nota que publiquei a respeito da informação misteriosa divulgada pelo O Estado de São Paulo, atribuida a Ricardo Paes e Barros, de que “dez dias a mais de aula por ano, seja pelo aumento do ano letivo, seja pelo efetivo cumprimento do calendário previsto – sem, portanto, o cancelamento de aulas por causa da falta de professores -, conseguem aumentar o aprendizado dos estudantes em 44%”, e que baseado nisto o Ministro da Educação iria propor um aumento do número obrigatório de dias letivos por ano nas escolas do país. Na minha nota, disponível aqui, eu observava que, se isto fosse verdade, a educação brasileira teria seus problemas resolvidos em poucos anos, sem precisar de melhorar a capacitação dos professores, equipar melhor as escolas, organizar e corrigir os currículos, etc – um verdadeiro milagre! De onde teria vindo este dado? O que o autor ao qual ele é atribuido tem a dizer a respeito?
O autor permanece em silêncio, mas os dados provêm de uma “meta-análise” feita há tempos para a Fundação Ayrton Senna, que procura consolidar os resultados de um grande número de pesquisas sobre educação feitas no Brasil e no exterior.
Ruben Klein, um dos principais pesquisadores brasileiros na área de educação, enviou o seguinte comentário sobre esta estimativa:
“Entrei no site do Instituto Ayrton Senna e olhei os comentários sobre calendário escolar e não achei essa afirmativa dos 44%. Realmente, é preciso cobrar de onde veio isso.
Mas no site, sobre calendário escolar, vem destacado: “Impacto esperado: Aumentar em 29% o aprendizado anual”, tipo os 44%.
Resultados de estudos de fora ou daqui, cheios de contextos explícitos e não explícitos, dependentes do modelo de análise utilizado, não podem ser transpostos para outros lugares e situações e transformados em percentuais de desvios padrão de outras avaliações, etc. Para mim, essas extrapolações não tem base científica.
Um erro metodológico comum que se vê a toda hora é falar em aumento percentual de desempenho, como os 44% de aumento. Não dá. O percentual depende da escala considerada e dos valores arbitrados para a média.
Na escala de 0 a 100, um aumento de 44% para um aluno com nota 80 ou 100, ultrapassa o 100, obviamente um absurdo. Outros exemplos, um aumento de 20 para 40 é 100% de aumento. Um aumento dos mesmos 20 pontos de 80 para 100 é um aumento de 25%.
Outro exemplo, o SAEB tem uma escala única para as séries. Um aumento de 44% para a média dos alunos do 5º ano, em matemática, em 2009, cerca de 200, leva a média para 288, um aumento de 88 pontos, ultrapassando a atual média da 3ª série do EM. Para o EM, média em cerca de 275, um aumento de 44% dá um crescimento de 121 para 396. Observem que o aumento no EM é muito maior que o do 5º ano. Vejam o milagre como bem o Simon observou. Teríamos alcançado as metas do Todos pela Educação e as metas do IDEB.
Outro exemplo, na escala do PISA. o Brasil tem uma média em torno de 400. Um aumento de 44% leva a 576. Outro milagre. Passamos a Finlândia. Observem que 176 pontos equivalem a um aumento de 1,76 desvios padrão do PISA.
Os 29% dão números menores, mas não muda o quadro.
Outra afirmação que apareceu na imprensa foi sobre a redução do número de alunos na turma, que também dá um percentual extraordinário de ganho no desempenho. Essa afirmação é sobre um estudo no Tennessee, EUA. Transposto para a Califórnia, em escala global, foi um desastre.”
Esta história ilustra bem um problema muito comum que ocorre quando pesquisadores chegam a determinados números aparentemente simples, mas estimados de forma precária e duvidosa, e passam depois a querer adotá-los como base de políticas públicas de grande alcance. O raciocínio parece ser que números permitem estabelecer metas e avaliar políticas, e isto seria mais importante do que a qualidade e validade do número em si. É por isto que muitos insistem em definir uma linha de pobreza oficial para o Brasil, ou obrigar todas as escolas a colocar os resultados do IDEB nas portas, ou publicar nos jornais as avaliações das escolas, cursos superiores e universidades baseadas nas médias do ENEM ou no “conceito preliminar de cursos” calculado pelo INEP.
Estes abusos no uso de números alimentam os argumentos de muitos que dizem que a educação é importante demais para ser reduzida a números, e acabam se opondo a qualquer tipo de avaliação e mensuração de resultados. Eu certamente não penso assim, mas é importante que os números sejam utilizados como instrumentos de apoio para o entendimento da realidade, e não como seu substituto, um feitiche que esconde e deforma, mais do que revela e nos ajuda a entender
Creio que o problema está no cuidado com o uso dos resultados. Como em avaliações educacionais, o uso dos resultados de uma regressão linear ou de qualquer outra análise estatística precisa ser cuidadosamente explicado. Não li o trabalho do Paes de Barros, mas ele sabe usar regressões e outros métodos econométricos/estatísticos, portanto arrisco dizer que o problema está em como a imprensa (e talvez o próprio site que divulgou os resultados) apresenta os resultados e os interpreta.
Renato Pedrosa/Unicamp
Concordo plenamente com o Dr. Ruben Klein, com quem tive a honra de trabalhar, renomado especialista na área de avaliação de sistemas de ensino. Ruben Klein lida com os mais modernos recursos estatísticos dentre eles a TRI, introduzida por ele próprio nas análises do SAEB e, felizmente, mantidas na Prova Brasil. Ninguém melhor do que ele para fazer a análise lúcida que se apresenta agora, já que, ufanismo e utopias não resolvem nada em educação. Lidar com os números da forma como se está fazendo terminará por desacreditar um trabalho que vem sendo construído há anos no Brasil, qual seja, o de termos índices comparáveis e confiáveis na área da educação . Aplaudo suas palavras:” Os números não podem ser usados como um fetiche que escondem e deformam”.
Discutamos e enfrentemos a realidade, é o que se espera.
Iza Locatelli
Doutora em Educação
Ex Diretora do SAEB /
Concordo com as críticas feitas ao estudo coordenado por Ricardo Paes de Barros. No meu blog comentei um pouco os problemas do trabalho do pesquisador e concordo plenamente com o Ruben quando ele diz que as extrapolações que o Paes de Barros faz não têm base científica. No entanto, mesmo com os diversos problemas, acho que as análises do Ruben (pesquisador do qual eu tenho grande admiração e é para mim uma das maiores referências) podem sugerir um amadorismo no trabalho de Paes de Barros de forma um pouco injusta.
O fato de o pesquisador querer sugerir o impacto percentual de uma política com base em estudos científicos e modelos sem contextualizar é descabido, no entanto, mesmo partindo de premissas e uma convicção talvez equivocada o trabalho de Paes de Barros jamais sugere que o aumento no ano letivo pode aumentar x percentual (seja 44%, 29% ou qualquer outro) no nível de proficiência de um aluno na escala Saeb ou na escala do Pisa. Ricardo considera que um aluno aprende em torno de 14,5 pontos na escala Saeb e quando determinada medida é apontada como tendo um impacto de 44% o que o estudo está dizendo é que um aluno pode durante esse ano letivo ganhar além dos 14,5 pontos na escala um adicional na média de cerca de 6,4 pontos (44%). Isso não torna os problemas da análise menos graves, mas mostra que o trabalho de Ricardo não sugere impactos tão fortes como o sugerido no post.
Simon foi perfeito quando diz que “estes abusos no uso de números alimentam os argumentos de muitos que dizem que a educação é importante demais para ser reduzida a números, e acabam se opondo a qualquer tipo de avaliação e mensuração de resultados”. Esse é um grande problema e, por isso, que precisamos nos posicionar quando análises com sérios problemas são divulgadas. Logo, dou os parabéns ao Ruben Klein e ao Simon Schwartzman por apresentarem esse posicionamento.