Escreve Creso Franco, sobre as aparentes melhoras dos brasileiros na prova de matemática do PISA:
Simon, como de praxe, colocando perguntas importantes. Minha hipótese é a de que o movimento fundamental foi a da melhora da avaliação, e, infelizmente, não a melhora do aprendizado de Matemática em países como o Brasil.
A pedido de Maria Helena e Paulo Renato, coordenei a preparação do relatório brasileiro do PISA 2000. Assim que tive acesso às bases de dados, chamou-me a atenção a assimetria da distribuição da proficiência em Matemática para o Brasil e outros países de baixo desempenho, com cauda à esquerda muito pesada. O mesmo não ocorria em Leitura e Ciências (ainda que o desempenho dos alunos daqueles países fosse também sofrível nessas áreas). À época percorri as respostas dos alunos de baixo desempenho (o % era enorme, mas, à época, a amostra não era muito grande). O padrão típico (levando em conta a ordem de aparição dos itens para os alunos, conforme o caderno de prova de cada um) era muitos erros no inicio, seguido de itens deixados em branco. Em português claro: a prova era impossível para aqueles alunos, eles tentavam um pouco e simplesmente desistiam. Em psicometrês: os coeficientes de dificuldade dos itens estavam acima da proficiência de parcela expressiva dos alunos daqueles países; o teste não servia para medir o que aqueles alunos sabiam. Esses alunos ficavam agrupados muito próximos, com escores muito baixos, sem muita discriminação entre esses alunos. Daí a forma curiosa do diagrama de dispersão da proficiência em Matemática.
Será que, com a incorporação de mais países de fora da OCDE, o teste passou a incluir itens mais fáceis, permitindo alguma discriminação entre esses alunos de baixo desempenho? Será que o aumento da proficiência média explica-se fundamentalmente pelo suposto na frase acima? Ou será que nossos alunos de 15 anos estão melhorando em Matemática?
Como não estou em condições de explorar as perguntas acima, apenas apresento a tabela abaixo, comparando o resultado de 2000 com 2012 para os países latino-americano que participaram de ambos os exercícios:
| Paises |
2000 |
2012 |
Diferença como % do desvio padrão da amostra completa |
| Argentina |
388 |
388 |
0% |
| Mexico |
382 |
413 |
31% |
| Chile |
384 |
423 |
39% |
| Brazil |
334 |
391 |
57% |
| Peru |
292 |
368 |
76% |
Melhoramos todos? Ou melhorou a avaliação? (para ser justo com a equipe técnica, ao invés de perguntar se a avaliação melhorou, deveríamos perguntar se ela ficou mais bem adaptada para lidar com alunos de baixo desempenho).
Parece que deveriamos olhar a variação dos escores do Brasil com relação ao escore mediano do mesmo grupo sócio-econômico — América Latina, BRICS?
Aliás, seria interessante o comportamento dessa tendência de grupo a longo prazo — será que refletiria, p.ex., a maior exposição dos estudantes a Internet?
Isso me faz lembrar dos gráficos de número de publicações por ano dos pesquisadores brasileiros: há um crescimento que parece excelente. Porém está presente para todos os países, portanto refletindo mais a oferta de revistas para publicação do que a capacidade do pesquisador em escrever artigos.
Prezado Simon:
Boa noite!
Muito interessante a observação de Creso Franco sobre a calibração da prova ao perfil do aluno latino.Neste sentido, o que está em jogo é a proficiência do teste.Esta sensibilidade do teste, afetou os resultados para os Estados Unidos com seu contingente de latinos, negros e pobres? Idem para França com seu ciganos?
Atenciosamente,
Ana Maria de Rezende Pinto