Boa parte dos problemas surgidos com o ENEM em 2011, assim como a resposta dada pelo INEP a estes problemas, tem a ver com a misteriosa TRI, a “Teoria da Resposta ao Item” que foi adotada para produção dos escores. Francisco Soares, um dos principais especialistas brasileiros em estatística educacional, argumenta que há várias maneiras de se usar a TRI em um exame como o ENEM, fato que precisa ser entendido pelos decisores públicos. O texto completo está disponível aqui.
Mas, o que é a TRI? A idéia básica é que cada competência em uma prova (por exemplo, a capacidade de ler e entender um texto) é medida por uma série de perguntas, ou itens, com graus diferentes de dificuldade, conforme o número de pessoas que responde certo. Itens fáceis que muitos respondem pesam menos na nota do que itens mais difíceis que poucos acertam. Outra função do TRI é identificar questões que na verdade não medem bem a competência que se quer, e descartá-las. Finalmente a TRI pode ser usada para garantir que os resultados de diferentes anos sejam comparáveis. Para essa última finalidade, os itens a serem usados precisam ser pré-testados, Esta operação ficou comprometida e dificilmente poderá ser feita no futuro, depois dos problemas de vazamento que parecem incontroláveis.
O que Francisco Soares argumenta é que a forma atual de usar TRI para comparar os resultados de um ano a outro acaba entrando em conflito com a outra função do ENEM, que é servir de exame de ingresso para as universidades federais. Isto pela impossibilidade de se realizar o pré-teste de itens. Se é para ser um exame vestibular, o ENEM deveria se concentrar em medir o que as universidades esperam o que os estudantes saibam nas diversas áreas de conhecimento. Para produzir comparabilidade advoga o uso de uma técnica diferente da atualmente usada, baseada em percentis. Na sua proposta os escores continuariam a ser calculados pela TRI.
Sua nota termina enfatizando que a pauta do ENEM precisa colocar a atenção no que interessa, do ponto de vista educativo: será que o ENEM está de fato medindo as competências que interessam? Ele funciona melhor ou pior do que os vestibulares tradicionais? Que influência, positiva ou negativa, ele exerce sobre o ensino médio? O que a enorme massa de dados produzida por este exame de grandes proporções nos permite entender sobre como é o estudante brasileiro que termina o ensino médio e busca o ensino superior?
