No fim do ano passado, o MEC introduziu duas inovações no seu ecossistema de avaliação da educação básica. Lançou um portal com testes de Leitura e Matemática para todos os anos do ensino fundamental e aplicou, em uma amostra de escolas, o Estudo Internacional de Progresso em Leitura (PIRLS), um teste de compreensão leitora adequado para os estudantes no quarto ano de escolarização.
Como argumentei recentemente, as recomendações da BNCC são muito genéricas e passíveis de diferentes interpretações. Assim as avaliações, ao concretizar os aprendizados pretendidos em tarefas, têm grande potencial de apoiar ou perturbar o ensino, já que os estudantes aprendem o que fazem. Esses dois novos instrumentos mostram como o MEC interpreta os comandos normativos da BNCC e, por isso, merecem ser conhecidos e analisados por todos os atores do debate educacional. Este texto pretende contribuir para esse debate com uma análise centrada em princípios e tecnologias da área de avaliação educacional, que deve ser complementada com a contribuição de outras visões pedagógicas e educacionais.
Em relação ao PIRLS, o MEC divulgou apenas a tradução do documento conceitual desse estudo, não o teste aplicado nos estudantes brasileiros. No entanto, muitos países, incluindo Portugal, já aderiram a essa avaliação, e há, portanto, muitos documentos que podem ser usados para conhecer seu escopo, metodologia e resultados.
O modelo conceitual do PIRLS estabelece que só através do uso de textos autênticos é possível gerar evidências sólidas sobre o desenvolvimento da compreensão leitora dos estudantes. Por isso, seu teste usa apenas dois textos, cada um, tipicamente, com mais de 400 palavras. O PIRLS considera que a compreensão leitora está desenvolvida apenas quando o estudante é capaz de mobilizar as várias habilidades necessárias para o entendimento do texto, as quais organiza em quatro categorias: Localizar e Recuperar informações explícitas, Fazer inferências diretas, Interpretar e integrar ideias e informações, Avaliar e Criticar. Para cada texto são formuladas em torno de 15 questões para verificar essas categorias. Algumas questões são de múltipla escolha, outras abertas, essas essenciais para se verificar o domínio de habilidades de maior complexidade cognitiva.
O PIRLS verifica não apenas o domínio de habilidades isoladas, mas também e principalmente seu uso concomitante para a construção do sentido do texto. Na realidade, a resposta a um item isolado não gera evidência de domínio de uma habilidade específica. Esse fato é comprovado ao se constatar que há itens que se referem à mesma habilidade, situados em pontos diferentes na escala. Finalmente, o PIRLS reconhece a importância de textos multimodais, cujo uso é cada vez mais frequente na internet e, portanto, devem estar no ensino e na avaliação da compreensão leitora.
Estas formulações são particularmente importantes para o debate sobre a reformulação do SAEB. Originalmente, ele preconizava o mesmo que é praticado pelo PIRLS. Com o passar do tempo, isso se perdeu. Hoje, os testes do SAEB e seus similares contêm itens cujo suporte são recortes de textos, não textos autênticos e, portanto, quase nunca representam situações de comunicação relevantes. O uso apenas de itens de múltipla escolha e a ênfase em habilidades específicas não permitem aos testes do SAEB gerar evidências adequadas sobre o desenvolvimento da competência leitora, já que a ideia de mobilização de aprendizados, essencial no conceito, não impacta adequadamente o planejamento do teste.
A segunda inovação foi a disponibilização de testes semelhantes aos do SAEB para todos os anos escolares, preparados para uso imediato pelas escolas e redes. Essa iniciativa facilita a prática, já bastante frequente, de uso dos testes de avaliações externas na rotina das escolas. Ela cria a possibilidade os itens e as respectivas respostas dos estudantes serem usados na preparação de devolutivas. Isso caracterizaria o uso formativo da avaliação externa, iniciativa muito necessária para torná-las mais relevantes pedagogicamente.
No entanto, as potencialidades positivas da iniciativa desaparecem quando se analisam as questões dos testes publicados. Detenho-me aqui apenas no teste do terceiro ano, que deve ser feito por estudantes de oito anos de idade, os quais, pelo Plano Nacional de Educação, deveriam estar alfabetizados. Assim, esse teste pode ser visto como a expressão operacional, na visão do MEC, do que sabe e do que não sabe fazer um estudante que completou o ciclo do “aprender a ler” e supostamente está pronto para iniciar a etapa do “ler para aprender”.
O teste analisado é constituído de 22 questões, cujo percentual de acertos será usado como medida do desempenho de cada estudante. As instruções de aplicação indicam que os enunciados de várias questões devem ser lidos pelo aplicador. Esse formato de aplicação é completamente inadequado para se verificar os aprendizados de estudantes que estão no fim do processo de alfabetização e devem, portanto, ler autonomamente. Sete das 22 questões verificam o desenvolvimento de habilidades de alfabetização, como as relações fonema/letra, em situações de irregulares ortográficas simples. Essas habilidades deveriam ter sido construídas nos anos anteriores e, portanto, não é razoável que um quarto da evidência coletada pelo teste do terceiro ano venha desse tipo de item.
Os textos incluídos no teste, na realidade recortes de textos, são muito pequenos e não permitem a formulação de questões de interpretação de texto. Por isso, muitas das questões que têm os textos como suporte no teste captam a capacidade de o estudante reconhecer o gênero discursivo e seus elementos constitutivos. Esse tipo de habilidade, embora uma expressão da competência leitora, informa pouco na ausência de questões de interpretação. A baixa complexidade das habilidades contempladas no teste pode ser verificada pelos verbos das habilidades associadas aos itens do teste: localizar, identificar e reconhecer, todos indicando processos cognitivos da ordem mais baixa. O teste não verifica as habilidades com demandas cognitivas mais altas e não inclui questões que verifiquem as habilidades de escrita, essenciais na alfabetização, que estavam presentes no teste da ANA, Avaliação Nacional da Alfabetização, o padrão de desempenho usado anteriormente.
Ou seja, esse teste não gera informações sólidas sobre a compreensão leitora dos estudantes ao fim do ciclo de alfabetização. Além disso, tem um nível de demanda muito baixo e, portanto, as escolas terão resultados altos que, em vez de indicarem excelência, apenas legitimarão um nível de domínio superficial e insuficiente da compreensão leitora. Isso é particularmente grave educacionalmente, pois crianças que não aprendem a ler até o final do terceiro ano do ensino fundamental tendem a ter dificuldade de leitura pelo resto de suas vidas e, provavelmente, terão dificuldades de desenvolver outros conhecimentos, todos dependentes de proficiência na compreensão leitora.
Em síntese, o MEC envia mensagens contraditórias com suas duas recentes iniciativas. Por um lado, coloca um padrão muito baixo de aprendizado ao fim de ciclo de alfabetização. Por outro, divulga a definição de compreensão leitora latente nos melhores modelos conceituais existentes. Não seria o caso de o MEC e construir um sistema para subsidiar as avaliações formativas nas escolas, através de plataforma com interface bem-feita, como a criada para os testes divulgados usando entretanto, o modelo conceitual do PIRLS?
