José Francisco Soares: O olhar da qualidade e da equidade sobre os resultados educacionais

O artigo 205 da Constituição federal, ao estabelecer o direito à educação, introduz duas perspectivas pelas quais a definição de políticas públicas educacionais devem ser analisadas: o direto das pessoas e o dever do Estado.  Ao dizer que o objetivo da educação é o “pleno desenvolvimento da pessoa, seu preparo para o exercício da cidadania e sua qualificação para o trabalho”, indica que a concretização do direito à educação se dá quando o cidadão desenvolveu os aprendizados que lhe permitem as inserções sociais listadas no texto constitucional. Por outro lado, o artigo define o Estado e a família como responsáveis pelo provimento da educação.

Para operacionalizar o dever do Estado na Educação, a lei estabelece que os diferentes entes federados devem organizar sistemas de ensino que têm responsabilidade direta de gerir os meios que vão garantir o direito e são compostos das escolas, secretarias de educação e Conselhos de Educação. Diante disso, é natural e esperado que a administração pública tenha processos de monitoramento e avaliação para verificar como os sistemas de ensino atendem às necessidades educacionais dos cidadãos de seu território de atuação.  Este texto considera apenas o monitoramento do atendimento do direito de cada estudante, não tratando do monitoramento do dever do Estado. Esta escolha é contextual e não deve ser interpretada como minimização ou subalternização do estudo e monitoramento desta dimensão. 

Na visão do jurista[1], tomada como princípio neste texto, “proteger direitos significa realizar direitos”. Portanto, é preciso definir quais são as evidências que devem ser aceitas para que se possa afirmar que um sistema ensino está garantindo adequadamente o direito à educação aos estudantes de seu território de atuação.  Para definir estas evidências existem várias desafios a serem superados.

O artigo constitucional, ao definir os objetivos da educação, especifica os aprendizados que caracterizam o direito. No entanto, esta especificação é muito genérica, fato reconhecido pelo próprio constituinte que incluiu o artigo 210, o qual estabelece que “serão fixados conteúdos básicos para o ensino fundamental […]”. Esta determinação ensejou a criação de expectativas de aprendizagem que orientam a formulação dos projetos pedagógicos dos sistemas. De posse destas orientações, os testes para medir o nível de aprendizado dos estudantes, elemento fundamental para a verificação do direito, podem ser organizados.

Embora reconhecendo a importância dos aprendizados, é preciso salientar que a permanência do estudante na escola é a condição essencial para que o aprendizado ocorra. Fixados, então, os resultados que concretizam o direito – os aprendizados e a permanência – é preciso definir como estes dois construtos devem ser medidos.  Os aprendizados são medidos pelos testes das avaliações externas. Ou seja, a evidência mais comum da garantia do direito é completamente dependente da métrica usada no SAEB. Há claras evidências de que essa métrica capta uma visão muito superficial dos aprendizados necessários para uma inserção completa do cidadão na vida da sociedade brasileira.  No entanto, o SAEB é um sistema bem implementado com uma longa história de aplicação e, minimamente, produz resultados confiáveis, principalmente quando indica baixos níveis de aprendizados. Na reformulação do SAEB, necessária para a organização do novo ciclo de metas, será importante revisitar as matrizes nos quais os testes do SAEB são baseados.  Isso exige estudos técnicos, mas também construção de consenso social e comparações com as soluções adotadas em diferentes sistemas nacionais e internacionais.  

Já a permanência pode ser representada pelos quatro níveis em que a medida de trajetória dos estudantes é classificada: (i) regular, (ii) com poucas intercorrências, (iii) com muitas intercorrências e (iv) com interrupção, sendo “intercorrências” episódios como o de reprovação, evasão e abandono. Esta informação pode ser obtida no painel do Censo Escolar com acesso via sala segura do INEP.

Para serem usadas no monitoramento e avaliação do direito, estes dois resultados devem ser transformados em indicadores de qualidade e de equidade que podem, posteriormente, compor um indicador sintético. A metodologia proposta para isso é introduzida, inicialmente, para o resultado de aprendizado.

A visão da qualidade, entendida como nível adequado do indicador, implica em escolher uma síntese numérica das proficiências dos estudantes que instrumentalize o debate educacional sobre esta questão.  A forma mais simples de fazer isso é usar uma média dos valores, com alguma padronização, como feito no IDEB.   No entanto, esta opção legitima a “substituição” de um estudante por outro, ou seja, um estudante com notas mais altas acaba “compensando” outro com notas mais baixas. Isso não é adequado para o monitoramento do direito, situação em que cada pessoa é sujeito de direitos e, portanto, criar um estudante médio fictício e fazer sínteses a partir desta abstração, não é metodologia adequada.  

O artigo 205, quando diz que a educação é para todos, estabelece a equidade como critério essencial.  As evidências para consideração da equidade exigem reconhecer que os estudantes pertencem a grupos sociais diferentes. Para além disso, o olhar da equidade implica em considerar a diferença dos valores dos resultados nos grupos sociais, ordenados por algum fator social, conhecido por dificultar que os estudantes pertencentes a um determinado grupo tenham valores mais altos na medida de resultado. Uma situação ideal de garantia do direito apresentaria a mesma distribuição estatística do resultado em todos os grupos, com uma concentração em valores compatíveis com as inserções sociais objetivadas pela educação. Ou seja, equidade é um construto que prevê igualdade entre a distribuição do resultado entre os grupos sociais.

A definição destes grupos é a primeira etapa para o cálculo da equidade. Recente pesquisa[2][3], usou a porcentagem de estudantes que, depois de nove anos, têm trajetória regular, para ordenar os grupos, criados pela interseção de três variáveis: sexo, raça/cor e nível socioeconômico. Este artigo mostra uma grande diferença – 58 pontos em 100 – entre os grupos constituídos de estudantes do sexo masculino, pretos e matriculados em escola de baixa NSE, e o grupo com estudantes do sexo feminino, brancas e matriculadas em escolas de alto NSE.

Para o cálculo do indicador de equidade, há uma dificuldade adicional. Vários grupos socialmente importantes são muito pequenos em muitos territórios. Por exemplo, em muitas cidades o número de indígenas é pequeno, não permitindo comparações estáveis com outros grupos.  A solução consiste em agregar os diferentes grupos usados para especificar qual equidade se quer medir e formar quintís, com o primeiro agregando os estudantes que estão nos grupos mais vulneráveis o quinto agregando os estudantes menos vulneráveis. 

Um indicador de equidade consistiria, então, na diferença do indicador usado para sintetizar as proficiências ou a permanência em um conjunto de estudantes, entre os estudantes dos dois quintis extremos, naturalmente, com uma padronização posterior.  A solução de agregação dos grupos em quintis garante um grupo na base da hierarquia e outro grupo no topo, aproximadamente de mesmo tamanho.  

O infográfico abaixo ilustra a metodologia. Os resultados individuais na primeira linha apresentam os valores do indicador, tomando-se os estudantes como unidade de análise. Na segunda linha, os mesmos valores são agregados nos grupos, definidos para o estudo da equidade. Note que os grupos possuem tamanhos distintos quando esta agregação é feita. Finalmente, na terceira linha, para efeito do cálculo do indicador de equidade, os grupos são agregados a fim de comporem quintis, contendo cada um ~20% dos estudantes.

Figura 1 – Criação dos grupos para medir a equidade

A criação dos quintis garante que é possível calcular o tamanho das desigualdades presentes nos dados em qualquer situação, mesmo nos territórios em que alguns grupos tenham muito poucas observações. Isso é especialmente importante se os grupos da segunda linha fossem, por exemplo, as escolas de um território. O custo desta potência é que a medida de equidade é uma síntese das desigualdades para o conjunto dos grupos criados, não outros grupos que poderiam ser criados com as mesmas variáveis.

Embora o infográfico acima ilustre a metodologia para uso com dados de desempenho, com pequenas nuances a mesma metodologia pode ser usada também se o resultado for a permanência, que deve também ser analisada com o olhar da qualidade e da equidade.  Criados os indicadores para os dois resultados, a produção de um indicador sintético pode ajudar no debate educacional.  O segundo infográfico mostra como este indicador seria obtido.

Figura 2: Esquema de cálculo do indicador sintético

A reflexão deste texto é feita como subsídio para as discussões necessárias para adequar o IDEB ao novo momento social, em que as desigualdades educacionais estão colocadas no centro do debate. No entanto, a definição final exige a consideração de várias nuances o que só pode ser feito institucionalmente. No momento, a lei estabelece que é o INEP o órgão com esta responsabilidade.

Hoje, as avaliações e os indicadores existentes são forte indutor de desigualdades, já que há um padrão de desempenho para os estudantes da escola pública, que é baixo, e outro mais alto praticado pelas escolas privadas. É preciso que o Brasil avance no sentido de ter instrumentos mais indutores de qualidade e equidade.

Por fim, uma consideração adicional que deve ser feita no debate é a presença de fatores que geram exclusão e não são ainda medidos. Dois grupos precisam ser considerados. Os estudantes da comunidade LGBTQIA+ são, com frequência, submetidos a assédios escolares que tornam sua permanência na escola mais desafiadora e, consequentemente, o aprendizado mais difícil. Também os estudantes filhos de família onde há violência doméstica têm dificuldades especiais.

Referências:


[1] DA SILVA, Virgílio Afonso. Direitos fundamentais: conteúdo essencial, restrições e eficácia. São Paulo: Malheiros Editores, 2010. Página 77

[2] SOARES, José Francisco; ALVES, Maria Teresa Gonzaga; FONSECA, José Aguinaldo. Trajetórias educacionais como evidência da qualidade da educação básica brasileira. Revista Brasileira de Estudos de População, v. 38, 2021.  https://www.scielo.br/j/rbepop/a/9ZRM8LBTqQMHMDQNJDwjQZQ/

[3] https://www.linkedin.com/pulse/equidade-ao-centro-do-debate-educacional-francisco-soares-fwagf?trackingId=WLVNMk%2FuRByqcnnWofrAng%3D%3D&lipi=urn%3Ali%3Apage%3Ad_flagship3_profile_view_base_recent_activity_content_view%3BRMnUMmsbQESwEvMera4Hkg%3D%3D

Francisco Soares: diálogo para definir as novas políticas educacionais

A aliança que venceu as eleições é constituída basicamente de pessoas que aceitam a democracia como o valor essencial. Pelos mapas de votação, pode-se inferir que esse grupo é composto majoritariamente pelos pobres, com presença menor, mas significativa, de pessoas das classes médias e um número diminuto de ricos. Por motivos políticos, éticos, financeiros ou de mera sobrevivência, essas pessoas votaram em um projeto que assume compromissos claros com a democracia, com a manutenção de convivência pacífica entre os brasileiros e com a busca da prosperidade para todos. Entendem que isso, entretanto, não é possível se o Brasil mantiver os níveis atuais de desigualdade e exclusão.

Contudo, os que agora se encontram em um mesmo barco, têm posições diferentes sobre muitos assuntos. Um diálogo, que precisa começar logo, deve definir a direção a ser seguida. Se cada um remar em uma direção, agarrando-se às suas posições originais, o barco ficará parado e será afundado, logo ali na frente, pelas enormes dificuldades que os próximos anos trarão. Esse diálogo, idealmente, deve ocorrer em ambiente que aceite a expressão de dúvidas, no qual se busque ouvir e compreender, mais do que convencer, e que procure superar o “nós e eles”. Muito difícil construir um diálogo nestas bases, mas atalhos não ajudam. Por exemplo, os que querem distribuir renda devem falar com os que querem gerar renda, os que defendem direitos têm de entender os que defendem a melhoria da eficiência do Estado; os que se preocupam pela educação de determinados grupos populacionais precisam ouvir os que pensam e defendem políticas universais, os que enfatizam a necessidade de melhorias nos indicadores sociais precisam considerar os argumentos dos que se preocupam com as desigualdades regionais e entre grupos sociais.  

Restrinjo-me à educação básica, etapa sobre a qual posso falar com mais propriedade e legitimidade, que, entretanto, não inclui todas as questões educacionais que precisam ser discutidas. O debate deveria se iniciar buscando confrontar as diferentes interpretações do estabelecido no artigo 205 da Constituição. Esse artigo estabelece, na visão de muitos, mas não de todos, que a educação tem a missão de garantir, a todos, os aprendizados que permitam o “pleno desenvolvimento da pessoa, seu preparo para o exercício da cidadania e sua qualificação para o trabalho”. Aceitando-se que o desenvolvimento de aprendizados está no âmago do conceito de educação, o debate precisa convergir para formas concretas de como o preceito constitucional influenciará as rotinas das redes e escolas. Nesse sentido, deve tratar de três temas essenciais – o que ensinar? como ensinar? como avaliar? –, além do tema da gestão, responsável por ações que harmonizem em cada escola e rede as três dimensões do projeto pedagógico.

Na primeira dimensão – o que ensinar? –, é preciso definir o papel da BNCC nas políticas educacionais dos próximos anos. No caso do ensino fundamental, esse documento é visto por atores importantes do debate educacional como inconcluso, pois não houve esforço para capacitas as redes e escola para o desenvolvimento de tarefas que implementam concretamente os comandos pedagógicos da BNCC. No entanto, há amplo espaço para convergência, ao se trazer, para o centro do debate, a ideia de que os estudantes aprendem o que fazem. Como consequência, a política pública necessária seria definir, de forma participativa, mas fundada na ciência e em experiências bem-sucedidas nacionais e internacionais, quais são as tarefas que os estudantes devem ser capazes de fazer ao fim do ensino fundamental. Essas tarefas estariam à disposição dos docentes para uso no ensino e na avaliação.

Um tema especialmente premente é decidir o que fazer com os estudantes que, tendo ficado afastados por quase dois anos das escolas, não se alfabetizaram adequadamente. No momento, é dramática a situação no chão de muitas escolas, principalmente as que atendem a crianças cujas famílias não puderam lhes dar algum apoio durante a pandemia. A rotina pedagógica das escolas precisa ser adequada para as necessidades atuais dos estudantes. Isso exige um projeto nacional, para o que felizmente o Brasil possui expertise e o diálogo aqui defendido especificará.

No caso do ensino médio, são muito grandes as dificuldades para se chegar a uma convergência. A reforma começou com uma medida provisória, uma opção legal que alienou muitos atores. Além disso, a especificação do modelo se deu por meio de indicações ainda mais abstratas do que as usadas no ensino fundamental. Os conceitos de formação geral básica e itinerários não tiveram conceituação clara nos documentos legais, o que impactou enormemente as opções feitas pelos estados. No entanto, há currículos feitos e decisões tomadas, que precisam ser consideradas na política nacional para o ensino médio, especialmente no ENEM. Mesmo os que apontam as imperfeições do modelo tal como implementado devem perceber a importância da expansão do ensino técnico e a transformação do ensino médio em uma etapa de tempo integral, presentes na reforma.

O segundo tema – como ensinar? – só pode ser tratado no âmbito da escola. Aqui, o diálogo necessário é especialmente difícil, pois, na coalizão vencedora, há os que pensam a escola apenas a partir da posição dos docentes e os que pensam a escola como instrumento do Estado para a garantia do direito de aprender dos estudantes. Não são duas visões excludentes, mas, até aqui, as políticas apoiadas em uma visão têm tido pouca preocupação com a outra.  Outra versão desta dicotomia é a falsa divisão entre recursos/processos e resultados. Os recursos e processos que não levem a resultados aceitáveis para os estudantes são ruins; resultados inaceitáveis indicam problemas nos recursos e nos processos. Precisamos de uma visão compreensiva de recursos/processos e resultados. Uma proposta que circula na periferia do debate pode ser a chave para uma convergência. As escolas de educação básica poderiam se transformar em escolas de tempo integral para os docentes e para os estudantes. Essa é a forma de organização das escolas de educação básica em muitos países. Nesse contexto, seriam tratados os temas dos salários docentes, da formação continuada, do acompanhamento da permanência e do aprendizado dos estudantes e da melhoria da infraestrutura. Essa é, entretanto, uma transformação para uma década.

Para definir o terceiro tema – como avaliar? –, o debate deve enfrentar o atual domínio do uso das avaliações para produzir medidas de desempenho dos estudantes, minimizando a geração de informações sobre o aprendizado.  O sistema atual é capaz de indicar onde estão os problemas, mas não tem capacidade de indicar o que deve ser feito. Além disso, para muitos, o sistema atual usa formas de medida inadequadas, por ser baseado em expectativas de aprendizagem que exigem quase sempre processos cognitivos superficiais, deixando de verificar se os estudantes estão preparados para as tarefas que a vida lhes colocará e que exigem processos cognitivos mais complexos. Além de sua utilidade pedagógica, a avaliação gera dados que permitem monitorar os resultados da educação. As formas atuais de monitoramento não consideram, entretanto, os estudantes que estão fora da escola – exatamente os que mais precisam do sistema educacional –, nem as desigualdades entre grupos sociais. Felizmente existem dados que podem ser usados para mudar esse perfil, ainda que não haja um caminho único. Nesse caso, as bases para uma convergência estão estabelecidas.

Há outros temas nos quais as discordâncias serão possivelmente menores. Por exemplo, a necessidade de recuperar recursos que foram retirados da educação básica e o fim do atendimento clientelista, que nos últimos anos tornou-se padrão e, ainda, a volta de acesso amplo aos dados necessários para o monitoramento

A democracia abre espaços para a expressão de conflitos e cria ao mesmo tempo as condições para a sua resolução, através de suas instituições que devem promover diálogos com esse propósito. No entanto, nenhum grupo social conseguirá implantar completamente sua agenda. Neste ponto, é apropriado retomar a fala de Ulisses Guimarães na sua luta pela redemocratização, quando repetia com frequência Fernando Pessoa, dizendo “Navegar é preciso”; ou seja, cabe aos vencedores, neste momento, tomar as iniciativas para construir uma educação para todos que atenda às necessidades de um país que precisa ser próspero e mais justo. Isso precisa estar acima dos interesses e ideais pessoais.

Francisco Soares: Duas inovações na avaliação da educação básica

No fim do ano passado, o MEC introduziu duas inovações no seu ecossistema de avaliação da educação básica. Lançou um portal com testes de Leitura e Matemática para todos os anos do ensino fundamental e aplicou, em uma amostra de escolas, o Estudo Internacional de Progresso em Leitura (PIRLS), um teste de compreensão leitora adequado para os estudantes no quarto ano de escolarização.

Como argumentei recentemente, as recomendações da BNCC são muito genéricas e passíveis de diferentes interpretações. Assim as avaliações, ao concretizar os aprendizados pretendidos em tarefas, têm grande potencial de apoiar ou perturbar o ensino, já que os estudantes aprendem o que fazem. Esses dois novos instrumentos mostram como o MEC interpreta os comandos normativos da BNCC e, por isso, merecem ser conhecidos e analisados por todos os atores do debate educacional. Este texto pretende contribuir para esse debate com uma análise centrada em princípios e tecnologias da área de avaliação educacional, que deve ser complementada com a contribuição de outras visões pedagógicas e educacionais.

Em relação ao PIRLS, o MEC divulgou apenas a tradução do documento conceitual desse estudo, não o teste aplicado nos estudantes brasileiros. No entanto, muitos países, incluindo Portugal, já aderiram a essa avaliação, e há, portanto, muitos documentos que podem ser usados para conhecer seu escopo, metodologia e resultados.

O modelo conceitual do PIRLS estabelece que só através do uso de textos autênticos é possível gerar evidências sólidas sobre o desenvolvimento da compreensão leitora dos estudantes. Por isso, seu teste usa apenas dois textos, cada um, tipicamente, com mais de 400 palavras. O PIRLS considera que a compreensão leitora está desenvolvida apenas quando o estudante é capaz de mobilizar as várias habilidades necessárias para o entendimento do texto, as quais organiza em quatro categorias: Localizar e Recuperar informações explícitas, Fazer inferências diretas, Interpretar e integrar ideias e informações, Avaliar e Criticar. Para cada texto são formuladas em torno de 15 questões para verificar essas categorias. Algumas questões são de múltipla escolha, outras abertas, essas essenciais para se verificar o domínio de habilidades de maior complexidade cognitiva.

O PIRLS verifica não apenas o domínio de habilidades isoladas, mas também e principalmente seu uso concomitante para a construção do sentido do texto. Na realidade, a resposta a um item isolado não gera evidência de domínio de uma habilidade específica. Esse fato é comprovado ao se constatar que há itens que se referem à mesma habilidade, situados em pontos diferentes na escala. Finalmente, o PIRLS reconhece a importância de textos multimodais, cujo uso é cada vez mais frequente na internet e, portanto, devem estar no ensino e na avaliação da compreensão leitora.

Estas formulações são particularmente importantes para o debate sobre a reformulação do SAEB. Originalmente, ele preconizava o mesmo que é praticado pelo PIRLS. Com o passar do tempo, isso se perdeu. Hoje, os testes do SAEB e seus similares contêm itens cujo suporte são recortes de textos, não textos autênticos e, portanto, quase nunca representam situações de comunicação relevantes. O uso apenas de itens de múltipla escolha e a ênfase em habilidades específicas não permitem aos testes do SAEB gerar evidências adequadas sobre o desenvolvimento da competência leitora, já que a ideia de mobilização de aprendizados, essencial no conceito, não impacta adequadamente o planejamento do teste.

A segunda inovação foi a disponibilização de testes semelhantes aos do SAEB para todos os anos escolares, preparados para uso imediato pelas escolas e redes. Essa iniciativa facilita a prática, já bastante frequente, de uso dos testes de avaliações externas na rotina das escolas. Ela cria a possibilidade os itens e as respectivas respostas dos estudantes serem usados na preparação de devolutivas. Isso caracterizaria o uso formativo da avaliação externa, iniciativa muito necessária para torná-las mais relevantes pedagogicamente.

No entanto, as potencialidades positivas da iniciativa desaparecem quando se analisam as questões dos testes publicados. Detenho-me aqui apenas no teste do terceiro ano, que deve ser feito por estudantes de oito anos de idade, os quais, pelo Plano Nacional de Educação, deveriam estar alfabetizados. Assim, esse teste pode ser visto como a expressão operacional, na visão do MEC, do que sabe e do que não sabe fazer um estudante que completou o ciclo do “aprender a ler” e supostamente está pronto para iniciar a etapa do “ler para aprender”.

O teste analisado é constituído de 22 questões, cujo percentual de acertos será usado como medida do desempenho de cada estudante. As instruções de aplicação indicam que os enunciados de várias questões devem ser lidos pelo aplicador. Esse formato de aplicação é completamente inadequado para se verificar os aprendizados de estudantes que estão no fim do processo de alfabetização e devem, portanto, ler autonomamente. Sete das 22 questões verificam o desenvolvimento de habilidades de alfabetização, como as relações fonema/letra, em situações de irregulares ortográficas simples. Essas habilidades deveriam ter sido construídas nos anos anteriores e, portanto, não é razoável que um quarto da evidência coletada pelo teste do terceiro ano venha desse tipo de item.

Os textos incluídos no teste, na realidade recortes de textos, são muito pequenos e não permitem a formulação de questões de interpretação de texto. Por isso, muitas das questões que têm os textos como suporte no teste captam a capacidade de o estudante reconhecer o gênero discursivo e seus elementos constitutivos. Esse tipo de habilidade, embora uma expressão da competência leitora, informa pouco na ausência de questões de interpretação. A baixa complexidade das habilidades contempladas no teste pode ser verificada pelos verbos das habilidades associadas aos itens do teste: localizar, identificar e reconhecer, todos indicando processos cognitivos da ordem mais baixa. O teste não verifica as habilidades com demandas cognitivas mais altas e não inclui questões que verifiquem as habilidades de escrita, essenciais na alfabetização, que estavam presentes no teste da ANA, Avaliação Nacional da Alfabetização, o padrão de desempenho usado anteriormente.

Ou seja, esse teste não gera informações sólidas sobre a compreensão leitora dos estudantes ao fim do ciclo de alfabetização. Além disso, tem um nível de demanda muito baixo e, portanto, as escolas terão resultados altos que, em vez de indicarem excelência, apenas legitimarão um nível de domínio superficial e insuficiente da compreensão leitora. Isso é particularmente grave educacionalmente, pois crianças que não aprendem a ler até o final do terceiro ano do ensino fundamental tendem a ter dificuldade de leitura pelo resto de suas vidas e, provavelmente, terão dificuldades de desenvolver outros conhecimentos, todos dependentes de proficiência na compreensão leitora.

Em síntese, o MEC envia mensagens contraditórias com suas duas recentes iniciativas. Por um lado, coloca um padrão muito baixo de aprendizado ao fim de ciclo de alfabetização. Por outro, divulga a definição de compreensão leitora latente nos melhores modelos conceituais existentes. Não seria o caso de o MEC e construir um sistema para subsidiar as avaliações formativas nas escolas, através de plataforma com interface bem-feita, como a criada para os testes divulgados usando entretanto, o modelo conceitual do PIRLS?

Francisco Soares: Duas inovações na avaliação da educação básica

No fim do ano passado, o MEC introduziu duas inovações no seu ecossistema de avaliação da educação básica. Lançou um portal com testes de Leitura e Matemática para todos os anos do ensino fundamental e aplicou, em uma amostra de escolas, o Estudo Internacional de Progresso em Leitura (PIRLS), um teste de compreensão leitora adequado para os estudantes no quarto ano de escolarização.

Como argumentei recentemente, as recomendações da BNCC são muito genéricas e passíveis de diferentes interpretações. Assim as avaliações, ao concretizar os aprendizados pretendidos em tarefas, têm grande potencial de apoiar ou perturbar o ensino, já que os estudantes aprendem o que fazem. Esses dois novos instrumentos mostram como o MEC interpreta os comandos normativos da BNCC e, por isso, merecem ser conhecidos e analisados por todos os atores do debate educacional. Este texto pretende contribuir para esse debate com uma análise centrada em princípios e tecnologias da área de avaliação educacional, que deve ser complementada com a contribuição de outras visões pedagógicas e educacionais.

Em relação ao PIRLS, o MEC divulgou apenas a tradução do documento conceitual desse estudo, não o teste aplicado nos estudantes brasileiros. No entanto, muitos países, incluindo Portugal, já aderiram a essa avaliação, e há, portanto, muitos documentos que podem ser usados para conhecer seu escopo, metodologia e resultados.

O modelo conceitual do PIRLS estabelece que só através do uso de textos autênticos é possível gerar evidências sólidas sobre o desenvolvimento da compreensão leitora dos estudantes. Por isso, seu teste usa apenas dois textos, cada um, tipicamente, com mais de 400 palavras. O PIRLS considera que a compreensão leitora está desenvolvida apenas quando o estudante é capaz de mobilizar as várias habilidades necessárias para o entendimento do texto, as quais organiza em quatro categorias: Localizar e Recuperar informações explícitas, Fazer inferências diretas, Interpretar e integrar ideias e informações, Avaliar e Criticar. Para cada texto são formuladas em torno de 15 questões para verificar essas categorias. Algumas questões são de múltipla escolha, outras abertas, essas essenciais para se verificar o domínio de habilidades de maior complexidade cognitiva.

O PIRLS verifica não apenas o domínio de habilidades isoladas, mas também e principalmente seu uso concomitante para a construção do sentido do texto. Na realidade, a resposta a um item isolado não gera evidência de domínio de uma habilidade específica. Esse fato é comprovado ao se constatar que há itens que se referem à mesma habilidade, situados em pontos diferentes na escala. Finalmente, o PIRLS reconhece a importância de textos multimodais, cujo uso é cada vez mais frequente na internet e, portanto, devem estar no ensino e na avaliação da compreensão leitora.

Estas formulações são particularmente importantes para o debate sobre a reformulação do SAEB. Originalmente, ele preconizava o mesmo que é praticado pelo PIRLS. Com o passar do tempo, isso se perdeu. Hoje, os testes do SAEB e seus similares contêm itens cujo suporte são recortes de textos, não textos autênticos e, portanto, quase nunca representam situações de comunicação relevantes. O uso apenas de itens de múltipla escolha e a ênfase em habilidades específicas não permitem aos testes do SAEB gerar evidências adequadas sobre o desenvolvimento da competência leitora, já que a ideia de mobilização de aprendizados, essencial no conceito, não impacta adequadamente o planejamento do teste.

A segunda inovação foi a disponibilização de testes semelhantes aos do SAEB para todos os anos escolares, preparados para uso imediato pelas escolas e redes. Essa iniciativa facilita a prática, já bastante frequente, de uso dos testes de avaliações externas na rotina das escolas. Ela cria a possibilidade os itens e as respectivas respostas dos estudantes serem usados na preparação de devolutivas. Isso caracterizaria o uso formativo da avaliação externa, iniciativa muito necessária para torná-las mais relevantes pedagogicamente.

No entanto, as potencialidades positivas da iniciativa desaparecem quando se analisam as questões dos testes publicados. Detenho-me aqui apenas no teste do terceiro ano, que deve ser feito por estudantes de oito anos de idade, os quais, pelo Plano Nacional de Educação, deveriam estar alfabetizados. Assim, esse teste pode ser visto como a expressão operacional, na visão do MEC, do que sabe e do que não sabe fazer um estudante que completou o ciclo do “aprender a ler” e supostamente está pronto para iniciar a etapa do “ler para aprender”.

O teste analisado é constituído de 22 questões, cujo percentual de acertos será usado como medida do desempenho de cada estudante. As instruções de aplicação indicam que os enunciados de várias questões devem ser lidos pelo aplicador. Esse formato de aplicação é completamente inadequado para se verificar os aprendizados de estudantes que estão no fim do processo de alfabetização e devem, portanto, ler autonomamente. Sete das 22 questões verificam o desenvolvimento de habilidades de alfabetização, como as relações fonema/letra, em situações de irregulares ortográficas simples. Essas habilidades deveriam ter sido construídas nos anos anteriores e, portanto, não é razoável que um quarto da evidência coletada pelo teste do terceiro ano venha desse tipo de item.

Os textos incluídos no teste, na realidade recortes de textos, são muito pequenos e não permitem a formulação de questões de interpretação de texto. Por isso, muitas das questões que têm os textos como suporte no teste captam a capacidade de o estudante reconhecer o gênero discursivo e seus elementos constitutivos. Esse tipo de habilidade, embora uma expressão da competência leitora, informa pouco na ausência de questões de interpretação. A baixa complexidade das habilidades contempladas no teste pode ser verificada pelos verbos das habilidades associadas aos itens do teste: localizar, identificar e reconhecer, todos indicando processos cognitivos da ordem mais baixa. O teste não verifica as habilidades com demandas cognitivas mais altas e não inclui questões que verifiquem as habilidades de escrita, essenciais na alfabetização, que estavam presentes no teste da ANA, Avaliação Nacional da Alfabetização, o padrão de desempenho usado anteriormente.

Ou seja, esse teste não gera informações sólidas sobre a compreensão leitora dos estudantes ao fim do ciclo de alfabetização. Além disso, tem um nível de demanda muito baixo e, portanto, as escolas terão resultados altos que, em vez de indicarem excelência, apenas legitimarão um nível de domínio superficial e insuficiente da compreensão leitora. Isso é particularmente grave educacionalmente, pois crianças que não aprendem a ler até o final do terceiro ano do ensino fundamental tendem a ter dificuldade de leitura pelo resto de suas vidas e, provavelmente, terão dificuldades de desenvolver outros conhecimentos, todos dependentes de proficiência na compreensão leitora.

Em síntese, o MEC envia mensagens contraditórias com suas duas recentes iniciativas. Por um lado, coloca um padrão muito baixo de aprendizado ao fim de ciclo de alfabetização. Por outro, divulga a definição de compreensão leitora latente nos melhores modelos conceituais existentes. Não seria o caso de o MEC e construir um sistema para subsidiar as avaliações formativas nas escolas, através de plataforma com interface bem-feita, como a criada para os testes divulgados usando entretanto, o modelo conceitual do PIRLS?

José Francisco Soares: está na hora de mudar o IDEB?

O INEP divulgou no dia 15 de setembro/2020 os resultados do IDEB referentes a 2019. Há muitos avanços a comemorar. Desde que foi lançado, em 2007, o IDEB tornou-se a principal referência para  Educação Básica brasileira, usado para a definição e monitoramento das políticas públicas educacionais. Foi incluído na lei do Plano Nacional de Educação 2014-2024 e, assim, hoje, melhorar a educação básica brasileira passou a ser sinônimo de melhorar o IDEB.  Diante disso, considerando sua profunda influência, a informação gerada pelo indicador deve receber amplos e detalhados escrutínios. 

O IDEB se baseia em dois resultados que são essenciais para definir a qualidade da educação e, consequentemente, para o  monitoramento do direito à educação: a escolarização e o aprendizado.  A escolarização é medida pelas taxas de aprovação, ou seja, a proporção de alunos que passam ou não de ano, e o aprendizado pelo  SAEB, através dos testes de  português e matemática.  Mas, em determinadas situações, o IDEB, em vez de ajudar, pode contribuir para a exclusão educacional de estudantes, como consequência das métricas usadas tanto para a escolarização quanto para o aprendizado.  

Ao usar apenas as taxas de aprovação para medir a escolarização, o IDEB não considera os estudantes que, no ano de cálculo do indicador, estão fora da escola, fruto de evasão escolar anterior. Estes estudantes são que mais precisam do apoio do sistema de educacional mas, paradoxalmente, não influenciam o indicador de qualidade deste sistema. O IDEB,  portanto, não  incentiva os gestores a criarem ações para atender os estudantes evadidos. 

A medida de aprendizado usada no Saeb tem duas limitações sérias. Primeiro, a expectativa de aprendizagem é muito baixa. Podemos ver isto comparando o texto considerado para a avaliação de leitura do aluno brasileiro com o de Portugal, país com língua quase igual à nossa – o nosso é muito mais simples. Os documentos da prova internacional de capacitação em leitura, PRILS, que pode ser chamado de PISA do Ensino Fundamental e é aplicado em Portugal para estudantes que no Brasil estariam no quarto ano, mostram a diferença na complexidade dos textos usados nessa avaliação e os utilizados na Prova Brasil. A segunda limitação dos testes é a adoção  apenas de questões de múltipla escolha, que só permitem contemplar processos cognitivos mais elementares. 

Além das métricas, as opções de agregação das duas medidas em um indicador também podem gerar exclusões indevidas.  Como o  IDEB usa as proficiências médias dos estudantes de um território,  o desempenho alto de um estudante nas provas compensa o desempenho baixo de outros. Ocorre que o direito à Educação é direito de cidadãos reais, não de um indivíduo médio hipotético. 

Além disso o uso de médias permite que, mesmo quando IDEB é alto, existam estudantes com baixo desempenho. A divulgação dos resultados de aprendizado é mais útil quando feita através de faixas ou níveis. O movimento “Todos pela Educação” criou dois níveis para sintetizar o desempenho dos estudantes. Usou para isso um ponto de corte com a mesma metodologia utilizada para definir as metas do IDEB. Cada um desses dois níveis foi dividido, em alguns sistemas estaduais de avaliação, em dois outros, criando-se quatro níveis: Abaixo do Básico, Básico, Adequado e Avançado. Como mostramos a Profa. Flávia Xavier e eu em um artigo, é só quando IDEB  passa de  6,5 que podemos ter certeza de que não existem estudantes com desempenho no nível Abaixo do Básico. No entanto, valores altos do IDEB, como os situados entre 5,5 e 6,5, são compatíveis com altas proporções de estudantes no nível Abaixo do Básico. Esses estudantes sofrem um processo de “apagamento” institucional, podendo deixar de receber atenção em uma escola ou município que está comemorando o valor do IDEB. 

O IDEB é também insensível a desigualdades. O Brasil é um país profundamente desigual, também na Educação. Usando o indicador de nível socioeconômico (NSE) que desenvolvemos, Profa. Teresa Alves e eu, na Faculdade de Educação da UFMG, mostramos que a diferença de desempenho entre os estudantes do primeiro quinto quintil do NSE pode chegar a dois anos de escolarização. Essa constatação exige o desenho de políticas públicas para a sua superação,  o que não ocorre com o uso apenas da evidência do IDEB.  A associação entre o NSE da escola e o IDEB é muito alta. Apesar disso, há municípios que festejam as escolas de IDEB mais alto, certamente obtido por trabalharem com estudantes que trazem mais de casa, como se o resultado fosse apenas da escola

Diante disso, é importante ter novos indicadores para monitorar a qualidade da educação. Essa é uma pauta urgente, tendo em vista que, para alocar parte dos recursos do novo Fundeb, serão usados indicadores de “eficiência” e “efetividade”. Se esses recursos forem alocados apenas conforme os resultados do IDEB atual, as exclusões  comentadas acima ganharão incentivo financeiro para serem continuadas. Um esforço nesse sentido foi feito com o desenvolvimento recente do indicador de desigualdades e aprendizagem, o IDeA. 

O monitoramento da Educação Básica, além do IDEB, deve incluir indicadores da qualidade da trajetória de escolarização dos estudantes e de desigualdade conforme o nível socioeconômico, pela cor-raça e pelo gênero, pelo menos. Além disso, é preciso mudar a métrica de medida do aprendizado, aproximando-a às necessidades do mundo atual – a Base Nacional Comum Curricular aprovada é a principal referência para esse aprimoramento.

O uso desses indicadores deve ensejar uma política educacional universal de “maximização do desempenho mínimo”. Isso porque o baixo desempenho nos diferentes grupos é a característica que explica mais desigualdades. Esse objetivo, obviamente, não deve ser o único a ser perseguido. Claro, essa política deve ser acoplada a outras que visem à maximização da excelência. Tanto a maximização dos mínimos como a maximização da excelência são diretrizes que têm como alvo o nível de aprendizado dos estudantes. Se o país busca uma situação de justiça educacional, esses objetivos devem ser acompanhados de um outro, a equidade, que pode ser expressa assim: tanto o percentual de estudantes com proficiência mais baixa quanto o percentual de estudantes com alto desempenho devem ser iguais em todos os grupos sociais observados.

Nesse processo de repensar o indicador, é preciso também repensar o uso da avaliação  educacional. É necessário colocá-la  mais claramente a serviço da aprendizagem e, portanto, da garantia do direito à educação. Ou seja, é preciso ter mais avaliação formativa, mais devolutivas para os estudantes,  plataformas públicas que permitam a colaboração  entre professores, gestores, famílias e estudantes, uma expressão fundamental de solidariedade educacional. 


Francisco Soares: Enem Digital

O Exame Nacional do Ensino Médio – Enem – precisa de mudanças. Esse exame baseia-se na estranha premissa de que todos os estudantes brasileiros, ao fim do Ensino Médio, devem saber exatamente o mesmo sobre todas as disciplinas. Por essa razão, engessa o currículo dessa etapa da Educação Básica, o que, por sua vez, explica a percepção de irrelevância do ensino médio por muitos estudantes, que o abandonam em grandes números. Assim sendo, é boa notícia saber que o Instituto de Estudos e Pesquisas Educacionais do Ministério da Educação –  Inep – optou por começar as mudanças introduzindo a tecnologia digital para a oferta do exame. 

O anúncio feito na semana passada não foi seguido, entretanto, da divulgação de um documento com a descrição técnica das decisões tomadas. Isso é essencial para se formar um entendimento mais completo das escolhas feitas pelo corpo técnico do MEC-Inep e para subsidiar o debate público. O Enem afeta a vida de milhões de brasileiros: estudantes, famílias, professores e diretores das escolas. Além disso, a preparação para o exame é um setor que movimenta recursos financeiros substanciais. Todos esses atores sociais devem ser ouvidos, bem como os especialistas que têm conhecimento técnico relevante. 

O principal produto do Enem é um escore usado para definir a ordem de acesso dos candidatos a vagas em instituições de Ensino Superior. Uma boa posição no exame garante acesso a cursos que abrem portas para bons empregos e renda alta. Isso explica a enorme competição nesses cursos e a importância do Enem para os estudantes. Portanto, se o exame vai ser oferecido em dois formatos, é fundamental garantir que a nota final dos estudantes não é influenciada pela participação em uma ou outra versão. Se as notas dos que fizeram os dois formatos não forem comparáveis, fica criada uma fragilidade no exame, com claras consequências legais.  Pelas declarações e comentários publicados na imprensa, nota-se que esse ponto ainda não foi completamente considerado. Assume-se ou que isso não é um problema ou que pode ser resolvido com o uso da Teoria de Resposta ao Item. Ambas hipóteses são falsas, se não houver um planejamento adequado. 

Há itens de teste que, por suas características substantivas, têm comportamento diferente quando respondidos em papel ou no computador. Diferenças de comportamento dos itens podem também ser consequência de características sociais e escolares dos estudantes.  Escores baseados em itens com comportamento diferente nos dois formatos não são equivalentes, independentemente da metodologia estatística usada. 

Há várias soluções para esse problema, cujas viabilidades precisam ser discutidas. As duas mais óbvias são fazer um pré-teste com os dois formatos e/ou cuidar que a composição dos grupos de estudantes que usarem cada um deles permita, no momento da análise, considerar os impactos específicos de cada um.  

Como se anunciou que já no próximo ano os dois formatos serão oferecidos, fica a pergunta: existem itens pré-testados em papel e no computador em número suficiente para compor os testes? Se os estudantes alocados ao formato on-line forem comparáveis aos estudantes que fizerem o exame com lápis e papel em termos sociodemográficos e escolares seria possível desenhar um processo de análise que garantisse a comparabilidade dos escores. Isso exigiria, no entanto, que o edital especificasse, pelo menos em linhas gerais, as etapas do processo de análise – o que constitui uma tarefa complexa. 

Outro ponto que merece escrutínio público é a forma de contratação das empresas. O Enem usa um consórcio cuja contratação tem sido feita por dispensa de licitação. Em princípio, a mudança do formato coloca outros competidores em condições de participar. Na realidade, como nenhuma empresa no mercado tem hoje experiência de aplicação de exame on-line com o número de estudantes do Enem, a empresa escolhida terá também de desenvolver tecnologia e terá, com isso, uma fantástica vantagem competitiva futura. Assim a forma de seleção dos fornecedores deve garantir que uma saudável concorrência ocorra. Também, seria prudente que os órgãos de controle se manifestassem previamente. 

Finalmente, deve-se considerar as experiências similares existentes no mundo:  o Scholastic Aptitude Test americano  – SAT – e o exame de admissão chinês,  GaoKao, realizados em países com amplo acesso a tecnologias que ainda não abandonaram completamente o formato de aplicação em papel. 

Todas essas considerações devem ser enfrentadas considerando, no entanto, que usar o computador para aplicar o Enem cria um leque enorme de possibilidades e, assim sendo, deve-se buscar a concretização dessa mudança. 

Uma consequência especialmente importante do uso de computador no exame seria aposentar o formato de múltipla escolha, que não permite a verificação da aprendizagem das habilidades que exigem processos cognitivos mais complexos, exatamente as mais necessárias para a vida. O teste de múltipla escolha foi desenvolvido para facilitar processos de seleção, não para orientar o ensino.

A maioria das questões de um exame pode ser respondida por um pequeno texto. Avanços muito recentes na área de Natural Language Processing tornam possível a comparação dos textos das respostas dos estudantes com os textos dos gabaritos. Essa mudança tornaria o exame um indutor – em vez de inibidor – de aprendizagens significativas.  

Há uma ausência séria em relação ao exame que está sendo ignorada. Trata-se da matriz do Enem. A reforma do ensino médio especifica que os estudantes farão o Enem em dois dias. Em princípio, o teste do segundo dia estaria concentrado nas disciplinas mais próximas da carreira universitária escolhida pelo estudante. No entanto, os detalhes ainda não foram estabelecidos, e os que entrarem no ensino médio no próximo ano farão o exame com essa nova matriz. Assim, é urgente que essa matriz seja divulgada. Comentei em artigo recente como decisões em relação a esta questão podem ajudar a tornar o exame mais barato. A mudança de tecnologia é um avanço, mas tem dificuldades de implementação e deve ser usada para tornar o exame um indutor de aprendizagens significativas. Se for utilizada apenas para turbinar o velho formato ou para diminuir custos, o país continuará a usar muitos recursos em atividade com pouco impacto educacional.

Chico Soares: qual desempenho é adequado nos testes da Prova Brasil?

Escreve José Francisco Soares, do Conselho Nacional de Educação:

O governo federal, ao divulgar, na semana passada, os resultados da Prova Brasil,  dividiu  as notas  dos estudantes em três níveis referidos como: Insuficiente, Básico e Adequado.  Ao usar adjetivos com claras interpretações pedagógicas, busca facilitar o uso dos dados para o planejamento pedagógico das escolas e das redes de ensino, assim como a comunicação com a sociedade. 

No entanto, as escolhas de pontos de corte que definiram os níveis  produziram  uma mudança drástica no  diagnóstico da realidade educacional brasileira. Experiencias consideradas exemplares até 2017 se tornaram fracassos com a nova metodologia. Por exemplo,  a cidade de Sobral, que era considerada exemplo nacional, passou a ter apenas 13,4% dos alunos com  aprendizado adequado em língua portuguesa, ao invés de 79,8 % em 2015. 

Na realidade não ocorreu nenhum desastre educacional nos últimos dois anos, mas apenas a introdução de uma forma  equivocada de sintetizar os dados da Prova Brasil. 

A classificação das notas dos estudantes em níveis exige basicamente a definição de pontos de corte na escala usada para expressar as notas. Para estas escolhas, a técnica usada internacionalmente consiste, primeiramente, em  ordenar por nível de dificuldade os itens usados no teste. A seguir um painel de professores, depois de informados sobre quantos níveis serão criados e a função  pedagógica esperada de cada um,  escolhem  os pontos de cortes, primeiramente, de forma individual e depois em grupos. Várias rodadas de discussão são usualmente necessárias para a criação de um  consenso.

Infelizmente, a pesquisa necessária para o uso desta métrica ainda não foi feita de forma definitiva no Brasil, apesar de grandes avanços recentes. Diante disso, a definição de valores de referência para a escala do SAEB tem sido feita de forma comparativa. Tanto na definição de metas para o IDEB, como as metas do movimento “Todos pela Educação”, quanto para a criação de níveis nos sistemas de avaliação estaduais,  utilizou-se a experiência brasileira no  PISA. Basicamente, mediu-se  o aumento  necessário  no desempenho obtido pelos estudantes brasileiros no PISA para que  as notas do conjunto de estudantes brasileiros tivessem a mesma distribuição estatística que a dos estudantes de um país típico da OECD.  Este aumento, transformado em desvios-padrão, é utilizado para criar a distribuição de referência na escala do SAEB. Nesta distribuição escolheu-se,  por consenso pedagógico,  o ponto de 70% para definir o ponto de corte do nível adequado. Dois outros pontos de corte  adicionais foram escolhidos, definindo-se quatro níveis: abaixo do básico, básico, adequado e avançado. Os níveis assim obtidos vêm sendo usados há anos em artigos, por muitos sistemas de ensino, em plataformas de acesso aos dados e por setores da sociedade civil. No entanto, é importante registrar que outras escolhas poderiam ser feitas.

Para a divulgação dos dados referentes à Prova Brasil de 2017, o  governo federal optou por trabalhar com uma divisão estatística de níveis feita  sem comparação externa. Em seguida, arbitrou, sem nenhuma  justificativa, valores para os pontos de corte muito maiores do que os que tem sido praticados.  Como consequência, a nova síntese sugere que os resultados em Língua Portuguesa são melhores do que os resultados em Matemática, em completo desacordo com o que vem sido aceito, que é que os resultados de aprendizagem de todos estudantes brasileiros estão em níveis catastróficos. 

Usar evidências empíricas em relação aos resultados educacionais: acesso, permanência na escola e aprendizado, assim como indicadores das condições das escolas, é fundamental para a melhoria da educação. Mas isso exige a criação de consensos baseados em análises compartilhadas dos dados.  O trabalho que vem sendo feito nessa direção mostra que o sistema educacional tem sérios problemas no aprendizado de seus estudantes, assim como de condições de funcionamento. Mas uma mudança abrupta de metodologia não ajuda no debate.

O governo federal deveria  usar a oportunidade para não só corrigir o diagnóstico apresentado  como também  para iniciar um processo, baseado na literatura internacional e conduzido por especialistas e professores,  que defina e interprete níveis de referência oficiais para a análise dos dados de aprendizado obtidos pela  Prova Brasil.

Chico Soares: Contribuição para o debate sobre competências

Contribuição para o debate sobre competências

CHICOsoares (*)

  1. Caveat

Mineiro e escaldado, entro no debate sobre competências com uma nota de precaução. Andrei Sakharov, cientista e prêmio Nobel da Paz, disse certa vez que ideias transformadoras aparecem apenas através de debates, nos quais há longa sequência de troca de argumentos, e nos quais seus participantes expressam tanto ideias já solidamente justificadas, como também dúvidas, perguntas e propostas de soluções ainda em estágio inicial de formulação.  Sei que isso é muito difícil de acontecer hoje no Brasil, um país dividido em tudo, mas assumo que isso é verdade nessa discussão.

  1. Este debate é necessário

O tema da competência é importante. Afinal o uso desta opção de organização do trabalho pedagógico é uma das respostas possíveis para o problema dos conhecimentos inertes, usualmente associados com o texto The aims of Education de Alfred Whitehead. O autor diz que a inclusão de itens no currículo escolar deve ser baseada na sua relevância para a vida dos estudantes.  Crachay e Marcoux, em um texto construído em uma tradição muito crítica ao uso de competências na educação, reconhecem a importância nessa dimensão.

  1. Polissemia

Não há na literatura uma definição consensual do conceito de competência. Diferentes atores usam este termo com sentidos similares, mas cujas diferenças tem impactos pedagógicos. O conceito adotado mais amplamente no Brasil não é o mesmo adotado pelo PISA e OCDE, a definição mais influente no debate mundial educacional

  1. Definição – OCDE

Para a organização do PISA, a OCDE organizou um grupo de trabalho: DeSeCo – Defining and Selecting Key Competencies. O artigo de Weinert (2001) conclui que “não existe uma definição única do confeito de competência aceita amplamente nem uma teoria latente”. Assim sua recomendação, aceita por muitos, foi adotar uma definição funcional do conceito. Para ele,

“Competência é a capacidade atender com êxito demandas complexas em um contexto particular, através da mobilização de pré-requisitos psicossociais (incluindo aspectos cognitivos e não-cognitivos. Esta definição foi também adotada pela União Europeia que define competência como uma combinação de conhecimentos, habilidades (skills) e atitudes exigidas pelo contexto”.

Esta definição foi recentemente reafirmada pela OCDE no texto The Future of Education and Skills – The Future we want.

Há três polos nessa definição: contexto específico, mobilização e diversidade de recursos: conhecimentos, habilidades e atitudes. Nessa definição, o foco principal do conceito está nas ações, escolhas e maneira de se comportar com que cada pessoa enfrenta os problemas que a vida lhe põe.

  1. Nomenclatura

Nesta abordagem, as palavras “skill”e “competence”, traduzidos usualmente para o português do Brasil como habilidade e competências, referem-se a conceitos diferentes, ainda que associados. O relatório do DeSeCo é enfático ao afirmar que “nem os componentes cognitivos nem os aspectos motivacionais isoladamente constituem uma competência. Por exemplo, habilidades (skills) de pensamento crítico, habilidades analíticas, capacidade de solução de problemas gerais, ou persistência não são competências, porque não descrevem uma resposta individual completa a uma demanda específica.Constituem, no entanto, elementos valiosos, se não indispensáveis de competência de ação.” A ideia de que o conceito de competência está associado à capacidade de resolver problemas específicos e complexos, como são os da vida cotidiana, tem consequências tanto na organização do ensino como da avaliação

  1. Avaliação de Competências

O PISA é organizado por competências e, por isso, a OECD desenvolveu documentos conceituais que descrevem as competências que avalia: Leitura, Matemática e Ciências. Importante para o debate brasileiro notar que o PISA não descreve estas competências como um conjunto de habilidades.  Os itens incluídos nos testes do PISA são escolhidos analisando a relevância da tarefa proposta e sua adequação para expressar a competência a ser testada. Aceita a sua relevância, a etapa seguinte do processo de produção do item envolve uma análise detalhada do item para a identificação dos conhecimentos e habilidades necessários para que os estudantes produzam a resposta correta.  Ou seja, o PISA trabalha indo do conceito de competência para o de habilidades. A discussão no Brasil se organiza da forma oposta. Com frequência a instrução para a construção do item é o texto da habilidade.

  1. Ensino por Competências

A opção por organizar por competências tem claro impacto na organização do ensino. Como consequência lógica da sua definição, o ensino organizado por competências deve ser organizado através da exposição dos estudantes a situações reais que exigem determinados conhecimentos, habilidades, atitudes e o discernimento possibilidade pelos valores.  Isso foi formalizado com a abordagem pedagógica denominada “situated learning theory”, introduzida por Lave e Wenger (1991),  que preconiza que qualquer conhecimento é criado apenas pela participação dos estudantes em ações concretas em diferentes contextos.

  1. Vocabulário comum

Na forma atual do debate, o termo competência é usado por diferentes atores e textos legais e normativos com sentidos diferentes. Como argumentado acima, a posição da OEDC não pode ser usada para justificar todas as posições no nosso debate, já que a definição daquela organização se baseia em pontos não considerados por muitos dos atores brasileiros:  a essencialidade de problemas concretos e a impossibilidade de reduzir a competência a seus componentes e a ênfase apenas em aspectos cognitivos.  Algum acordo conceitual é necessário.

  1. Alternativas conceituais

Além da abordagem por competência, pode-se considerar a alternativa de organização por objetivos de aprendizagem, usada nas experiências americanas, ou aquela defendida por  Michael Young, um sociólogo do currículo inglês que responde à questão: ‘Qual é o conhecimento a que os alunos têm direito?’ sugerindo uma organização disciplinar para as recomendações curriculares comuns de um país. Usa para apoiar sua posição o conceito de conhecimento poderoso.  Naturalmente todas estas opções se interconectam e não devem ser confundidas com opções sobre a pedagogia – a forma de ensinar – apropriada. O estudante do século 21 pede pedagogias ativas como: debates estruturados, discussões mediadas, discussão de eventos atuais, jogos cooperativos, aprendizagem baseada em projetos, aprendizagem pela participação em serviços

  1. Continuar o debate

Pessoalmente entendo que a solução para o problema dos conhecimentos inertes deve ser construída com a contribuição da noção de competência. No entanto, isso não resolve o problema de como organizar as recomendações curriculares comuns para os sistemas de ensino. Nos próximos meses é importante concentrar o debate na reorganização do ensino médio, considerando o que a lei que já estabelece.

Há uma parte obrigatória: Língua Portuguesa, Matemática e Língua estrangeira, constituída daquilo que todos os estudantes devem saber. Esta parte é continuação do Ensino Fundamental II, onde a organização por competências tem justificativas mais fortes, como mostra a experiência e os documentos do PISA, que é aplicado em estudantes, idealmente, no fim da educação obrigatória (que na maioria dos países é aos 15 ou 16 anos). A terceira parte do currículo do ensino médio preconizado pela lei consiste de uma parte específica – os itinerários propedêuticos e técnicos.  Nesta parte o estudante deve ser exposto às formas pelas quais o conhecimento é produzido e transferido, e não somente como é usado. Por isso, nesta etapa é fundamental a possibilidade de opção pessoal, diferentemente do Ensino Fundamental II, que deve ter muito claramente um núcleo comum.  Cada uma destas três etapas exige uma pedagogia específica.

  1. Coda

Termino reafirmando meu caveat inicial, desta vez com uma licença poética em um verso de Raul Seixas.  “E para aquele que mostrar que eu estou errado, eu tiro o meu chapéu”

  1. Referências

Crahay, M., & Marcoux, G. (2016). “Construir e mobilizar conhecimentos numa relação crítica com os saberes”. Cadernos de Pesquisa, 46(159), 260-273.

Figel, J. (2007). Key competences for lifelong learning-European reference framework. Luxembourg: Office for Official Publications of the European Communities. Retrieved May, 25, 2009.

Lave, J., & Wenger, E. (1991). Situated learning: Legitimate Peripheral Participation. Cambridge University Press.

OECD.  2006. PISA 2006 Technical Report.

OECD. 2018. The Future of Education and Skills – The Future we want.

Weinert, F. E. (2001).” Concept of competence: A conceptual clarification”. In Rychen, D. S. E., & Salganik, L. H. E. (2001). Defining and selecting key competencies (pp. 45- 65) Gottingen, Germany: Hogrefe & Huber

Whitehead, A. N. (1959). The aims of education. Daedalus, 88(1), 192-205.

Young, M. (2014). “Superando a crise na teoria do currículo: uma abordagem baseada no conhecimento”. Cadernos Cenpec| Nova série, 3(2).


(*) José Francisco Soares, matemático e estatístico, é professor aposentado da UFMG, membro do Conselho Nacional de Educação e ex-presidente do INEP.

WP Twitter Auto Publish Powered By : XYZScripts.com
Wordpress Social Share Plugin powered by Ultimatelysocial