Category: Educação

Boa parte dos problemas surgidos com o ENEM em 2011, assim como a resposta dada pelo INEP a estes problemas, tem a ver com a misteriosa TRI, a “Teoria da Resposta ao Item” que foi adotada para produção dos escores. Francisco Soares, um dos principais especialistas brasileiros em estatística educacional, argumenta que há várias maneiras de se usar a TRI em um exame como o ENEM, fato que precisa ser entendido pelos decisores públicos.  O texto completo está disponível aqui.

Mas, o que é a TRI? A idéia básica é que cada competência em uma prova (por exemplo, a capacidade de ler e entender um texto) é medida por uma série de perguntas, ou itens, com graus diferentes de dificuldade, conforme o número de pessoas que responde certo. Itens fáceis que muitos respondem pesam menos na nota do que itens mais difíceis que poucos acertam. Outra função do TRI é identificar questões que na verdade não medem bem a  competência que se quer, e descartá-las. Finalmente a TRI pode ser usada para garantir que os resultados de diferentes anos sejam comparáveis. Para essa última finalidade, os itens a serem usados precisam ser pré-testados, Esta operação ficou comprometida e dificilmente poderá ser feita no futuro, depois dos problemas de vazamento que parecem incontroláveis.

O  que Francisco Soares argumenta é que a forma atual de usar  TRI para comparar os resultados de um ano a outro acaba entrando em conflito com a outra função do ENEM, que é servir de exame de ingresso para as universidades federais. Isto pela impossibilidade de se realizar o pré-teste de itens.  Se é para ser um exame vestibular, o ENEM deveria se concentrar em medir o que as universidades esperam o que os estudantes saibam nas diversas áreas de conhecimento. Para produzir comparabilidade advoga o uso de uma técnica diferente da atualmente usada, baseada em percentis. Na sua proposta os escores continuariam a ser calculados pela TRI.

Sua nota termina enfatizando que a pauta do ENEM precisa colocar a atenção no que interessa, do ponto de vista educativo: será que o ENEM está de fato medindo as competências que interessam?  Ele funciona melhor ou pior do que os vestibulares tradicionais? Que influência, positiva ou negativa, ele exerce sobre o ensino médio?  O que a enorme massa de dados produzida por este exame de grandes proporções nos permite entender sobre como é o estudante brasileiro que termina o ensino médio e busca o ensino superior?

O jornal O Estado de São Paulo publica hoje, 9 de fevereiro, o editorial abaixo, sobre a situação da educação no país:

Desastre na Educação

Com 3,8 milhões de crianças e jovens fora da escola e padrões de ensino muito ruins, o Brasil terá muita dificuldade para se manter entre as maiores e mais prósperas economias, diante de competidores empenhados em investir seriamente em boa educação, ciência e tecnologia. Para dezenas de milhões de pessoas, o atraso educacional continuará limitando o acesso a empregos modernos e a padrões de bem-estar comparáveis com aqueles alcançados há muito tempo nas sociedades mais desenvolvidas. Mesmo a criação de vagas será dificultada, porque as empresas perderão espaço – como já vêm perdendo – para indústrias mais eficientes, mais equipadas com tecnologia e operadas por pessoal qualificado. Oportunidades de emprego são oportunidades de bem-estar e de vida melhor para o trabalhador e sua família.

Más políticas para a educação põem em risco esses valores e ainda condenam os indivíduos, por seu despreparo, a uma cidadania muito rudimentar. Não há como evitar pensamentos pessimistas depois de conhecer o último relatório do movimento Todos pela Educação, divulgado nessa terça-feira. O relatório confirma, com dados assustadores, as piores avaliações das políticas educacionais seguidas nos últimos nove anos – marcadas por prioridades erradas e orientadas por interesses populistas. A partir de 2003 o governo federal deu ênfase à criação de faculdades e à ampliação do acesso ao chamado ensino superior, negligenciando a formação básica das crianças e jovens e menosprezando a formação técnica. Só recentemente as autoridades federais passaram a dar atenção ao ensino profissionalizante.

Por muito tempo ficaram concentradas no alvo errado, enquanto os maiores problemas estão nos níveis fundamental e médio. A progressão dos estudantes já se afunila perigosamente antes do acesso às faculdades. Segundo o relatório, em apenas 35 cidades – 0,6% do total – 50% ou mais dos estudantes têm conhecimentos matemáticos adequados à sua série. No caso da língua portuguesa, aqueles 50% ou mais foram encontrados em apenas 67 municípios. Criada como entidade não governamental em 2006, a organização Todos pela Educação definiu metas finais e intermediárias para o período até 2022. Talvez fosse mais apropriado falar de “marcos desejáveis”, já que a fixação de metas deve caber a quem dispõe dos instrumentos e dos poderes para a formulação de políticas. O confronto dos dados efetivos com esses marcos – nenhum deles muito ambicioso – permite uma avaliação dos avanços, em geral muito modestos, da atividade educacional brasileira. O quadro é constrangedor.

Em 2010, 80% ou mais das crianças no final do terceiro ano fundamental deveriam dominar a leitura, a escrita e as operações matemáticas básicas. No caso da escrita, 53,3% alcançaram o padrão desejado. No da leitura, 56,1%. No da matemática, 42,8%. As porcentagens melhoram, em algumas séries mais altas, mas, em contrapartida, há um sensível afunilamento. Só 50% dos jovens com até 19 anos concluem o ensino médio. Destes, apenas 11% aprenderam o mínimo previsto de matemática. Não tem muito sentido prático alargar as portas de acesso às faculdades, como fez o governo durante vários anos, quando poucos estão preparados para enfrentar um bom ensino universitário.

Não há, neste momento, grandes perspectivas de melhora. Porque a legislação do ensino médio continua desastrosa, como deixaram bem claro, em artigo publicado no Estado de ontem, os especialistas João Batista A. Oliveira, Simon Schwartzman e Cláudio de Moura Castro,  analisando a Resolução 2 do Conselho Nacional de Ensino, publicada em 30/1/2012, que “alarga o fosso que existe entre as elites brasileiras e o mundo das pessoas que dependem de suas decisões”. Além disso, a vertente profissionalizante do ensino médio é oferecida não como alternativa real, mas como um caminho mais trabalhoso, com adição de 800 horas ao currículo. Diante desse quadro, as inovações propostas pelo governo – como a distribuição de tablets aos professores – parecem piadas de mau gosto. Engenhocas podem ser muito úteis, mas nenhuma pode produzir o milagre de tornar eficiente um sistema fundamentalmente mal concebido e orientado.

 

O jornal O Estado de São Paulo, em sua edição de 8 de fevereiro, publica o artigo abaixo, assinado por João Batista Araujo e Oliveira, Claudio de Moura Castro e por mim:

CNE e o pesadelo do ensino médio

Há um abismo separando o ensino médio no Brasil do que se faz no resto do mundo. Exemplo dessa distância é a Resolução 2, de 30 de janeiro de 2012, do Conselho Nacional de Educação (CNE). Ali se alarga o fosso que existe entre as elites brasileiras e o mundo das pessoas que dependem de suas decisões.

Comecemos com a realidade: muitos dos alunos que vêm da escola pública e entram no ensino médio não conseguem ler e escrever com um mínimo de competência. De fato, 85% chegam com um nível de conhecimentos equivalente ao que seria de se esperar para o 5.º ano. Desse total, 40% se evadem nos dois primeiros anos e menos de 50% concluem os cursos, com média inferior a 4 na prova objetiva do Exame Nacional do Ensino Médio (Enem) e acumulando nas costas uma média de um ano e meio de repetência.

Além dos suspeitos usuais (por exemplo, mau preparo dos professores), várias pesquisas confirmam o que todos sabíamos: o ensino médio é chato! Os temas estão muito longe do mundo dos alunos, não permitindo que vislumbrem um bom uso para tais conhecimentos, e é descomunal a quantidade de assuntos tratados, não deixando entender nada em profundidade e obrigando os alunos a memorizar fórmulas, listas, datas e princípios científicos. O prazer do estudo é a sensação de entender, de decifrar os mistérios do conhecimento. Se as matérias fluem freneticamente, não há como dominar o que quer que seja. Convidamos o leitor a folhear um livro de biologia do ensino médio e contar os milhares de bichinhos e plantinhas citados.

Uma fração ínfima dos egressos de escola pública prossegue para o ensino superior. Para os demais é ensino técnico ou nada. Mas os que querem fazer ensino profissional precisam concluir primeiro a barreira do ensino médio. Ou, então, têm de estudar em outro turno, para aprenderem uma profissão. Isso contrasta com o que fazem muitos países, onde as disciplinas de cunho mais prático ou profissionalizante substituem as disciplinas acadêmicas – mantendo a carga horária.

Dos que vão para a escola técnica, dois terços estudam em instituições particulares pagas e sem subsídios públicos. São os cursos voltados para alunos mais modestos. Por que as bolsas e os créditos educativos não vão para os cursos que matriculam os menos prósperos?

Nos países desenvolvidos, o ensino médio tem três características. Em primeiro lugar, é diversificado, não existindo um currículo mínimo único ou obrigatório para todos. O grau de diversificação varia entre países, podendo ser diferente entre tipos de ensino médio e escolas. Muitas das alternativas oferecidas preparam para o trabalho. De fato, entre 30% e 70% dos alunos cursam uma vertente profissionalizante. A segunda característica é o ganho de eficiência. Com a existência de múltiplos percursos, os alunos podem escolher os mais apropriados para seu perfil e suas preferências. Assim, o índice de perdas é mínimo. Em contraste, a deserção ocorre com maior intensidade nos países onde há menor diversificação. A terceira característica é que, consistente com a diversificação, muitos países não utilizam um mesmo exame de fim de ensino médio, padronizado para todos. Os alunos tampouco precisam fazer provas em mais de quatro ou cinco disciplinas para obter um certificado de algum tipo de ensino médio.

O estilo gongórico da resolução do CNE dificulta sua compreensão. Por exemplo: “O projeto político-pedagógico na sua concepção e implementação deve considerar os estudantes e professores como sujeitos históricos e de direitos, participantes ativos e protagonistas na sua diversidade e singularidade”. Já que alguma força profunda empurra para esse linguajar, por que não publicar, simultaneamente, uma versão inteligível para o comum dos mortais?

E tome legislação: são quatro áreas de conhecimento e nove matérias obrigatórias – apelidadas de “componentes curriculares com especificidades e saberes próprios construídos e sistematizados” -, que são subdivididas, sempre na forma da lei, em 12 disciplinas. Não admira que os alunos abandonem os cursos. Como dizia Anísio Teixeira na década de 50, tudo legal, e tudo muito ruim!

Mas o pior está por vir. A resolução não define o que seja “educação geral”, mas no inciso V do artigo 14 afirma que “atendida a formação geral, incluindo a preparação básica para o trabalho, o Ensino Médio pode preparar para o exercício de profissões técnicas”. Instrutivo notar que a profissionalização é vista como um “pode”, e não como um caminho natural que alhures é seguido pela maioria.

Essa profissionalização se obtém adicionando 800 horas ao curso (o equivalente a um ano letivo). Ou seja, em primeiro lugar, é preciso sofrer as 2.400 horas da tal “educação geral”. Depois, para a profissionalização, são mais 800 horas de estudo. Na prática, os alunos dos cursos técnicos têm uma carga de estudos mais pesada do que os que fazem o acadêmico puro. Difícil imaginar maior desincentivo para a formação profissional. Nos países mais bem-sucedidos em educação os cursos técnicos têm carga horária igual ou menor que o acadêmico. Para valorizar o lado profissionalizante, o texto diz que o “trabalho é conceituado na sua perspectiva ontológica de transformação da natureza, como realização inerente ao ser humano e como mediação do processo de produção da sua existência”. Deu para entender? Traduzindo do javanês, é preciso aumentar a “educação geral”.

O novo ministro da Educação encontra-se diante de uma oportunidade ímpar. Ou seja, alinhar o ensino médio à realidade de seus alunos, de sua economia e à luz da experiência de quem fez melhor do que nós. Ou, então, perpetuar o genocídio pessoal e intelectual que caracteriza um ensino médio unificado e, por consequência, excludente.

O artigo abaixo foi publicado na Foha de São Paulo de 7 de novembro de 2011

O teto de vidro da educação brasileira
Simon Schwartzman 

Todos sabemos que a educação brasileira tem problemas sérios de qualidade e acesso. Sabemos também que têm havido melhoras importantes desde a década de 90.A dúvida é se essas melhoras caracterizam um avanço contínuo que em poucos anos nos colocará no mesmo nível dos países mais desenvolvidos ou se estamos diante de um impasse. Se há um “teto de vidro” que temos dificuldade em enxergar, mas que nos impede de avançar com a velocidade e a qualidade que precisamos, fazendo uso adequado dos recursos disponíveis. Algumas pequenas melhoras que parecem ter surgido mais recentemente nas avaliações são restritas demais, dispersas e sujeitas a questionamentos estatísticos, e não justificam o tom de euforia eleitoral que o Ministério da Educação tem adotado a respeito delas.

O Congresso tem discutido, nos últimos meses, o texto do que seria um novo Plano Nacional de Educação. Uma das questões que mais se discute é se o Brasil, cujo setor público já gasta cerca de 5% do PIB em educação, deveria aumentar essa proporção para 7%, como propõe o governo, ou para 10%, como tem sido proposto pelas inúmeras organizações sociais, corporações e movimentos sociais ligados à educação.

Mais dinheiro é sempre bom, permitindo pagar melhor aos professores, expandir a educação de tempo completo, melhorar as instalações das escolas etc. Mas duas questões fundamentais têm sido deixadas de fora nesta discussão. A primeira é de onde vai sair esse dinheiro adicional, dada a resistência da sociedade a transferir cada vez mais impostos para o governo. A segunda questão que não está sendo discutida é que mais dinheiro nem sempre significa melhores resultados, como mostra o gráfico acima.

A conclusão não é que não devemos investir mais em educação, mas que esses investimentos só devem ser feitos quando associados a projetos com objetivos bem definidos e cujos resultados possam ser avaliados com clareza e precisão. Aumentar simplesmente os gastos sem saber em que e como eles serão aplicados pode levar somente a um aumento no custo da burocracia pública da educação sem que os estudantes e a população se beneficiem dos resultados.

As reformas necessárias na educação brasileira incluem uma mudança profunda nos sistemas de formação e contratação de professores, fazendo com que eles sejam capacitados para lidar com as necessidades educativas dos estudantes e sejam estimulados e recompensados pelo seu desempenho. Incluem também a criação de um currículo mínimo obrigatório para o ensino de português, matemática e ciências naturais e humanas para a educação fundamental. Precisamos de uma transformação profunda no ensino médio, abrindo caminho para opções e alternativas de formação conforme as condições de aprendizagem e os interesses dos estudantes.Além disso, as reformas devem contemplar o desenvolvimento de sistemas de avaliação com requerimentos claros de desempenho para os diferentes níveis escolares e tipos de formação, associados aos currículos obrigatórios. Por fim, incluem transformações profundas na forma como as redes de educação pública estão organizadas, tornando as escolas mais autônomas para buscar seus caminhos e responsáveis pelo seu desempenho, recebendo para isso o apoio e o estímulo de que necessitam.

Nada disso é fácil: são caminhos novos que o Brasil ainda não conhece e que serão discutidos no seminário promovido hoje pelo Instituto Teotônio Vilela, no Rio. Caminhos que o país precisa começar a aprender a trilhar, em vez de continuar tentando fazer sempre mais do mesmo de sempre, como tem sido a prática dominante até agora.

Acaba de sair mais um número da revista Pensamiento Educativo. Revista de Investigación Educacional Latinoamericano (PEL),  editada pelo Departamento de Educação da Pontifícia Universidade Católica do Chile., agora em versão eletrônica cujos textos em inglês estão disponíveis aqui. O objetivo da revista é disseminar resultados de pesquisas de qualidade sobre a problemática educacional do Chile e da América Latina

Sumário (vol. 48,1)

Liderazgo directivo y resultados de los estudiantes: evidencia a partir de la Asignación de Desempeño Colectivo. Un análisis del período 2005-2008 [Principals and Student Achievement: Evidence from the Chilean Collective Performance Incentive Program. Analysis of the 2005 through 2008 Cohorts] María Paola Sevilla Buitrón.

2. Academic Drift in Brazilian Education [La tendencia academicista en la educación brasilera] Simon Schwartzman (versão em PDF aqui)

3. La formación inicial de docentes de Educación General Básica en Chile. ¿Qué se espera que aprendan los futuros profesores en el área de Lenguaje y Comunicación? [Initial training for Primary School Teachers. What do we expect future teachers to learn about Language and Communication? ] Carmen Sotomayor, Giovani Parodi, Carmen Coloma, Romualdo Ibáñez y Paula Cavada.

4. Construcción y validación de una prueba de evaluación de competencia lectora inicial basada en computador [Development and Validation of a Computer-based Assessment of Early Literacy Competencies] Ricardo Rosas, Lorena Medina, Alejandra Meneses, Alejandra Guajardo, Stephanie Cuchacovich y Pablo Escobar.

5. Competencias y formación para un liderazgo escolar efectivo en Chile [Competences and Training for Effective School Leadership in Chile] Gonzalo Muñoz Stuardo y Javiera Marfán Sánchez.

Recebi vários comentários sobre a nota que publiquei a respeito da informação misteriosa divulgada pelo O Estado de São Paulo, atribuida a Ricardo Paes e Barros, de que “dez dias a mais de aula por ano, seja pelo aumento do ano letivo, seja pelo efetivo cumprimento do calendário previsto – sem, portanto, o cancelamento de aulas por causa da falta de professores -, conseguem aumentar o aprendizado dos estudantes em 44%”, e que baseado nisto o Ministro da Educação iria propor um aumento do número obrigatório de dias letivos por ano nas escolas do país. Na minha nota, disponível aqui, eu observava que, se isto fosse verdade, a educação brasileira teria seus problemas resolvidos em poucos anos, sem precisar de melhorar a capacitação dos professores, equipar melhor as escolas, organizar e corrigir os currículos, etc – um verdadeiro milagre!  De onde teria vindo este dado? O que o autor ao qual ele é atribuido tem a dizer a respeito?

O autor permanece em silêncio, mas os dados provêm de uma “meta-análise” feita há tempos para a Fundação Ayrton Senna, que procura consolidar os resultados de um grande número de pesquisas sobre educação feitas no Brasil e no exterior.

Ruben Klein, um dos principais pesquisadores brasileiros na área de educação, enviou o seguinte comentário sobre esta estimativa:

“Entrei no site do Instituto Ayrton Senna e olhei os comentários sobre calendário escolar e não achei essa afirmativa dos 44%. Realmente, é preciso cobrar de onde veio isso.

Mas no site, sobre calendário escolar, vem destacado: “Impacto esperado: Aumentar em 29% o aprendizado anual”, tipo os 44%.

Resultados de estudos de fora ou daqui, cheios de contextos explícitos e não explícitos, dependentes do modelo de análise utilizado, não podem ser transpostos para outros lugares e situações e transformados em percentuais de desvios padrão de outras avaliações, etc. Para mim, essas extrapolações não tem base científica.

Um erro metodológico comum que se vê a toda hora é falar em aumento percentual de desempenho, como os 44% de aumento. Não dá. O percentual depende da escala considerada e dos valores arbitrados para a média.

Na escala de 0 a 100, um aumento de 44% para um aluno com nota 80 ou 100, ultrapassa o 100, obviamente um absurdo. Outros exemplos, um aumento de 20 para 40 é 100% de aumento. Um aumento dos mesmos 20 pontos de 80 para 100 é um aumento de 25%.

Outro exemplo, o SAEB tem uma escala única para as séries. Um aumento de 44% para a média dos alunos do 5º ano, em matemática, em 2009, cerca de 200, leva a média para 288, um aumento de 88 pontos, ultrapassando a atual média da 3ª série do EM. Para o EM, média em cerca de 275, um aumento de 44% dá um crescimento de 121 para 396. Observem que o aumento no EM é muito maior que o do 5º ano. Vejam o milagre como bem o Simon observou. Teríamos alcançado as metas do Todos pela Educação e as metas do IDEB.

Outro exemplo, na escala do PISA. o Brasil tem uma média em torno de 400. Um aumento de 44% leva a 576. Outro milagre. Passamos a Finlândia. Observem que 176 pontos equivalem a um aumento de 1,76 desvios padrão do PISA.

Os 29% dão números menores, mas não muda o quadro.

Outra afirmação que apareceu na imprensa foi sobre a redução do número de alunos na turma, que também dá um percentual extraordinário de ganho no desempenho. Essa afirmação é sobre um estudo no Tennessee, EUA. Transposto para a Califórnia, em escala global, foi um desastre.”

Esta história ilustra bem um problema muito comum que ocorre quando pesquisadores chegam a determinados números aparentemente simples, mas estimados de forma precária e duvidosa, e passam depois a querer adotá-los como base de políticas públicas de grande alcance.  O raciocínio parece ser que números permitem estabelecer metas e avaliar políticas, e isto seria mais importante do que a qualidade e validade do número em si. É por isto que muitos insistem em definir uma linha de pobreza oficial para o Brasil, ou obrigar todas as escolas a colocar os resultados do IDEB nas portas, ou publicar nos jornais as avaliações das escolas, cursos superiores e universidades baseadas nas médias do ENEM ou no “conceito preliminar de cursos” calculado pelo INEP.

Estes abusos no uso de números alimentam os argumentos de muitos que dizem que a educação é importante demais para ser reduzida a números, e acabam se opondo a qualquer tipo de avaliação e mensuração de resultados.  Eu certamente não penso assim, mas é importante que os números sejam utilizados como instrumentos de apoio para o entendimento da realidade, e não como seu substituto, um  feitiche que esconde e deforma, mais do que revela e nos ajuda a entender

Diz “O Estado de São Paulo” de 22 de setembro de 2011:

“Dez dias a mais de aula por ano, seja pelo aumento do ano letivo, seja pelo efetivo cumprimento do calendário previsto – sem, portanto, o cancelamento de aulas por causa da falta de professores -, conseguem aumentar o aprendizado dos estudantes em 44%, disse ontem o secretário de ações estratégicas da Presidência da República, Ricardo Paes de Barros. Ele elaborou um levantamento com base na análise de 165 estudos nacionais e internacionais sobre o tema.”  A notícia acrescenta que o Ministro da Educação, baseado neste estudo, vai enviar ainda este ano um projeto de lei ao Congresso aumentando o número de horas de aula nas escolas brasileiras.

A notícia causou perplexidade entre os especialistas, porque nunca antes na história das pesquisas educacionais, que se saiba, uma coisa tão simples mostrou ter um resultado tão espetacular. Se isto for assim, para que continuar falando em melhorar a formação de professores, estruturar os currículos, formar diretores de escola, e inclusive aumentar os salários dos professores?

Este milagre anunciado da educação brasileira se soma a outros menores, como a melhora desempenho dos estudantes em matemática no IDEB em 2009, as melhoras do PISA e, agora, a melhora no ENEM em relação ao ano passado (sobretudo na prova de redação, suponho, que é a que tem maior peso na nota, embora seja a mais difícil de padronizar para permitir comparações).

Neste ritmo, chegamos fácil à meta de alcançar e superar os países da OECD até 2022!

Ricardo Paes e Barros é um pesquisador competente e respeitável, e está devendo à comunidade de especialistas em educação maiores detalhes sobre este achado tão espetacular.

 

 

Na próxima terça-feira (30), acontecerá a 7ª edição do Fórum Globo News, com tema sobre educação, políticas educativas e formação para as futuras gerações. A jornalista Monica Waldvogel será a mediadora do debate que terá a participação do economista e subsecretário da Secretaria de Assuntos Estratégicos da presidência da República, Ricardo Paes de Barros; do sociólogo e cientista político do Instituto de Estudos do Trabalho e Sociedade do Rio de Janeiro, Simon Schwartzman; da pedagoga Paula Lozano; do professor Ivan José Nunes Francisco; do psicólogo e PhD em Educação e presidente do Instituto Alfa e Beto, João Batista Araújo e Oliveira; e do professor de Geografia da Escola Municipal Tasso da Silveira, de Realengo, no Rio, Luciano Pessanha, que vai falar da tragédia que aconteceu neste ano. O evento será em São Paulo no Hotel Hyatt, das 9h às 12h.

Os detalhes sobre o Forum estão disponíveis aqui.

 

Um palpite sobre a avaliação do desempenho

João Batista Araujo e Oliveira, Presidente do IAB

 

Devagar com o andor, concordo. Sobretudo com os que carregam o andor do primeiro santo milagreiro que passa.

Meu guru nesta área é um velho, mas também atualizado analista e crítico de sistemas de “merit pay” chamado Richard Murnane, da Universidade de Harvard. Ele tem um estudo antigo sobre o tema, e de vez em quando volta ao assunto. Nos seus trabalhos mais recentes, ele observa que nos estudos mais rigorosos sobre desempenho de professores, a variância de um mesmo professor ao longo de anos é de 50%.  E começou a investigar os fatores subjacentes.

De um lado ele suspeita que a maioria dos professores costuma dar o que tem – a ideia de que eles teriam algo mais a dar se houver benefício pode ser equivocada.  Uma boa triagem poderia ser muito mais eficaz do que incentivos – ou, se você quiser, os incentivos deveriam ser para atrair e manter os melhores – e para isso, claro, a avaliação de desempenho dos alunos é o melhor indicador. Não confundir o uso de indicadores com o uso de sistemas de incentivos.  De outro lado ele levanta algumas hipóteses para a gigantesca variância – nível de par ou ímpar –  e oferece duas boas suspeitas. Uma delas são perturbações da ordem – uma classe com um ou mais alunos que perturbam além dos limites ou incidentes desse tipo que derrubam os melhores esforços por terra. A outra é que a variabilidade de métodos de ensino dentro de uma escola – o que milita a favor da consistência típica das antigas escolas confessionais e, de certa forma, dos nossos sistemas estruturados de ensino. O aluno que a cada ano aprende frações de um jeito dificilmente vai render muito –por melhor que seja o professor.

Há soluções? Sim, incentivos podem ser uma delas, mas há muitas outras, mais básicas, que o Brasil ainda não fez. E sem essa, corremos o risco de colocar azeitona num pastel de vento.

No momento em que o Rio de Janeiro enfrenta uma greve de professores contra o sistema de premiação por desempenho das escolas implantado pela Secretaria Estadual de Educação, causou grande impacto a notícia de que a cidade de New York havia interrompido um programa semelhante de pagamento por mérito, porque não tinha mostrado resultados.  Se os americanos chegaram a esta conclusão,  não significa isto que os sindicatos têm razão, e que esta política de incentivos, adotada também pela prefeitura do Rio, pelas secretarias de educação do Estado de São Paulo, Pernambuco,  Minas Gerais e em outras regiões, deveria ser abandonada?

Devagar com o andor. New York interrompeu um programa experimental e voluntário de três anos, que não mostrou resultados por uma série de fatores analizados em um estudo detalhado da Rand Corporation, mas por outro lado a cidade de Washington continua implementando um programa vigoroso de bonus para professores que mostram bons resultados e demissões para os que não conseguem desempenhar minimamente suas funções.

Existem muitas razões pelas quais um sistema de incentivos pode não funcionar, o que não significa que não seja importante reconhecer, prestigiar e premiar quem mostra dedicação e resultados em seu trabalho; apoiar e ajudar a quem se esforça mas não consegue ir adiante; e, no limite, punir ou afastar quem não tem motivação ou condições de fazer o que precisa ser feito.

Uma parte importante da discussão sobre os sistemas de premiação por desempenho é o uso de testes como indicadores de resultados. Uma das críticas é que eles podem levar as escolas e professores a treinar os alunos para os testes, deixando o resto da educação de lado. Eles podem levar escolas a só aplicar os testes aos melhores alunos, como parece estar acontecendo com a Prova Brasil, afetando o IDEB; e existe ainda o problema de as escolas e os professores não saberem interpretar os maus resultados em um teste, nem saber o que fazer para melhorar, ficando somente com o estigma do mau desempenho.

E no entanto, se bem desenvolvidas e utilizadas, avaliações por testes são insubstituíveis como instrumentos para saber o que está acontecendo, identificar problemas e buscar soluções. Nos debates havidos sobre testes e sistemas de mérito, o que fica cada vez mais claro é que, sozinhos, eles não conseguem resolver os problemas da educação, e podem até piorar a situação, pelas resistências e clima de conflito que podem gerar; mas que podem ter um papel muito importante se usados como parte de uma política mais ampla de melhora da educação.

Dois artigos recentes também do New York Times (que me foram gentilmente enviados, já devidamente traduzidos, pela vereadora Andrea Gouvea Vieira) mostram muito bem isto, ao discutir o posicionamento recente da conhecida educadora Diane Ravitch contra o uso dos testes (a tradução dos textos para o português está disponível aqui). Um deles, de Paul Tough, cita o Secretario de Educação de Massachussetts, Paul Reville, para o qual “estratégias tradicionais de reforma não irão, de um modo geral, permitir a superação das barreiras para o aprendizado dos alunos em condições de pobreza”.  Segundo o autor, “os reformistas também precisam tomar medidas concretas para tratar toda a gama de fatores que mantêm o atraso dos estudantes pobres. Isso não significa esperar sentados por utópicas transformações sociais. Significa levar para as salas de aula estratégias específicas, baseadas em intervenções fora da sala de aula: trabalhar intensamente com as famílias menos favorecidas para melhorar ambientes domésticos para crianças pequenas; fornecer educação de alta qualidade na primeira infância para crianças de famílias mais necessitadas; e, quando as aulas começarem, proporcionar aos estudantes pobres um eficaz sistema de apoio emocional e psicológico, além, naturalmente, do apoio acadêmico”.

O outro artigo, de David Brooks, é ainda mais contundente. Segundo ele, “Ravitch acha que a solução é se livrar dos testes. Mas é um caminho que só levaria a uma letargia e mediocridade perpétua. A verdadeira resposta é manter os testes e responsabilidade, mas certificando-se de que cada escola tenha um sentido claro de missão, um principio e uma cultura moral forte que se faça sentir ao se chegar na sua porta. A tese de Ravitch é de que os Estados Unidos têm escolas locais humanizadas que estão ameaçadas por fanáticos por testes. O fato é que várias escolas ficaram espiritualmente exauridas e até os grandes professores estão lutando numa cultura inerte. São os reformistas que normalmente criam a paixão, usando os testes como alavanca. Se a sua escola ensina para testar, não é culpa do teste, mas sim dos diretores”.