Category: Educação

Participei ontem, 9 de abril, do encontro semanal do OsteRio, organizado por iniciativa do IETS,   desta vez sobre os desafios da educação no Rio de Janeiro. A estrela da noite foi Claudia Costin, Secretária de Educação do Município, que vem fazendo um trabalho extraordinário. Coube a mim dar o contexto e levantar algumas questões iniciais.

As boas notícias: começando pela cidade, e mais recentemente no Estado como um todo, a educação se despolitiza, existem indicadores de qualidade que são acompanhados, existem programas para lidar com problemas específicos como analfabetismo funcional e escolas em áreas de risco, programas de incentivo ao desempenho, etc. Existem também experiências pedagógicas inovadoras, como o ginásio carioca, a educopédia, e o esforço de trazer para a educação a contribuição da sociedade civil em suas diferentes formas. Existe também uma preocupação crescente em ampliar e melhorar a qualidade da educação infantil.

No entanto, ainda existem muitos problemas a resolver. Alguns dados para entender o quadro: Em 2010 havia 810 mil estudantes no ensino fundamental no Rio de Janeiro, 541 mil na rede municipal e 235 mil em escolas privadas. Havia também 255 mil estudantes de ensino médio, dos quais 193 mil na rede estadual e nenhum na rede municipal. Isto significa que, por melhor que seja, a secretaria municipal só lida com uma parte da população estudantil. Mas são mais de 500 mil estudantes em mais de mil escolas, a maior rede municipal do país.

As taxas de conclusão do ensino fundamental (16 anos) e médio (19) para o estado são de 65.5% e 54.1% respectivamente. Isto significa que quase metade dos jovens conclui tardiamente ou não conclui o ensino fundamental e médio. Os níveis de desempenho medidos pela Prova Brasil continuam muito ruins. Pela avaliação do Todos Pela Educação, que se utiliza de dados da Prova Brasil de 2009, na quarta série/ 5 ano, só 35% dos alunos têm desempenho satisfatório em português, e só 31% em matemática. Na 8a série/ 9 ano, 25 e 11%; ao final do nível médio, 18% e 5%. De lá para cá, existem melhoras na 4a série / 5 ano, mas não depois disto.

A pergunta que se coloca é se as iniciativas hora em curso vão permitir que esta situação possa melhorar de maneira muito significativa nos próximos anos. As projeções estatísticas que muitas vezes se  utilizam parecem sugerir que as coisas irão melhorando sempre, mas o que se vê é que, mesmo quando existe alguma melhora nos primeiros anos, estes resultados se desfazem ao longo do tempo, como mostram os dados desastrosos da avaliação do final do ensino médio. Este é o “teto de vidro” que precisa ser rompido com políticas muito mais amplas e profundas do que as que vêm sendo implementadas.

Alguns pontos para considerar:

– O peso do fator escola vs o peso das condições sociais dos estudantes. Existe clara evidencia, em todo o mundo, de que o papel da escola é limitado quando comparado com o papel do ambiente familiar e das condições sociais dos estudantes nos resultados da aprendizagem. Mas se sabe também que boas escolas podem compensar, até certo ponto, estas limitações. Uma consequência deste fato é que não se pode esperar que todos os estudantes sigam o mesmo programa de estudos, deve haver atendimento especial e programas diferenciados para estudantes que chegam com mais dificuldades e limitações. Ao mesmo tempo, a escola não pode separar e discriminar os estudantes em função de suas condições sociais.

– A Educação infantil. O impacto das condições sociais e familiares se dá sobretudo nos primeiros anos, e isto tem justificado a expansão da educação infantil e pré-escolar. No entanto, sabe-se que, sobretudo nos primeiros anos, nada substitui o relacionamento afetivo dos filhos com os pais, que as creches e pré-escolas precisam ter qualidade para terem o efeito pedagógico adequado, e que, mesmo nos melhores casos, os efeitos benéficos da pré-escola podem se diluir se a qualidade da educação subsequente não é boa. A dúvida que se coloca é na expansão acelerada da educação infantil, sem cuidar de sua qualidade, não esta trazendo mais problemas do que benefícios, ao criar problemas de institucionalização precoce e retirar recursos da educação fundamental.

– Os problemas de atraso e abandono escolar tem sido tratados com os programas de aceleração da aprendizagem e com a chamada “EJA”, a educação de jovens e adultos. Os programas de aceleração, ao dar um apoio adicional a estudantes atrasados, são valiosos; existem muito mais dúvidas sobre o EJA, que em muitos casos não passam de um mecanismo abreviado para as pessoas obterem um certificado escolar sem aprenderem de fato os conteúdos esperados.

– Sobretudo a partir do final do ensino fundamental, aos 13-14 anos, já se coloca a necessidade de se oferecer aos estudantes um leque de opções que lhes permita avançar nas áreas e temas aonde têm mais interesse e condições de seguir estudando. Uma parte importante destas opções seria a da formação profissional. Não se trata somente de dar flexibilidade aos cursos, como recente parecer do Conselho Nacional de Educação propõe, mas de criar possibilidades reais de caminhos alternativos. Isto implica mexer com os currículos, com a legislação, e, no caso do ensino profissional, em parcerias efetivas entre o sistema educativo e o setor produtivo, proporcionando estágios e criando sistemas organizados de aprendizagem. Existem experiências isoladas em relação a isto, mas ainda estamos longe de um sistema robusto de formação profissional que ofereça alternativas verdadeiras para os estudantes.

– Existem problemas sérios de currículo que precisariam ser enfrentados. A ênfase crescente em língua e matemática é correta e a precisa ser aprofundada; por outro lado, faltam temas importantes como economia e direito, e sobram outros de relevância duvidosa, sobretudo quando mal ensinados.

– Avançamos muito pouco na questão da formação de professores e criação de uma profissão docente de qualidade. Do lado das redes escolares, isto tem a ver com criar carreiras aonde se incentiva o mérito e a dedicação; mas tem a ver também com a criação de pontes mais efetivas entre as redes de ensino e o sistema de formação de professores nas universidades. A evidencia internacional em relação a isto é clara, nenhum sistema escolar é melhor do que a qualidade de seus professores, e esta é uma prioridade clara, que precisa ser tratada.

 

 

Boa parte dos problemas surgidos com o ENEM em 2011, assim como a resposta dada pelo INEP a estes problemas, tem a ver com a misteriosa TRI, a “Teoria da Resposta ao Item” que foi adotada para produção dos escores. Francisco Soares, um dos principais especialistas brasileiros em estatística educacional, argumenta que há várias maneiras de se usar a TRI em um exame como o ENEM, fato que precisa ser entendido pelos decisores públicos.  O texto completo está disponível aqui.

Mas, o que é a TRI? A idéia básica é que cada competência em uma prova (por exemplo, a capacidade de ler e entender um texto) é medida por uma série de perguntas, ou itens, com graus diferentes de dificuldade, conforme o número de pessoas que responde certo. Itens fáceis que muitos respondem pesam menos na nota do que itens mais difíceis que poucos acertam. Outra função do TRI é identificar questões que na verdade não medem bem a  competência que se quer, e descartá-las. Finalmente a TRI pode ser usada para garantir que os resultados de diferentes anos sejam comparáveis. Para essa última finalidade, os itens a serem usados precisam ser pré-testados, Esta operação ficou comprometida e dificilmente poderá ser feita no futuro, depois dos problemas de vazamento que parecem incontroláveis.

O  que Francisco Soares argumenta é que a forma atual de usar  TRI para comparar os resultados de um ano a outro acaba entrando em conflito com a outra função do ENEM, que é servir de exame de ingresso para as universidades federais. Isto pela impossibilidade de se realizar o pré-teste de itens.  Se é para ser um exame vestibular, o ENEM deveria se concentrar em medir o que as universidades esperam o que os estudantes saibam nas diversas áreas de conhecimento. Para produzir comparabilidade advoga o uso de uma técnica diferente da atualmente usada, baseada em percentis. Na sua proposta os escores continuariam a ser calculados pela TRI.

Sua nota termina enfatizando que a pauta do ENEM precisa colocar a atenção no que interessa, do ponto de vista educativo: será que o ENEM está de fato medindo as competências que interessam?  Ele funciona melhor ou pior do que os vestibulares tradicionais? Que influência, positiva ou negativa, ele exerce sobre o ensino médio?  O que a enorme massa de dados produzida por este exame de grandes proporções nos permite entender sobre como é o estudante brasileiro que termina o ensino médio e busca o ensino superior?

O jornal O Estado de São Paulo publica hoje, 9 de fevereiro, o editorial abaixo, sobre a situação da educação no país:

Desastre na Educação

Com 3,8 milhões de crianças e jovens fora da escola e padrões de ensino muito ruins, o Brasil terá muita dificuldade para se manter entre as maiores e mais prósperas economias, diante de competidores empenhados em investir seriamente em boa educação, ciência e tecnologia. Para dezenas de milhões de pessoas, o atraso educacional continuará limitando o acesso a empregos modernos e a padrões de bem-estar comparáveis com aqueles alcançados há muito tempo nas sociedades mais desenvolvidas. Mesmo a criação de vagas será dificultada, porque as empresas perderão espaço – como já vêm perdendo – para indústrias mais eficientes, mais equipadas com tecnologia e operadas por pessoal qualificado. Oportunidades de emprego são oportunidades de bem-estar e de vida melhor para o trabalhador e sua família.

Más políticas para a educação põem em risco esses valores e ainda condenam os indivíduos, por seu despreparo, a uma cidadania muito rudimentar. Não há como evitar pensamentos pessimistas depois de conhecer o último relatório do movimento Todos pela Educação, divulgado nessa terça-feira. O relatório confirma, com dados assustadores, as piores avaliações das políticas educacionais seguidas nos últimos nove anos – marcadas por prioridades erradas e orientadas por interesses populistas. A partir de 2003 o governo federal deu ênfase à criação de faculdades e à ampliação do acesso ao chamado ensino superior, negligenciando a formação básica das crianças e jovens e menosprezando a formação técnica. Só recentemente as autoridades federais passaram a dar atenção ao ensino profissionalizante.

Por muito tempo ficaram concentradas no alvo errado, enquanto os maiores problemas estão nos níveis fundamental e médio. A progressão dos estudantes já se afunila perigosamente antes do acesso às faculdades. Segundo o relatório, em apenas 35 cidades – 0,6% do total – 50% ou mais dos estudantes têm conhecimentos matemáticos adequados à sua série. No caso da língua portuguesa, aqueles 50% ou mais foram encontrados em apenas 67 municípios. Criada como entidade não governamental em 2006, a organização Todos pela Educação definiu metas finais e intermediárias para o período até 2022. Talvez fosse mais apropriado falar de “marcos desejáveis”, já que a fixação de metas deve caber a quem dispõe dos instrumentos e dos poderes para a formulação de políticas. O confronto dos dados efetivos com esses marcos – nenhum deles muito ambicioso – permite uma avaliação dos avanços, em geral muito modestos, da atividade educacional brasileira. O quadro é constrangedor.

Em 2010, 80% ou mais das crianças no final do terceiro ano fundamental deveriam dominar a leitura, a escrita e as operações matemáticas básicas. No caso da escrita, 53,3% alcançaram o padrão desejado. No da leitura, 56,1%. No da matemática, 42,8%. As porcentagens melhoram, em algumas séries mais altas, mas, em contrapartida, há um sensível afunilamento. Só 50% dos jovens com até 19 anos concluem o ensino médio. Destes, apenas 11% aprenderam o mínimo previsto de matemática. Não tem muito sentido prático alargar as portas de acesso às faculdades, como fez o governo durante vários anos, quando poucos estão preparados para enfrentar um bom ensino universitário.

Não há, neste momento, grandes perspectivas de melhora. Porque a legislação do ensino médio continua desastrosa, como deixaram bem claro, em artigo publicado no Estado de ontem, os especialistas João Batista A. Oliveira, Simon Schwartzman e Cláudio de Moura Castro,  analisando a Resolução 2 do Conselho Nacional de Ensino, publicada em 30/1/2012, que “alarga o fosso que existe entre as elites brasileiras e o mundo das pessoas que dependem de suas decisões”. Além disso, a vertente profissionalizante do ensino médio é oferecida não como alternativa real, mas como um caminho mais trabalhoso, com adição de 800 horas ao currículo. Diante desse quadro, as inovações propostas pelo governo – como a distribuição de tablets aos professores – parecem piadas de mau gosto. Engenhocas podem ser muito úteis, mas nenhuma pode produzir o milagre de tornar eficiente um sistema fundamentalmente mal concebido e orientado.

 

O jornal O Estado de São Paulo, em sua edição de 8 de fevereiro, publica o artigo abaixo, assinado por João Batista Araujo e Oliveira, Claudio de Moura Castro e por mim:

CNE e o pesadelo do ensino médio

Há um abismo separando o ensino médio no Brasil do que se faz no resto do mundo. Exemplo dessa distância é a Resolução 2, de 30 de janeiro de 2012, do Conselho Nacional de Educação (CNE). Ali se alarga o fosso que existe entre as elites brasileiras e o mundo das pessoas que dependem de suas decisões.

Comecemos com a realidade: muitos dos alunos que vêm da escola pública e entram no ensino médio não conseguem ler e escrever com um mínimo de competência. De fato, 85% chegam com um nível de conhecimentos equivalente ao que seria de se esperar para o 5.º ano. Desse total, 40% se evadem nos dois primeiros anos e menos de 50% concluem os cursos, com média inferior a 4 na prova objetiva do Exame Nacional do Ensino Médio (Enem) e acumulando nas costas uma média de um ano e meio de repetência.

Além dos suspeitos usuais (por exemplo, mau preparo dos professores), várias pesquisas confirmam o que todos sabíamos: o ensino médio é chato! Os temas estão muito longe do mundo dos alunos, não permitindo que vislumbrem um bom uso para tais conhecimentos, e é descomunal a quantidade de assuntos tratados, não deixando entender nada em profundidade e obrigando os alunos a memorizar fórmulas, listas, datas e princípios científicos. O prazer do estudo é a sensação de entender, de decifrar os mistérios do conhecimento. Se as matérias fluem freneticamente, não há como dominar o que quer que seja. Convidamos o leitor a folhear um livro de biologia do ensino médio e contar os milhares de bichinhos e plantinhas citados.

Uma fração ínfima dos egressos de escola pública prossegue para o ensino superior. Para os demais é ensino técnico ou nada. Mas os que querem fazer ensino profissional precisam concluir primeiro a barreira do ensino médio. Ou, então, têm de estudar em outro turno, para aprenderem uma profissão. Isso contrasta com o que fazem muitos países, onde as disciplinas de cunho mais prático ou profissionalizante substituem as disciplinas acadêmicas – mantendo a carga horária.

Dos que vão para a escola técnica, dois terços estudam em instituições particulares pagas e sem subsídios públicos. São os cursos voltados para alunos mais modestos. Por que as bolsas e os créditos educativos não vão para os cursos que matriculam os menos prósperos?

Nos países desenvolvidos, o ensino médio tem três características. Em primeiro lugar, é diversificado, não existindo um currículo mínimo único ou obrigatório para todos. O grau de diversificação varia entre países, podendo ser diferente entre tipos de ensino médio e escolas. Muitas das alternativas oferecidas preparam para o trabalho. De fato, entre 30% e 70% dos alunos cursam uma vertente profissionalizante. A segunda característica é o ganho de eficiência. Com a existência de múltiplos percursos, os alunos podem escolher os mais apropriados para seu perfil e suas preferências. Assim, o índice de perdas é mínimo. Em contraste, a deserção ocorre com maior intensidade nos países onde há menor diversificação. A terceira característica é que, consistente com a diversificação, muitos países não utilizam um mesmo exame de fim de ensino médio, padronizado para todos. Os alunos tampouco precisam fazer provas em mais de quatro ou cinco disciplinas para obter um certificado de algum tipo de ensino médio.

O estilo gongórico da resolução do CNE dificulta sua compreensão. Por exemplo: “O projeto político-pedagógico na sua concepção e implementação deve considerar os estudantes e professores como sujeitos históricos e de direitos, participantes ativos e protagonistas na sua diversidade e singularidade”. Já que alguma força profunda empurra para esse linguajar, por que não publicar, simultaneamente, uma versão inteligível para o comum dos mortais?

E tome legislação: são quatro áreas de conhecimento e nove matérias obrigatórias – apelidadas de “componentes curriculares com especificidades e saberes próprios construídos e sistematizados” -, que são subdivididas, sempre na forma da lei, em 12 disciplinas. Não admira que os alunos abandonem os cursos. Como dizia Anísio Teixeira na década de 50, tudo legal, e tudo muito ruim!

Mas o pior está por vir. A resolução não define o que seja “educação geral”, mas no inciso V do artigo 14 afirma que “atendida a formação geral, incluindo a preparação básica para o trabalho, o Ensino Médio pode preparar para o exercício de profissões técnicas”. Instrutivo notar que a profissionalização é vista como um “pode”, e não como um caminho natural que alhures é seguido pela maioria.

Essa profissionalização se obtém adicionando 800 horas ao curso (o equivalente a um ano letivo). Ou seja, em primeiro lugar, é preciso sofrer as 2.400 horas da tal “educação geral”. Depois, para a profissionalização, são mais 800 horas de estudo. Na prática, os alunos dos cursos técnicos têm uma carga de estudos mais pesada do que os que fazem o acadêmico puro. Difícil imaginar maior desincentivo para a formação profissional. Nos países mais bem-sucedidos em educação os cursos técnicos têm carga horária igual ou menor que o acadêmico. Para valorizar o lado profissionalizante, o texto diz que o “trabalho é conceituado na sua perspectiva ontológica de transformação da natureza, como realização inerente ao ser humano e como mediação do processo de produção da sua existência”. Deu para entender? Traduzindo do javanês, é preciso aumentar a “educação geral”.

O novo ministro da Educação encontra-se diante de uma oportunidade ímpar. Ou seja, alinhar o ensino médio à realidade de seus alunos, de sua economia e à luz da experiência de quem fez melhor do que nós. Ou, então, perpetuar o genocídio pessoal e intelectual que caracteriza um ensino médio unificado e, por consequência, excludente.

O artigo abaixo foi publicado na Foha de São Paulo de 7 de novembro de 2011

O teto de vidro da educação brasileira
Simon Schwartzman 

Todos sabemos que a educação brasileira tem problemas sérios de qualidade e acesso. Sabemos também que têm havido melhoras importantes desde a década de 90.A dúvida é se essas melhoras caracterizam um avanço contínuo que em poucos anos nos colocará no mesmo nível dos países mais desenvolvidos ou se estamos diante de um impasse. Se há um “teto de vidro” que temos dificuldade em enxergar, mas que nos impede de avançar com a velocidade e a qualidade que precisamos, fazendo uso adequado dos recursos disponíveis. Algumas pequenas melhoras que parecem ter surgido mais recentemente nas avaliações são restritas demais, dispersas e sujeitas a questionamentos estatísticos, e não justificam o tom de euforia eleitoral que o Ministério da Educação tem adotado a respeito delas.

O Congresso tem discutido, nos últimos meses, o texto do que seria um novo Plano Nacional de Educação. Uma das questões que mais se discute é se o Brasil, cujo setor público já gasta cerca de 5% do PIB em educação, deveria aumentar essa proporção para 7%, como propõe o governo, ou para 10%, como tem sido proposto pelas inúmeras organizações sociais, corporações e movimentos sociais ligados à educação.

Mais dinheiro é sempre bom, permitindo pagar melhor aos professores, expandir a educação de tempo completo, melhorar as instalações das escolas etc. Mas duas questões fundamentais têm sido deixadas de fora nesta discussão. A primeira é de onde vai sair esse dinheiro adicional, dada a resistência da sociedade a transferir cada vez mais impostos para o governo. A segunda questão que não está sendo discutida é que mais dinheiro nem sempre significa melhores resultados, como mostra o gráfico acima.

A conclusão não é que não devemos investir mais em educação, mas que esses investimentos só devem ser feitos quando associados a projetos com objetivos bem definidos e cujos resultados possam ser avaliados com clareza e precisão. Aumentar simplesmente os gastos sem saber em que e como eles serão aplicados pode levar somente a um aumento no custo da burocracia pública da educação sem que os estudantes e a população se beneficiem dos resultados.

As reformas necessárias na educação brasileira incluem uma mudança profunda nos sistemas de formação e contratação de professores, fazendo com que eles sejam capacitados para lidar com as necessidades educativas dos estudantes e sejam estimulados e recompensados pelo seu desempenho. Incluem também a criação de um currículo mínimo obrigatório para o ensino de português, matemática e ciências naturais e humanas para a educação fundamental. Precisamos de uma transformação profunda no ensino médio, abrindo caminho para opções e alternativas de formação conforme as condições de aprendizagem e os interesses dos estudantes.Além disso, as reformas devem contemplar o desenvolvimento de sistemas de avaliação com requerimentos claros de desempenho para os diferentes níveis escolares e tipos de formação, associados aos currículos obrigatórios. Por fim, incluem transformações profundas na forma como as redes de educação pública estão organizadas, tornando as escolas mais autônomas para buscar seus caminhos e responsáveis pelo seu desempenho, recebendo para isso o apoio e o estímulo de que necessitam.

Nada disso é fácil: são caminhos novos que o Brasil ainda não conhece e que serão discutidos no seminário promovido hoje pelo Instituto Teotônio Vilela, no Rio. Caminhos que o país precisa começar a aprender a trilhar, em vez de continuar tentando fazer sempre mais do mesmo de sempre, como tem sido a prática dominante até agora.

Acaba de sair mais um número da revista Pensamiento Educativo. Revista de Investigación Educacional Latinoamericano (PEL),  editada pelo Departamento de Educação da Pontifícia Universidade Católica do Chile., agora em versão eletrônica cujos textos em inglês estão disponíveis aqui. O objetivo da revista é disseminar resultados de pesquisas de qualidade sobre a problemática educacional do Chile e da América Latina

Sumário (vol. 48,1)

Liderazgo directivo y resultados de los estudiantes: evidencia a partir de la Asignación de Desempeño Colectivo. Un análisis del período 2005-2008 [Principals and Student Achievement: Evidence from the Chilean Collective Performance Incentive Program. Analysis of the 2005 through 2008 Cohorts] María Paola Sevilla Buitrón.

2. Academic Drift in Brazilian Education [La tendencia academicista en la educación brasilera] Simon Schwartzman (versão em PDF aqui)

3. La formación inicial de docentes de Educación General Básica en Chile. ¿Qué se espera que aprendan los futuros profesores en el área de Lenguaje y Comunicación? [Initial training for Primary School Teachers. What do we expect future teachers to learn about Language and Communication? ] Carmen Sotomayor, Giovani Parodi, Carmen Coloma, Romualdo Ibáñez y Paula Cavada.

4. Construcción y validación de una prueba de evaluación de competencia lectora inicial basada en computador [Development and Validation of a Computer-based Assessment of Early Literacy Competencies] Ricardo Rosas, Lorena Medina, Alejandra Meneses, Alejandra Guajardo, Stephanie Cuchacovich y Pablo Escobar.

5. Competencias y formación para un liderazgo escolar efectivo en Chile [Competences and Training for Effective School Leadership in Chile] Gonzalo Muñoz Stuardo y Javiera Marfán Sánchez.

Recebi vários comentários sobre a nota que publiquei a respeito da informação misteriosa divulgada pelo O Estado de São Paulo, atribuida a Ricardo Paes e Barros, de que “dez dias a mais de aula por ano, seja pelo aumento do ano letivo, seja pelo efetivo cumprimento do calendário previsto – sem, portanto, o cancelamento de aulas por causa da falta de professores -, conseguem aumentar o aprendizado dos estudantes em 44%”, e que baseado nisto o Ministro da Educação iria propor um aumento do número obrigatório de dias letivos por ano nas escolas do país. Na minha nota, disponível aqui, eu observava que, se isto fosse verdade, a educação brasileira teria seus problemas resolvidos em poucos anos, sem precisar de melhorar a capacitação dos professores, equipar melhor as escolas, organizar e corrigir os currículos, etc – um verdadeiro milagre!  De onde teria vindo este dado? O que o autor ao qual ele é atribuido tem a dizer a respeito?

O autor permanece em silêncio, mas os dados provêm de uma “meta-análise” feita há tempos para a Fundação Ayrton Senna, que procura consolidar os resultados de um grande número de pesquisas sobre educação feitas no Brasil e no exterior.

Ruben Klein, um dos principais pesquisadores brasileiros na área de educação, enviou o seguinte comentário sobre esta estimativa:

“Entrei no site do Instituto Ayrton Senna e olhei os comentários sobre calendário escolar e não achei essa afirmativa dos 44%. Realmente, é preciso cobrar de onde veio isso.

Mas no site, sobre calendário escolar, vem destacado: “Impacto esperado: Aumentar em 29% o aprendizado anual”, tipo os 44%.

Resultados de estudos de fora ou daqui, cheios de contextos explícitos e não explícitos, dependentes do modelo de análise utilizado, não podem ser transpostos para outros lugares e situações e transformados em percentuais de desvios padrão de outras avaliações, etc. Para mim, essas extrapolações não tem base científica.

Um erro metodológico comum que se vê a toda hora é falar em aumento percentual de desempenho, como os 44% de aumento. Não dá. O percentual depende da escala considerada e dos valores arbitrados para a média.

Na escala de 0 a 100, um aumento de 44% para um aluno com nota 80 ou 100, ultrapassa o 100, obviamente um absurdo. Outros exemplos, um aumento de 20 para 40 é 100% de aumento. Um aumento dos mesmos 20 pontos de 80 para 100 é um aumento de 25%.

Outro exemplo, o SAEB tem uma escala única para as séries. Um aumento de 44% para a média dos alunos do 5º ano, em matemática, em 2009, cerca de 200, leva a média para 288, um aumento de 88 pontos, ultrapassando a atual média da 3ª série do EM. Para o EM, média em cerca de 275, um aumento de 44% dá um crescimento de 121 para 396. Observem que o aumento no EM é muito maior que o do 5º ano. Vejam o milagre como bem o Simon observou. Teríamos alcançado as metas do Todos pela Educação e as metas do IDEB.

Outro exemplo, na escala do PISA. o Brasil tem uma média em torno de 400. Um aumento de 44% leva a 576. Outro milagre. Passamos a Finlândia. Observem que 176 pontos equivalem a um aumento de 1,76 desvios padrão do PISA.

Os 29% dão números menores, mas não muda o quadro.

Outra afirmação que apareceu na imprensa foi sobre a redução do número de alunos na turma, que também dá um percentual extraordinário de ganho no desempenho. Essa afirmação é sobre um estudo no Tennessee, EUA. Transposto para a Califórnia, em escala global, foi um desastre.”

Esta história ilustra bem um problema muito comum que ocorre quando pesquisadores chegam a determinados números aparentemente simples, mas estimados de forma precária e duvidosa, e passam depois a querer adotá-los como base de políticas públicas de grande alcance.  O raciocínio parece ser que números permitem estabelecer metas e avaliar políticas, e isto seria mais importante do que a qualidade e validade do número em si. É por isto que muitos insistem em definir uma linha de pobreza oficial para o Brasil, ou obrigar todas as escolas a colocar os resultados do IDEB nas portas, ou publicar nos jornais as avaliações das escolas, cursos superiores e universidades baseadas nas médias do ENEM ou no “conceito preliminar de cursos” calculado pelo INEP.

Estes abusos no uso de números alimentam os argumentos de muitos que dizem que a educação é importante demais para ser reduzida a números, e acabam se opondo a qualquer tipo de avaliação e mensuração de resultados.  Eu certamente não penso assim, mas é importante que os números sejam utilizados como instrumentos de apoio para o entendimento da realidade, e não como seu substituto, um  feitiche que esconde e deforma, mais do que revela e nos ajuda a entender

Diz “O Estado de São Paulo” de 22 de setembro de 2011:

“Dez dias a mais de aula por ano, seja pelo aumento do ano letivo, seja pelo efetivo cumprimento do calendário previsto – sem, portanto, o cancelamento de aulas por causa da falta de professores -, conseguem aumentar o aprendizado dos estudantes em 44%, disse ontem o secretário de ações estratégicas da Presidência da República, Ricardo Paes de Barros. Ele elaborou um levantamento com base na análise de 165 estudos nacionais e internacionais sobre o tema.”  A notícia acrescenta que o Ministro da Educação, baseado neste estudo, vai enviar ainda este ano um projeto de lei ao Congresso aumentando o número de horas de aula nas escolas brasileiras.

A notícia causou perplexidade entre os especialistas, porque nunca antes na história das pesquisas educacionais, que se saiba, uma coisa tão simples mostrou ter um resultado tão espetacular. Se isto for assim, para que continuar falando em melhorar a formação de professores, estruturar os currículos, formar diretores de escola, e inclusive aumentar os salários dos professores?

Este milagre anunciado da educação brasileira se soma a outros menores, como a melhora desempenho dos estudantes em matemática no IDEB em 2009, as melhoras do PISA e, agora, a melhora no ENEM em relação ao ano passado (sobretudo na prova de redação, suponho, que é a que tem maior peso na nota, embora seja a mais difícil de padronizar para permitir comparações).

Neste ritmo, chegamos fácil à meta de alcançar e superar os países da OECD até 2022!

Ricardo Paes e Barros é um pesquisador competente e respeitável, e está devendo à comunidade de especialistas em educação maiores detalhes sobre este achado tão espetacular.

 

 

Na próxima terça-feira (30), acontecerá a 7ª edição do Fórum Globo News, com tema sobre educação, políticas educativas e formação para as futuras gerações. A jornalista Monica Waldvogel será a mediadora do debate que terá a participação do economista e subsecretário da Secretaria de Assuntos Estratégicos da presidência da República, Ricardo Paes de Barros; do sociólogo e cientista político do Instituto de Estudos do Trabalho e Sociedade do Rio de Janeiro, Simon Schwartzman; da pedagoga Paula Lozano; do professor Ivan José Nunes Francisco; do psicólogo e PhD em Educação e presidente do Instituto Alfa e Beto, João Batista Araújo e Oliveira; e do professor de Geografia da Escola Municipal Tasso da Silveira, de Realengo, no Rio, Luciano Pessanha, que vai falar da tragédia que aconteceu neste ano. O evento será em São Paulo no Hotel Hyatt, das 9h às 12h.

Os detalhes sobre o Forum estão disponíveis aqui.

 

Um palpite sobre a avaliação do desempenho

João Batista Araujo e Oliveira, Presidente do IAB

 

Devagar com o andor, concordo. Sobretudo com os que carregam o andor do primeiro santo milagreiro que passa.

Meu guru nesta área é um velho, mas também atualizado analista e crítico de sistemas de “merit pay” chamado Richard Murnane, da Universidade de Harvard. Ele tem um estudo antigo sobre o tema, e de vez em quando volta ao assunto. Nos seus trabalhos mais recentes, ele observa que nos estudos mais rigorosos sobre desempenho de professores, a variância de um mesmo professor ao longo de anos é de 50%.  E começou a investigar os fatores subjacentes.

De um lado ele suspeita que a maioria dos professores costuma dar o que tem – a ideia de que eles teriam algo mais a dar se houver benefício pode ser equivocada.  Uma boa triagem poderia ser muito mais eficaz do que incentivos – ou, se você quiser, os incentivos deveriam ser para atrair e manter os melhores – e para isso, claro, a avaliação de desempenho dos alunos é o melhor indicador. Não confundir o uso de indicadores com o uso de sistemas de incentivos.  De outro lado ele levanta algumas hipóteses para a gigantesca variância – nível de par ou ímpar –  e oferece duas boas suspeitas. Uma delas são perturbações da ordem – uma classe com um ou mais alunos que perturbam além dos limites ou incidentes desse tipo que derrubam os melhores esforços por terra. A outra é que a variabilidade de métodos de ensino dentro de uma escola – o que milita a favor da consistência típica das antigas escolas confessionais e, de certa forma, dos nossos sistemas estruturados de ensino. O aluno que a cada ano aprende frações de um jeito dificilmente vai render muito –por melhor que seja o professor.

Há soluções? Sim, incentivos podem ser uma delas, mas há muitas outras, mais básicas, que o Brasil ainda não fez. E sem essa, corremos o risco de colocar azeitona num pastel de vento.