O comentário de Claudio toca em um aspecto bastante importante: a diferenca entre resultados de estudos experimentais e de estudos observacionais (surveys). É bem conhecido que estudos observacionais podem representar uma base frágil para inferências causais. Nos EUA, em torno do ano 2000, a crítica aos surveys chegou ao máximo e o governo americano criou o Institute of Education Sciences, órgão de fomento que só financiava estudos experimentais. A atencão redobrada aos estudos experimentais acabou por ajudar a revelar que, muito frequentemente, estudos experimentais e surveys chegam a resultados discrepantes. A primeira reacão foi a de reafirmacão da ênfase exclusiva nos estudos experimentais, que seria o método adequado para a obtencão dos resultados corretos. Os anos (e muito investimento de pesquisadores) trouxeram de volta o bom senso: surveys podem representar problemas para inferências causais, mas os estudos experimentais também não estão livres de sérios problemas. O principal deles é o apontado por Claudio, relacionado com a diferenca entre experimento em pequenas dimensões e implantacão de política pública em larga escala. Há outras limitacões importantes nos experimentos, que fogem ao veio principal desta mensagem.
No ano passado, o Institute of Education Sciences aprovou um grande financiamento para que pesquisadores estudassem o tema da reforma da high school de Chicago, a despeito de os pesquisadores argumentarem explicitamente acerca da inadequacão de randomised trial study face a seus objetivos. Isso seria impensável cinco anos atrás. Consultei hoje a página do IES e observei que o cardápio está muito mais plural.
