Educação pode ser mais complexa do que estatística

A capa do caderno "Cotidiano" da Folha de S. Paulo (28/5/2007) deixa um pobre professor inquieto. Ele gosta de dar aulas, de aprender, duvida muitas vezes de seu ofício, de seu bolso, das instituições, mas ao menos uma certeza o move durante seu cotidiano quixotesco. Estudar é bom.
Mas então lê o subtítulo da capa:
"Estudo de economista da USP mostra que criança que sempre recebe ajuda dos pais nos estudos tem desempenho inferior".
Isto lhe soa estranho. Imagine uma mãe adicionando mais uma tarefa em seu atribulado cotidiano: fazer a lição de casa para o filho. Será que ela não sabe que estudar é bom? Ou será que deseja o mal ao sangue do seu sangue? Talvez seja uma questão de ignorância, de falta de educação... São muitas as possibilidades...
O economista é Naércio Menezes Filho, que fez o estudo, a pedido da Folha, com "regressões econométricas a partir do Saeb". As regressões são instrumentos matemáticos que nos permitem encontrar correlações sutis entre variáveis. Elas são úteis quando tentamos observar e quantificar coisas muito complicadas como ecossistemas ou relações humanas.
Uma estranha equação
Uma correlação, por sua vez, é algo do tipo "sempre que A muda, B tende a mudar também". Dito desta forma, parece que a mudança de A causou algo em B. Mas a idéia de correlação não diferencia A de B, a causa da conseqüência. Ou seja, pode ser que B tenha causado A. Ou que ambos sejam conseqüência de C etc. As correlações entre os fatos podem ser interpretadas de diversas formas...
Voltemos, então, à reportagem de Antonio Gois sobre as conclusões de Menezes:
"...o auxílio dos pais nem sempre é benéfico, pois alunos que sempre recebem essa ajuda têm médias menores que os demais".
Neste exemplo, quais seriam as duas variáveis correlacionadas?
A: ajuda dos pais
B: médias nos boletins
Assim, quando A aumenta, B diminui, ou seja:
Frase 1: quando os pais ajudam mais, as médias diminuem.
É realmente uma estranha equação. Para Menezes, ainda segundo a reportagem, "esses dados podem estar mostrando que os pais, em vez de orientar, estão fazendo a lição de casa pelo filho".
Esta é uma interpretação. Haveria outras dignas de menção?
Significados alternativos
Vamos, então inverter A e B, já que se trata de uma correlação.
A frase 2 seria: quando as médias diminuem, os pais ajudam mais.
Não sei para vocês, mas para mim soou bem melhor ao cérebro.
Parece algo mais próximo do que se entende por uma relação entre pais e filhos. Alguns poderiam contra-argumentar dizendo que nas condições precárias do Brasil as relações familiares estão desta ou daquela forma destruídas etc. Mas, segundo a reportagem, Menezes encontrou esta correlação mais intensa nas escolas particulares. É ali que os pais, mais escolarizados, estariam supostamente estudando para os filhos e, com isto, piorando suas médias...
São muitas as interpretações possíveis de um mesmo grupo de fatos. É preciso apontar os significados alternativos nos estudos estatísticos, visto que são tomados como algo "verdadeiro", "provado cientificamente".
O que pensaria uma mãe, afinal, ao ler o subtítulo daquela reportagem?
Informações limitadas
Um professor talvez se sentisse triste. Talvez chegasse a estas mesmas conclusões descritas acima. Ou, quem sabe, perceberia que as questões não são desse economista, desse jornal, ou daquele professor. Elas envolvem a todos nós. E ele escreveria alguma coisa aos seus amigos.
Observações metodológicas:
1. A análise feita aqui é simples como pareceu, e está sujeita a "detalhes da vida"... por isto, foram enviadas cópias a Menezes e à Folha.
2. Uma forma de detectar causa e efeito é inserir o tempo na equação. Talvez isto tenha sido feito. Seria o caso de perguntar a Menezes, então, o grau de consistência dos dados amostrais do Inep, para que pudessem ser decompostos em "fatias" ao longo do ano.
3. Chegamos, com isto, ao terceiro ponto. Os questionários distribuídos para os alunos no Saeb são realmente bastante detalhados, enfocando diversos aspectos familiares relacionados à educação. São questões de múltipla escolha, é bom lembrar. Não sabemos também, ao certo, como foram passados aos alunos.
Segundo o Inep, é recomendada a aplicação dirigida, até porque o analfabetismo funcional é grande:
"Os baixos níveis de desempenho em leitura revelados pelo levantamento anterior apontaram para a necessidade de se adotar a aplicação dirigida dos questionários."
Quanto poderíamos confiar nesses questionários? Ainda no site do INEP encontramos um texto que diz, no último parágrafo:
"Algumas informações sobre o núcleo familiar dos alunos são coletadas nos questionários por eles respondidos, e isso limita a qualidade e a quantidade das informações obtidas."
Aqui parece haver um curioso pressuposto:
Dados provenientes unicamente de questionários respondidos por alunos apresentam informações limitadas em qualidade e quantidade. Isto nos levaria a entender que os dados utilizados por Menezes são limitados. O grau deste limite permanece incerto, ao menos para leigos.