Saíram os resultados das provas da primeira fase e as reacções, abençoada coerência, seguem o tom das últimas semanas. Escândalo: prova demasiado fácil, tempo a mais para fazer a prova de Matemática, a comparabilidade com anos anteriores é impossível, o ME manipula as estatísticas, até se fazem comparações com regimes políticos pouco recomendáveis.
Pena é que não se façam as perguntas certas. Sobretudo, que as associações de ‘classe’ ou de ‘profissionais’ não façam as perguntas certas em público, e que sejam consequentes com a análise que fazem. É certo que, tendo-se aumentado o tempo para a prova de Matemática por exemplo, o conteúdo da mesma e a dificuldade dos itens incluídos se mantendo iguais, em tese o desempenho médio dos alunos deveria ser superior ao de anos passados. Sabem, coeter paribus, como gostam muito de dizer os economistas: todas as outras coisas se mantendo iguais, deve ser (o que não garante que seja) esta variável a fazer a diferença. O problema é que não estamos em situação de coeter paribus e, portanto, qualquer inferência que se tire destes resultados é pura especulação. Poder-se-ia fazer uma investigação estatística, com análises de regressão e tudo o mais, para estimar a influência de diversos factores nos resultados deste ano (conteúdo da prova, tempo disponível, plano nacional de matemática, uso de explicadores, banco de itens disponibilizado pelo GAVE e provas intermédias) mas o facto é que esses dados não são públicos (a existirem é o ME que os tem e não estão livremente acessíveis) e dado o clima, que anda melodramaticamente crispado, ninguém estaria de acordo com a análise que saísse de tais dados.
Mas o facto subsiste: qualquer inferência sobre o que provocou esta subida de resultados a Matemática será sempre especulação, porque os dados não são públicos e as variáveis a mudar de ano para ano demasiadas. E quando digo qualquer é mesmo qualquer: sejam as inferências que a Ministra faz (mais trabalho nas e fora das escolas, provas intermédias e este exame é que está bem feito, não os dos anos anteriores), sejam as que saem de analistas diversos, considerados mais ou menos ‘especializados’ nestas coisas de ensinar e avaliar (conceito que se insiste em não definir cabalmente neste contexto).
É aqui que reside o equívoco: não importam os resultados médios dos exames, importa saber o que significam. O que é ter 14 num exame de Matemática e 9.7 num exame de Português? Qual é o significado destes dois números em termos de a) desenvolvimento da competência, tal como é definida no programa que serve de constructo ao desenvolvimento do teste, e b) em termos de previsão de desempenho futuro dos alunos na utilização dessas competências, nomeadamente em contexto de formação superior? Score meaning and use, como um senhor chamado Samuel Messick definiu os conceitos. O que temos de saber, mesmo e com bom grau de certeza, é se os testes são válidos para os usos que lhe dão: certificar competências, através da aprovação, e seleccionar pessoas para uma formação superior. Com estes dados e com estas perguntas e críticas desviadas do essencial nunca o saberemos.
Os testes de Matemática dos últimos três anos são incomparáveis? Talvez, tendo em conta a questão do tempo para a resposta, mas o conteúdo terá mudado assim tanto? E os testes de Português? O que medem? São, de facto, perguntas pertinentes. Mas não se respondem SÓ com a atitude a que temos assistido nas últimas semanas: “são demasiado fáceis, porque nós que somos especialistas da ‘matéria’ X dizemos que sim só de olhar para eles” ou, o seu oposto, “não são demasiado fáceis, porque nós que somos especialistas governamentais desta coisa de avaliar dizemos que não são”. Tautologias puras, inúteis e perigosas, porque nos distraem do muito trabalho que tem de ser feito.
Assim sendo, aproveito para deixar aqui duas perguntitas para ajudar a redireccionar a conversa, uma para o director do GAVE (que não conheço) e outra para todos aqueles que criticam o ‘nivelamento por baixo’ que os exames pressupõem (que não os conheço também, tirando o meu padeiro, que acha que isto agora é só facilidades):
a) Senhor director, que teoria da avaliação o GAVE segue e como estima os índices de dificuldade, discriminação e fiabilidade de cada um dos itens de exame e dos exames completos?;
b) Senhores especialistas, são capazes de definir um padrão de desempenho mínimo que os alunos do 12º Ano devem demonstrar nas vossas áreas de estudo e estabelecer uma métrica fiável, válida e justa que o permita aferir?
