Ser ingénuo.

Nuno Crato acabou de afirmar na Assembleia da República que os exames por vezes não fazem mais do que verter "convicções ideológicas (sic) sobre a aprendizagem centrada no aluno".
Não tenho a certeza do que será uma convicção ideológica, mas o Sr. Ministro, assumindo o carácter pernicioso da coisa, estará seguro de não a possuir também?

Por que motivo falar de avaliação é um trabalho de Sísifo (em Portugal)?

Porque vale tudo menos o método.

Começam amanhã as provas de aferição para o 1º e 2 º ciclos do Básico. Como qualquer instrumento padronizado de avaliação, há regras que têm de ser comuns a todas as circunstâncias.Por isso há apenas uma prova. Por isso os professores-classificadores passam por um processo de treino e certificação. Por isso há critérios unívocos de classificação e por isso há um Manual do Aplicador.

Sem consistência na aplicação e classificação não há fiabilidade. Sem fiabilidade não há validade nem comparabilidade, só a aparência (cínica) de se ter passado por um momento solene de "rigor", "responsabilização", "reconhecimento das aprendizagens", {inserir chavão aqui}.

No entanto, no entanto (como gosta de dizer o Prof. Jorge Miranda), do que se fala na véspera? Da representatividade do constructo? Do processo de criação e pilotagem das provas (para que não aconteçam lapsos como os do passado)? Da escolha dos tipos de itens incluídos nas provas e da sua validade de um ponto de vista cognitivo? Nop. Fala-se do desrespeito pela classe profissional.

Para Mário Nogueira é atentatório da dignidade dos professores, um atestado de menoridade às suas capacidades, que haja um documento que padroniza a linguagem que devem usar na aplicação das provas. E mais não disse. Veremos o que dirá nos próximos dias sobre os aspectos metodológicos das provas. Porque com toda a certeza que para se ser presidente de uma federação de sindicatos de professores há que, pelo menos em algum momento da vida, ter sido professor e, para isso, saber um niquinho que seja de avaliação educacional. O contrário seria um atentado de menoridade à inteligência dos cidadãos. E isso Mário Nogueira não faz. Nem quando, com toda a honestidade de raciocínio de que é capaz, associa este manual ao "desrespeito com que esta equipa ministerial tem vindo a tratar os professores".

E é uma tristeza que isto se passe assim porque mais uma vez o debate em torno das provas de aferição vai ser sobre tudo menos sobre o que é realmente curial: o método. E sobre o manual, cuja existência por si só já é de louvar, muito haveria a dizer: por exemplo sobre o vocabulário e a fraseologia empregues, cuja adequação a mim (que não sou professor do 1º ciclo do Básico) me causa algumas dúvidas.

Mas deixemos lá isso. O que interesa é adequar métodos e dados aos resultados, sobretudo os de "dignidade" dos professores. Disso cura e sabe Mário Nogueira. Para isso, vale tudo. Menos o método.

Do Magalhães e da Fé.

Depois do lançamento do Magalhães, há já quase um ano, muito se escreveu sobre o folclore associado ao mesmo. Os episódios sucederam-se: a máquina nacional que afinal é concebida nos EUA, fabricada em partes por esse mundo fora e montada à pressa em Portugal, a distribuição em que se 'desofereciam' as máquinas depois de os media abandonarem a cerimónia, as acções de formação com direito a ‘oficinas de aprendizagem’ em que se compunham odes ao Magalhães, os assessores ministeriais que fazem o seu 'assessoral' trabalho no Magalhães, o caudilho sul-americano que se congratula com a robustez física do equipamento, as crianças que cobiçam (sabe Deus com que desespero) as máquinas que não têm e que o colega exibe.

Folclore à parte, o último episódio seria a gota de água que faria transbordar o copo de uma história isenta de episódios edificantes, não fora o facto de, aparentemente, já ninguém esperar que nada de positivo venha do Magalhães, do Ministério da Educação e, supõe-se, de quem tem de gerir os negócios da nação. A história resume-se em duas linhas: o Magalhães é distribuído com o sistema operativo Caixa Mágica (um dos muitos derivados do GNU/Linux) que inclui um programa, dito didáctico, com erros de gramática chocantes. Há muitas maneiras de olhar para a questão, muitos argumentos e contra‑argumentos a esgrimir mas o facto é que, num país em que se impõe a certificação dos manuais escolares, o mais ‘revolucionário’ dos instrumentos pedagógicos, distribuído pelo próprio Ministério da Educação, tem conteúdos escritos por gente iletrada em Português. Isto deveria ser o suficiente para alguém perder o emprego mas como veremos não é.

O equívoco

Saíram os resultados das provas da primeira fase e as reacções, abençoada coerência, seguem o tom das últimas semanas. Escândalo: prova demasiado fácil, tempo a mais para fazer a prova de Matemática, a comparabilidade com anos anteriores é impossível, o ME manipula as estatísticas, até se fazem comparações com regimes políticos pouco recomendáveis.

Pena é que não se façam as perguntas certas. Sobretudo, que as associações de ‘classe’ ou de ‘profissionais’ não façam as perguntas certas em público, e que sejam consequentes com a análise que fazem. É certo que, tendo-se aumentado o tempo para a prova de Matemática por exemplo, o conteúdo da mesma e a dificuldade dos itens incluídos se mantendo iguais, em tese o desempenho médio dos alunos deveria ser superior ao de anos passados. Sabem, coeter paribus, como gostam muito de dizer os economistas: todas as outras coisas se mantendo iguais, deve ser (o que não garante que seja) esta variável a fazer a diferença. O problema é que não estamos em situação de coeter paribus e, portanto, qualquer inferência que se tire destes resultados é pura especulação. Poder-se-ia fazer uma investigação estatística, com análises de regressão e tudo o mais, para estimar a influência de diversos factores nos resultados deste ano (conteúdo da prova, tempo disponível, plano nacional de matemática, uso de explicadores, banco de itens disponibilizado pelo GAVE e provas intermédias) mas o facto é que esses dados não são públicos (a existirem é o ME que os tem e não estão livremente acessíveis) e dado o clima, que anda melodramaticamente crispado, ninguém estaria de acordo com a análise que saísse de tais dados.

Mas o facto subsiste: qualquer inferência sobre o que provocou esta subida de resultados a Matemática será sempre especulação, porque os dados não são públicos e as variáveis a mudar de ano para ano demasiadas. E quando digo qualquer é mesmo qualquer: sejam as inferências que a Ministra faz (mais trabalho nas e fora das escolas, provas intermédias e este exame é que está bem feito, não os dos anos anteriores), sejam as que saem de analistas diversos, considerados mais ou menos ‘especializados’ nestas coisas de ensinar e avaliar (conceito que se insiste em não definir cabalmente neste contexto).

É aqui que reside o equívoco: não importam os resultados médios dos exames, importa saber o que significam. O que é ter 14 num exame de Matemática e 9.7 num exame de Português? Qual é o significado destes dois números em termos de a) desenvolvimento da competência, tal como é definida no programa que serve de constructo ao desenvolvimento do teste, e b) em termos de previsão de desempenho futuro dos alunos na utilização dessas competências, nomeadamente em contexto de formação superior? Score meaning and use, como um senhor chamado Samuel Messick definiu os conceitos. O que temos de saber, mesmo e com bom grau de certeza, é se os testes são válidos para os usos que lhe dão: certificar competências, através da aprovação, e seleccionar pessoas para uma formação superior. Com estes dados e com estas perguntas e críticas desviadas do essencial nunca o saberemos.

Os testes de Matemática dos últimos três anos são incomparáveis? Talvez, tendo em conta a questão do tempo para a resposta, mas o conteúdo terá mudado assim tanto? E os testes de Português? O que medem? São, de facto, perguntas pertinentes. Mas não se respondem SÓ com a atitude a que temos assistido nas últimas semanas: “são demasiado fáceis, porque nós que somos especialistas da ‘matéria’ X dizemos que sim só de olhar para eles” ou, o seu oposto, “não são demasiado fáceis, porque nós que somos especialistas governamentais desta coisa de avaliar dizemos que não são”. Tautologias puras, inúteis e perigosas, porque nos distraem do muito trabalho que tem de ser feito.

Assim sendo, aproveito para deixar aqui duas perguntitas para ajudar a redireccionar a conversa, uma para o director do GAVE (que não conheço) e outra para todos aqueles que criticam o ‘nivelamento por baixo’ que os exames pressupõem (que não os conheço também, tirando o meu padeiro, que acha que isto agora é só facilidades):

a) Senhor director, que teoria da avaliação o GAVE segue e como estima os índices de dificuldade, discriminação e fiabilidade de cada um dos itens de exame e dos exames completos?;

b) Senhores especialistas, são capazes de definir um padrão de desempenho mínimo que os alunos do 12º Ano devem demonstrar nas vossas áreas de estudo e estabelecer uma métrica fiável, válida e justa que o permita aferir?

Mas afinal vamos lá a saber, o que é avaliação?

Ainda pensei em fazer uma coisa à diálogos de Platão, mas andar às voltas com o template do blogue é uma coisa, emular filósofos é outra. 'Portantes'... Que coisa é avaliação? Ou avaliar? E já aqui vai um bom problema: produto ou processo? Como olhamos para a coisa? E será possível defini-la sem recorrer a usos da avaliação?

Vai parecendo que não. Aqui escolhe-se responder à questão do 'para que serve'. Aliás, para que serve uma 'prova de avaliação'. Ora aqui está outra questão catita: avaliação será essência ou característica? Há provas que não de avaliação? E o que distinguirá uma prova de um exame e de um teste? De avaliação, claro está...

Já chega de perguntas. A seguir seguem duas reflexões sobre a noção de avaliação. Ironia das ironias, aquilo que numa é definição, noutra é "permissão". Especialistas! Basta de definições difíceis!