Évaluer les évaluations : mea culpa d’un docimologue

En 2008, j’évaluais les autres…

En 2008, dans le cadre d’un projet financé par le programme européen EPEAEK, j’ai été chargé de dresser un état des lieux des systèmes de certification du français accessibles aux citoyens grecs.

Le travail s’inscrivait dans le projet 111004 de l’Université Aristote de Thessalonique, consacré au système grec de certification des compétences linguistiques (Κρατικό Πιστοποιητικό Γλωσσομάθειας – ΚΠγ). La recherche m’avait été confiée par la professeure Aristea-Nikoletta Symeonidou-Christidou, responsable du sous-projet consacré au français.

J’ai réalisé seul la recherche documentaire, l’analyse comparative et la rédaction du rapport, en français. Une traduction grecque a ensuite été produite pour le programme et diffusée dans son répertoire institutionnel.

J’avais recensé huit dispositifs de certification autres que le ΚΠγ, parmi lesquels des systèmes français, suisse, mais aussi grec, notamment PALSO-LAAS. Le rapport s’achevait par une comparaison avec le ΚΠγ.

Mes sources ? Essentiellement les documents que les organismes certificateurs publiaient eux-mêmes : descriptifs, sujets d’examen, consignes, barèmes, référentiels, modèles de certificats…

Mes instruments ? Des critères issus notamment d’un modèle d’évaluation que j’avais élaboré dans ma thèse de doctorat, soutenue deux ans auparavant.

Avec tout cela, je m’estimais suffisamment armé pour porter des jugements sur la qualité de ces dispositifs.

Dix-huit ans plus tard, en relisant mon travail, je me suis demandé : étais-je vraiment aussi bien armé que je le croyais ?

Mea culpa n° 1 – Ce que je ne trouvais pas n’existait pas… ou presque !

Une de mes préoccupations était la transparence des organismes certificateurs. Publiaient-ils leurs procédures de conception, de notation, de révision des sujets, d’analyse des résultats ?

Lorsque je ne trouvais aucune information sur une procédure, je le signalais. Jusque-là, rien à redire.

Mais il m’arrivait d’aller plus loin et de laisser entendre que cette procédure n’était probablement pas garantie, ni appliquée de façon constante.

Or, l’absence de preuve n’est pas une preuve d’absence.

Un organisme peut appliquer des procédures rigoureuses sans les rendre publiques. On peut lui reprocher ce manque de transparence, mais pas en déduire automatiquement une mauvaise pratique.

J’aurais dû distinguer plus systématiquement ce qui était démontré, ce qui était simplement déclaré et ce qui demeurait inconnu.

La nuance est capitale pour tout évaluateur, qu’il examine un dispositif de certification, une méthode d’enseignement ou les performances d’un apprenant.

Mea culpa n° 2 – Une grille ne rend pas automatiquement objectif

Mon rapport regorge de tableaux comparatifs. Des critères, des indicateurs, des +, des –, des ±… Tout cela présente une apparence très rassurante de rigueur.

Mais comment décidais-je qu’une procédure était « suffisamment transparente », « garantie » ou « constante » ?

Les critères étaient définis. Les règles précises qui permettaient de passer de l’observation à la valeur attribuée l’étaient moins.

Deux évaluateurs auraient-ils renseigné les grilles de la même manière ? Rien ne permet de l’affirmer.

Une grille est un outil de structuration du jugement. Elle ne dispense ni de justifier les indicateurs ni d’expliciter les règles de décision.

Cela vaut aussi pour les grilles que nous utilisons quotidiennement pour évaluer les productions écrites ou orales de nos élèves.

Mea culpa n° 3 – Plusieurs compétences dans une même épreuve : forcément un défaut ?

Voici une critique de 2008 que je serais particulièrement tenté de nuancer.

Dans plusieurs examens, je reprochais aux concepteurs de mobiliser différentes activités langagières dans une même tâche : lire un document, en rendre compte oralement, répondre à des questions, argumenter…

Je craignais que cette intégration ne brouille la mesure de compétences censées être distinctes.

L’objection n’était pas absurde. Si un candidat doit lire un texte pour répondre oralement à des questions, une mauvaise performance peut provenir de sa compréhension écrite, de son expression orale ou des deux. Que mesure alors le score ?

Mais considérons une situation parfaitement ordinaire : un employé lit un courriel professionnel, puis téléphone à un collègue pour lui en transmettre les informations essentielles.

Il mobilise naturellement et en même temps plusieurs activités langagières. Pourquoi faudrait-il les séparer systématiquement dans une épreuve de certification ?

Une tâche intégrée peut parfaitement être pertinente, voire plus représentative d’une situation réelle de communication.

Le véritable problème n’est donc pas l’intégration, mais l’interprétation du résultat.

Si l’épreuve vise à mesurer la capacité globale à accomplir cette tâche, l’intégration peut se justifier. Si elle prétend mesurer séparément la compréhension écrite et l’expression orale, encore faut-il que le dispositif de notation permette de distinguer suffisamment leurs contributions respectives.

Autrement dit, j’avais parfois tendance à considérer comme une faiblesse de conception ce qui pouvait relever d’un choix parfaitement défendable, à condition que ce choix soit cohérent avec l’objectif de mesure.

La validité d’une épreuve ne se juge pas à son degré de ressemblance avec un modèle unique d’examen. Elle se juge notamment à la pertinence des interprétations et des usages que l’on fait de ses résultats.

Mea culpa n° 4 – Et le commanditaire dans tout cela ?

Le rapport avait été commandé dans le cadre d’un projet concernant le ΚΠγ. Il était donc parfaitement normal que l’étude des autres systèmes débouche sur une comparaison avec celui-ci.

Mais mes conclusions étaient particulièrement favorables au dispositif grec. Je le présentais notamment comme plus transparent que ses concurrents et parfaitement aligné sur les recommandations du CECR.

N’étais-je pas allé un peu vite ?

Le fait d’être chargé d’une étude par une institution ne condamne évidemment pas le chercheur à la partialité. Mais sa proximité avec le commanditaire peut influencer, parfois à son insu, le regard qu’il porte sur les données.

Je ne prétends pas aujourd’hui démontrer que mes conclusions étaient fausses. Je reconnais simplement que certaines étaient formulées avec un degré de certitude que les données disponibles ne justifiaient pas entièrement.

Un organisme certificateur ne devient pas irréprochable parce qu’il publie beaucoup de documents, pas plus qu’une certification ne devient valide parce qu’elle se réclame du CECR.

Et l’indépendance intellectuelle d’un évaluateur ne se mesure pas à ses seules intentions. Elle doit aussi se manifester dans les preuves qu’il mobilise et dans les limites qu’il accepte de reconnaître à ses conclusions.

Alors, comment évaluerions-nous aujourd’hui ?

Je ne crois pas que tout soit à jeter dans ce rapport. Bien au contraire.

La distinction entre ce qu’un dispositif prétend faire et ce qu’il fait réellement, la transparence des procédures, la lisibilité des certificats et leur utilité sociale demeurent des préoccupations essentielles.

Mais je formulerais aujourd’hui la question autrement.

Dans une étude comparative comme celle que j’avais entreprise en 2008, le recours à une grille de critères communs constituait un choix méthodologique pertinent et économique. Il permettait de soumettre plusieurs dispositifs à un même cadre d’analyse et de faire apparaître leurs différences.

Je ne renoncerais donc pas aujourd’hui à cette démarche. En revanche, je distinguerais plus nettement ce qu’elle permet d’établir – notamment la qualité et la transparence des informations publiées – de ce qui exigerait une investigation approfondie de chaque dispositif.

Car comparer des indicateurs documentaires de qualité ne revient pas nécessairement à démontrer la qualité effective des systèmes comparés.

Pour approfondir l’évaluation d’un dispositif particulier, je chercherais alors à déterminer quelles preuves permettent de soutenir les interprétations de ses résultats et les décisions qui en découlent.

Qu’est-ce qu’une note nous apprend réellement ? Avec quelle incertitude ? Pour quels usages peut-on raisonnablement s’y fier ? Quelles conséquences entraîne-t-elle pour les candidats ?

L’intelligence artificielle rend ces interrogations encore plus pressantes. Lorsqu’un système contribue à produire des sujets, à analyser des réponses ou à attribuer des scores, comment contrôler ses décisions ? Comment repérer ses erreurs et ses biais ? Qui en assume la responsabilité ?

Les instruments évoluent. L’exigence de justification demeure.

Une archive, et quelques questions pour demain

J’ai décidé de remettre en ligne le rapport français original, sans corriger rétrospectivement ses analyses ni ses conclusions.

Il ne décrit évidemment plus l’état actuel des certifications étudiées. Il constitue un document historique, produit dans un contexte institutionnel et scientifique précis.

Je laisse donc au lecteur le soin de découvrir le rapport de 2008, avec ses qualités, ses défauts et ses certitudes parfois excessives.

Et je lui propose, en guise de conclusion, trois questions qui me semblent mériter notre attention :

• Quand nous évaluons, savons-nous toujours distinguer ce que nous avons observé de ce que nous avons inféré ?
• Les critères et les barèmes que nous utilisons rendent-ils nos jugements véritablement contrôlables ?
• Accepterions-nous de soumettre nos propres évaluations à la même rigueur critique que celle que nous exigeons des autres ?

En 2008, j’évaluais les évaluateurs. En 2026, je me retrouve moi-même sur le banc des évalués.

Je bats ma coulpe, certes. Mais je continue surtout à penser que la première qualité d’un évaluateur est d’accepter que ses propres jugements soient évalués.