L’IA est-elle en train de torpiller les évaluations en formation ?

J’ai eu plusieurs retours suite au dernier article sur l’IA (celui-ci). J’y abordais la question des agents conversationnels (ChatGPT en particulier), et cela a entraîné bien des discussions intéressantes. Et parmi les retours, il y a souvent en filigrane la question de l’évaluation : comment faire si tout le monde peut obtenir n’importe quelle réponse en quelques secondes ? Comment demander des textes à des personnes qui peuvent les faire rédiger par une IA ? Pourquoi proposer une évaluation des connaissances quand on risque finalement d’évaluer… la machine ? En d’autres termes, la question qui est posée, c’est celle de l’intégrité des évaluations à l’ère de l’IA, et celle aussi de la fidélité de l’évaluation par rapport aux compétences réellement acquises. 

Pourquoi on sent une menace ?

Dans un premier temps, on pense immédiatement au risque de triche. On propose une évaluation dans notre formation, et paf, notre groupe utilise l’IA pour produire une réponse. Or, soumettre une réponse que l’on n’a pas produit, c’est… de la triche. Et du plagiat (oui, c’est du plagiat même si on a volé notre production à une IA et pas à une personne). Or, éthiquement, on ne peut pas accepter ça, d’autant plus si on donne une formation certifiante. Cela contreviendrait, en effet, aux conditions d’obtention de la dite certification.

En filigrane de ce raisonnement, il y a la question de ce qu’on évalue, et/ou de qui on évalue : si on applique notre barème de correction à la production d’une IA, comment s’assurer que la personne qui a soumis cette production dans le cadre de la formation a acquis les compétences liées à cette formation ?

Et enfin, à force de soumettre lors des évaluations une production qui n’est pas la sienne, notre groupe ne risque-t-il pas de perdre en compétences analytiques ? Le manque d’exercice d’un esprit critique, le fait de déléguer le raisonnement à une IA plutôt que de le faire soi-même, et l’absence d’engagement dans le processus d’évaluation pourrait en effet aboutir à des difficultés, à terme, dans des tâches impliquant un travail cognitif important.

On en oublierait presque qu’il peut y avoir de beaux avantages à l’utilisation de l’IA

Parce que l’IA, qu’on se le dise, ça peut être très chouette. Je ne vais pas relister les utilisations possibles de l’IA pour nous qui offrons des formations, mais concentrons-nous ici sur l’évaluation uniquement. Un gros avantage de l’utilisation de l’IA, c’est que cela nous permet d’automatiser nos corrections. Et oui, l’IA peut corriger pour vous ! Avouez que ça fait rêver, si, offrant des formations certifiantes avec évaluations formatives et sommatives au programme, vous avez déjà passé quelques soirées à vérifier les réponses à des quiz jusqu’à voir flou.

Alors attention, je ne dis pas que c’est toujours pertinent.

Pour bien des évaluations, on voudrait probablement s’en charger soi-même.

Particulièrement celles nécessitant une rétroaction précise ou les évaluations sommatives impliquant des développements écrits.

Par contre, grâce à l’IA, on peut tout à fait imaginer des évaluations formatives automatisées, comme des quiz offrant des rétroactions au fur et à mesure. Ainsi, les personnes réalisent le quiz, ont une rétroaction à chaque réponse donnée, et peuvent réaliser l’évaluation à plusieurs reprises pour s’améliorer. De votre côté, vous vous dégagez ici du temps pour faire des tâches qui nécessitent votre présence et votre expertise : accompagnement individuel, reprise de certaines notions pas complètement comprises, activités d’interaction, etc. Voilà qui est plutôt chouette, non ?

Et puis, l’IA, c’est un superbe outil pour l’individualisation des formations. Grâce à sa capacité analytique, et à sa rapidité et sa réactivité (avouons-le, meilleures que les nôtres), elle peut faciliter l’adaptation des évaluations aux besoins individuels. Elle analyse les productions, mais aussi peut proposer des plans d’accompagnement individualisés, rendre des documents plus accessibles à certaines façons de traiter l’information, ou encore proposer plusieurs versions d’une même évaluation. Voilà un gain de temps précieux pour nous, mais également un gain pour la montée en compétence de nos groupes !

L’occasion de repenser les évaluations

Commençons cette réflexion par une question simple, bien que fondamentale : qu’est-ce que c’est, le but d’une évaluation ? Il y en a plusieurs, qui dépendent de la formation que vous offrez (certifiante ou non, par exemple) et du moment où vous évaluez au cours de la formation (à la fin, par exemple, au début pour le positionnement, ou encore au fur et à mesure de l’enchaînement de séances) :

• vérifier l’atteinte de l’objectif : à la fin de chaque séance et/ou séquence, on s’assure que le groupe a atteint les objectifs pédagogiques visés

• délivrer une certification ou un diplôme : à l’issue de la formation, on cherche à savoir si chaque personne a acquis les compétences du référentiel lié à la formation

• connaître les pré-acquis : en amont de la formation ou au tout début, on évalue les compétences et connaissances préalables, afin de pouvoir adapter la formation et de s’assurer qu’elle correspond bien au parcours individuel de la personne.

Alors effectivement, pour ces trois raisons, l’utilisation de l’IA pour produire ce qui sera évaluer peut poser problème : on ne sait pas si l’objectif pédagogique a été atteint, on délivre une certification qui ne correspond pas aux compétences réelles de la personne, et on ne peut pas adapter avec pertinence la formation, risquant de perdre la personne en route.

On est d’accord, jusque-là, l’argumentaire ne penche pas en faveur de l’IA.

Sauf que ça pose problème seulement si on évalue la rétention de l’information et la capacité à la restituer, autrement dit, l’apprentissage par coeur du contenu de la formation.

Prenons un exemple : Thérèse est une formatrice qui propose des sessions de formation en communication interpersonnelle en entreprise à un public professionnel des relations humaines. Sa session de formation du jour porte sur la communication non violente (CNV), et doit aboutir à une attestation de formation. Elle propose donc une série d’activités visant à découvrir et appliquer les principes de la CNV et en fin de journée, elle demande aux personnes de rédiger un texte expliquant l’intérêt des principes de la CNV pour la pratique professionnelle, puis de lui remettre pour qu’elle puisse fournir une rétroaction. Une personne dans le groupe utilise ChatGPT pour rédiger à sa place ce texte, et le remet à Thérèse. Cette dernière peut-elle évaluer l’atteinte de l’objectif par la personne ? Non. 

Et en même temps, ça pose la question suivante : est-ce que la mémorisation par coeur des principes de la CNV et leur intérêt dans la pratique est ce qu’on attend vraiment du personnel des RH ? Non plus.

Honnêtement, je ne sais pas vous, mais moi j’aimerais plutôt que ces personnes sachent appliquer ces principes, s’en saisissent et les manient à bon escient. Histoire que ce soit efficace, quoi. 

Donc Thérèse pourrait modifier son évaluation, en proposant une activité de pratique des principes de la CNV, par exemple un jeu de rôle suivi d’une discussion permettant de bien identifier ces principes dans la situation. Son objectif resterait le même, et surtout, l’évaluation deviendrait une activité de formation permettant une acquisition plus en profondeur des principes, tout en le liant directement à la pratique professionnelle et à la réalité du terrain.

Et dans le cas de ce jeu de rôle, ChatGPT n’est plus du tout une menace.

En fait, ChatGPT n’est jamais une menace si on prévoit des activités d’évaluation visant le transfert des compétences à la réalité professionnelle ou personnelle de chaque personne, et ce, de façon pratique. Si on évalue des savoir-faire et savoir-être qui reposent sur des savoirs, et non seulement des savoirs, ça fonctionne très bien. Ce qui, à mon avis, est la raison d’être des formations d’adultes.

Ca change tout, non ?

Quelques pistes concrètes pour votre pratique

Au-delà de repenser vos évaluations pour évaluer les savoir-faire et les savoir-être reposant sur des savoirs, voici quelques pistes pour contourner la “menace IA” dans vos formations :

• En faire votre alliée : si vous évoluez dans un milieu permettant l’accès à une bonne IA, exploitez-la ! Utilisez les agents conversationnels pour compléter les connaissances et confronter les points de vue, comme un outil de brainstorming. Si vous avez beaucoup de moyens, pourquoi ne pas également utiliser l’IA pour proposer des activités en réalité augmentée ou en réalité virtuelle ? L’IA devient alors une alliée de taille pour la pratique !

• Toujours penser transfert des connaissances quand vous construisez vos évaluations : encourgez la pratique, questionnez la théorie par la mise en relation avec les milieux de pratique de vos groupes, proposez des évaluations qui encouragent la réflexion et l’appropriation plutôt que la restitution d’une information mémorisée.

• Proposer des évaluations réflexives : si vous avez des évaluations écrites, posez des questions sur le processus plutôt que des réponses attendues. Par exemple, plutôt que de demander de citer les principes de la CNV, demandez l’écriture d’un paragraphe sur la façon dont les principes de la CNV vont modifier la vision que la personne a de son travail quotidien. Demandez aussi comment la personne a évolué au fur et à mesure de la formation. Enfin, dans une formation demandant du par coeur comme par exemple une formation au logiciel Excel impliquant des formules, proposez une évalution pratique au cours de laquelle la personne explique son processus ou filme son écran en expliquant ce qu’elle fait (des logiciels extrêmement simples d’utilisation permettent de faire ça !).

• Encourager une utilisation éthique de l’IA : rappelez l’objectif de la formation et sa plus-value pour la pratique, expliquez pourquoi la production d’une évaluation entièrement réalisée par l’IA est contre-productive, et insistez sur la responsabilité de chaque personne par rapport à sa formation. Après tout, tout le monde est libre de tirer le meilleur parti de la formation que vous offrez ou non !

• Donner à voir votre propre utilisation de l’IA : rendez claire la façon dont vous l’utilisez, par exemple en expliquant que pour telle partie de la formation, vous avez demandé à l’IA de vous aider dans votre brainstorming ; citez l’IA comme vous le feriez pour un texte issu d’un livre ou d’un article. Proposez des façons d’utiliser de façon éthique et engagez la discussion avec vos groupes sur cette question, afin que ce soit discuté et réfléchi, plutôt que diabolisé. Encadrez l’utilisation de l’IA lors des évaluations.

En résumé

L’IA est un bel outil. Un outil contemporain, un outil qui est un peu partout dans nos quotidiens de formation. On peut lutter contre et avoir peur de ce que ça donnerait, ou on peut la voir comme une occasion d’avoir une vraie réflexion de fond sur la façon dont on évalue. Si la tradition a voulu que pendant des années, on s’assure seulement que les personnes retenaient l’information qu’on leur donnait, la formation d’adultes est un domaine qui évolue, et on n’en est plus là (heureusement !). Repensons donc collectivement l’objectif de nos formations, et saisissons-nous de ce moment pour nous demander à quoi servent nos formations. Et l’IA, à ce moment-là, n’a aucune chance de torpiller nos évaluations.