Skip to content

Atelier 2 : Pré-évaluer son travail à l'aide de l'IA générative

Introduction

Lors du précédent atelier, nous avons élaboré le contenu théorique et pratique destiné à nos élèves pour un cours spécifique. L'objectif de cet atelier est d'évaluer le travail réalisé précédemment et de vérifier que la matière est bien compréhensible par les élèves.

Nous allons réutiliser les documents de l'atelier précédent!

Objectifs de l'atelier

  • Vérifier que le contenu du cours est clair et accessible pour les élèves.
  • Simuler la présentation du cours à l’aide de l’IA avant de l’animer en classe.
  • Trouver des idées pour évaluer les élèves sur la matière abordée.

Défis de l'atelier

  • Obtenir des résultats clairs et justifiés grâce à l'IA.
  • Comprendre et valider le raisonnement suivi par l'IA.

Evaluer le travail de l'enseignant

Dans ce chapitre, nous allons nous concentrer sur l’évaluation de la pertinence et de la clarté du contenu généré lors de l’atelier précédent. Nous réutiliserons les documents produits précédemment et les comparerons aux objectifs du cours ainsi qu'au Persona des élèves afin d’évaluer la qualité de notre travail.

Par rapport aux objectifs du cours

La première question à se poser est de vérifier si les différents documents destinés aux élèves (PDF du cours et slides) sont bien alignés avec les objectifs définis pour le cours.

Je donne un cours sur [INSERER TITRE DU COURS]. Les objectifs sont les suivants:

[INSERER OBJECTIFS DU COURS]

Peux tu me dire si le fichier que j'ai téléchargé est bien aligné avec les différents objectifs du cours?

Tâche N°1

A l'aide du modèle de prompt ci-dessus et des différents documents réalisés lors du premier atelier. Vérifiez que les slides ainsi que le PDF théorique du cours soient bien alignés avec les objectifs.

Par rapport aux Persona des élèves

Maintenant que nous avons vérifié si nos documents de cours sont correctement alignés avec les objectifs, nous pouvons nous intéresser à la manière dont les élèves percevront le contenu. Pour cela, plusieurs approches sont possibles :

  1. L'approche "roleplay" : demander à l'IA de se mettre dans la peau d'un élève en utilisant le Persona, puis lui poser des questions sur la matière pour évaluer sa compréhension.
  2. L'approche analytique : demander directement à l'IA d'analyser le matériel de cours et d'identifier les éventuelles difficultés ou problématiques que pourrait rencontrer le Persona de l'élève.
  1. Initialisation: 
    Je suis ton enseignant pour le cours [INSERER TITRE DU COURS]. 
Durant toute notre discussion tu joueras le rôle de l'élève dont j'ajoute le persona ci-dessous.

[INSERER PERSONA ELEVE]
  2. Exemple de questions à lui poser par la suite (il est possible de faire pareil avec le PDF du cours ou les exercices pratiques): 
    Voici les slides du cours.
As-tu des questions à ce sujet? Des points que tu ne comprends pas bien et qui méritent clarifications?

Je donne un cours sur [INSERER TITRE DU COURS].

Attaché tu trouvera les différents documents que  je vais présenter à mes élèves:

1. Le PDF du cours.
2. Les slides du cours.

En analysant le persona de l'élève type que je joins ci-dessous. Indique-moi si certains de mes documents
sont incomplets ou ne sont pas compatible avec la manière de fonctionner du Persona.

[AJOUTER PERSONA]

Tâche N°2

Essayez la méthode roleplay ou la méthode directe pour valider vos documents de cours au près du persona de vos élèves.

Exemple d'utilisation du Roleplay pour le cours sur l'éducation aux médias et à l'esprit critique

Exemple d'utilisation de la question directe pour le cours sur la cuisine et les recettes du quotidien

Evaluer le travail des élèves

Après avoir validé la compréhension de la matière avec l’aide d’un élève type, nous allons maintenant explorer comment utiliser l’IA pour évaluer les connaissances acquises par un élève.

Générer des questions d'évaluations

Comme nous l'avons vu précédemment, ChatGPT est un excellent outil pour résumer un contenu et en extraire les informations clés. Pour cette raison, il peut également être très utile pour proposer des idées de questions à poser lors d'un examen et ainsi faciliter sa préparation.

Télécharger sur l'outil le document PDF du cours et adaptez le prompt suivant: 

A l'aide du document de cours téléchargé ainsi que des objectifs du cours et du persona de l'élève type qui sont présent ci-dessous.
Génère-moi une série de question que je peux poser à un élève lors d'un examen. Fournis-moi les réponses également.

#Objectifs:

[INSERER LES OBJECTIFS]

#Persona:

[INSERER LE PERSONA]

Tâche N°3

A l'aide du modèle de prompt ci-dessus. Essayez-vous à la génération de questions d'examens théoriques.

Exemple de questions pour le cours sur l'éducation aux médias et à l'esprit critique

Exemple de questions pour le cours sur la cuisine et les recettes du quotidien

Le prompt ci-dessus donne de bons résultats, mais il ne permet pas de contrôler le type de questions générées, qui tendent souvent à être similaires. Pour obtenir une plus grande variété et mieux maîtriser le niveau taxonomique des questions (crédit à Antoine), il est préférable d’enrichir notre prompt comme ci-dessous:

Télécharger sur l'outil le document PDF du cours et adaptez le prompt suivant: 

A l'aide du document de cours téléchargé ainsi que des objectifs du cours et du persona de l'élève type qui sont présent ci-dessous.
Génère-moi une série de question que je peux poser à un élève lors d'un examen.

Ces questions doivent être:
    * Sur les niveaux connaissance, compréhension et application de la taxonomie de Bloom.
    * Crée le moins de questions pour le niveau connaissance. Elles sont là juste pour mettre en jambe les élèves.

Fournis-moi les réponses également. 

#Objectifs:

[INSERER LES OBJECTIFS]

#Persona:

[INSERER LE PERSONA]

Tâche N°4

Essayez la version améliorée du prompt et noter les différences principales.

Ce qui semble donner des questions et un examen qui font plus sens.

Générer des évaluations pratiques

En reprenant l'exemple sur la réalisation de la partie pratique d'un cours de l'atelier précédent, nous pouvons l'adapter pour la réalisation d'un examen pratique à nos élèves.

  1. Génération d'idées 
    Je joins à ce message un document contenant la théorie de mon cours sur [INSERER LE TITRE DU COURS].

En se basant sur le document, je désire avoir des idées d'exercices pratiques en lien avec la matière pour mes élèves.

Je veux que ces exercices soient adaptées à leur niveau et qu'ils soient en lien avec des exemples 
concrets et qui leur parlent. Tu peux utiliser le Persona des élèves ci dessous pour t'assurer de ce point.

Persona(s) des élèves:

[AJOUTER LE(S) PERSONA(S)]
  2. Approfondir une idée: 
    Je désire faire l'exercice [POINTER VERS L'EXERICE EN QUESTION] comme examen pratique.

* Ecris-moi une consigne à donner aux élèves pour qu'ils comprennent ce qu'il doivent faire.
* Propose-moi une grille d'évaluation que je peux utiliser pour noter les élèves.
* Ecris-moi une liste de choses que je dois réaliser/trouver en tant qu'enseignant pour mener à bien l'exercice.

Tâche N°4

Essayez le modèle de prompt ci-dessus pour l'ébauche d'un examen pratique.

Exemple d'examen pratique pour le cours sur l'éducation aux médias et à l'esprit critique

Exemple d'examen pratique pour le cours sur la cuisine et les recettes du quotidien

La zone grise de la correction automatique à l'aide de l'IA

Prendre une décision automatiquement à l'aide d'une IA est aujourd'hui un sujet à la fois très actuel et très controversé. Sur le plan légal, le cadre est relativement bien défini. Un concept revient particulièrement souvent : celui de transparence.

La transparence signifie qu’il doit être possible de comprendre pourquoi une IA, comme ChatGPT, a pris une décision et d’expliquer les raisons qui ont conduit à ce résultat.

C’est un domaine de recherche extrêmement actif. Bien que l’on nous présente ChatGPT comme un système capable de "raisonner", cela relève en grande partie du marketing. En réalité, tant le raisonnement que la transparence de ces systèmes sont encore à leurs débuts. Même si les progrès sont rapides, il est aujourd'hui inconcevable d'utiliser ChatGPT pour noter automatiquement des élèves.

Une des raisons principales que vous pouvez facilement expérimenter est que si l’on pose deux fois la même question à ChatGPT, il est probable d'obtenir deux réponses différentes. Même si ses réponses restent souvent correctes, cette variabilité introduit une part d’aléatoire dans son "raisonnement", rendant toute confiance aveugle impossible.

En l’état actuel, l’IA peut être un outil d’aide, mais pas un décideur

En résumé, il est possible d’utiliser ChatGPT en appui pour évaluer un travail, mais cela nécessite de vérifier manuellement chacune de ses décisions. Ce qui, en pratique, limite grandement son intérêt pour l’évaluation. L'évaluation automatique par IA n'est donc pas envisageable actuellement, mais son usage en tant qu’outil de pré-évaluation pourrait être pertinent, notamment pour exploiter sa capacité à analyser rapidement un texte.

Cela suppose néanmoins plusieurs conditions :

  • La matière doit être adaptée à l'analyse par ChatGPT (par exemple, il ne saura pas juger si une mousse au chocolat est bien réalisée).
  • Les réponses attendues doivent être très précises avec très peu de variations autorisées.
  • Les critères d’évaluation doivent être clairs, précis et le plus souvent binaires, sans place pour l’interprétation.
  • Les réponses peuvent être facilement lisible par l'agent IA (pas de scans, d'écriture manuscrite, ou de photos).

Quelques exemples de questions d'examens où un agent IA peut être utile:

  • QCM (avec une réponse unique ou très fermée, mais franchement à quoi bon?) : ChatGPT peut vérifier la correspondance entre une réponse attendue et celle fournie.
  • Questions à réponse courte : "Donnez la définition d’une cellule eucaryote". ChatGPT peut détecter si la définition attendue est présente.
  • Correction de petits textes structurés : "Rédiger une courte lettre de motivation". ChatGPT peut vérifier la présence des éléments obligatoires (introduction, motivation, formule de politesse...).
  • Analyse de mots-clés dans une réponse : vérifier que des termes-clés comme "Révolution industrielle", "urbanisation", "innovation technologique" apparaissent bien.

Aucun des examens que nous avons réalisé plus haut ne s'adapte parfaitement au cas de figure. Pour cette dernière partie de l'atelier nous allons changer de sujet de cours pour s'intéresser à un examen d'histoire réaliser par des étudiants:

Tâche N°5

Analysez les différents documents.

Nous allons maintenant demander à ChatGPT de faire une analyse sommaire des réponses des 3 élèves à l'aide d'un prompt plutôt laborieux. 

Le document que je joins contient les réponses de mes élèves à un examen d'histoire sur la révolution française.

Je veux que tu me crée un tableau récapitulatif qui contient pour chaque élève:

* Si à la question 1, l'élève à choisit l'option B.
* Si à la question 2, l'élève à choisit l'otion C.
* Si à la question 3, l'élève dit bien que c'était Louis XVI, ou Louis 16.
* Si à la question 4, l'élève donne pour réponse Marie Antoinette.
* Si à la question 5, la réponse donnée est la déclaration des droits de l'homme et du citoyen.
* Si à la question 6, l'élève donne pour cause la Crise économique ou la famine.
* Si à la question 6, l'élève donne pour cause les inégalités sociales.
* Si à la question 7, la condamnation à mort de Louis XVI est bien citée.

Pour la partie 3 indique mois si les propos suivant sont mentionnés:

* Pour la question 9 : Les principes de liberté et d'égalité; la date du 26 aout 1789.
* Pour la question 10 : L'utilisation intensive de la Guillotine; la date de la mort de Robespierre en juillet 1794.

Tâche N°5

Utiliser le prompt ci-dessus ainsi que le PDF contenant les réponses des étudiants.

Analysez les réponses fournient par ChatGPT. Qu'en penser? Je laisse à chacun le décider.