photo_bandeau_haut
Evaluer la compréhension des textes narratifs au CM
doc INRP
M.Pajean, M.Rémond, D.Beltrami
11/2012

* Ce document est également indexé dans le(s) thème(s) suivant(s) :
Français > Littérature et lecture documentaire > Cycle 3 > Lire, dire, écrire en littérature
Pédagogie générale > Evaluation et suivi des progrès > Cycle 3



le document

Evaluer, une partie intégrante des apprentissages


L’évaluation fait partie du champ scolaire, mais il s’agit d’un concept, à la fois, familier et flou. Pourtant dès l’instant où l’on veut mettre en place une action d’évaluation, le respect d’un certain nombre de procédures est nécessaire pour assurer la qualité de l’évaluation.


Evaluer, un rapport à une norme

Evaluer, c’est porter un jugement de valeur et situer un objet évaluable sur une échelle de valeur déterminée. Il faut définir l’objet à évaluer et tout d’abord cerner le but de l’évaluation.


Cerner le but de l’évaluation

Dès que l’on veut évaluer, d’emblée se pose la question du but que l’on veut faire remplir à cette évaluation. Nos collègues britanniques, grands spécialistes des domaines de l’évaluation (notamment, Black et Wiliam, 2002), distinguent :

- l’évaluation de l’apprentissage, pour rendre compte de ce qui a été appris, et

- l’évaluation pour les apprentissages, pour prendre des décisions affectant, à court terme, l’enseignement et l’apprentissage.

L’évaluation pour les apprentissages est définie comme « Le processus de recherche et d’interprétation des informations utiles aux élèves et aux enseignants, afin d’identifier où en sont les élèves dans leur apprentissage, où ils doivent aller et comment ils peuvent le faire de la meilleure façon» (Black et al., 2002). L’évaluation pour les apprentissages doit permettre d’ajuster l’enseignement pour faire progresser l’apprentissage vers le but fixé, à condition toutefois que les outils d’évaluation aient été suffisamment bien construits pour obtenir des informations utilisables et fiables.


Construire des outils

Préciser les « compétences » visées par l’évaluation fait partie des points de départ de toute évaluation, et conditionnera le choix du matériel et du type de tâche. Si l’on veut évaluer le savoir-lire, il faut définir les composantes de la lecture sur lesquelles va porter l’évaluation, ce qui suppose de se référer à une définition de la lecture. Après quoi, le matériel formant l’outil d’évaluation, appelé aussi protocole d’évaluation, pourra être construit, mais cette construction devra intégrer les paramètres qui contribuent à la qualité générale de l’évaluation.


Les paramètres de l’évaluation

Dans le cas de la compréhension de l’écrit, le matériau support est essentiellement constitué de textes, de natures et de difficultés diverses, dont le choix est déterminant pour la situation d’évaluation et les compétences à évaluer. La tâche que le lecteur doit accomplir est véhiculée par une consigne, une question désignée de manière plus générale par le nom d’item.

  • L’énonciation des tâches

Le rédacteur du protocole d’évaluation doit calculer la formulation de la tâche et respecter des règles d’énonciation. En effet, il faut veiller à hiérarchiser la demande et utiliser une « règle de l’ordre d’importance » ou « règle de mise en relief » (Rémond, 2001, 2005, 2006). En effet, il y a des manières canoniques de rédiger les items : hiérarchiser les informations présentées et indiquer en premier lieu ce qui doit être fait, afin de permettre au lecteur de mieux cibler la tâche qu’il doit accomplir. L’ordre des mots a donc une importance cruciale ; de même, le lexique employé dans la consigne doit être soigneusement choisi car il joue, lui-aussi, un rôle dans la difficulté de la tâche.

En conclusion, si les tâches à résoudre méritent beaucoup d’attention de la part de leurs destinataires, en amont, leurs rédacteurs doivent être particulièrement vigilants car leur énonciation conditionne largement la tâche et sa réussite.


  • Les formats d’items

Pour évaluer la compréhension de textes, deux formats d’items sont majoritairement utilisés : des items fermés et des items ouverts.

Les items fermés se présentent souvent sous forme de QCM comportant la plupart du temps 4 ou 5 modalités (possibilités de réponse) parmi lesquelles figure la réponse correcte ; les autres modalités potentielles de réponse s’appellent les « distracteurs ». Pour pouvoir vérifier la qualité du traitement effectué par l’élève, toutes les modalités (réponse correcte et distracteurs) doivent être calculées avec soin, on en verra des exemples dans nos épreuves. La plausibilité des distracteurs est une variable spécifique aux QCM : plus les distracteurs partagent de traits communs avec la réponse pertinente, plus la tâche est jugée difficile. D’autres paramètres, tels que leur nombre, influent aussi sur la difficulté de la tâche. Pour répondre, il faut décider de la pertinence des propositions de réponses du QCM et en sélectionner une en éliminant de manière raisonnée les autres modalités.

Les items ouverts nécessitent la production d’une réponse écrite impliquant des développements plus ou moins importants. Parfois une justification de cette réponse est demandée. Le codage des réponses doit être prévu au moment même de l’élaboration de l’outil.

  • Difficulté de la tâche

Le niveau de difficulté de la tâche doit être analysé notamment à partir de la complexité des opérations cognitives à mettre en œuvre pour la réaliser. Autrement dit, il faut anticiper les opérations cognitives nécessaires à la résolution de cette tâche. Cette difficulté est conditionnée par divers facteurs dont le type d’appariement à réaliser (Kirsch, Jungleblut et Mosenthal, 1998).

Le type d’appariement à effectuer concerne le traitement qui doit être mis en œuvre pour relier « l’information donnée » dans la question à celle contenue dans le texte. Il concerne aussi le traitement qui mène à l’élaboration de la réponse ou à son identification dans le cas du QCM.

L’appariement entre la question et le texte est influencé par diverses conditions qui contribuent à la difficulté de la tâche : le caractère plus ou moins abstrait de l’information à trouver, le nombre de phrases qui doit être utilisé dans la recherche, le niveau d’inférences à effectuer pour aller de la question au texte et pour identifier l’information requise, le nombre d’informations demandées par la question et leur localisation, le nombre de réponses à fournir.

En résumé, il faut analyser le contenu du matériau, l’énonciation et la clarté des consignes, et anticiper les opérations cognitives en jeu pour traiter efficacement la tâche.

  • Codage des réponses

Le codage des réponses est un maillon important du protocole d’évaluation, lequel comporte trois pôles : le texte (les données), l’item (la tâche), le codage de l’item. Il faut étudier soigneusement les relations entre ces trois pôles, faute de quoi le protocole pourrait souffrir de faiblesse. Même si le lecteur fait fortement intervenir ses connaissances pour traiter les questions les plus difficiles, ce ne sont ni ses connaissances, ni sa mémoire qui doivent être testées, mais sa compréhension du texte. Ceci montre la nécessité d’établir la visée de l’évaluation et de la respecter pour garder sa cohérence à l’épreuve.

Le codage des réponses doit être intégré à la construction du protocole d’évaluation. Dans le cas des QCM, la réponse pertinente est identifiée au moment même de l’élaboration de l’item. Pour chaque question ouverte, il faut prévoir les « réponses » des élèves et préparer leur codage, en se réservant la possibilité d’ajustement en fonction de leurs réponses effectives. Il faut aussi garder à l’esprit qu’au terme de l’évaluation, les réponses devront être interprétées et exploitées au plan des apprentissages. Certaines évaluations internationales proposent des codages progressifs pour des questions complexes, révélant et valorisant des réponses intermédiaires, ce qui se révèle instructif (pour des exemples, voir Rémond, 2007b).


  • Exploiter les protocoles d’évaluation : Comprendre et exploiter les erreurs

« L’évaluation n’est rien sans l’analyse » précise Vergnaud (2001). L’évaluation prend effectivement tout son sens au travers de l’exploitation des données recueillies.

L’écart entre la performance de l’élève et la « norme » fixée au moment de la construction des épreuves doit être interprété. Ceci permet de comprendre la démarche de l’élève, son mode de fonctionnement et, en retour, de piloter ses apprentissages de manière optimale, en exploitant ses « erreurs fructueuses », en inférant leur origine afin de réguler ses apprentissages. En effet, l’erreur porte souvent témoignage de la « logique » mise en œuvre par l’élève (Beltrami et al., 2004 ; Grégoire, 1996 ; Reason, 1990).

Pour que cette exploitation soit réalisable, il faut que l’évaluation contienne des informations rendant possibles des apprentissages ultérieurs et que les enseignants les utilisent pour ajuster leur enseignement et combler l’écart entre la performance constatée et celle qui est souhaitée.

L’apprentissage est un processus actif qui comporte en lui-même des activités de régulation, pouvant être explicites ou implicites. Les travaux menés en Grande-Bretagne par Black et al. (2002) recommandent d’assurer auprès des élèves des retours d’informations (feedbacks) à propos de leur travail d’évaluation. Pour être efficaces, ceux-ci doivent être clairement liés à l’intention d’apprentissage et se focaliser sur la tâche plutôt que sur l’élève afin d’entretenir sa motivation. L’apprenant doit pouvoir comprendre les critères de réussite de la tâche, aussi faut-il lui apporter des éléments à un niveau approprié pour réduire l’écart évoqué précédemment. A partir de l’analyse des « erreurs fructueuses », on peut envisager comment mener l’élève vers le but fixé et aussi de lui expliquer ce but. Ces retours d’informations doivent aussi être utilisés par le professeur pour ajuster son enseignement. Celui-ci sera sensible aux stratégies mises en œuvre, au type d’informations privilégié par l’enfant, à ses représentations de la lecture ou des tâches, à sa mobilisation de connaissances, à la gestion de la tâche et aux aspects métacognitifs.

En effet, « Il est important de faire la distinction entre ce que le lecteur apporte à la lecture et ce qu’il tire de cette lecture » (Sweet & Snow, 2002, p. 25). Chaque lecteur est un faisceau de complexité, il est à la fois unique tout en ressemblant aux autres. C’est pourquoi chaque enseignant a besoin, en premier lieu, d’évaluer chaque élève et d’identifier les circonstances particulières qui influencent sa réussite en lecture pour l’aider à progresser. Avant de construire lui-même des protocoles d’évaluation, il pourra utiliser ceux que nous avons construits et qui sont présentés ici.