Modèle conceptuel pour l’évaluation d’un dispositif et application à l'évaluation d'un dispositif multimédia

Auteur : Eric Auziol

Organisme : Université Montpellier 3, département de sciences de l'information et de la communication

Type de document : Notes de cours (texte rédigé par Michel Elie d’après des notes prises pendant l'exposé)

Date : janvier 2003

Résumé : Ce document propose une démarche et un modèle pour l'évaluation d'un dispositif et son application à un dispositif multimédia.

Il propose une démarche en trois étapes :

-  Produire un référent d’évaluation : " ce en fonction de quoi on évalue         

-  Construire le référé : " ce à partir de quoi on évalue "  

- Enoncer un jugement d’évaluation : " dire ce que vaut le dispositif au regard du référent "

Commentaire de l'OUI : Ce modèle fait partie de la base méthodologique du projet AUSSI

1 L’acte d’évaluation

Du point de vue de l’évaluateur, l’acte d’évaluation implique trois opérations articulées entre elles :

1.1 Produire un référent d’évaluation : " ce en fonction de quoi on évalue "

Ce référent dont la responsabilité doit être l’évaluateur constitue une sorte d’image idéalisée du projet par rapport à laquelle sa réalisation effective sera appréciée. Il détermine le dispositif le plus satisfaisant aux yeux de l’évaluateur pour en réaliser les objectifs.

Ce référent comporte entre autres :

- Les objectifs assignés au projet

- Les normes à respecter (techniques, culturelles…)

- Les critères de valorisation des résultats (échelle de valeur…)

Analogie : s’il s’agit d’évaluer un dispositif de justice, le référent est constitué par le cadre législatif et jurisprudentiel.

1.2 Construction du référé : " ce à partir de quoi on évalue "

La construction du référé consiste à choisir les moyens de faire surgir l’information concernant le dispositif et son fonctionnement. Le référé fera appel à :

- Des enquêtes par questionnaires et entretiens

- Des observations

- De la documentation

- Le suivi d’indicateurs

Analogie : dans le dispositif de justice, ce sera le travail du juge d’instruction

1.3 Enonciation d’un jugement d’évaluation : " dire ce que vaut le dispositif au regard du référent "

Le jugement peut être formulé de façon explicite ou implicite, mais il est essentiel à l’opération d’évaluation.

S’il est explicite, il indique les éléments précis sur lesquels il s’appuie.

S’il est implicite il ne dit pas en fonction de quels critères il est porté ce qui ouvre au jugement subjectif, à l’abus de la position dominante de l’évaluateur.

En effet, il y a nécessairement une relation de supériorité de l’évaluateur par rapport à l’évalué, un déséquilibre irréductible base de l’autorité du résultat de l’évaluation.

(C’est d’ailleurs l’un des écueils de la pédagogie que de construire l’autorité du pédagogue sur la crainte de l’évaluation.)

Ce jugement s’il est explicite reposera sur l’examen de critères. Un critère est une notion abstraite, une caractéristique mesurable qui associée à un moyen de mesure permet d’obtenir un indicateur. Un indicateur est la valeur observable prise par un critère en situation.

Analogie : dans le dispositif de justice, c’est la sentence prononcée qui constituera le jugement.

1.4 Diagramme d’évaluation

Les 3 composantes du processus d’évaluation peuvent se résumer dans le diagramme de la figure1 :

1.5 Exemple : la dictée de Paul

Le maître fait faire à la classe de Paul une dictée extraite d’une œuvre d’A. Daudet, pour contrôler l’accord du participe passé avec le verbe auxiliaire " avoir ".

Le référent : les règles d’orthographe et de grammaire

Le référé : La copie donnée au maître, avant correction (le referré a été produit grâce à des outils : papier, stylo, encre…)

Le jugement : la note

Dans le cas où le texte choisi ne comporterait pas d’accord du du participe passé avec le verbe " avoir ", le dispositif serait bien sûr inapproprié aux objectifs.

2 Application à l’évaluation d’un dispositif multimédia

2.1 Décrire le " bon dispositif "

La première démarche sera la " modélisation systémique ", qui permet de décrire le dispositif :

- Ses limites ou frontières : ce qui est en dedans et ce qui est en dehors du dispositif

- Ses finalités : quelles intentions ont présidé à sa mise en œuvre

- Ses éléments constitutifs et les liens qui les relient. Aux liens sont attachées des notions de communication, de circulation, de flux, d’échange d’énergie ou d’information.

L’approche du dispositif technique se fait par les descriptions de ses fonctionnalités (services rendus…). Le " bon dispositif " est celui qui conduira à la meilleure cohérence interne : il correspond à un ensemble pertinent de liaisons.

Une enquête préalable permet de repérer les éléments constitutifs et ceux d’entre eux qui paraissent les plus importants, les éléments critiques : ces éléments constitueront qui sont critiques. Les éléments importants du référent du " bon dispositif " d’expérience peuvent réduisent ne pas excéder une douzaine : ces éléments vont être énoncés dans la charte (ou cahier des charges) de l’évaluation.

2.2 Faire "
parler " le dispositif

Cette étape consiste à déterminer comment produire une information qu’on pourra évaluer : enquêter ou recueillir des indicateurs sur quoi, auprès de qui et comment. Noter qu’on pourra aussi étudier des aspects de dynamique du dispositif, par exemple sa capacité de réaction aux indicateurs les plus importants.

Chaque élément pourra être producteur d’information, mais l’élément susceptible de fournir l’information la plus riche, c’est généralement le public, c’est à dire l’ensemble des personnes affectées par le dispositif (il peut y avoir un public cible " reconnu " et un public " ricochet "qui ne fait pas partie des cibles visées). Toutefois, le résultat de l’évaluation ne doit pas être seulement, comme il arrive souvent, le résultat de l’enquête auprès du public, qui n’en est néanmoins qu’une composante.

On devra chercher à observer et déterminer " la réalité des usages " par rapport à " la potentialité des usages ".

2.3 Formuler un jugement argumenté

Le " jugement " fera apparaître :

- Ce qui présente un intérêt par rapport au référent

- Ce qui au contraire pose problème par rapport au référent

2.4 Application à un dispositif de formation à distance

Si le dispositif à évaluer est un dispositif de formation à distance, on pourra, en première analyse distinguer les éléments suivants :

- Les objectifs généraux

- Le public

- Les concepteurs

- Les formateurs : enseignants, animateurs, tuteurs…

- Les ressources : dispositifs techniques, espace géographique

- Le contenu support : messages, ressources documentaires, archives…

- Le calendrier

- Les résultats : les effets escomptés ou non de la mise en œuvre du dispositif

3 La pratique de l’évaluation

3.1 Evaluation externe

En pratique l’opération d’évaluation est initialisée par une commande. Il est recommandé que le choix de l’évaluateur se porte sur une personne extérieure au dispositif évalué et qui ait un minimum d’intérêt personnel par rapport au résultat de l’évaluation, de façon à garantir une meilleure objectivité du jugement.

L’évaluateur devra veiller à mettre en place une instance de régulation de l’évaluation (par exemple un comité de pilotage) dans laquelle tous les acteurs sont représentés : ainsi il pourra tester la façon dont ses analyses et ses conclusions sont reçues et en restituer les résultats (ce qui en est dit, ce qui en est publié…) d’une façon acceptable pour la majorité des acteurs.

Il arrive que la perspective d’une évaluation externe suscite une autoévaluation de certains groupes d’acteurs pour pouvoir mieux argumenter face à l’évaluateur. Dans ce cas l’évaluateur a intérêt à chercher à intégrer positivement ces autoévaluations à son propre plan d’évaluation.

3.2 Evaluation interne

Une situation d’évaluation interne où l’évaluateur est membre de la structure à évaluer est à éviter : en effet l’évaluateur impliqué dans les conséquences des résultats de l’évaluation risque de faire passer son intérêt personnel avant les enjeux de l’évaluation.

3.3 Tableau de bord

L’évaluation peut conduire à la constitution d’un tableau de bord comportant des variables sous observation qui fournissent régulièrement au pilote des indicateurs. Certains de ces indicateurs, dits indicateurs stratégiques demanderont une surveillance particulière et un temps rapide de réaction lors de franchissement de seuils critiques.