SYMPOSIUM B
Salle 2
Regards professionnels sur l’évaluation des compétences : gouvernance, conception et rigueur dans les examens professionnels
Responsable
Brigitte Deslandes
École du Barreau du Québec
Présentation générale
Dans le cadre des professions réglementées, les examens professionnels jouent un rôle central dans la protection du public et la crédibilité des mécanismes de régulation. Ils constituent un moment déterminant dans le parcours d'accès à la profession, puisqu'ils permettent d'attester que les candidats possèdent les compétences nécessaires pour exercer de manière sécuritaire, éthique et conforme aux normes de la profession.
Dans ce contexte, les organismes de régulation et les ordres professionnels sont appelés à développer des dispositifs d’évaluation qui soient valides, équitables, rigoureux et transparents. La conception et la gestion des examens professionnels soulèvent toutefois plusieurs enjeux complexes : alignement entre les référentiels de compétences et les épreuves, qualité des items, utilisation des indicateurs édumétriques, gestion des accommodements, sécurité des examens et gouvernance des processus décisionnels.
Ce colloque propose de réunir des acteurs issus de différents ordres professionnels et organismes régulateurs afin de partager des pratiques, des outils et des réflexions sur les différentes dimensions de l’évaluation des compétences dans un contexte professionnel. À travers des présentations et des ateliers pratiques, les participants seront invités à explorer les enjeux liés à la gouvernance des examens, à la conception des épreuves, à l’analyse des résultats et à l’amélioration continue des dispositifs d’évaluation.
En favorisant le dialogue entre praticiens et spécialistes de l’évaluation, cette journée vise à contribuer au développement de pratiques d’évaluation, tout en renforçant la capacité des organisations à assurer la qualité et l’intégrité de leurs examens professionnels.
Programmation du symposium B
Jeudi 19 novembre
Salle 2
Bloc 1 et 2 (9 h 35 à 12 h 35)
9 h 35 – Mot de bienvenue
Conférence 1
9 h 45 à 11 h 15
Gouvernance des examens : assurer la validité des inférences à partir des scores obtenus aux examens professionnels
Brigitte Deslandes — École du Barreau
Sandy Gosselin — Conseil provincial des comités paritaires de l’industrie des services automobiles
Jessica Deschamps Maheu — Ordre des technologues en imagerie médicale, en radio-oncologie et en électrophysiologie médicale du Québec
Marie Millot — Ordre des ingénieurs du Québec
Alors que les examens professionnels jouent un rôle déterminant dans l’autorisation d’exercer une profession, les organismes de réglementation doivent constamment démontrer que leurs processus d’évaluation permettent de produire des inférences valides sur la compétence des candidates et des candidats. Cette exigence soulève des questions fondamentales : comment assurer l’alignement entre les compétences professionnelles et les instruments d’évaluation? Quels mécanismes de gouvernance permettent de soutenir la qualité des décisions? Comment concilier rigueur méthodologique, équité et transparence?
Cette conférence s’intéresse au cycle complet de développement et de gestion des examens professionnels, depuis l’identification des compétences attendues jusqu’au traitement des demandes de révision.
S’appuyant notamment sur les principes contemporains de validité en évaluation, elle explorera la manière dont les organismes de réglementation traduisent un référentiel de compétences en un système d’évaluation rigoureux.
La présentation abordera ensuite la gouvernance des examens comme levier de qualité et d’intégrité du système. Elle traitera des rôles et des responsabilités des différents acteurs, de la séparation des fonctions, de la structure des comités et de la traçabilité des décisions, afin de soutenir la transparence et la robustesse du processus.
Elle abordera également la gestion des contestations et des demandes de révision en présentant des mécanismes visant à assurer un traitement équitable, rigoureux et documenté, tout en renforçant la confiance à l’égard du dispositif d’évaluation.
Enfin, grâce au regard croisé de différents organismes de réglementation, les participantes et les participants pourront mieux comprendre comment diverses réalités professionnelles influencent la gouvernance des examens, le traitement des contestations et le maintien de la confiance envers les dispositifs d’évaluation.
Conférence 2
11 h 15 à 12 h 30
Rapporter les propriétés édumétriques d’un examen : l’essentiel pour des responsables sous pression et disposant de peu de moyens
Eric Dionne — Université d’Ottawa
En théorie, il est impératif de rapporter les propriétés édumétriques — par exemple, la difficulté et la discrimination des items ainsi que la dimensionnalité — lors de la passation d’examens, surtout lorsque les enjeux sont élevés. En pratique, beaucoup trop d’organisations en font encore l’économie.
Les raisons expliquant cette situation sont multiples. On peut, à tout le moins, évoquer le nombre limité de spécialistes en mesure — sans mauvais jeu de mots! — en mesure de réaliser ces analyses édumétriques, le nombre encore trop restreint d’ouvrages de vulgarisation ainsi que les ressources financières, souvent consacrées en priorité à la conception des items, au détriment de l’analyse des propriétés des examens.
Dans le cadre de cette conférence, nous allons :
présenter les principaux indices normalement rapportés dans les rapports techniques qui synthétisent les données édumétriques de chaque examen;
expliquer ce que chacun de ces indices permet de révéler sur la nature de l’examen;
présenter des arguments montrant que les analyses édumétriques ne constituent pas une dépense, mais bien un investissement.
Dans l’esprit du thème de la session d’études, tous ces éléments seront traités en établissant des ponts entre la théorie — ce que l’on peut lire dans les ouvrages de référence — et la pratique.
Conférence 3
De la conception des items à la notation : pas aussi difficile qu’on le craint, pas aussi facile qu’on l’espère!
13 h 50 à 15 h 20
Eric Dionne — Université d’Ottawa
Les items sont aux examens ce que les mots ou les phrases sont à la langue française. Un texte jugé réussi témoigne, entre autres, d’une maîtrise des connaissances et des techniques, mais cela n’est souvent pas suffisant. Il faut également une certaine dose de créativité, laquelle est souvent difficile à enseigner dans les cours de littérature.
À notre avis, cette métaphore s’applique lorsqu’il s’agit de créer, d’adapter ou de colliger des items qui formeront un examen visant à rendre compte d’un certain nombre d’apprentissages. Les recherches sur la conception des items ont été particulièrement fécondes au cours des dernières décennies, et de nombreuses lignes directrices ont fait leur apparition dans les écrits scientifiques.
En nous appuyant sur ces travaux, nous présenterons d’abord, en rafale, différents formats d’items visant à mesurer ou à observer les apprentissages, des plus simples aux plus complexes. Nous aborderons ensuite des aspects plus méthodologiques, parmi lesquels l’alignement occupera une place centrale. Enfin, nous terminerons notre exposé en mettant l’accent sur les erreurs fréquemment rencontrées lors de la conception des items ainsi que sur les moyens de s’en prémunir.
Conférence 4
15 h 35 à 16 h 45
Gestion des enjeux d’équité et d’accessibilité
Mélissa Bernier — École du Barreau
Les accommodements en contexte d’évaluation soulèvent des questions complexes à l’intersection du droit, de la psychométrie et de la gouvernance des décisions. Comment répondre aux besoins des candidates et des candidats tout en préservant la qualité des évaluations et, dans certains contextes, la protection du public?
Cette activité interactive proposera aux participantes et aux participants des éléments concrets leur permettant de développer un cadre d’analyse applicable aux demandes d’accommodements dans un contexte d’évaluation à enjeux élevés.
À partir des balises légales définies par la Commission des droits de la personne et des droits de la jeunesse (CDPDJ) et du processus d’étude des demandes d’accommodements mis en place à l’École du Barreau, l’activité alternera entre de courtes présentations et des études de cas.
Les participantes et les participants seront invités à analyser les éléments d’une demande d’accommodements afin d’en dégager les enjeux. Les échanges serviront de point de départ à la présentation des principaux repères juridiques relatifs aux droits protégés, à l’analyse individualisée des besoins, à l’obligation d’accommodement et aux exigences essentielles permettant de justifier les décisions.
Au fil des cas étudiés, l’activité alimentera une réflexion sur les limites de l’obligation d’accommodement au regard des compétences évaluées et, plus globalement, de la mission des ordres professionnels.
L’objectif n’est pas d’identifier une « bonne réponse » universelle, mais de développer une démarche rigoureuse permettant de prendre des décisions équitables, cohérentes et justifiables.