ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS 1 Activité CDS #7 Construire et gérer des examens standardisés de qualité : témoignages et réflexions Mardi 30 janvier 2007 Enjeux et facteurs-clés d'une approche qualité en évaluation standardisée : focus sur le modèle de Construction et de Gestion de la Qualité des Tests Standardisés (CGQTS) Jean-Luc GILLES Université de Liège Système Méthodologique d’Aide à la Réalisation de Tests (SMART) Service de Didactique générale et intervention éducative Spin off Assess-Group S.A.
39
Embed
Activité CDS #7 Construire et gérer des examens standardisés de qualité :
Activité CDS #7 Construire et gérer des examens standardisés de qualité : témoignages et réflexions Mardi 30 janvier 2007. Enjeux et facteurs-clés d'une approche qualité en évaluation standardisée : focus sur le modèle de Construction et de Gestion de la Qualité des Tests Standardisés (CGQTS) - PowerPoint PPT Presentation
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 1
Activité CDS #7
Construire et gérer des examens standardisés de qualité : témoignages et réflexions
Mardi 30 janvier 2007
Enjeux et facteurs-clés d'une approche qualité en évaluation standardisée : focus
sur le modèle de Construction et de Gestion de la Qualité des Tests Standardisés
(CGQTS)
Jean-Luc GILLES
Université de LiègeSystème Méthodologique d’Aide à la Réalisation de Tests (SMART)
Service de Didactique générale et intervention éducativeSpin off Assess-Group S.A.
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 2
« Il est frappant de constater que dans la plupart des universités, les enseignants parlent volontiers de leurs recherches, peu de leurs enseignements et quasiment jamais de leurs examens… »
Jean-Louis Ricci (2006)
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 3
Blais & al. (1997)
Debry & al. (1999)
Rege Colet et Romainville, Eds. (2006)
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 4
Vrai o
u fa
uxQCM
Phras
e ou
table
au à
com
pléte
r
Répon
se co
urte
Dévelo
ppem
ent c
ourt
(moin
s d'un
e 1/
2 pa
ge)
Solutio
n de
pro
blèm
e
Démon
strat
ion
Dévelo
ppem
ent lo
ng (p
lus d
'une
1/2
page
)
Autre
s
Tâches d'examen au 1er et aux 2e & 3e cycles à l'Université de Montréal (d'après BLAIS & al., 1997, pp. 48-49)
25%
34%
16%
32%
66%
49%
14%
57%
7%4% 5%
1% 3%
33%36%
17%
30%
7%
0%
10%
20%
30%
40%
50%
60%
70%
1er cycle (n=270)
2e & 3e cycle (n=76)
VF / QCM QROC QROM
QROL
Le besoin : des examens universitaires de qualitéFréquences des modalités de questionnement utilisées dans les examens universitaires (enquête du GRIPU à l’Univ. de Montréal)
1er cycle = 36%2e & 3e cycle = 12%
1er cycle = 64%2e & 3e cycle = 88%
(Blais & al. 1997)
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 5
Répartition des modalités de questionnement dans le 1er cycle FAPSE (année académique 1997-1998)
14
86
11
10
4
30
5
10
15
20
25
30
QCM QROL écrites QROL orales MIXTE (QROL &QCM)
Nom
bre
d'ex
amen
s
2ème Candi
1ère Candi
Enquête à la FAPSE-ULg (DEBRY & al, 1999) :
32 examens avec questions à réponses ouvertes (53%)
25 examens avec questions à
réponses fermées (42%)
1er cycle FAPSE-ULg (1997-1998)
Fréquences des modalités de questionnement utilisées dans les examens universitaires
Le besoin : des examens universitaires de qualité
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 6
Principaux avantages potentiels et inconvénients des questions fermées
- Automatisation questions validité
- problèmes de concor-dances intra et inter-correcteurs fidélité
- Automatisation praticabilité
- …
- Piège des questions
portant sur des détails
- Conception binaire des réponses (sauf si utilisation DC)
- Impuissance à mesurer certaines catégories de performances
Le besoin : des examens universitaires de qualité
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 7
Principaux avantages potentiels et inconvénients des questions ouvertes
- Permettent l’évaluation de performances complexes
- Permettent d’évaluer les objectifs d’expression
- Sollicitations plus proches de celles de la vie quotidienne
- En général peu de
questions pour éviter d’augmenter le temps de correction
- Biais concordance intra et inter-correcteurs
- Ne sont pas socialement neutres
Le besoin : des examens universitaires de qualité
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 8
Culture d’évaluation
Taille du groupe Règlement
pédagogique
La lutte contre une « dissonance pédagogico-docimologique »
La contraintedes disciplines
Quelles contingences orientent les examinateurs vers le choix de questions
fermées ou ouvertes ?
(BLAIS & al., 1997)
Fréquences des modalités de questionnement utilisées dans les examens universitaires
Le besoin : des examens universitaires de qualité
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 9
Quatre facteurs clés pour une approche qualité en docimologie :
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 10
Examens oraux ou écritsExamens standardisés
classiquesExamens standardisés de qualité
Validité de contenuliée à la matièrecouverte
En général peu de questionspour éviter d’augmenter le temps decorrection.
L’automatisation de lacorrection permet d’envisagerun grand nombre dequestions, donc unecouverture large de la matière. Garanties ?
Des procédures d’analyse del’enseignement permettent d’offrir desgaranties en ce qui concerne la couverture de lamatière.
Validité liée auxprocessus mentauxenvisagés
Les questions à réponses ouvertespermettent d’évaluer des certainstypes de performances complexes :créativité, capacité à synthétiser, àdévelopper des raisonnementscomplexes, …
L’examinateur peut tomberdans le piège d’unefocalisation sur des questionsde détails ou sur des questionsn’évaluant que laconnaissance(reconnaissance) de mémoire.
Le recours aux questions à choix multipleavec Solutions Générales Implicites (SGI)« aucune », « toutes », « manque dedonnées dans l’énoncé » et « absurdité dansl’énoncé » permet d’évaluer systématiquementdes processus mentaux plus élevés que lasimple connaissance (LECLERCQ, 1986). Le recours aux pourcentages de certitudepermet d’envisager une évaluation systématiquede la capacité à s’autoévaluer chez les étudiants(LECLERCQ, 1983, 1993).
Fidélité de lacorrection /concordance intra etinter-correcteur
Nombreux biais liés à « l’attitudetypologique de l’examinateur »(PIERON, 1963). Possibilité d’améliorer lasituation à l’aide de techniques tellesque les échelles descriptivesd’évaluation (DE BAL, DELANDSHEERE, BECKERS, 1977),mais augmentation du temps decorrection.
Problèmes de concordanceintra ou/et inter-correcteursrésolus par l’automatisationde la correction.
L’utilisation de feuilles de justificationspermet aux étudiants de justifier certainesréponses. La prise en compte des remarquespertinentes formulées sur ces feuilles dejust ification permet à l’examinateurd’augmenter la fidélité de la correction. Augmentation du temps de correction mêmequand l’examinateur ne lit que les justificationsdes réponses incorrectes.
Quels avantages des examens standardisés de qualité peuvent-ils offrir ?
Le besoin : des examens universitaires de qualité
Examens standardisésde qualité
Des procédures d’analyse del’enseignement permettent d’offrir desgaranties en ce qui concerne la couverture de lamatière.
Le recours aux questions à choix mult ipleavec Solutions Générales Implicites (SGI)« aucune », « toutes », « manque dedonnées dans l’énoncé » et « absurdité dansl’énoncé » permet d’évaluer systématiquementdes processus mentaux plus élevés que lasimple connaissance (LECLERCQ, 1986). Le recours aux pourcentages de certitudepermet d’envisager une évaluation systématiquede la capacité à s’autoévaluer chez les étudiants(LECLERCQ, 1983, 1993).
L’utilisation de feuilles de justificationspermet aux étudiants de justifier certainesréponses. La prise en compte des remarquespertinentes formulées sur ces feuilles dejustification permet à l’examinateurd’augmenter la fidélité de la correction. Augmentation du temps de correction mêmequand l’examinateur ne lit que les justificationsdes réponses incorrectes.
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 11
Sensibilité desmesures
Généralement une conceptionbinaire de la connaissance prévaut« soit on sait, soit on ne sait pas ».Les pourcentages de certituderarement utilisés.
Lorsque les pourcentages de certitude sontutilisés on passe d’une conception manichéennede la connaissance à une conception spectraledes performances. De plus, ce système amène l’examiné àavouer son doute (il est moins pénalisé) plutôtque de répondre au hasard.
Diagnosticité En général peu de questions, doncdes difficultés à fournir desfeedbacks pour l’ensemble de lamat ière. De plus le temps decorrection est long d’où délais pourobtenir les feedbacks.
Des feedbacks dans desdélais courts sont possiblesgrâce à l’automatisation desprocédures de correction.
Des feedbacks détaillés sont aussienvisageables si la procédure de construction del’épreuve permet de faire les liens entre lesquestions et les points enseignés ainsi que lesprocessus mentaux envisagés.
Equité Les épreuves traditionnelles(surtout les oraux avec l’effet dehalo) ne sont pas socialementneutres (PASSERON, 1970)
La standardisation de lapassation et l’automatisationde la correction devraientpermettre de garantir untraitement identique pour tous. Les possibilités de fraudessont réelles.
Idem.
Des procédures anti-fraudes doiventpermettre d’empêcher efficacement la tricherie.
Examens oraux ou écritsExamens standardisés
classiquesExamens standardisés de qualité
...
Lorsque les pourcentages de certitude sontutilisés on passe d’une conception manichéennede la connaissance à une conception spectraledes performances. De plus, ce système amène l’examiné àavouer son doute (il est moins pénalisé) plutôtque de répondre au hasard.
Examens standardisésde qualité
Des feedbacks détaillés sont aussienvisageables si la procédure de construction del’épreuve permet de faire les liens entre lesquestions et les points enseignés ainsi que lesprocessus mentaux envisagés.
Idem.
Des procédures anti-fraudes doiventpermettre d’empêcher efficacement la tricherie.
Le besoin : des examens universitaires de qualitéQuels avantages des examens standardisés de qualité peuvent-ils offrir ?
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 12
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 13
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 14
Système Méthodologique d’Aide à la Réalisation de Tests (ULg)
Assess- Group
S.A.
R&D en ingénierie docimologique :
electronic Construction & Quality Control in Standardized Testing
2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
3. QuestionsSelection or writing of the questions which
are linked to the trinomials selected
Item bank
4. Training…on the modalities of the
questions defined
Blank tests (paper or web based)
5. TestingThe standardized test is proposed
Online exams, paper tests linked
with OMR
7. FeedbackPersonalized and tailored feedbacks
are proposed on the basis of final version
of the results
online access FB
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
8.Regulationanalysis of the opi-
nions of the people who intervened in the test
Advices for the next test
2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
3. QuestionsSelection or writing of the questions which
are linked to the trinomials selected
Item bank
4. Training…on the modalities of the
questions defined
Blank tests (paper or web based)
5. TestingThe standardized test is proposed
Online exams, paper tests linked
with OMR
7. FeedbackPersonalized and tailored feedbacks
are proposed on the basis of final version
of the results
online access FB
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
8.Regulationanalysis of the opi-
nions of the people who intervened in the test
Advices for the next test
(Gilles, 2002 ; Gilles & al., 2005)
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 15
1. Analyse préalable de l’épreuve
- Lister les points à évaluer (PE)
- Associer des priorités liées aux PE
- Définir les catégories de performances (CP)
Produit de cette 1ère étape : une table de spécifications où les PE sont croisés avec les CP : (PE x CP)
2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
3. QuestionsSelection or writing of the questions which
are linked to the trinomials selected
Item bank
4. Training…on the modalities of the
questions defined
Blank tests (paper or web based)
5. TestingThe standardized test is proposed
Online exams, paper tests linked
with OMR
7. FeedbackPersonalized and tailored feedbacks
are proposed on the basis of final version
of the results
online access FB
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
8.Regulationanalysis of the opi-
nions of the people who intervened in the test
Advices for the next test
2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
3. QuestionsSelection or writing of the questions which
are linked to the trinomials selected
Item bank
4. Training…on the modalities of the
questions defined
Blank tests (paper or web based)
5. TestingThe standardized test is proposed
Online exams, paper tests linked
with OMR
7. FeedbackPersonalized and tailored feedbacks
are proposed on the basis of final version
of the results
online access FB
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
8.Regulationanalysis of the opi-
nions of the people who intervened in the test
Advices for the next test
Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002)
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 16
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 17
2. Design de l’examen standardisé2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
3. QuestionsSelection or writing of the questions which
are linked to the trinomials selected
Item bank
4. Training…on the modalities of the
questions defined
Blank tests (paper or web based)
5. TestingThe standardized test is proposed
Online exams, paper tests linked
with OMR
7. FeedbackPersonalized and tailored feedbacks
are proposed on the basis of final version
of the results
online access FB
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
8.Regulationanalysis of the opi-
nions of the people who intervened in the test
Advices for the next test
2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
3. QuestionsSelection or writing of the questions which
are linked to the trinomials selected
Item bank
4. Training…on the modalities of the
questions defined
Blank tests (paper or web based)
5. TestingThe standardized test is proposed
Online exams, paper tests linked
with OMR
7. FeedbackPersonalized and tailored feedbacks
are proposed on the basis of final version
of the results
online access FB
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
8.Regulationanalysis of the opi-
nions of the people who intervened in the test
Advices for the next test
- Définir les modalités de questionnement (MQ)
en rapport avec les cat. de performances (CP)
- Créer le test et déterminer la portion de la table
de spécification qu’il est sensé couvrir
Produit de cette 2ème étape : une table de spécifications où les trinômes (PE x CP x MQ) du test sont identifiés
Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002)
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 18
CP x MQ
PE x CP x MQ
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 19
3. Création des questions2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
3. QuestionsSelection or writing of the questions which
are linked to the trinomials selected
Item bank
4. Training…on the modalities of the
questions defined
Blank tests (paper or web based)
5. TestingThe standardized test is proposed
Online exams, paper tests linked
with OMR
7. FeedbackPersonalized and tailored feedbacks
are proposed on the basis of final version
of the results
online access FB
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
8.Regulationanalysis of the opi-
nions of the people who intervened in the test
Advices for the next test
2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
3. QuestionsSelection or writing of the questions which
are linked to the trinomials selected
Item bank
4. Training…on the modalities of the
questions defined
Blank tests (paper or web based)
5. TestingThe standardized test is proposed
Online exams, paper tests linked
with OMR
7. FeedbackPersonalized and tailored feedbacks
are proposed on the basis of final version
of the results
online access FB
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
8.Regulationanalysis of the opi-
nions of the people who intervened in the test
Advices for the next test
- Alimenter la banque de question
- Valider les questions qui pourraient être
utilisées pour l’examen
Produit de cette 3ème étape : une banque de questions caractérisées par leurs trinômes (PE x CP x MQ)
Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002)
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 20
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 21
4. Information des évalués2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
3. QuestionsSelection or writing of the questions which
are linked to the trinomials selected
Item bank
4. Training…on the modalities of the
questions defined
Blank tests (paper or web based)
5. TestingThe standardized test is proposed
Online exams, paper tests linked
with OMR
7. FeedbackPersonalized and tailored feedbacks
are proposed on the basis of final version
of the results
online access FB
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
8.Regulationanalysis of the opi-
nions of the people who intervened in the test
Advices for the next test
2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
3. QuestionsSelection or writing of the questions which
are linked to the trinomials selected
Item bank
4. Training…on the modalities of the
questions defined
Blank tests (paper or web based)
5. TestingThe standardized test is proposed
Online exams, paper tests linked
with OMR
7. FeedbackPersonalized and tailored feedbacks
are proposed on the basis of final version
of the results
online access FB
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
8.Regulationanalysis of the opi-
nions of the people who intervened in the test
Advices for the next test
- Expliquer les procédures d’évaluation et les
conditions de l’examen
- Proposer des entraînements
Produit de cette 4ème étape : des informations en ligne ainsi que des tests d’entraînement
Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002)
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 22
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 23
5. Questionnaire de l’examen2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
3. QuestionsSelection or writing of the questions which
are linked to the trinomials selected
Item bank
4. Training…on the modalities of the
questions defined
Blank tests (paper or web based)
5. TestingThe standardized test is proposed
Online exams, paper tests linked
with OMR
7. FeedbackPersonalized and tailored feedbacks
are proposed on the basis of final version
of the results
online access FB
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
8.Regulationanalysis of the opi-
nions of the people who intervened in the test
Advices for the next test
2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
3. QuestionsSelection or writing of the questions which
are linked to the trinomials selected
Item bank
4. Training…on the modalities of the
questions defined
Blank tests (paper or web based)
5. TestingThe standardized test is proposed
Online exams, paper tests linked
with OMR
7. FeedbackPersonalized and tailored feedbacks
are proposed on the basis of final version
of the results
online access FB
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
8.Regulationanalysis of the opi-
nions of the people who intervened in the test
Advices for the next test
- Sélectionner les questions validées qui seront
proposées lors de l’épreuve
- Créer le questionnaire d’examen
Produit de cette 5ème étape : un questionnaire d’examen « papier crayon » ou électronique
Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002)
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 24
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 25
6. Acquisition, correction et contrôle qualité des résultats
2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
3. QuestionsSelection or writing of the questions which
are linked to the trinomials selected
Item bank
4. Training…on the modalities of the
questions defined
Blank tests (paper or web based)
5. TestingThe standardized test is proposed
Online exams, paper tests linked
with OMR
7. FeedbackPersonalized and tailored feedbacks
are proposed on the basis of final version
of the results
online access FB
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
8.Regulationanalysis of the opi-
nions of the people who intervened in the test
Advices for the next test
2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
3. QuestionsSelection or writing of the questions which
are linked to the trinomials selected
Item bank
4. Training…on the modalities of the
questions defined
Blank tests (paper or web based)
5. TestingThe standardized test is proposed
Online exams, paper tests linked
with OMR
7. FeedbackPersonalized and tailored feedbacks
are proposed on the basis of final version
of the results
online access FB
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
8.Regulationanalysis of the opi-
nions of the people who intervened in the test
Advices for the next test
- Importer et traiter les résultats de l’épreuve
- Contrôler la qualité des questions
- Etablir une version finale
Produit de cette 6ème étape : une version fiable des résultats des évalués
Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002)
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 26
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 27
(Gilles, 2002)
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 28
Version 1 : moyenne des moyennes = 9,8 Version 2 : moyenne des moyennes = 10,7
(Crahay, Gilles, Hausoul, Mainferme et Tinnirello, 2006)
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 29
Au niveau du professeur évaluateur : amélioration de la qualité de ses épreuves
Changements de réponse correcte 10
Suppressions d’une question 22
Valorisation d’un distracteur 39
TOTAL 71
Pour les 34 tests rectifiés (71 rectifications au total) comprenant deux versions :
Après ces rectifications, les épreuves mesurent mieux ce qu’elles étaient sensées mesurer ( validité)
(Crahay, Gilles, Hausoul, Mainferme et Tinnirello, 2006)
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 30
7. Feedbacks aux étudiants2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
3. QuestionsSelection or writing of the questions which
are linked to the trinomials selected
Item bank
4. Training…on the modalities of the
questions defined
Blank tests (paper or web based)
5. TestingThe standardized test is proposed
Online exams, paper tests linked
with OMR
7. FeedbackPersonalized and tailored feedbacks
are proposed on the basis of final version
of the results
online access FB
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
8.Regulationanalysis of the opi-
nions of the people who intervened in the test
Advices for the next test
2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
2. DesignModalities of the Questions (MQ),
importance of each MQ
(CP x MQ) (PE x CP x MQ)
selection
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
1. AnalysisPoints to evaluate (PE), Priorities (P), Categories
of Performances (CP)
Specification table (PE x CP)
3. QuestionsSelection or writing of the questions which
are linked to the trinomials selected
Item bank
4. Training…on the modalities of the
questions defined
Blank tests (paper or web based)
5. TestingThe standardized test is proposed
Online exams, paper tests linked
with OMR
7. FeedbackPersonalized and tailored feedbacks
are proposed on the basis of final version
of the results
online access FB
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
6. CorrectionSet up of the
correction of the test
Quality check and discussion of the results before the final version
8.Regulationanalysis of the opi-
nions of the people who intervened in the test
Advices for the next test
- Sélectionner les caractéristiques des feedbacks
aux étudiants
- Autoriser la mise en ligne des feedbacks
Produit de cette 7ème étape : des feedbacks individualisés, précis et diagnostiquespour chaque évalué
Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002)
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 31
Nombre de consultations des feedbacks par les étudiants en fonction de l'heure
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 34
(Approche qualité en évaluation - Gilles, 2002)
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 35
Système Méthodologique d’Aide à la Réalisation de Tests (ULg)
Solutions matérielles :
Une chaîne complète de lecture optique de marques
Un système de boîtiers de votes électroniques qui permettent d’animer des séances de cours interactives et de fournir des feedbacks en direct aux étudiants
Assess- Group
S.A.
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 36
Système Méthodologique d’Aide à la Réalisation de Tests (ULg)
Assess- Group
S.A.
Solutions logicielles :
Testing Interactif Multimédias via Internet (TIMI)
electronic Network for Global Evaluation of Learners’ Satisfaction (e-NGELS)
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 37
« L’évaluation des examens n’est que très rarement à l’ordre du jour. D’ordinaire, tout examen et sa qualité reste exclusivement du ressort du professeur concerné… » Ricci (2006)
Blais & al. (1997)Consortium de recherche en ingénierie docimologique et didactique (CRIDD)
En 2007 : réplication interuniversitaire coordonnée par le SMART et le Service de didactique générale et
intervention éducative
ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07 38
Liens utiles : Sites web : Système Méthodologique d’Aide à la Réalisation de Tests (SMART – ULg)
www.smart.ulg.ac.be
Spin off Assess-Group S.A. : testing standardisé et soutien logistique aux enseignantswww.assess-group.be
Plateforme e-C&QCST : hosting pour les enseignants
http://e-cqcst.assess-group.be/
Did@campus du Service de didactique générale et intervention éducative (ULg)www.sdg-ulg.net/didacampus/
Articles en ligne :
Electronic Construction and Quality Control in Standardized Testing: the e-C&QCST project (Gilles, J.-L., Piette, S.-A., Detroz, P., Tinnirello, S., Pirson, M., Dabo, M., Lê, H., 2005)
Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en terme de validité, fidélité, sensibilité des mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité (Gilles, J.-L. et Lovinfosse, V., 2004)
De la recherche à la consultance : le choix stratégique d’un transfert d’activité opéré par l’équipe du Système Métho-dologique d’Aide à la Réalisation de Tests (SMART) de l’Université de Liège. (Gilles, J.-L., Detroz, P., Tinnirello, S., 2006)