03/02/2016 1 Evaluation en simulation Pr Denis Oriot Laboratoire de Simulation, ABS Lab, Poitiers Trois types d’évaluation Simulation Apprenant Modèle Validation d’un processus pédagogique (Kirkpatrick) Validation (testing) d’un modèle pédagogique Outil d’évaluation Validation d’une checklist ou d’une échelle d’évaluation (Downing) Trois types d’évaluation Simulation Apprenant Modèle Validation du processus pédagogique (Kirkpatrick) Outil d’évaluation Objectifs pédagogiques 1. Identifier les 4 niveaux d’évaluation de la pyramide de Kirkpatrick 2. Imaginer une stratégie utilisant les 4 niveaux d’évaluation de la pyramide de Kirkpatrick 3. Comprendre les intérêts et les difficultés d’évaluation inhérentes à chaque niveau de la pyramide de Kirkpatrick A quoi sert l’évaluation? Pratique clinique A quoi sert l’évaluation? Pratique clinique Survenue d’erreurs Building a Safer Health System Linda T. Kohn, Janet M. Corrigan, and Molla S. Donaldson, Editors Committee on Quality of Health Care in America NATIONAL INSTITUTE OF MEDICINE NATIONAL ACADEMY PRESS 2000 Washington, D.C. “Medical errors exceed the deaths from motor vehicle accidents, as well as deaths due to breast cancer or AIDS.” To Err Is Human
17
Embed
Evaluation en simulation - MEDESIMmedesim.fr/doc/Cours2015/DU20152016ORIOTEVALUATION.pdf · Dreyfus 1986, 2004 < 1 an 1-5 ans 5 ans 5-10 ans > 10 ans hamp de l’évaluation
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
03/02/2016
1
Evaluation en simulation
Pr Denis OriotLaboratoire de Simulation, ABS Lab, Poitiers
Trois types d’évaluation
Simulation
Apprenant
Modèle
Validation d’un processus pédagogique
(Kirkpatrick)
Validation (testing) d’un modèle pédagogique
Outil d’évaluation
Validation d’une checklist ou d’une échelle
d’évaluation (Downing)
Trois types d’évaluation
Simulation
Apprenant
Modèle
Validation du processus pédagogique(Kirkpatrick)
Outil d’évaluation
Objectifs pédagogiques
1. Identifier les 4 niveaux d’évaluation de la pyramide de Kirkpatrick
2. Imaginer une stratégie utilisant les 4 niveaux d’évaluation de la pyramide de Kirkpatrick
3. Comprendre les intérêts et les difficultés d’évaluation inhérentes à chaque niveau de la pyramide de Kirkpatrick
A quoi sert l’évaluation?
Pratique clinique
A quoi sert l’évaluation?
Pratique clinique
Survenue d’erreursBuilding a Safer Health System
Linda T. Kohn, Janet M. Corrigan, and Molla S. Donaldson, Editors
Committee on Quality of Health Care in AmericaNATIONAL INSTITUTE OF MEDICINE
NATIONAL ACADEMY PRESS 2000Washington, D.C.
“Medical errors exceed the deaths from motor vehicle accidents, as well as deaths due to breast cancer or AIDS.”
To Err Is Human
03/02/2016
2
A quoi sert l’évaluation?
Pratique clinique
Survenue d’erreurs
Apprentissage
A quoi sert l’évaluation?
Pratique clinique
Survenue d’erreurs
Apprentissage
Simulation
A quoi sert l’évaluation?
Pratique clinique
Survenue d’erreurs
Apprentissage
Simulation
Evaluation
PAS DE SIMULATION SANS EVALUATION
• L’évaluation = validation du processus pédagogique
• Absence d’évaluation activité ludique!
Définition
• « L’évaluation en pédagogie est l’analyse systématique de la qualité de l’enseignement et de l’apprentissage » (MacDougall 2010)
• La qualité des soins dépend de la qualité de l’enseignement (To err is human, 2000)
• L’évaluation de la formation par simulation préfigure de la qualité des soins qui seront prodigués
Contrattacite
Réalisme Apport pédagogique
Outild’évaluation
Que faut-il évaluer?
• Professionnel patient soins
• Apprenant modèle performance
Procédurede testing
03/02/2016
3
« Fiction contract in SBME »
• ‘’Agreement between participants and simulationeducators that, in view of the limitations of thesimulator, the educators will do their best tomake the simulation as real as possible and theparticipants will behave as if the simulated casewas real and treat the mannequin patients asreal human patients’’.
Dieckman P, Gaba D, Rall M. Deepening the theoretical foundationsof patient simulation as social practice. Sim Healthcare 2007;2:183-93
Gestes techniques
Respect de l’algorithme
Travail enéquipe
Sûreté dupatient
Que faut-il évaluer?Performance
Caractéristiques (J.M. Chabot 2000)
• Normée : le but est la hiérarchie de classement dans le groupe d’étudiants
• Critériée : le but est la réalisation d’un certains nombre de critères prédéterminés
Caractéristiques (J.M. Chabot 2000)
• Sanctionnante : le but final est la note pour obtenir le diplôme
• Formative : le but est d’accélérer une dynamique de formation
Caractéristiques
• Avoir une vision unitaire :‘formation – évaluation’
Présentées sous forme de barre-graph en face des items du questionnaire
Expression : pourcentage de réponses dans chaque classe de Likert
Crozier, J Surg Educ 2014
Niveau 1 Niveau 1
Arriaga, Ann Surg 2014
Expression :Pourcentage de participants qui sont d’accord (coté > 4 sur l’échelle de Likert en 5 point). 1 = disagree strongly; 5 = agree strongly) [± IC 95%]
% pour les 3 classes : Surgeons (S), Anesthesiologists (A) et Nurses (N)Valeur de ‘p’ entre les 3 classes (test de Fisher)
03/02/2016
8
Evaluation : 4 niveaux
Acquis2
Evaluation d’un processusd’apprentissage
Kirkpatrick D. 1967
QUI ?
• Les instructeurs de la séance de simulation
Niveau 2
QUOI : Les acquis
K – Connaissances : auto et hétéro-évaluation
S – Performance : auto et hétéro-évaluation
A – Comportement : hétéro-évaluation
Confiance en soi : autoévaluation
Niveau 2
POURQUOI ?
• Intérêt = objectif principal de la simulation
• Toujours évaluer le niveau 2 (minimum = auto-Eval)
• Une réponse positive garantit un apprentissage
• Une réponse négative = absence d’apprentissage
Doit faire poser des questions sur les raisons de l’absence d’apprentissage
Niveau 2
OU ?• Au centre de simulation
QUAND ?• Au début de la séance de simulation (hétéro-
Eval quand type 3)
• Pendant la séance de simulation (hétéro-Eval)
• A la fin de la séance de simulation (auto-Eval et parfois en hétéro-Eval quand type 3)
Niveau 2 Niveau 2
COMMENT ? Auto-évaluation
• Questionnaire à la fin de la session
• « Avez-vous acquis plus de connaissances? »:
– Likert ou échelle 0-10 : but > 50% d’acquis
• « Avez-vous acquis plus de compétence? »:
– Likert ou échelle 0-10 : but > 50% d’acquis
• « Avez-vous acquis plus de confiance en vous?
– Likert ou échelle 0-10 : but > 50% d’acquis???
• Différencier les acquis en termes de procédures, algorithmes, communication
03/02/2016
9
COMMENT ? Hétéro-évaluation
• Evaluation par un tiers – observateur – ou par des instruments adaptés
Niveau 2
Outils d’évaluation utilisés Critères de jugement
K-Connaissances Quiz avec QCM ou QROC Score au test théorique
• QCM (5-10, couvrant le sujet) ou un cas clinique + QROC • Après ou avant/après la session = pré-test et posttest• Etabli par plusieurs experts, aucune équivoque• Posttest : mêmes QCM et réponses qu’au pré-test, mais
Connaissances techniques : ACLS• 41 internes de médecine (2ème année)• Tous certifiés ACLS• Prétest / post-test design• Intervention:
– 4 x 2h formation ACLS sur mannequin simulateur avec débriefing
• Résultats:– Amélioration des scores de 24 %– Succès (100/100) : 17 % prétest 100% posttest
Wayne DB, J Gen Intern Med 2006
03/02/2016
10
Niveau 2
S-Performance technique : document papier
• Nécessité d’avoir une évaluation objective
• Performance médicotechnique difficile à évaluer Evaluateurs à former
• Un superviseur évaluation subjective
• Deux superviseurs meilleure évaluation (objective?) mais ne voient pas la même chose?
• Complexité des procédures : IOT vs. PMO
Niveau 2 : complexité des procédures
Place de la vidéo• Emplacement de la (des) caméras +++
• Revoir les séances corriger l’évaluation de visu
• Lecture des vidéos et évaluation de la performance (checklist/échelle d’évaluation) reproductibilité de visu vs vidéo (test-retest) : – Tiers indépendant ou
– Même observateur à distance (anonymat)
• Double évaluation de visu et double évaluation vidéo : comparaison de la reproductibilité obtenue de visu et de celle obtenue avec la vidéo
Niveau 2 Outils d’évaluation
S-Performance technique : document papier
o Global Rating Scale
o Checklist
o Echelle d’évaluation
Evaluation globale (5 niveaux avec novices)
L’échelle mesure le niveau d’autonomie• Proficient =“Compétent” indique une habileté à réaliserindépendamment• “Expert” est un niveau improbable
Comment évaluer une procédure?
• Global Rating Scale
Checklist ou échelle?
Augmentation du nombre d’items ↘ reproductibilité
Augmentation de la description ↗ reproductibilité
03/02/2016
11
Comment évaluer une procédure?
Validité Avantages Désavantages
ChecklistValiditémodeste
Novice peut voir oùil doit s’améliorer
Demande le temps d’évaluation d’un expertDouble évaluation
Echelled’évaluationForte validité
Applicable dans de nombreuses situations par différents évaluateurs (objective)
Demande du temps pour sa réalisation
Demande le temps d’évaluation d’un expert
Evaluation de la performance technique : Exemples pédiatriques
Nom Année Auteur Items ICC, Crombach Alpha
Standardized Direct Observation Tool (SDOT)
2004 Joshi 26 ICC = 0.81, CA = 0.95
Neonatal Resuscitation Program Megacode Checklist (NRPMC)
2004 Wood 20 CA = 0.70
Tool for ResuscitationAssessment Using ComputerizedSimulation (TRACS)
2009 Calhoun 72 ICC = 0.80
Multirater Instrument for the Assessment of SimulatedPediatric Crises (MIASPC)
2011 Calhoun 44 ICC = 0.72, CA = 0.69
Evaluation Tool for SimulatedPediatric Resuscitation (ETSPR)
2012 Grant 12 ICC = 0.76, CA = 0.82
Barsuk, J Grad Med Educ 2012
Niveau 2
Fisher, Am J Obstet Gynecol 2011
Expression des scores de performance technique
Niveau 2
S-Performance technique : chronométrage
• TIMING = évaluation objective
• Temps pour réaliser une procédure technique :
– Connaissance de la totalité de la procédure et de ses difficultés
– Habileté technique (gestuelle) à réaliser la totalité de la procédure : entrainement
Plus rapide ne veut pas dire forcément mieux!
(timing vs process)
Nesbitt, J Thorac CardiovascSurg 2013
Expression du timing
Thomas, Pediatrics 2010
Niveau 2 Niveau 2 : timing : exemple
Introduction d’un nouvel équipement :
• Familiarisation avec le ventilateur Dräger Fabius
• 18 anesthésistes en formation randomisés en 2 groupes
• Groupe 1 : cours
• Groupe 2 : cours + pratique en simulateur
• Test : résolution de 2 crises simulées
• Résultats :– impression subjective de maitrise identique
– groupe simulateur résout les 2 crises plus vite +++
COMMENT : Hétéro-évaluation : Mesure de performance in situ
Learning Curve
Temps
Performance
Mastery JIT JIT
Niveau 3 : Just-In-Time Treatment
Réinjections pédagogiques courtes réparties au cours du temps
Niveau 3a : exemple
Changements de performance de CRM
• 3-12 mois après un cours sur la CRM (Crisis Resource Management)
– 61% exposés à une ou plus situations critiques
– 70% estiment que leur gestion de la crise a été améliorée
• Perceptions / attitudes
• Formation de collègues à la gestion des crises, stratégies de résolution de problème, planification / anticipation d’effets indésirables, travail en équipe, communication avec collègues, impact sur la pratique clinique
Weller J, Anaesthesia 2003
Niveau 3b : exemple
Intubation fibroscopique :
• 24 internes novices en intubation fibroscopique orale
• 2 groupes randomisés : Gr1 (n=12) : cours Gr 2 (n=12) : cours + mannequin
. Mesure de la performance en salle d’opération
Groupe
cours
Groupe
cours + modèle
P
Durée de
l’intubation (s)
210 81 < 0.01
Intubation
réussie42 % 92 % < 0.005
Naik VN, Anesthesiology 2001
Niveau 3b : exemple
Performance du travail en équipe/CRM :
• Beaucoup plus difficile à étudier
• 1 étude en médecine d’urgence :
– Observation « live » pré et post-training (8h de simulation et débriefing)
– « Tendance à l’amélioration du travail en équipe » aux urgences (p = 0.07)
– Mais petit collectif (4 équipes de 5 pers.)
Shapiro 2004
03/02/2016
15
Evaluation : 4 niveaux
Impact
clinique4
Evaluation d’un processusd’apprentissage
Kirkpatrick D. 1967
QUI ?
• Les investigateurs cliniques et méthodologistes : analyse des séjours-patients
Niveau 4
Niveau 4
QUOI
Impact clinique :• Recherche de marqueurs cliniques pertinents en
rapport avec la formation, dont la modification de l’incidence et/ou de la gravité serait un reflet uniquement en lien avec la formation par simulation réalisée
• Bénéfice secondaire au processus pédagogique = la santé des patients
POURQUOI ?
Intérêt = La prevue ultime de l’efficacité d’un programme de formation
• = Amélioration de la santé des patients apparueaprès la formation par simulation
Niveau 4
OU ?• Au niveau du centre de soins ou de la communauté
QUAND ?• Après la séance de simulation
• Difficile : impossible de prédire quand le changement surviendra
Niveau 4 Niveau 4
COMMENT : Epidémiologie des éléments traceurs• Recherche translationnelle (= du modèle au patient)
• Relevé rétrospectif d’éléments cliniques traceurs bien ciblés des années n-1 et n-2 dans l’activité
• Relevé prospectif des mêmes éléments cliniques traceurs lors des années n et n+1
• Pré-intervention vs. post-intervention
• Mesure de l’impact clinique de l’apprentissage
• Mais… effet TEMPS inéluctable
03/02/2016
16
Utilisation des marqueurs cliniques du tableau de bord d’un service
Niveau 4
COMMENT : Epidémiologie des éléments
traceurs
Niveau 4 : Exemple• Obstétrique Draycott T. BJOG 2006;113:177-82