Séminaire méthodologique Validation des indicateurs PSI - France 2 ème génération M.A. Le Pogam, S. Couray-Targe, J.M. Januel, F. Goutille, A. Bestion,

Séminaire méthodologique

Validation des indicateurs Validation des indicateurs PSI - France 2PSI - France 2èmeème génération génération

M.A. Le Pogam, S. Couray-Targe, J.M. Januel, F. Goutille, A. Bestion, A. Beauveil, C. Colin.

Pôle IMER, Hospices Civils de Lyon, France

Journée de lancement CLARTE – Hôpital Européen Georges Pompidou, Paris, 29 mars 2011

Journée de lancement CLARTE – 29 MARS 20 1 1 2

Définitions PSI-AHRQ

Indicateurs de résultats évaluant la qualité des soins à l’hôpital et en particulier divers aspects de la sécurité des soins (autres composants de la « qualité du système de santé » = efficacité, patient ou actient-centrisme, respect des délais de prise en charge)

Outils de détection Des erreurs médicales évitables : erreurs d’exécution, erreurs de planification/organisation des

soins

Des complications ou des évènements indésirables associés aux soins (EIS) évitables

Sensibles aux changements/améliorations de pratiques et d’organisation au niveau du prestataire de soins (professionnel, établissement) ou du système de santé

2 types d’indicateurs Indicateur sentinelle (« case finding indicators ») : indicateurs dont l’objectif premier est

d’identifier des erreurs, complications ou EI potentiellement attribuables ou associés aux soins et dont la survenue doit déclencher une analyse causale (évitabilité certaine ou presque certaine)

Ex: corps étranger oublié au cours d’une procédure chirurgicale, réaction transfusionnelle

Indicateur de classement (« rate based indicators ») : indicateurs dont l’objectif premier est de mesurer des taux de complications ou d’EIS (évitablité incertaine car évènement possiblement lié à l’état de santé du patient)

Sepsis post-opératoire, mortalité dans les DRG à faible taux de mortalité

Journée de lancement CLARTE – 29 MARS 20 1 1 3

Les indicateurs sélectionnés et validés

N° Patient Safety Indicators (PSI) de la AHRQ (CIM-9-CM) IMeCCHI OCDEProjet

HCL-HAS-DREES

1. Complications d’anesthésie X X2. Décès dans des GHS à faible taux de mortalité - -3. Escarres de décubitus X X4. Echec de manœuvre de réanimation - -5. Corps étranger laissé au cours d’une intervention X X6. Pneumothorax iatrogène X X7. Infections liées aux soins médicaux X X X8. Fracture de hanche postopératoire X X9. Hémorragie ou hématome postopératoire - -

10. Désordre physiologique et métabolique postopératoire X -11. Détresse respiratoire postopératoire - X12. Embolie pulmonaire ou thrombose veineuse profonde postopératoire X X X13. Septicémie postopératoire X X X14. Désunion de plaie opératoire en chirurgie abdomino-pelvienne - -15. Difficulté technique pendant l’intervention - lacération ou piqûre accidentelle au cours d’un soin X X16. Réaction à une transfusion X X17. Traumatisme à la naissance – traumatisme du nouveau-né X X18. Traumatisme obstétrical au cours d’un accouchement par voie basse (avec instrument) X X X19. Traumatisme obstétrical au cours d’un accouchement par voie basse (sans instrument) X X X20. Traumatisme obstétrical au cours d’une césarienne X X

Journée de lancement CLARTE – 29 MARS 20 1 1 4

Méthodes de sélection

1. Entretiens semi-structurés au sein d’une équipe projet

31 personnes reconnues pour leur expertise dans le domaine de la mesure de la

qualité des soins

Représentants d’hôpitaux, de sociétés ou groupes d’affaires, gestionnaires de

données des états, représentants d’agences fédérales, universitaires,

utilisateurs potentiels des indicateurs de qualité issus d’organisations publiques

et privées variées

Identification de 6 critères clés de sélection (fiabilité et

validité)

Journée de lancement CLARTE – 29 MARS 20 1 1 5

Critères de sélection-validation1. « Face validity » : un indicateur de qualité (IQ) doit saisir un aspect de la qualité considéré comme important

voire primordial et pouvant servir à évaluer les prestataires de soins ou le système de santé.

2. « Precision » : la variabilité d’un IQ doit être due à des écarts de qualité des soins entre les prestataires et ne

doit pas être expliquée par le hasard (random variation) ou par les caractéristiques des patients.

3. « Criterion validity » or « Minimum bias » : un IQ ne doit pas être biaisé par des différences systématiques

entre les prestataires (biais de sélection sur le casemix, la sévérité de la maladie et les comorbidités des

patients). Quand ces différences existent, elles doivent être prise en compte dans un modèle d’ajustement. Les

données disponibles doivent permettre de construire un modèle d’ajustement adéquat.

4. « Construct validity »: un IQ doit être corrélé aux autres mesures du même aspect de la qualité des soins .

5. « Fosters real quality improvement » (Capacité à encourager une vraie démarche d’amélioration continue de

la qualité des soins chez les prestataires) : un QI doit être robuste au gaming (éventuelles manipulations des

données type sur-codage ou sous-codage, interventions ne concernant la qualité des soins mais impactant

l’indicateur)

6. « Application » : Un IQ doit avoir été utilisé dans le passé et de façon pérenne.

Refinement of the HCUP Quality Indicators. Technical Reviews, No. 4. Davies SM, Geppert J, McClellan M, et al. Rockville (MD): Agency for Healthcare Research and Quality (US); 2001 May

Journée de lancement CLARTE – 29 MARS 20 1 1 6

Méthodes de sélection des IQ

2. Revue de la littérature en 2 phases Phase 1: Revue structurée de la littérature sur Medline

MeSH terms : "hospital, statistic and methods" and "quality indicators."

Identification de 200 IQ potentiels

Phase 2 : Revue extensive de la littérature afin d’évaluer chacun des indicateurs

potentiels selon les 6 critères de fiabilité et de validité clés

MEDLINE, PsycINFO, et Cochrane Library

combinaisons de MeSH terms et de mots clés faisant référence à des aspects

cliniques, méthodologiques, et à la mesure de la qualité

Sélection d’IQ à « bon » niveau de fiabilité/validité

Journée de lancement CLARTE – 29 MARS 20 1 1 7

Sélection et validation des PSI (1)

3. Processus de sélection-validation en 4 étapes

Revue de la littérature

Evaluation de chacun des PSI potentiels par une méthode type Delphi

Analyses empiriques les PSI sélectionnés

Elaboration de recommandations sur les PSI sélectionnés

Journée de lancement CLARTE – 29 MARS 20 1 1 8

Sélection et validation des PSI (2) Revue de la littérature : janvier 1990 – mars 2002

Articles avec description, évaluation ou validation d’un indicateur d’erreurs médicales, de sécurité des patients hospitalisés ou de complications évitables mesuré à partir des données administratives hospitalières (CIM9-CM)

326 articles sur MEDLINE

9 articles sur EMBASE

Journée de lancement CLARTE – 29 MARS 20 1 1 9

Sélection et validation des PSI (3)

Evaluation de chacun des PSI potentiels par une méthode type Delphi 8 Panel d’experts cliniciens (7-9) évaluant 4 à 5 indicateurs chacun

2 panels pour les indicateurs médicaux 3 panels pour les indicateurs chirurgicaux 2 panels pour les indicateurs obstétricaux 1 panel pour les indicateurs associés aux complications d’actes (procédures)

Evaluation de la validité de face d’un point de vue clinique (pertinence clinique) en vue d’obtenir un consensus du panel

Selon une méthode dérivée de la RAND/UCLA Appropriateness Method: Evaluation initiale par chaque clinicien du panel par l’intermédiaire d’un

questionnaire

Journée de lancement CLARTE – 29 MARS 20 1 1 10

Sélection et validation des PSI (4)

Journée de lancement CLARTE – 29 MARS 20 1 1 11

Sélection et validation des PSI (5)

Evaluation de chacun des PSI potentiels par une méthode type Delphi Selon une méthode dérivée de la RAND/UCLA Appropriateness Method:

Evaluation initiale par chaque clinicien du panel par l’intermédiaire d’un questionnaire

Réunion téléphonique entre les membres du panel en vue d’échanger sur les indicateurs évalués: changements proposés pris en compte

Redistribution des questionnaires modifiés

Cotation des indicateurs par chaque clinicien (score à 9 niveaux) et calcul des scores médians afin de mesurer le niveau de consensus entre experts

Choix des indicateurs en fonction du niveau de consensus.

Journée de lancement CLARTE – 29 MARS 20 1 1 12

Sélection et validation des PSI (6) Analyses empiriques des indicateurs sélectionnés

Extraction des indicateurs sélectionnés à partir de différentes bases de données (19 State inpatient databases : 19M de séjours – 2300 hôpitaux)

Analyse critique des fréquences mesurées Etude de la variabilité (« precision ») Mesure des biais potentiels par ajustement (« minimum bias »)

Régressions logistiques multivariées

Ajustements testés: âge en classe, sexe, interaction âge*sexe, DRG, Comorbidités

Effet de l’ajustement mesuré sur le coefficient de corrélation de rangs de Spearman (avant/après ajustement), La valeur absolue de l’écart à la moyenne (moyen) après ajustement, le pourcentage des hôpitaux situés dans le « Top10% » qui le reste après ajustement, le pourcentage des hôpitaux situés dans le « Bottom10% » qui le reste après ajustement, le pourcentage des hôpitaux dont le rang est modifié de plus de 2 déciles après ajustement.

Etude des corrélations entre indicateurs (« construct validity ») Coefficient de corrélation de Spearman ACP

Journée de lancement CLARTE – 29 MARS 20 1 1 13

Critères de sélection-validation 2008

Un indicateur valide est le reflet de la réalité du phénomène qu’il mesure

1. Validité de contenu (« content validity ») : capacité à mesurer toutes les dimensions

du concept d’intérêt

2. Validité de critère (« criterion validity ») : capacité d’un indicateur à produire des

résultats comparables à ceux produits à partir d’un « gold standard »

3. Validité prédictive (« predictive validity ») : capacité d’un indicateur à prédire le

résultat d’intérêt (VPP,VPN)

4. Validité de construit (« construct validity »): capacité d’un indicateur à être corrélé à

d’autres mesures (issues de la littérature ou d’un modèle conceptuel robuste)

Lessons from the AHRQ PSI Validation Pilot Project. AHRQ QI Users Meeting September 10, 2008. Patrick S. Romano

Journée de lancement CLARTE – 29 MARS 20 1 1 14

Les indicateurs PSI -France

PSI 7.2 : Taux d’infections sur voie veineuse centrale en Réanimation, SC, SI PSI 12.2 : Taux d’embolies pulmonaires et/ou de thromboses veineuses profondes après

prothèse totale de hanche ou de genou PSI 13.2 : Taux de sepsis postopératoires

Chirurgie digestive haute et basse

Chirurgie vasculaire : chirurgie majeure de revascularisation

Chirurgie cardiaque : pontage aorto-coronarien et de remplacement valvulaire

Obstétrique: césarienne

Neuro-chirurgie: interventions sur le rachis et la moelle épinière

Orthopédie: infection sur prothèse

Chirurgie du cancer ….

PSI pédiatrique (?) Taux de réadmissions des patients pris en charge en hospitalisation ambulatoire

Chirurgie ambulatoire

endoscopie

Journée de lancement CLARTE – 29 MARS 20 1 1 15

Méthodologie de validation (1)

Validation du cadre nosologique Sociétés savantes d’anesthésie-réanimation, d’infectiologie et de chirurgie

Validation de l’algorithme d’extraction de l’indicateur, adapté aux règles

de codage du PMSI français Panel d’une 20ne de médecins d’information médicale

Extraction de l’indicateur à partir de la base nationale du PMSI-MCO 2009

Codes Diagnostiques 2aires (CIM10) correspondant à la définition clinique de l’EIS

Population à risque définie par GHM, Codes Diagnostiques, Actes CCAM

PSI =

Journée de lancement CLARTE – 29 MARS 20 1 1 16

Méthodologie de validation (2)

Validation de l’indicateur : Evaluation de la performance de l’indicateur à

mesurer l’évènement indésirable concerné Validation de construit par retour aux dossiers médicaux :

Panel d’une centaine d’ES MCO

Recherche si l’EIS mis en évidence dans la base PMSI correspond à un séjour avec EIS dans le

dossier du patient

CHU-CHR : 150 séjours PSI+ dans la base PMSI

ES≥300 lits et places : 100 séjours PSI+ dans la base PMSI

ES<300 lits et places : 75 séjours PSI+ dans la base PMSI

Calcul de la VPP et de la VPN de l’indicateur (VPP attendue = 80%)

3 ARC recrutés par CLARTE pour la validation par retour aux dossiers médicaux

Validation de convergence : croisement avec une base de données nationale de

surveillance systématique (RAISIN) ou une base de données type registre

Validation des critères de standardisation et du modèle d’ajustement

Journée de lancement CLARTE – 29 MARS 20 1 1 17

Méthodologie de validation (3)

Production du résultat de l’indicateur à partir de la base nationale du

PMSI-MCO 2009 et 2010

Résultats national, par région et par établissement

Prévalence pour 1000 hospitalisations (ET, IC95%)

Densité d’incidence pour 1000 journées d’hospitalisation (ET, IC95%)

Dénominateur : effectif des « séjours à risque »

Résultats stratifiés sur différentes variables d’intérêt: âge, sexe, durée de séjour, IGS

II, nombre de diagnostics secondaires du RSA, type d’activité (SI, SC, réanimation),

volume d’activité …

Taux moyen brut par établissement pour 1000 hospitalisations, taux moyen

standardisé par établissement pour 1000 hospitalisations

Journée de lancement CLARTE – 29 MARS 20 1 1 18

Méthodologie de validation (4)

Etude de la dispersion des taux moyens standardisés des établissements du

panel de validation

Représentation graphique des taux standardisés : « forest plot » et « funnel plot »

Recherche de facteurs explicatifs des valeurs extrêmes (« outliers »)

Constitution de groupes de travail nationaux avec des représentants

d’établissements volontaires sur :

Les outils de monitoring des indicateurs et d’aide à la décision : cartes de contrôle

Le benchmarking inter-établissements ou inter-services

Les actions d’amélioration spécifiques à l’EIS

Merci de votre attention

www.clarte-sante.fr