Errori cognitivi, probabilità e decisioni mediche nella diagnostica di laboratorio M. Besozzi - IRCCS Istituto Auxologico Italiano
Errori cognitivi, probabilità e
decisioni mediche nella diagnostica
di laboratorioM. Besozzi - IRCCS Istituto Auxologico Italiano
Errori cognitivi
Il problema gnoseologico
Dati, informazione e conoscenza
Complessità, probabilità e teorema di Bayes
Teorema di Bayes e informazione diagnostica
Teorema di Bayes e strategie diagnostiche
Teorema di Bayes e decisioni mediche
L’argomento...
““Al mondo di sicuro ci sono solo la morte e le tasse.”
(Benjamin Franklin)
Espressione in termini di numero dei casi inaggiunta all’espressione in termini di probabilità
Risposta all’obiezione che in una classificazionedicotomica si perde il senso del risultato numerico
Strategie per la scelta della soglia che discriminatra sani e malati
Effetti della specificità e delle prevalenza dellamalattia sul valore predittivo del test
Aspetti importanti del teorema
Un test di laboratorio ideale
Un test di laboratorio inutile
Un test di laboratorio reale
Test
Malattia
+
-
+ -
T+ M+
T+ M-
T- M+
T- M-
Classificazione in base a un test
Test
Malattia
+
-
+ -
P(T+|M+)
P(T+|M-)
P(T-|M+)
P(T-|M-)
Tutte le probabilità in gioco
P(M+) = prevalenza della malattiaP(M-) = 1 - prevalenza
sensibilità
specificità
1 - sensibilità
1 - specificità
Le distribuzioni dei casi
(scelta della soglia in base al criterio della massima efficienza)
Test
Malattia
+
-
+ -
VP
FP
FN
VN
Classificazione in base ai casi
(l’idea è di sostituire le probabilità P con il numero dei casi)
veri positivi
veri negativifalsi positivi
falsi negativi
Test
Malattia
+
+ -
VP FN
Calcolo della sensibilità
(sostituiamo le probabilità P con il numero dei casi)
veri positivi falsi negativi
sensibilità = positività nei malati = VP / (VP + FN)
Test
Malattia
-
+ -
FP VN
Calcolo della specificità
(sostituiamo le probabilità P con il numero dei casi)veri negativifalsi positivi
specificità = negatività nei sani = VN / (VN + FP)
Test
Malattia
+
-
+ -
VP
FP
FN
VN
(a) il numero dei casi
veri positivi
veri negativifalsi positivi
falsi negativi
Test
Malattia
+
-
+ -
P(T+|M+)
P(T+|M-)
P(T-|M+)
P(T-|M-)
(b) le probabilità
P(M+) = prevalenza della malattiaP(M-) = 1 - prevalenza
sensibilità
specificità
1 - sensibilità
1 - specificità
Test
Malattia
+
-
+ -
P(T+|M+)
P(T+|M-)
P(T-|M+)
P(T-|M-)
(c) la trasformazione
si moltiplicano le grandezza della prima riga per P(M+)si moltiplicano le grandezza della seconda riga per P(M-)
sensibilità
specificità
1 - sensibilità
1 - specificità
Test
Malattia
+
-
+ -
P(T+|M+) ⋅
P(M+)
(d) il risultatosensibilità x prevalenza
specificità x (1 – prevalenza)
(1 – specificità) x (1 – prevalenza)
(1 – sensibilità) x prevalenza
P(T-|M+) ⋅
P(M+)
P(T+|M-) ⋅
P(M-) P(T-|M-) ⋅
P(M-)
Test
Malattia
+
-
+ -
VP
FP
FN
VN
(e) la corrispondenzasensibilità x prevalenza
specificità x (1 – prevalenza)
(1 – specificità) x (1 – prevalenza)
(1 – sensibilità) x prevalenza
VP = sensibilità x prevalenza= P(T+|M+) ⋅
P(M+)
FN = (1 – sensibilità) x prevalenza= P(T-|M+) ⋅
P(M+)
FP = (1 – specificità) x (1 – prevalenza)= P(T+|M-) ⋅
P(M-)
VN = specificità x (1 – prevalenza)= P(T-|M-) ⋅
P(M-)
(e) la corrispondenza
P(T+|M+) ⋅
P(M+)
P(T+|M+) ⋅
P(M+) + P(T+|M-) ⋅
P(M-)P(M+|T+) =
sensibilità prevalenza
1 - prevalenza
1 - specificità
valore predittivo di un test positivo
Valore predittivo T+
VP
VP FP
P(T-|M-) ⋅
P(M-)
P(T-|M-) ⋅
P(M-) + P(T-|M+) ⋅
P(M+)P(M-|T-) =
specificità 1 - prevalenza
prevalenza
1 - sensibilità
valore predittivo di un test negativo
Valore predittivo T-
VN
VN FN
Le statistiche bayesiane
sensibilità = positività nei malati = VP / (VP + FN)
specificità = negatività nei sani = VN / (VN+ FP)
valore predittivo del test positivo = probabilità diessere malato per un soggetto con il test positivo= VP / (VP + FP)
valore predittivo del test negativo = probabilità diessere sano per un soggetto con il test negativo= VN / (VN + FN)
Test
Malattia
+
-
+ -
90
39
17
2079
alfa-fetoproteina e ca epatico
(da Galen e Gambino, “Oltre il concetto di normalità”, p. 37)
veri positivi
veri negativifalsi positivi
falsi negativi
sensibilitàVP / (VP + FN) = 90 / (90 + 17) = 0,841
specificitàVN / (VN+ FP) = 2079 / (2079 + 39) = 0,982
valore predittivo del test positivoVP / (VP + FP) = 90 / (90 + 39) = 0,698
valore predittivo del test negativoVN / (VN + FN) = 2079 / (2079 + 17) = 0,992
alfa-fetoproteina e ca epatico
Espressione in termini di numero dei casi inaggiunta all’espressione in termini di probabilità
Risposta all’obiezione che in una classificazionedicotomica si perde il senso del risultato numerico
Strategie per la scelta della soglia che discriminatra sani e malati
Effetti della specificità e delle prevalenza dellamalattia sul valore predittivo del test
Aspetti importanti del teorema
L’obiezione che in una classificazione dicotomicasi perde il senso del risultato numerico assumequesta più o meno questa forma: “Perfetto, maavendo fissato un valore soglia di 40 U/L per laALT, per la diagnosi di epatite sapere che, a paritàdi valore predittivo del test positivo, il mio pazienteha 80 U/L o 800 U/L di ALT è molto diverso!”
Questa obiezione è valida solo apparentemente:infatti è possibile in ogni momento cambiare lasoglia scegliendo quella più opportuna in relazioneall’obiettivo clinico.
Classificazione dicotomica
(vediamo come si può fare...)
(scelta della soglia in base al criterio della massima sensibilità,valore predittivo del test negativo P = 1)
E’ possibile scegliere la soglia
(scelta della soglia in base al criterio della massima specificità,valore predittivo del test positivo P = 1)
E’ possibile scegliere la soglia
E’ possibile scegliere la soglia
(scelta della soglia in base al criterio della massima efficienza)
Se i risultati sono espressi in una scalanumerica continua, è possibile cambiaredinamicamente il valore soglia tra sanie malati in relazione ad esigenze specifiche.
Nel caso dell’ALT, è possibile scegliere lasoglia in base al criterio della massimaspecificità e un valore di 800 U/L assicuraun valore predittivo del test positivo P = 1.Reciprocamente un valore di 20 U/Lassicura la massima sensibilità e un valorepredittivo del test negativo P = 1.
E’ possibile scegliere la soglia
E’ possibile scegliere la soglia
(è possibile individuare la soglia in corrispondenza di uno qualsiasi dei valori che individuano le classi)
E’ possibile scegliere la soglia
(all’aumentare della soglia prescelta diminuisce la sensibilità e aumenta la specificità)
E’ possibile scegliere la sogliaPositivo se... Sensibilità Specificità-------------- ------------ ------------> 0,0 1,00000 0,00000 > 8,33333 1,00000 0,00000 > 16,66667 1,00000 0,00000 > 25,0 0,99648 0,00234 > 33,33333 0,99297 0,04338 > 41,66667 0,98593 0,21454 > 50,0 0,97421 0,47831 > 58,33333 0,95311 0,74912 > 66,66667 0,92614 0,88277 > 75,0 0,89449 0,94842 > 83,33333 0,84994 0,98007 > 91,66667 0,79484 0,99531 > 100,0 0,74091 0,99883 > 108,33333 0,66002 1,00000 -------------- ------------ ------------
E’ possibile scegliere la soglia
(all’aumentare della soglia prescelta aumenta il valore predittivo del test positivo mentre il valore predittivo del test negativo raggiunge un massimo)
E’ possibile scegliere la sogliaValore predittivo del test ----------------------------
Positivo se... test positivo test negativo-------------- ------------- -------------> 0,0 0,50000 ###> 8,33333 0,50000 ###> 16,66667 0,50000 ###> 25,0 0,49971 0,40000> 33,33333 0,50932 0,86047> 41,66667 0,55659 0,93846> 50,0 0,65125 0,94884> 58,33333 0,79163 0,94109> 66,66667 0,88764 0,92279> 75,0 0,94548 0,89989> 83,33333 0,97709 0,86722> 91,66667 0,99413 0,82910> 100,0 0,99842 0,79404> 108,33333 1,00000 0,74628
-------------- ------------- -------------
Ogni caso clinico è unico.
Tuttavia perché la soluzione teorica dicambiare in modo dinamico la soglia chediscrimina tra sani e malati in relazione allospecifico caso clinico, e quindi allo specificoobiettivo clinico, sia praticabile, è necessariodisporre delle distribuzioni dei risultati deltest nei sani e nei malati.
Inoltre è necessario aggiungere la stimadella prevalenza della malattia.
Le difficoltà...
(questo è di fatto un approccio basato su un a-priori frequentista)
In realtà l’utilizzo degli odds e del likehoodratio (rapporto di verosimiglianza) consentedi semplificare l’approccio e renderlopraticabile nelle condizioni ordinarie in cuiopera il clinico.
L’alternativa...
(questo è un approccio completamente soggettivista)
Espressione in termini di numero dei casi inaggiunta all’espressione in termini di probabilità
Risposta all’obiezione che in una classificazionedicotomica si perde il senso del risultato numerico
Strategie per la scelta della soglia che discriminatra sani e malati
Effetti della specificità e delle prevalenza dellamalattia sul valore predittivo del test
Aspetti importanti del teorema
Quale soglia scegliere?
(scelta della soglia in base al criterio della massima sensibilità)
La massima sensibilità (idealmente del 100%) èrichiesta quando:- la malattia è grave e non si vuole correre ilrischio di non diagnosticarla, inoltre
- la malattia è curabile, inoltre- i falsi-positivi non comportano gravi dannipsicologici e/o economici
Esempio: il feocromocitoma.La malattia può essere fatale se misconosciuta.Se diagnosticata è curabile al 100%.In caso di positività è possibile ripetere il test e/oconfermarla con test di secondo livello.
Massima sensibilità
Quale soglia scegliere?
(scelta della soglia in base al criterio della massima specificità)
La massima specificità (idealmente del 100%) èrichiesta quando:- la malattia è grave ma non è curabile, inoltre- il sapere che la malattia è esclusa ha valorepsicologico e/o per la salute pubblica, inoltre
- i falsi-positivi possono comportare gravi dannipsicologici e/o economici
Esempio: la corea di Huntington.Non si vuole avere nessun falso-positivo.Se un caso non viene diagnosticato, l’evoluzionedella malattia porterà il paziente di nuovoall’attenzione del medico. D’altra parte un falsopositivo porterebbe a danni rilevanti al paziente.
Massima specificità
Quale soglia scegliere?
(scelta della soglia in base al criterio della massima efficienza)
La massima efficienza è richiesta quando:- la malattia è grave ma curabile, inoltre- i falsi-positivi e i falsi-negativi sono parimentigravi e/o dannosi
Esempio: infarto del miocardio.Se un caso viene trascurato, ne può derivare un danno. Un danno grave può derivare ancheda una diagnosi di infarto in assenza di questo.La massima efficienza rappresenta la sceltapiù oculata.
Massima efficienza
Il massimo valore predittivo è essenziale quandoil trattamento di un falso positivo potrebbe avereconseguenze oltremodo gravi.
Esempio: cancro del polmone.Un test per questa malattia dovrebbe avere unvalore predittivo (del test positivo) dal 100%, inquanto i solo trattamenti conosciuti sono lalobectomia e la radioterapia. Ma se tali terapie fossero eseguite su un paziente senza il cancro,le conseguenze sarebbero oltremodo gravi.
Massimo valore predittivo
Espressione in termini di numero dei casi inaggiunta all’espressione in termini di probabilità
Risposta all’obiezione che in una classificazionedicotomica si perde il senso del risultato numerico
Strategie per la scelta della soglia che discriminatra sani e malati
Effetti della specificità e delle prevalenza dellamalattia sul valore predittivo del test
Aspetti importanti del teorema
L’unico modo per comprendere appieno gli effettidella specificità e delle prevalenza della malattiasul valore predittivo di una analisi di laboratorioè di effettuare delle simulazioni mediante unostrumento per l’analisi statistica dei dati.
Questo può essere fatto mediante programmi che hanno particolarmente sviluppata l’analisibayesiana dei dati (per esempio Ministat)o anche molto semplicemente sfruttando lepotenzialità dei tabelloni elettronici, checonsentono di effettuare simulazioni applicandola logica del “cosa accade se”.
Aspetti importanti del teorema
E’ stato messo a punto un nuovo test per ladiagnosi prenatale, su liquido amniotico, di unamalattia genetica, per la quale è nota unaprevalenza di 3 su mille neonati.
Il test ha una sensibilità del 100%. Moltocorrettamente per la specificità, che è pari al99,5%, sono riportati anche gli intervalli diconfidenza al 95%, che rappresentano i limitiall’interno dei quali si colloca l’incertezza dellastima. Gli intervalli di confidenza al 95% vannoda 99,0 a 99,9.
Quale potrebbe essere il grado di incertezza del valore predittivo del test positivo?
Effetti della specificità
Sensibilità Specificità Prevalenza VPT+ VPT-
1.000 1.000 0.003 1.000 1.000
1.000 0.999 0.003 0.751 1.000
1.000 0.990 0.003 0.231 1.000
1.000 0.900 0.003 0.029 1.000
Effetti della specificità
E’ stato messo a punto un nuovo test per ladiagnosi dell’artrite reumatoide.Il test viene provato in una clinica universitaria,presso la quale la metà circa dei pazienti èaffetta da artrite reumatoidePer questo motivo vi è la rara opportunità diprovarlo su ben 500 pazienti affetti da artritereumatoide e su 500 pazienti affetti da altrepatologie reumatologiche diverse dall’artritereumatoide.Il test dimostra di avere una sensibilità del 100%e una specificità del 99%.
Effetti della prevalenza
Il test viene immesso sul mercato includendo nel bugiardino i dati di sensibilità e di specificità, che sono in assoluto i migliori per un test per ladiagnosi di artrite reumatoide.
Dopo l’immissione in commercio, il test si diffonderapidamente proprio per queste sue notevoli caratteristiche.
Tuttavia l’utilizzo del test nei laboratori di analisi“generalisti” appare evidente che i risultati sonomeno soddisfacenti di quanto si potrebbesupporre.
Possibili sospetti sul perchè?
Effetti della prevalenza
Sensibilità Specificità Prevalenza VPT+ VPT-
1.000 0.990 0.500 0.990 1.000
1.000 0.990 0.050 0.840 1.000
1.000 0.990 0.005 0.334 1.000
1.000 0.990 0.001 0.048 1.000
Effetti della prevalenza