Universidade Federal de Minas Gerais Instituto de Ciências Exatas Departamento de Estatística Princípios de Bioestatística Aula 6 : Avaliação da Qualidade de Testes de Diagnóstico
Universidade Federal de Minas GeraisInstituto de Ciências ExatasDepartamento de Estatística
Princípios de Bioestatística
Aula 6 :
Avaliação da Qualidade de Testes de Diagnóstico
Erro !!
PARTE 1: Avaliando um (novo) Teste de Diagnóstico
Condição do paciente
Doente
Positivoresultado
resultado do teste
Positivo
Negativo
Sadio
Negativo
resultado do teste
Qual é a probabilidade do teste avaliado ter:
- resultado correto (+) em um paciente doente ?
- resultado correto (-) em um paciente sadio ?
Sensibilidade
Especificidade
Medidas de Qualidade de um Teste
Sensibilidade (s): probabilidade do teste dar resultado positivodado que o indivíduo está doente.
probabilidade de um resultado falso negativo
Especificidade (e): probabilidade do teste dar resultado negativodado que o indivíduo não está doente.
probabilidade de um resultado falso negativo
probabilidade de um resultado falso positivo
Exemplo: avaliação de um teste rápido de gravidez
Estado realda mulher
Resultado do teste da urinaTotal
Positivo Negativo
Grávida 1188 12 1200
Não-grávida 30 1970 2000
O teste acerta o dignóstico em 99% das mulheres grávidas.99% das mulheres grávidas.
O teste acerta o dignóstico em 98.5% das mulheres não grávidas.
Uma mulher grávida tem 99% de probabilidade de ter resultado positivo no teste.
Uma mulher não grávida tem 98.5% de probabilidade de ter resultado negativo no teste.
A influência do ponto de corte em s e e
Considere um teste que diagnostica a doença pela ocorrência de valoresaltos de uma variável contínua, ou seja, o resultado do teste é positivose o valor desta variável está acima de um dados ponto de corte:
Sensibilidade: proporção de resultados positivos dentre os doentes.
Aumentando o ponto de corte: menos doentes com resultado positivo.sensibilidade diminui.
Especificidade: proporção de resultados negativos dentre os sadios.
Aumentando o ponto de corte: mais sadios com resultado negativo:especificidade aumenta.
Na escolha do ponto de corte, aumentar a sensibilidade implica necessariamente em reduzir sua especificidade (e vice-versa):
menos pessoas doentesterão teste positivo,reduzindo a sensibilidade.
Se o ponto de corte é aumentado:
mais pessoas não doentesterão teste negativo,aumentando a especificidade.
e
Exemplo: Alto valor da Razão Cintura/Quadril (RCQ) como indicativo de hipertensão arterial.
Pessoas hipertensas tender a ter maior gordura abdominal.
Maior gordura abdominal pode ser indicada por uma cintura muito “larga” em relação ao quadril.
RCQ menor: cintura “fina” (menos gordura abdominal);
RCQ maior: cintura “larga” (mais gordura abdominal).
RCQ = CQ
A Razão Cintura/Quadril é a divisão das medidas da circunferência da cintura (C) pela circunferência do quadril (Q):
Um teste de indicação de hipertensão para valores de RCQ altos:
Mas quanto define um RCQ alto? Qual deve ser o ponto de corte?
Estudo com mulheres de 40-50 anos: 59 hipertensas (H) e 326 não hipertensas (NH)
Possíveis pontos de corte
Influência do ponto de corte na sensibilidade e na especificidadeda RCQ no diagnóstico da hipertensão arterial.
A Curva ROC (Receiver Operator Characteristic)
Considere um teste que diagnostica a doença pela ocorrência devalores altos (acima de um ponto de corte) de uma variável contínua.
Vimos que a escolha deste ponto de corte altera os valores desensibilidade e da especificidade do teste.
Ponto Sensibilidade Especificidade
A 80% 50%
B 70% 80%
C 45% 90%
Ponto S E
A 80% 50%
B 70% 80%
C 45% 90%
Ponto S E 100-E
A 80% 50% 50%
B 70% 80% 20%
C 45% 90% 10%
Curva ROC
(escala de 0 a 1)
O teste da Curva 1 é melhor do que o da Curva 2 que é melhor que Curva 3.
Quanto mais perto a curva estiver do canto superior esquerdo,melhor o teste.
Quanto mais perto a curva estiver da linha diagonal, pior o teste.
Área Abaixo da Curva ROC (AUC)
Exemplo: Alto valor da Razão Cintura/Quadril (RCQ) como indicativo de hipertensão arterial.
Ponto mais próximo do canto superior esquerdo
�
Ponto mais distante (J) da linha diagonal:
J = S + E – 1
Escolha do Ponto de Corte
Ponto de corte B: melhor “balanço” entre valores altos de sensib. e espec.
J = S + E – 1
J: índice de Youden�
máximo
A: J = 0.80+0.50-1 = 0.30B: J = 0.70+0.80-1 = 0.50C: J = 0.45+0.90-1 = 0.35
Ex.: Curva ROC da Creatinina Sérica no diagnóstico de Insuficiência Renal Crônica
Erro !!
PARTE 2: Avaliando o Diagnóstico Baseado no Teste
Resultado do teste
Positivo
Doente
Sadio
Estado Real:
Negativo
Resultado do teste
Doente
Sadio
-Doente se o teste deu positivo ?
Qual é a probabilidade do paciente ser realmente:
-Sadio se o teste deu negativo ?
Valor da Predição Positiva
Valor da Predição Negativa
Medidas de Qualidade do Diagnóstico baseado no Teste
Valor da Predição Positiva: probabilidade do indivíduo ser doentedado que o seu teste deu positivo.
Seja p: prevalência da doença na população, ou seja, p = P(D).
Valor da Predição Negativa: probabilidade do indivíduo ser sadiodado que o seu teste deu negativo.
proporção de (diagnósticos) falsos positivos (PFP)
proporção de (diagnósticos) falsos negativos (PFN)
Exemplo: Papanicolau como diagnóstico do câncer de colo do útero.
Considere que o teste Papanicolau tenha s = 0,8375 e e = 0,8136.
p)-0,8136)(1(10,8375p
p 0,8375
p)-e)(1(1sp
sp VPP
−+=
−+=
0,8375)p(1p)-0,8136(1
p)-0,8136(1
s)p(1p)-e(1
p)-e(1VPN
−+=
−+=
Para p = 0,000083 (83 casos em 1 milhão),� Para p = 0,000083 (83 casos em 1 milhão),
0,000370,000083)-0,8136)(1(100083)0,8375(0,0
(0,000083) 0,8375 VPP =
−+=
0,99998000830,8375)0,0(10,000083)-0,8136(1
0,000083)-0,8136(1VPN =
−+=
� Para p = 0,083 (83 casos em mil), VPP=0,2891 e VPN=0,9822.
Influência da prevalência no VPP e no VPN
s = 0,8 e e = 0,7
0,60
0,80
1,00V
PP
e V
PN
VPP
0,00
0,20
0,40
0,60
0 0,2 0,4 0,6 0,8 1
Prevalência
VP
P e
VP
N
VPN
teste + teste - teste + teste –
83 com câncer 999.917 sem câncer
1.000.000 mulheres
p = 0,000083
s = 0,8375 e = 0,8136
Desempenho do Papanicolau como diagnóstico do câncer do colo do útero
teste +70
teste -13
teste +186.385
teste –813.532
VPP = 70/186455 = 0,00037 VPN = 813532/813545 = 0,99998
teste +186.455
teste –813.545
teste + teste – teste + teste –
83.000 com câncer 917.000 sem câncer
1.000.000 mulheres
p = 0,083
s = 0,8375 e = 0,8136
Desempenho do Papanicolau como diagnóstico do câncer do colo do útero
teste + 69.512
teste –13.488
teste +170.929
teste –746.071
VPP = 69.512/240.441 = 0.29 VPN = 746.071/759.559 = 0.98
teste + 240.441
teste –759.559
Exemplo: Diagnóstico de AIDS.Teste ELISA: s = 95,0% e = 99,8% (Lab. ABBOTT)
Prevalê
ncia
c
rescendo
Prevalê
ncia
c
rescendo
VPP
crescendo
VPN
crescendo
Populações com comportamento de alto risco: >5,0% (homossexuais masculinos, usuários de drogas injetáveis e profissionais do sexo)
VPP = 96% e VPN = 99.74%
População em geral (15 a 49 anos): 0,6% (6 em 1000)
Prevalência da Infecção pelo HIV no Brasil*:
População em geral (15 a 49 anos): 0,6% (6 em 1000)
VPP = 74% e VPN = 99.99%
*Ministério da Saúde. Departamento Nacional de DST, Aids e Hepatites Virais. Aids no Brasil. Brasília, DF; Boletim Epidemiológico Aids e DST, ano IX, n°1. Brasília, DF; 2012.
Efeito da sensibilidade e da especificidade no VPP e no VPN
p)-e)(1(1sp
sp VPP
−+=
Para um valor fixo de prevalência (p fixo).
aumenta s � aumenta VPP
aumenta e � aumenta VPP
s)p(1p)-e(1
p)-e(1VPN
−+=
aumenta s � aumenta VPN
aumenta e � aumenta VPN
Mas qual (s ou e) gera um aumento maior no VPP? Especificidade.
Mas qual (s ou e) gera um aumento maior no VPN? Sensibilidade.
Efeito da sensibilidade e da especificidade no VPP
0,32
0,36
0,40
0,44
0,48
0,52
VPP
s = 0,95
s = 0,85
s = 0,75
Efeito do aumento na especificidade de 0,75 para 0,95
0,12
0,16
0,20
0,24
0,28
0,75 0,8 0,85 0,9 0,95
Especificidadep = 0,05
Efeito do aumento na sensibilidade de 0,75 para 0,95
0,30
0,35
0,40
0,45
0,50
VPN
e = 0,95
e = 0,85
e = 0,75
Efeito da sensibilidade e da especificidade no VPN
Efeito do aumento da sensibilidade de 0,75 para 0,95
0,10
0,15
0,20
0,25
0,75 0,8 0,85 0,9 0,95
Sensibilidade
VPN
p = 0,95
Efeito do aumento da especificidade de 0,75 para 0,95
Efeito da sensibilidade e da especificidade no VPP e no VPN
Para um valor fixo de prevalência (p fixo).
Aumento na especificidade gera um aumento maior no VPP.
Aumento na sensibilidade gera um aumento maior no VPN.