Method Evaluation and Method Validation. วัตถุประสงค์ น.ศ.สามารถ 1. อธิบายวิธีการศึกษาเพื่อประเมินวิธีวิเคราะห์ได้ 2. วิเคราะห์และแปลความหมายผลการศึกษา เพื่อประเมินวิธีวิเคราะห์ได้. Type of Analytical Method. Reference Method Standard Method Routine Method. - PowerPoint PPT Presentation
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Method characteristicsApplication characteristics are factors that determine whethera method can be implemented in a particular laboratory situation.
Methodology characteristics are factors which, in principle, should contribute to best performance
Performance characteristics are factors which, in practice, demonstrate how well a method performs.
working range, precision, recovery, interference, accuracy, and sometimes detection limit
analytical sensitivity and analytical specificity of the method of analysis
choice of chemical reaction, optimization of reaction conditions, principles of standardization and calibration, and the rigor of the analytical procedure
cost-per-test, types of specimens sample volume, turnaround time, workload,equipment and personnel requirements, space, portability, and safety considerations
Method Evaluation 4
Ideal Clinical Laboratory Test
• Perfect accuracy and precision• High analytical sensitivity
(a limit of detection of zero)• Absolute analytical specificity
(No interferences)
• Diagnostic sensitivity andspecificity of 100%
Analytical Performance
Diagnostic Performance
Area under ROC Curve closest to 1.0(Receiver Operating Characteristic)Likelihood ratios, LR >10 or LR <0.1
True Value ในทนคอ Conventional True Value (of a Quantity)คอ คาซงแสดงคณลกษณะของปรมาณเฉพาะเจาะจงทตกลงยอมรบรวมกนจากทประชม โดยมคาความไมแนนอน(uncertainty)ทเหมาะสมสำาหรบจดประสงคทกำาหนด
คำาศพททางดานมาตรวทยา. สถาบนมาตรวทยาแหงชาต [National Institute of Metrology(Thailand)]. [Online] sited on 27 April 2010. Available form URL http://www.nimt.or.th/knowledge/word.html
Error = Measured Value - True Valueคำาศพททางดานมาตรวทยา. สถาบนมาตรวทยาแหงชาต [National Institute of Metrology(Thailand)]. [Online] sited on 27 April 2010. Available form URL http://www.nimt.or.th/knowledge/word.html
คำาศพททางดานมาตรวทยา. สถาบนมาตรวทยาแหงชาต [National Institute of Metrology(Thailand)]. [Online] sited on 27 April 2010. Available form URL http://www.nimt.or.th/knowledge/word.html
Method Evaluation 8
• Accuracy (ความถกตอง)• Precision (ความแมนยำา)• Analytical sensitivity (ความไวตอการวเคราะหปรมาณ)• Analytical specificity to include interfering substances
(ความจำาเพาะตอสารทวเคราะห)• Reportable range of patient test results
(ชวงทวเคราะหไดในตวอยางของวธตรวจ)• Reference range
(ชวงคาอางอง/ปกต ทพบในคนปกต)• Any other performance characteristic required for
Observed Distribution And Error concept of AccuracyWestgard JO. The Meaning and Application of Total ErrorSite on 5Jun09 From..http://www.westgard.com/essay111.htm
• Application characteristics study ศกษาหลกปฏกรยาตรวจและวธตรวจ• Linearity study ชวงการวเคราะหของวธ => Lower & Upper limit• Precision study ความแปรปรวนของผลวเคราะห (within run & between run)• Interference study การรบกวนวธวเคราะหของสารทอาจพบในตวอยางตรวจ• Recovery study ประมาณการ proportional error• Method comparison study เปรยบเทยบผลตรวจกบวธอางอง (Reference method)
Analytical Method Evaluation Study
Method Evaluation 13
ชนดความผดพลาด การประเมนขนตน การประเมนขนปลาย
ความผดพลาดแบบสม (Random Error)
ความแมนยำาภายในชดการวเคราะหWithin-run study
ความแมนยำาระหวางชดการวเคราะหBetween-run study
ความผดพลาดคงท (Constant Error)
การศกษาการรบกวนInterference study
การศกษาเปรยบเทยบผลการตรวจกบวธอางองComparison study
ความผดพลาดแบบสดสวน (Proportional Error)
การศกษารคอเวอร และการศกษาไลเนยลตRecovery study and Linearity study
การศกษาเปรยบเทยบผลการตรวจกบวธอางองComparison study
ความผดพลาดแบบระบบ (Systematic Error)
การศกษาเปรยบเทยบผลการตรวจกบวธอางองComparison study
For short-term imprecision, the within-run standard deviation (sw-run) or the within-day standard deviation (sw-day) should be ¼ or less of the defined allowable total error to be acceptable, i.e., sw-run or sw-day < 0.25 TEa
For long-term imprecision, the total standard deviation (stot) should be 1/3 or less of the defined TE, i.e., stot < 0.33 TEa .
Analyze 1 sample of each of the 2 materials on 20 different days to estimate long-term imprecision
Select at least 2 different control materials that represent low and high medical decision concentrations for the test of interest
NCCLS. Evaluation of Precision Performance of Quantitative Measurement Methods; Approved Guideline—Second Edition.NCCLS document EP5-A2 (ISBN 1-56238-542-9). NCCLS, 940 West Valley Road, Suite 1400, Wayne, Pennsylvania 19087-1898 USA, 2004.
1 A 2.0 ml 0.1 ml -2 A 2.0 ml 0.1 ml = 47.63 B 2.0 ml 0.1 ml -4 B 2.0 ml 0.1 ml = 47.6
ตวอยางศกษา Recovery ของการตรวจวดกลโคส
1.21.0000,1
1.21.0000,1
Recovery study การศกษาโดยการเตมสารในปรมาณททราบวามความเขมขนเทาใดลงในตวอยางศกษาแลวนำามาตรวจวดและนำามาวเคราะหดวาตรวจวดไดเปนรอยละเทาใดของปรมาณทเตมเขาไปในตวอยาง
NCCLS. Method Comparison and Bias Estimation Using Patient Samples; Approved Guideline—SecondEdition. NCCLS document EP9-A2 (ISBN 1-56238-472-4). NCCLS, 940 West Valley Road, Suite 1400,Wayne, Pennsylvania 19087-1898 USA, 2002.
Method Evaluation 33
Sigma,
-6s -5s -4s -3s -2s -1s1s 2s 3s 4s 5s 6s
คอ คาเบยงเบนมาตรฐานของขอมล
SDWithin + SD
Out of range + SD
(%)(Per
million)
168.26894921
% 317,310.51
295.44997361
% 45,500.26
399.73002039
% 2,699.80
499.99366575
% 63.342
599.99994267
% 0.5733
699.99999980
% 0.0020+ 6SD+ 5SD+ 4SD+ 3SD+ 2SD+ 1SD
กรณขอมลมการกระจายแบบรประฆงคลำา (ปกต)ชวง Mean + SD ใชประมาณสดสวนจำานวนขอมลทอยในขอบเขตนน ดงตาราง
PAP smear rescreening false negatives 2.4 24,000 3.45Reporting errors 0.0477 477 4.80*Conversion using table with allowance for 1.5s shift
From.. http://www.westgard.com/lesson66.htm
Nevalainen D, Berte L, Kraft C, Leigh E, Morgan T. Evaluating laboratory performance on quality indicators with the six sigma scale. Arch Pathol Lab Med 2000;124:516-519
Method Evaluation 38
Inspect Outcomesand Count
DefectsCalculate DefectPer Million
(DPM)Convert DPM
to Sigma Metric
Measure Variationof Process
Calculate SD and
Process CapabilityConvert Capabilityto Sigma Metric
Measure Outcome
Measure Variation
Two Approaches for Measuring Process Performance
Method Evaluation 39
Bias Imprecision
TrueMeasured value
Total Error (TE)
Systemic error Random error
ความผดพลาดทยอมรบได (total allowable error), TEa
Method Evaluation 40
TE = Bias + ImprecisionTE = Bias + z CV
Bias Imprecision
TrueMeasured value
Total Error (TE)
Allowable total error, TEa
TEa = Bias + z CV
CVBiasTEz a
ใชคา z ประเมนคณภาพผลการตรวจของหองวเคราะห และ ตดตามการพฒนาคณภาพงานของหองคา Z คอคา Sigma ในทางสถตวเคราะห
Allowable Total Error (%): 10.00 % (at decision level)
Inaccuracy (%bias): 3.00% (Observed at decision level)
Imprecision (%CV): 2.50% (Observed at decision level)
TE = Bias + z Imprecision (TE - Bias)Imprecision = ------------- z
z = 2z = 3z = 4
Observed (2.5,3.0)inaccuracy and imprecision
Excellent performance
Good performance
Poor performanceMarginal performance
From… James O. Westgard CLIN LAB SCI vol. 8, no. 5, Sept/Oct 1995, 277-283
Region of UnacceptablePerformance
Method Evaluation 42
Measurement responseZero or “Blank”
Lower Limitof Detection
LLDBiologic Limitof DetectionBLD
Functional Sensitivity
FS
LLD = meanblk + Z sblk BLD = LLD + Z sspk
“Spiked”sample
“Spiked”sample
FS is estimated as the mean concentration for a spiked sample whose CV is 20%. Westgard, JO. The detection limit experiment. from..http://www.westgard.com/lesson29.htm
Z sblk Z sspkZ is 2 or 3.
Different Concepts of detection limit
Method Evaluation 43
ตวอยาง การศกษา LLD และ BDL ของ PSA measurementBlank sample ( 0 ug/L) : mean = 1000 unit SD = 100 unitSpike sample (10 ug/L) : mean = 2000 unit SD = 200 unit
LLD (ug/L) =
0 + 2 (
100X 10 ) = 2 ug/L(2000-
1000)BDL (ug/L) =
2 ug/L + 2 (
200X 10 ) = 6 ug/L(2000-
1000)SD of Spike sample (10 ug/L) = 200 unit equal to 2 ug/L
From: Dwyer BK, Gorman M, Carroll IR and Druzin M. Journal of Perinatology 2008;28:461–7.
การใช UPCR และ UA protein วนจฉยภาวะProteinurea (>300mg/24-h urine)
Method Evaluation 52
Table 3 Likelihood ratios for the urine protein-creatinine ration and the urinalysis for different ranges of test results.Test Result Likelihood ratioa (95%
> 0.28 13.21 (4.3 – 40.5) PositiveUA Negative 0.59 (0.47 – 0.73) Indeterminate > 1+ 49.29 (3.1 – 792.8) PositiveAbbreviations: UA, urinalysis; UPCR, urine protein–creatinine ratio.a0.05 was added to empty cells to allow for the calculation of the likelihood ratios.From: Dwyer BK, Gorman M, Carroll IR and Druzin M. Journal of Perinatology 2008;28:461–7.
Method Evaluation 53
Receiver Operating Characteristic curve
Method Evaluation 54
Trueness
Accuracy
Precision
SystematicError
TotalError
RandomError
Bias
Uncertainty
StandardDeviation
PerformanceCharacteristics Kind of Error Term of Expression
Expression of analytical specific performance characteristics
From…Büttner J: Reference Materials and Reference Methods in Laboratory Medicine: A Challenge to International Cooperation, Eur J Clin Chem Clin Biochem, 32,8: 571-577, 1994.