[논문]진단검사의 특성 평가를 위한 Receiver Operating Characteristic (ROC) 곡선의 활용

박선일; 오태호

doi:10.17555/jvc.2016.04.33.2.97

진단검사의 특성 평가를 위한 Receiver Operating Characteristic (ROC) 곡선의 활용
Application of Receiver Operating Characteristic (ROC) Curve for Evaluation of Diagnostic Test Performance 원문보기

Journal of veterinary clinics = 한국임상수의학회지, v.33 no.2, 2016년, pp.97 - 101

박선일 (강원대학교 수의과대학 및 동물의학종합연구소) , 오태호 (경북대학교 수의과대학)

Abstract ▼ AI-Helper

In the field of clinical medicine, diagnostic accuracy studies refer to the degree of agreement between the index test and the reference standard for the discriminatory ability to identify a target disorder of interest in a patient. The receiver operating characteristic (ROC) curve offers a graphical display the trade-off between sensitivity and specificity at each cutoff for a diagnostic test and is useful in assigning the best cutoff for clinical use. In this end, the ROC curve analysis is a useful tool for estimating and comparing the accuracy of competing diagnostic tests. This paper reviews briefly the measures of diagnostic accuracy such as sensitivity, specificity, and area under the ROC curve (AUC) that is a summary measure for diagnostic accuracy across the spectrum of test results. In addition, the methods of creating an ROC curve in single diagnostic test with five-category discrete scale for disease classification from healthy individuals, meaningful interpretation of the AUC, and the applications of ROC methodology in clinical medicine to determine the optimal cutoff values have been discussed using a hypothetical example as an illustration.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

특히 검사결과가 연속형 척도인 경우 ROC 곡선에서 양성 판정을 위한 기준점(cutoff)을 −∞에서 ∞로 변화시킬 때 민감도와 가양성률의 변화를 그래프로 파악함으로써 진단검사의 활동 특성(operating characteristic)을 정량적으로 평가할 수 있다. 본 연구에서는 가상의 예시 자료를 사용하여 ROC 곡선을 작성하는 방법과 요약통계량을 추정하는 방법론을 소개한다.

성능/효과

최적의 기준점을 찾는 방법으로 Youden index 계산, ROC 곡선의 좌표 (0,1)에서 특정 지점 간의 거리(distance)를 이용하는 방법, 진단검사에 소요되는 금전적인 비용(cost)을 고려한 상태에서 최적의 기준점을 선정하는 공식 등을 사용할 수 있다(8,12,13). 둘째, ROC 곡선은 2개 이상의 진단검사의 특성을 비교하는 용도로 사용할 수 있다. 또한 민감도와 특이도 단독으로는 어느 검사가 더 우수한지 파악하기 어렵지만 AUC를 이용하면 진단검사의 특성을 정량적으로 비교해주는 장점이 있다.
진단검사 3종(A, B, C)의 ROC 곡선을 비교한 Fig 2에서 검사 A의 정확도는 90%로 모든 가양성률 지점에 대하여 진양성률이 가장 높고, 모든 진양성률 지점에 대하여 가양성률이 가장 낮기 때문에 정확도가 가장 높고, 검사 C는 정확도가 70%로 가장 낮다고 할 수 있다. 셋째, ROC 곡선은 민감도와 특이도의 함수이므로 유병률에 영향을 받지 않는데 이는 모집단의 유병률에 관계없이 표본을 선발해도 된다는 것을 의미한다(8). 또한 경험적 ROC 곡선은 검사결과의 측정단위(척도)와는 무관하기 때문에 검사 간 정확도를 시각적으로 직접적인 비교가 가능하며, 대수변환이나 제곱근 변환이 가능하다는 장점이 있다.
또한 민감도와 특이도 단독으로는 어느 검사가 더 우수한지 파악하기 어렵지만 AUC를 이용하면 진단검사의 특성을 정량적으로 비교해주는 장점이 있다. 진단검사 3종(A, B, C)의 ROC 곡선을 비교한 Fig 2에서 검사 A의 정확도는 90%로 모든 가양성률 지점에 대하여 진양성률이 가장 높고, 모든 진양성률 지점에 대하여 가양성률이 가장 낮기 때문에 정확도가 가장 높고, 검사 C는 정확도가 70%로 가장 낮다고 할 수 있다. 셋째, ROC 곡선은 민감도와 특이도의 함수이므로 유병률에 영향을 받지 않는데 이는 모집단의 유병률에 관계없이 표본을 선발해도 된다는 것을 의미한다(8).

질의응답

핵심어	질문	논문에서 추출한 답변
	가양성률과 진양성률 간의 관계에 대한 ROC 곡선을 통해 알 수 있는 것은?	ROC 곡선은 진단검사 결과에 근거하여 다수의 의사결정 기준점(operating condition, cutoff, decision threshold, 양성판정기준)에 대하여 가양성률(false positive rate, FPR, 1-specificity)과 진양성률(true positive rate, TPR, sensitivity)을 나타낸 그림이다(13,15). 가양성률과 진양성률 간의 관계에 대한 ROC 곡선을 통하여 첫째, 진단검사의 정확도 즉 질병에 감염된 집단(환자군)과 정상 집단(대조군)을 올바르게 분류하는 능력을 평가하며 둘째, 민감도(sensitivity, Se)와 특이도(specificity, Sp)를 동시에 고려한 상태에서 집단 분류를 위한 최적의 의사결정 기준점을 찾고 셋째, 경쟁관계에 있는 진단검사의 판별 능력이나 집단 분류를 위한 통계적 모형의 정확도를 상호 비교하며 넷째, 민감도(특이도)가 특이도(민감도) 보다 더 중요한 상황에서 특이도(민감도)를 고정할 때 목표로 하는 민감도(특이도)를 달성할 수 있는 기준점을 선택하는 등 다양한 목적으로 활용할 수 있다. 특히 검사결과가 연속형 척도인 경우 ROC 곡선에서 양성 판정을 위한 기준점(cutoff)을 −∞에서 ∞로 변화시킬 때 민감도와 가양성률의 변화를 그래프로 파악함으로써 진단검사의 활동 특성(operating characteristic)을 정량적으로 평가할 수 있다.
	의학 분야에서 ROC 곡선은 어떻게 활용되는가?	ROC (Receiver Operating Characteristic) 곡선은 2차 세계대전 당시 신호검출이론(signal detection theory)에 근거하여 레이더 영상에서 적군을 감별하기 위한 수단으로 공학에서 처음으로 개발된 이후(4,20) 심리학, 생명과학, 경제학, 사회학 등 다양한 분야에 응용되어 왔다(2,9,14). 의학 분야에서는 1960년대에 영상진단 분야에 처음으로 도입된 이래(11) 임상의학에서는 질병 진단과 예측, 환자 분류를 위한 연구, 생물정보학, 실험실 검사, 영상진단, 역학 등에 광범위하게 사용되고 있다(1,3,5,10,16,17,19,20).
	ROC 곡선은 어떠한 것을 나타낸 그림인가?	ROC 곡선은 진단검사 결과에 근거하여 다수의 의사결정 기준점(operating condition, cutoff, decision threshold, 양성판정기준)에 대하여 가양성률(false positive rate, FPR, 1-specificity)과 진양성률(true positive rate, TPR, sensitivity)을 나타낸 그림이다(13,15). 가양성률과 진양성률 간의 관계에 대한 ROC 곡선을 통하여 첫째, 진단검사의 정확도 즉 질병에 감염된 집단(환자군)과 정상 집단(대조군)을 올바르게 분류하는 능력을 평가하며 둘째, 민감도(sensitivity, Se)와 특이도(specificity, Sp)를 동시에 고려한 상태에서 집단 분류를 위한 최적의 의사결정 기준점을 찾고 셋째, 경쟁관계에 있는 진단검사의 판별 능력이나 집단 분류를 위한 통계적 모형의 정확도를 상호 비교하며 넷째, 민감도(특이도)가 특이도(민감도) 보다 더 중요한 상황에서 특이도(민감도)를 고정할 때 목표로 하는 민감도(특이도)를 달성할 수 있는 기준점을 선택하는 등 다양한 목적으로 활용할 수 있다.

참고문헌 (21)

Burfeind O, Sannmann I, Voigtsberger R, Heuwieser W. Receiver operating characteristic curve analysis to determine the diagnostic performance of serum haptoglobin concentration for the diagnosis of acute puerperal metritis in dairy cows. Anim Reprod Sci 2014; 149: 145-151.

상세보기
Collinson P. Of bombers, radiologists, and cardiologists: time to ROC. Heart 1998; 80: 215-217.

상세보기
Denis-Robichaud J, Dubuc J, Lefebvre D, DesCteaux L. Accuracy of milk ketone bodies from flow-injection analysis for the diagnosis of hyperketonemia in dairy cows. J Dairy Sci 2014; 97: 3364-3370.

상세보기
Doi K. Diagnostic imaging over the last 50 years: research and development in medical imaging science and technology. Phys Med Biol 2006; 51: R5-27.

상세보기
Enachescu V, Ionita M, Mitrea IL. Comparative study for the detection of antibodies to Neospora caninum in milk and sera in dairy cattle in southern Romania. Acta Parasitol 2014; 59: 5-10.
Eng J. Receiver operating characteristic analysis: a primer. Acad Radiol 2005; 12: 909-916.

상세보기
Faraggi D, Reiser B. Estimation of the area under the ROC curve. Stat Med 2002; 21: 3093-3106.

상세보기
Hajian-Tilaki K. Receiver operating characteristic (ROC) curve analysis for medical diagnostic test evaluation. Caspian J Intern Med 2013; 4: 627-635.

상세보기
Lasko TA, Bhagwat JG, Zou KH, Ohno-Machado L. The use of receiver operating characteristic curves in biomedical informatics. J Biomed Inform 2005; 38: 404-415.

상세보기
Li J, Jiang B, Fine JP. Multicategory reclassification statistics for assessing improvements in diagnostic accuracy. Biostatistics 2013; 14: 382-394.

상세보기
Lusted LB. Logical analysis in roentgen diagnosis. Radiology 1960; 74: 178-193.

상세보기
Metz CE. Basic principles of ROC analysis. Semin Nucl Med 1978; 8: 283-298.

상세보기
Obuchowski NA. ROC analysis. AJR Am J Roentgenol 2005; 184: 364-372.

상세보기
Swets JA. Form of empirical ROCs in discrimination and diagnostic tasks: implications for theory and measurement of performance. Psychol Bull 1986; 99: 181-198.

상세보기
Swets JA. Measuring the accuracy of diagnostic systems. Science 1988; 240: 1285-1293.

상세보기
Wan S, Zhang B. Smooth semiparametric receiver operating characteristic curves for continuous diagnostic tests. Stat Med 2007; 26: 2565-2586.

상세보기
Yang ZH, Li L, Pan ZS. Development of multiple ELISAs for the detection of antibodies against classical swine fever virus in pig sera. Virol Sin 2012; 27: 48-56.

상세보기
Zhou XH, Li CM, Yang Z. Improving interval estimation of binomial proportions. Philos Trans A Math Phys Eng Sci 2008; 366: 2405-2418.

상세보기
Zou KH, Hall WJ, Shapiro DE. Smooth non-parametric receiver operating characteristic (ROC) curves for continuous diagnostic tests. Stat Med 1997; 16: 2143-2156.

상세보기
Zou KH, O'Malley AJ, Mauri L. Receiver-operating characteristic analysis for evaluating diagnostic tests and predictive models. Circulation 2007; 115: 654-657.

상세보기
Zweig MH, Campbell G. Receiver-operating characteristic (ROC) plots: a fundamental evaluation tool in clinical medicine. Clin Chem 1993; 39: 561-577.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증