[논문]정규혼합분포를 이용한 ROC 분석

홍종선; 이원용

doi:10.5351/kjas.2011.24.2.269

정규혼합분포를 이용한 ROC 분석
ROC Curve Fitting with Normal Mixtures 원문보기

응용통계연구 = The Korean journal of applied statistics, v.24 no.2, 2011년, pp.269 - 278

초록
AI-Helper

스코어 변수의 민감도와 특이도와의 관계로 표현한 ROC 곡선을 더욱 정확한 진단을 위하여 분포함수와 공변량을 고려한 연구가 많이 진행되었다. 공변량을 고려하는 회귀분석 방법을 사용하였으며 이때 분포함수를 정규분포로 가정하거나 잔차의 분포함수를 추정하여 ROC 분석을 하였다. 본 연구는 분포함수가 주어지지 않으며 진단에 영향을 주는 공변량을 모르는 일반적인 상황에서 논의하였다. 확률변수인 스코어와 두 개의 보모집단으로 구성된 신용평가 자료에 적합한 분포함수를 추정하기 위하여 여러 개의 정규분포가 혼합된 정규혼합분포를 사용하여 ROC 분석을 한다. 고전적인 비모수적이고 경험적인 ROC 곡선에 적합한지를 파악하기 위하여 AUC 통계량을 사용하여 비교하며, 본 연구에서 제안한 정규혼합분포를 이용한 ROC 곡선이 다른 방법으로 구한 ROC 곡선보다 적합함을 보였다.

Abstract ▼ AI-Helper

There are many researches that have considered the distribution functions and appropriate covariates corresponding to the scores in order to improve the accuracy of a diagnostic test, including the ROC curve that is represented with the relations of the sensitivity and the specificity. The ROC analysis was used by the regression model including some covariates under the assumptions that its distribution function is known or estimable. In this work, we consider a general situation that both the distribution function and the elects of covariates are unknown. For the ROC analysis, the mixtures of normal distributions are used to estimate the distribution function fitted to the credit evaluation data that is consisted of the score random variable and two sub-populations of parameters. The AUC measure is explored to compare with the nonparametric and empirical ROC curve. We conclude that the method using normal mixtures is fitted to the classical one better than other methods.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

다음 절에서는 비모수적 경험적 방법과 회귀분석을 이용한 모수적 그리고 준모수적인 방법인 기존의 ROC 분석방법들과 본 연구에서 제안한 정규혼합분포를 이용하는 방법을 비교하기 위하여 두 종류의 예제에 대하여 실증분석한다. 우선 4절에서 논의할 두 실증예제 자료에 적합한 정규혼합분포를 구하여보자. 첫 번째로 Pepe (2003)의 연구에 사용된 자료는 1848명의 사람들 중 489명의 사람은 청각장애가 있고 1359명의 사람은 청각장애가 없는 정상인의 자료(이하 DP21)이다 (Stover 등, 1996).

가설 설정

본 연구에서는 진단 결과를 의학적 관점이 아닌 신용평가(credit evaluation)적 관점으로 논의하기 위하여 d(disease; 질병)와 n(non-disease; 정상)을 d(default; 부도)와 n(non-default; 정상)로 설정한다. 그리고 차주(borrower)는 스코어(score) 확률변수 S와 모수공간 D에 의해서 특성을 나타낸다고 가정하자. 확률변수 S는 대출기관에서 차주의 신용가치를 예상하기 위해 차주에게 부여한 연속형 값을 갖는 스코어이다.
스코어 변수 S를 통하여 대출기관은 궁극적으로 차주의 신용가치에 관한 정보에 의거하여 차주의 미래상태 D를 예상하는 것이다. 차주의 모집단은 두 개의 부모집단으로 구성된다고 가정한다. 즉 D = {d, n}이라고 하자.
Pepe (1998, 2003)는 연속형 진단결과를 가진 자료의 정확도에 영향을 주는 공변량을 고려하여 분포함수를 아는 경우와 모르는 경우의 두 종류의 회귀분석법을 제안하였다. 특히 분포함수가 주어진 경우는 정규분포로 가정하면서 분석하였고, 분포함수가 주어지지 않은 경우에는 함수를 추정하여 분석하였다.

제안 방법

3절에서 소개한 청각장애의 유무에 관한 자료(DP21)로, 공변량으로 소리 강도(intensive)와 소리 주파수(frequency)를 채택하였다. Pepe (2003)는 비모수적 경험적 ROC 곡선과 회귀분석을 이용한 모수적 그리고 준모수적인 방법인 기존의 ROC 곡선을 비교분석하였다 (모형의 결과는 Pepe (2003) 참조).
Pepe가 제안한 두 가지의 방법으로 구한 ROC 곡선이 고전적인 비모수적 경험적 ROC 곡선과의 적합을 연구하였다.
본 연구에서는 일반적으로 분포함수가 주어지지 않은 경우를 고려하였으며, 자료에 적합한 함수를 추정하기 위하여 정규혼합 분포함수를 사용하여 ROC 분석을 하였다. Pepe가 제안한 두 종류의 ROC 곡선 그리고 본 연구에서 제안한 정규혼합 분포함수를 이용한 ROC 곡선이 고전적인 비모수적 경험적인 ROC 곡선을 적절하게 표현하는지를 판단하기 위하여 자료 수가 많은 두 가지의 예제로 실증분석하였다. 또한, 고전적인 ROC 곡선에 적합한지를 AUC 통계량을 사용하여 비교하였다.
본 연구의 2절에서는 기존의 ROC 분석법들 중에서 세가지 방법을 간략히 정리한다. 고전적인 비모수적 경험적 ROC 곡선을 간략히 정리하며, Pepe (1998, 2003)가 제안한 모수적인 추정방법과 준모수적인 추정방법을 사용한 ROC 회귀분석법을 소개한다. 3절에서는 본 연구에서 제안한 정규혼합분포로 구성된 모형을 설명하고, 2절에서 소개한 기존의 방법들과 3절에서 제안한 방법으로 구한 ROC 곡선을 4절에서 비교분석한다.
다음 절에서는 비모수적 경험적 방법과 회귀분석을 이용한 모수적 그리고 준모수적인 방법인 기존의 ROC 분석방법들과 본 연구에서 제안한 정규혼합분포를 이용하는 방법을 비교하기 위하여 두 종류의 예제에 대하여 실증분석한다. 우선 4절에서 논의할 두 실증예제 자료에 적합한 정규혼합분포를 구하여보자.
Pepe가 제안한 두 종류의 ROC 곡선 그리고 본 연구에서 제안한 정규혼합 분포함수를 이용한 ROC 곡선이 고전적인 비모수적 경험적인 ROC 곡선을 적절하게 표현하는지를 판단하기 위하여 자료 수가 많은 두 가지의 예제로 실증분석하였다. 또한, 고전적인 ROC 곡선에 적합한지를 AUC 통계량을 사용하여 비교하였다. 그 결과 본 연구에서 제안한 정규혼합을 이용한 ROC 곡선이 고전적인 ROC 곡선에 가장 적합하다고 판단되었다.
3절에서 논의한 외감기업 자료로, 공변량으로 각 기업의 자기자본비율을 고려하였다. 모수적 방법으로 구한 모수의 추정량은 표 4.3과 같으며, 준모수적 방법에서 사용한 F₀의 추정분포는 표준화된 잔차를 이용하여 구한 경험적 누적분포함수를 사용하였다.
본 연구에서는 일반적으로 분포함수가 주어지지 않은 경우를 고려하였으며, 자료에 적합한 함수를 추정하기 위하여 정규혼합 분포함수를 사용하여 ROC 분석을 하였다. Pepe가 제안한 두 종류의 ROC 곡선 그리고 본 연구에서 제안한 정규혼합 분포함수를 이용한 ROC 곡선이 고전적인 비모수적 경험적인 ROC 곡선을 적절하게 표현하는지를 판단하기 위하여 자료 수가 많은 두 가지의 예제로 실증분석하였다.
본 연구에서는 진단 결과를 의학적 관점이 아닌 신용평가(credit evaluation)적 관점으로 논의하기 위하여 d(disease; 질병)와 n(non-disease; 정상)을 d(default; 부도)와 n(non-default; 정상)로 설정한다. 그리고 차주(borrower)는 스코어(score) 확률변수 S와 모수공간 D에 의해서 특성을 나타낸다고 가정하자.
Pepe가 제안한 두 가지의 방법으로 구한 ROC 곡선이 고전적인 비모수적 경험적 ROC 곡선과의 적합을 연구하였다. 본 연구에서는 진단에 영향을 주는 공변량을 모르는 상황에서 스코어의 분포함수를 모르는 경우에 함수를 쉽게 그리고 가장 잘 적합시키는 방법 중의 하나로 정규혼합분포를 사용하여 분포함수를 추정하여 ROC 분석한다.
따라서 정규혼합 방법을 이용한 ROC 곡선이 비모수적 경험적 ROC 곡선에 가장 적합함을 알 수 있었다. 비모수적 경험적 ROC 곡선과 비교하여 얼마나 근사한지를 판단하기 위하여 각각의 ROC 곡선의 AUC(area under curve)를 구하여 비교하였다. 모형의 변별력이 얼마나 정확한가를 평가하는 AUC 통계량은 ROC 곡선 아래의 면적을 측정하는 척도로 다음과 같이 정의하고, 그 결과를 표 4.
인 정규분포함수를 나타낸다. 정규혼합분포를 이용하여 분포함수를 추정하고, 이 함수를 사용하여 ROC 분석을 한다.

대상 데이터

두 번째 자료는 1994년부터 2005년까지 한국 기업 중에서 외부 감사를 받는 기업 중 총자산 규모가 4500억원 이상인 기업에 대한 자료(이하 외감자료)이며, 총 표본수는 4,134 (N_d = 238, N_n = 3,896)이다. 이 자료에 적합한 정규혼합분포를 추정한 결과는 다음과 같다.

데이터처리

회귀분석을 이용한 모수적 방법으로 구한 모수의 추정량은 표 4.1과 같으며, 준모수적 방법에서도 표 4.1의 추정량을 사용하며, 다만 표준화된 잔차를 이용하여 경험적 누적분포함수를 분포함수 F0의 추정분포로 가정하여 ROC 함수를 구하였다.

이론/모형

2.2절에서와 달리 분포함수 F₀를 모른다고 가정하는 경우에는 #의 최대가능도 추정량을 구할 수 없으므로 표준화 잔차의 분포를 이용하여 준가능도(Quasi-likelihood) 방법을 사용한다. 평균함수와 분산함수를 2.
1)의 분포함수를 모르고 평균함수에 영향을 주는 공변량도 고려하지 않는다고 가정하자. 이런 상황에서 본 연구는 자료에 가장 적합한 분포함수를 추정하는 방법 중에서 편리한 방법인 정규혼합(normal mixture) 분포를 이용한다. 분포함수 F_d(s)와 F_n(s)를 각각 p개와 q개의 정규분포함수의 선형결합(linear combination)으로 구성되었다고 하자.

성능/효과

또한, 고전적인 ROC 곡선에 적합한지를 AUC 통계량을 사용하여 비교하였다. 그 결과 본 연구에서 제안한 정규혼합을 이용한 ROC 곡선이 고전적인 ROC 곡선에 가장 적합하다고 판단되었다. 그러므로 연구대상이 자료를 ROC 곡선으로 구현할 때 본 연구에서 제안한 혼합분포에 적합한 정규혼합분포를 추정하여 이용한다면, 자료를 잘 설명하는 ROC 분석에 활용할 수 있다.
경험적 방법을 이용한 ROC 곡선에 가장 근접하는 것은 정규혼합을 이용한 ROC 곡선이며 모수적 방법을 이용한 ROC 곡선이 가장 멀리 떨어져 있는 것을 파악할 수 있다. 그러므로 비모수적 경험적 ROC 곡선과 정규혼합 방법을 이용한 ROC 곡선이 가장 적합함을 알 수 있었다.
네 가지 방법을 이용하여 기준이 되는 비모수적 경험적 ROC 곡선과 비교한 표 4.2의 결과를 살펴보면, 정규혼합을 이용한 ROC 곡선이 가장 적합하다.
경험적 방법을 이용한 ROC 곡선에 가장 근접하는 것은 정규혼합을 이용한 ROC 곡선이며 준모수적 방법을 이용한 ROC 곡선이 가장 멀리 떨어져 있는 것을 파악할 수 있다. 따라서 정규혼합 방법을 이용한 ROC 곡선이 비모수적 경험적 ROC 곡선에 가장 적합함을 알 수 있었다. 비모수적 경험적 ROC 곡선과 비교하여 얼마나 근사한지를 판단하기 위하여 각각의 ROC 곡선의 AUC(area under curve)를 구하여 비교하였다.
비모수적 경험적 ROC 곡선과 비교하여 근사한지를 판단하기 위하여 ROC 곡선의 AUC를 구하여 비교한 표 4.4를 살펴보면, 4.1절에서 논의한 것과 동일하게 정규혼합을 이용한 ROC 곡선이 가장 적합함을 파악할 수 있다.

후속연구

그 결과 본 연구에서 제안한 정규혼합을 이용한 ROC 곡선이 고전적인 ROC 곡선에 가장 적합하다고 판단되었다. 그러므로 연구대상이 자료를 ROC 곡선으로 구현할 때 본 연구에서 제안한 혼합분포에 적합한 정규혼합분포를 추정하여 이용한다면, 자료를 잘 설명하는 ROC 분석에 활용할 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Pepe는 ROC 회귀분석법을 어떻게 구분 했는가?	일반적인 ROC 분석은 공변량을 고려하지 않은 자료를 기반으로 작성하여 비모수적 경험적(nonparametric empirical) ROC 분석이라고 한다. Pepe (2003)는 공변량을 고려하여 ROC 회귀분석(regression analysis)법을 제안하였는데, 스코어의 분포함수를 아는 경우에 선형모형을 고려한 모수적(parametric) 방법과 분포함수를 모르는 경우의 준모수적(semiparametric) 방법으로 구분하였다. Pepe가 제안한 두 가지의 방법으로 구한 ROC 곡선이 고전적인 비모수적 경험적 ROC 곡선과의 적합을 연구하였다.
	ROC 곡선이란?	ROC 곡선(Receiver Operating Characteristic Curve)은 성과(performance)를 기반으로 한 분류모형(classification model) 또는 분류자(classifiers)를 시각화할 수 있고 평가할 수 있는 유용한 방법이다. ROC 곡선은 분류자의 ‘hit rate’(이익) 또는 ‘sensitivity’(민감도)와 ‘false alarm rate’(비용) 또는 ‘1-specifity’(1-특이도) 사이에 교환(trade-off)을 나타내는 신호탐지이론에서 오랫동안 사용되어졌다(Sobehart와 Keenan, 2001; Engelmann 등, 2003; Drummond와 Holte, 2006).
	ROC 곡선은 신호탐지이론 외에 어디에서 사용되는가?	ROC 곡선은 분류자의 ‘hit rate’(이익) 또는 ‘sensitivity’(민감도)와 ‘false alarm rate’(비용) 또는 ‘1-specifity’(1-특이도) 사이에 교환(trade-off)을 나타내는 신호탐지이론에서 오랫동안 사용되어졌다(Sobehart와 Keenan, 2001; Engelmann 등, 2003; Drummond와 Holte, 2006). 또한 의사결정과 의학진단의 체계에서 폭넓게 사용되어졌다 (Hanley와 McNeil, 1982; Swets, 1988; Zou, 2002). ROC 곡선의 특성에 관한 설명과 실증연구에서 ROC 분석을 응용하는데 관련된 정보는 Fawcett (2003)과 Provost와 Fawcett (1997, 2001), 홍종선과 최진수 (2009), 홍종선 등 (2010)에서 발견할 수 있다.

참고문헌 (18)

홍종선, 주재선, 최진수 (2010). 혼합분포에서의 최적분류점, , 23, 13-28.
홍종선, 최진수 (2009). ROC와 CAP 곡선에서의 최적분류점, , 22, 911-921.

원문보기 상세보기
Drummond, C. and Holte, R. C. (2006). Cost curves: An improved method for visualizing classifier performance, Machine Learning, 65, 95-130.

상세보기
Engelmann, B., Hayden, E. and Tasche, D. (2003). Measuring the discriminative power of rating systems, Discussion Paper, Series 2: Banking and Financial Supervision.
Fawcett, T. (2003). ROC Graphs: Notes and practical considerations for data mining researchers, Technical Report HPL-2003-4, HP Laboratories, 1-28.
Gatsonis, C. A., Begg, C. B. and Wieand, S. A. (1995). Introduction to advances in statistical methods for diagnostic radiology: A symposium, Academic Radiology, 2, S1-3.

상세보기
Hanley, A. and McNeil, B. (1982). The meaning and use of the area under a receiver operating characteristics curve, Diagnostic Radiology, 143, 29-36.
McCullagh, P. and Nelder, J. A. (1983). Quasi-likelihood functions, Annals of Statistics, 11, 59-67.

상세보기
Pepe, M. S. (1998). Three approaches to regression analysis of receiver operating characteristic curves for continuous test results, Biometrics, 54, 124-135.

상세보기
Pepe, M. S. (2003). The Statistical Evaluation of Medical Tests for Classification and Prediction, University Press, Oxford.
Provost, F. and Fawcett, T. (1997). Analysis and visualization of classifier performance comparison under imprecise class and cost distributions, In Proceedings of the Third International Conference on Knowledge Discovery and Data Mining, 43-48.
Provost, F. and Fawcett, T. (2001). Robust classification for imprecise environments, Machine Learning, 42, 203-231.
Sobehart, J. R. and Keenan, S. C. (2001). Measuring default accurately, credit risk special report, Risk, 14, 31-33.
Stover, L., Gorga, M. P. and Neely, T. (1996). Towards optimizing the clinical utility of distortion product otoacoustic emission measurements, Journal of the Acoustical Society of America, 100, 956-967.

상세보기
Swets, J. A. (1988). Measuring the accuracy of diagnostic systems, American Association for the Advancement of Science, 240, 1285-1293.

상세보기
Swets, J. A. and Pickett, R. M. (1982). Evaluation Diagnostic Systems, Methods from Signal Detection Theory, Academic Press, New York.
Tasche, D. (2006). Validation of internal rating systems and PD estimates, On-line bibliography available from: http://arXiv:physics/0606071.
Zou, K. H. (2002). Receiver operating characteristic literature research, On-line bibliography available from: http://www.spl.havard.edu/pages/ppl/zou/roc.html.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증