[논문]절단함수를 이용한 AUC와 VUS

홍종선; 홍성혁

doi:10.5351/kjas.2019.32.4.593

[국내논문] 절단함수를 이용한 AUC와 VUS
AUC and VUS using truncated distributions 원문보기

응용통계연구 = The Korean journal of applied statistics, v.32 no.4, 2019년, pp.593 - 605

초록
AI-Helper

ROC 곡선 아래 면적과 ROC 곡면 아래 부피를 이용하여 분류모형의 판별력을 측정하는 통계량인 AUC와 VUS에 관한 많은 연구가 있다. ROC 곡선을 구성하는 FPR과 TPR 모두에 제한을 두는 양방향 부분 AUC는 부분 AUC보다 더 효과적이고 정확하게 제안되었다. ROC 곡면에서도 부분 VUS 뿐만 아니라 세 방향 부분 VUS 통계량이 개발되었다. 본 연구에서는 ROC 곡선의 FPR과 TPR 모두에 제한된 두 개의 절단함수를 이용하여 확률 개념과 적분 표현으로 대안적인 AUC를 제안한다. 또한 이 AUC는 양방향 부분 AUC와 관계가 있음을 알 수 있다. ROC 곡면에서의 세 방향 부분 VUS도 절단함수를 이용하는 VUS와 관련되어 있음을 발견하였다. 그리고 이러한 대안적인 AUC와 VUS는 맨-휘트니 통계량으로 표현되고 추정된다. 정규분포와 확률표본을 기반으로 이들의 모수적인 추정 방법과 비모수적인 추정 방법을 탐색한다.

Abstract ▼ AI-Helper

Significant literature exists on the area under the ROC curve (AUC) and the volume under the ROC surface (VUS) which are statistical measures of the discriminant power of classification models. Whereas the partial AUC is restricted on the false positive rate, the two-way partial AUC is restricted on both the false positive rate and true positive rate, which could be more efficient and accurate than partial AUC. The two-way partial AUC was suggested as more efficient and accurate than the partial AUC. Partial VUS as well as the three-way partial VUS were also developed for the ROC surface. A proposed AUC is expressed in this paper with probability and integration using two truncated distribution functions restricted on both the false positive rate and true positive rate. It is also found that this AUC has a relation with the two-way partial AUC. The three-way partial VUS for the ROC surface is also related to the VUS using truncated distribution functions. These AUC and VUS are represented and estimated in terms of Mann-Whitney statistics. Their parametric and non-parametric estimation methods are explored based on normal distributions and random samples.

Keyword

표/그림 (6)

그림 Figure 2.1. Two truncated functions.
그림 Figure 2.2. ROC curves.
그림 Figure 2.3. Three truncated functions.
그림 Figure 2.4. ROC surfaces.
표 Table 5.1. Two random samples and truncated random samples
표 Table 5.2. Three random samples and truncated random samples

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

가설 설정

의학진단이나 신용평가 분야에서 세 범주를 분류하기 위한 X1,X2,X3를 스코어 확률변수라 하면 이들의 누적분포함수를 각각 F1(·), F2(·), F3(·) (F1(x) F2(x) F3(x), x (∞,-∞))로 가정한다.
두 개의 스코어 확률변수 X1과 X2의 분포함수를 각각 정규분포 N(0, 1)과 N(1:5, 1)로 가정하고 절단점 xL, xU를 0.3과 1.2로 각각 설정하여, 이에 대응하는 tpAUC(v1, v2)와 AUC*를 계산한다.
확률변수 X1과 X2의 분포함수를 4.1절과 동일하게 가정하고 각 분포에서 n₁ = 200, n₂ = 300개의 표본을 추출한다. 그리고 절단점 x_L, x_U를 각각 0.
확률변수 X₁, X₂와 X₃의 분포함수를 4.2절과 동일하게 가정하고 각 분포에서 n₁= 200, n₂ = 300,n₃ = 400개의 표본을 추출한다. 그리고 절단점 x_L1 , x_U1 , x_L2 , x_U2를 각각 -1.
세 개의 스코어 확률변수 X1,X2,X3의 분포를 각각 정규분포 N(-1:5, 1), N(0, 1), N(1:5, 1)로 가정하고, 네 개의 절단점 xL1 , xU1 , xL2 , xU2을 각각 -1.2, -0.3, 0.3, 1.2로 설정한다.

제안 방법

본 연구에서는 복잡하게 확률로 표현되고 어려운 적분식을 이용하여 구하는 양향 부분 AUC인 tpAUC와 세 방향 부분 VUS인 tpVUS를 보다 간단하게 표현하고 추정하는 방법을 제안한다. 우선 2절에서는 tpAUC와 tpVUS에 대응하는 ROC 곡선과 곡면을 구성하는 확률밀도함수와 누적분포함수를 절단함수(truncated function)로 표현한다.
그리고 이런 절단함수를 이용하는 AUC와 VUS를 정의하고,tpAUC와 tpVUS에 대하여 각각 비교하면서 설명한다. 3절에서는 tpAUC와 tpVUS를 절단함수를 이용하는 AUC와 VUS의 관계로 각각 유도하면서, tpAUC와 tpVUS의 모수적 추정 방법을 제안하고,맨-휘트니 통계량을 사용하는 비모수적 추정 방법도 제안한다. 4절과 5절에서는 절단된 정규분포의 다양한 경우에 대하여 모수적 추정 방법으로 절단함수를 이용하는 AUC와 tpAUC와의 관계 그리고 절단함수를 이용하는 VUS와 tpVUS와의 관계에 대하여 탐색하고, 절단된 정규분포로부터 확률표본을 추출하여 비모수적인 추정 방법을 사용하여 절단함수를 이용하는 AUC와 VUS 그리고 tpAUC와 tpVUS와의 관계가 성립함을 발견한다.
두 절단누적분포함수를 이용하여 ROC 곡선을 표현하였듯이 절단함수를 이용하여 AUC를 정의 2.1과같이 제안한다.
이관계를 이용하면 tpAUC(v₁, v₂)와 tpVUS((u₁ u₂), (v₁, v₂))의 모수적인 추정 방법으로 활용할 수 있다. 본 절에서는 비모수적인 추정 방법으로 연구를 확장한다. 우선 tpAUC(v₁, v₂)를 추정하는 방법으로 Yang 등 (2019)은 맨-휘트니 통계량(Mann-Whitney statistic)을 이용한 tpAUC_MW를 다음과 같이 제안하였다.
본 절에서는 절단된 정규분포를 다양하게 설정하여 tpAUC와 AUC^*의 면적과 tpVUS와 VUS^*의 부피를 구하여 비교하면서 이들의 관계를 확인한다.
본 연구에서는 Yang 등 (2019)과 Hong 등 (2019)이 제안한 tpAUC와 tpVUS를 간단하게 표현하고 추정하는 방법을 제안한다. 양방향으로 제약을 받은 tpAUC와 세 방향으로 제약을 받은 tpVUS에 대응하는 ROC 곡선과 곡면을 구성하는 각각의 확률밀도함수와 누적분포함수를 절단함수로 표현하였다.
본 연구에서는 Yang 등 (2019)과 Hong 등 (2019)이 제안한 tpAUC와 tpVUS를 간단하게 표현하고 추정하는 방법을 제안한다. 양방향으로 제약을 받은 tpAUC와 세 방향으로 제약을 받은 tpVUS에 대응하는 ROC 곡선과 곡면을 구성하는 각각의 확률밀도함수와 누적분포함수를 절단함수로 표현하였다. 그리고 이러한 절단함수들을 이용하여 ROC 곡선과 곡면에 대한 AUC와 VUS를 각각 정의하였다.
양방향으로 제약을 받은 tpAUC와 세 방향으로 제약을 받은 tpVUS에 대응하는 ROC 곡선과 곡면을 구성하는 각각의 확률밀도함수와 누적분포함수를 절단함수로 표현하였다. 그리고 이러한 절단함수들을 이용하여 ROC 곡선과 곡면에 대한 AUC와 VUS를 각각 정의하였다. 절단함수를 이용하는 AUC와 tpAUC의 관계 그리고 절단함수를 이용하는 VUS와 tpVUS의 관계가 선형적인 관계를 갖고 있음을 수리적으로 증명하였다.
이런 관계식을 바탕으로 복잡하게 표현되고 계산하는 tpAUC와 tpVUS를 간단한 식으로 표현하는 모수적 추정 방법을 제안하고, 확률표본에 대한 tpAUC와 tpVUS를 계산하는 경우에도 맨-휘트니 통계량을 사용하면서 비모수적 추정 방법도 제안하였다.
그리고 두 절단점 xL1과 xU1 그리고 xL2과 xU2 범위 사이의 부피에 대한 tpVUS((u1 u2), (v1, v2))를 구하고 VUS와비교한다.
본 절에서는 4절에서 가정한 절단된 정규분포에서 확률표본들을 추출하여 tpAUC(v1,v2)와 AUC*그리고 tpVUS((u1 u2), (v1, v2))와 VUS를 비모수적인 방법으로 추정하여 비교하면서 이들의 관계를 확인한다.

성능/효과

그리고 이러한 절단함수들을 이용하여 ROC 곡선과 곡면에 대한 AUC와 VUS를 각각 정의하였다. 절단함수를 이용하는 AUC와 tpAUC의 관계 그리고 절단함수를 이용하는 VUS와 tpVUS의 관계가 선형적인 관계를 갖고 있음을 수리적으로 증명하였다.
다양한 정규분포의 경우에 대하여 tpAUC와 tpVUS를 계산하는 예제에서 절단된 정규분포에 대한 AUC와 VUS를 간단하게 구하여 복잡한 tpAUC와 tpVUS를 추정하는 방법으로 활용할 수 있음을 탐색하였으며, 절단된 정규분포로부터 확률표본을 추출하여 비모수적인 추정 방법을 사용하여 AUC와 VUS를 계산하여 tpAUC 그리고 tpVUS와의 관계가 성립함을 발견하였다.
모수적인 방법으로 구한 추정과 비교하면 tpVUS((u1 u2), (v1, v2)) = 0:6094 (0:2670 0:2670 0:5340) = 0:0232로 각각의 추정값들은 조금씩 차이가 발생하지만 전체적으로 보면 유사함을 탐색할 수 있다.

후속연구

본 연구에서는 두 개 또는 세 개의 확률변수들과 이에 대응하는 ROC 곡선과 곡면에 대한 AUC와 VUS에 관한 연구를 하였지만, 네 개 이상의 확률변수들의 ROC manifold 그리고 이에 대한 hyper-volume under the ROC manifold (HUM)에 관한 연구 즉 multi-way HUM (mwHUM)에 관한 연구를 향후 연구과제로 남겨놓는다.

질의응답

핵심어	질문	논문에서 추출한 답변
	pAUC란 무엇인가?	pAUC는 FPR의 범위를 제한하여 AUC 중의 일부 면적을 구한 통계량이다. 실제의 성능 평가 진단에서는 낮은 FPR과 높은 TPR을 함께 고려하는 것이 중요할 수 있다.
	실제의 성능 평가 진단에서 어떤 것을 고려하는 것이 중요한가?	pAUC는 FPR의 범위를 제한하여 AUC 중의 일부 면적을 구한 통계량이다. 실제의 성능 평가 진단에서는 낮은 FPR과 높은 TPR을 함께 고려하는 것이 중요할 수 있다. Yang 등 (2019)은 이러한 문제점을 개선하고자 TPR과 FPR을 동시에 제한하여 성능을 평가하기 위해 양방향 부분 AUC (two-waypartial AUC; tpAUC)를 제안하였고, Hong 등 (2019)은 tpAUC를 식 (1.
	tpAUC와 tpVUS를 간단하게 표현하고 추정하는 방법은?	이런 관계식을 바탕으로 복잡하게 표현되고 계산하는 tpAUC와 tpVUS를 간단한 식으로 표현하는 모수적 추정 방법을 제안하고, 확률표본에 대한 tpAUC와 tpVUS를 계산하는 경우에도 맨-휘트니 통계량을 사용하면서 비모수적 추정 방법도 제안하였다.다양한 정규분포의 경우에 대하여 tpAUC와 tpVUS를 계산하는 예제에서 절단된 정규분포에 대한AUC와 VUS를 간단하게 구하여 복잡한 tpAUC와 tpVUS를 추정하는 방법으로 활용할 수 있음을 탐색하였으며, 절단된 정규분포로부터 확률표본을 추출하여 비모수적인 추정 방법을 사용하여 AUC와VUS를 계산하여 tpAUC 그리고 tpVUS와의 관계가 성립함을 발견하였다.본 연구에서는 두 개 또는 세 개의 확률변수들과 이에 대응하는 ROC 곡선과 곡면에 대한 AUC와VUS에 관한 연구를 하였지만, 네 개 이상의 확률변수들의 ROC manifold 그리고 이에 대한 hyper-volume under the ROC manifold (HUM)에 관한 연구 즉 multi-way HUM (mwHUM)에 관한 연구를향후 연구과제로 남겨놓는다.

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증