[논문]부분 AUC와 최적분류점들

홍종선; 조현수

doi:10.5351/kjas.2019.32.2.187

부분 AUC와 최적분류점들
Partial AUC and optimal thresholds 원문보기

응용통계연구 = The Korean journal of applied statistics, v.32 no.2, 2019년, pp.187 - 198

초록
AI-Helper

ROC와 CAP 곡선을 이용하여 다양한 정확도 측도를 바탕으로 최적분류점을 추정하는 많은 연구가 있다. 본 연구에서는 ROC와 CAP 곡선의 특정한 부분 면적을 나타내는 대안적인 통계량을 제안한다. 새롭게 정의된 부분 면적을 나타내는 통계량의 미분방정식을 이용하여 ROC와 CAP 함수와의 관계를 살펴보고, 다음으로는 ROC와 CAP 곡선에 대한 다양한 정확도 측도들의 조건에서의 최적분류점과의 관계를 유도한다. 혼합분포를 구성하는 두 종류의 분포함수를 다양한 정규분포로 가정하여 최적분류점을 설정하고, 다양한 정확도 측도들의 조건에서의 최적분류점에 대응하는 제1종과 제2종 오류의 크기를 탐색하고 토론한다.

Abstract ▼ AI-Helper

Extensive literature exists on how to estimate optimal thresholds based on various accuracy measures using receiver operating characteristic (ROC) and cumulative accuracy profile (CAP) curves. This paper now proposes an alternative measure to represented the specific partial area under the ROC and CAP curves. The relationship between ROC and CAP functions is examined using differential equations of the new defined partial area under curves. In addition, the relationship with the optimal thresholds under conditions of various accuracy measures for the ROC and CAP functions is also derived. We assume there are two kinds of distribution functions composing the mixed distribution as various normal distributions before finding the optimal thresholds. Corresponding type 1 and 2 errors are also explored and discussed under various conditions for accuracy measures.

주제어

표/그림 (9)

표 Table 2.1. The second derivatives of AUROC(u) and AUCAP(u)
그림 Figure 4.1. Optimal thresholds.
표 Table 4.1. Optimal thresholds
그림 Figure 4.2. Values of errors.
표 Table 4.2. Values of α, β, α + β
표 Table 4.3. Optimal thresholds
그림 Figure 4.3. Optimal thresholds.
그림 Figure 4.4. Values of errors.
표 Table 4.4. Values of α, β, α + β

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 신용평가의 관점에서 두 종류로 구분할 수 있는 부도(default/bad/positive)와 정상(non-default/good/negative) 차주에 대한 혼합분포를 분류하는 연구에 대하여 설명하고자 한다.
Yoo와 Hong (2011)은 많은 종류의 정확도 측도들 중에서 대표적인 아홉 가지 측도들을 설명하고 각 측도들의 관계를 정리하고, 정확도 측도가 포함하는 분류정확도의 조건함수를 유도하여 성격에 따라 네 종류의 범주로 구분하였다. 본 연구에서는 이러한 선행연구들을 확장하고 발전시켜 부분 AUC와 정확도 측도들의 최적분류점과의 관계를 유도한 후 미분방 정식을 활용하여 최적분류점을 추정하는 방법을 제안한다.

가설 설정

또한 본 연구에서는 모든 x에 대해서 Fd(x) ≥ Fn(x)를 가정한다.
본 연구에서 부도의 분포를 표준정규분포 fd(x) = ϕ(x|µd = 0, σ2d = 1)로 가정하고 정상의 정규분포 함수 fn(x) = ϕ(x|µn, σ2n = 1)에서 평균 µn을 2.0부터 5.0까지 0.5 간격으로 변화시키고 표준편차를 1.0으로 가정한 경우 정확도 측도 TA의 모수 값에 따른 최적분류점을 구하여 Table 4.1에 그 위치를 정리하였고 µn의 증가함에 따라 최적분류점 변화를 살펴보기 위하여 Figure 4.1에 표현하였다.

제안 방법

ROC와 CAP 곡선 AUC의 특정 부분 면적을 나타내는 부분 AUC를 p₀와 p₁ 사이로 정의한 식 (1.2)와 다르게 본 연구의 2절에서는 0부터 시작하는 부분에 대한 대안적인 부분 AUC를 제안한다. 그리고 대안적인 부분 AUC와 ROC와 CAP 함수와의 관계를 일차 미분방정식으로 유도하고, 대안적인 부분 AUC의 이차 미분방정식을 이용하여 ROC와 CAP 곡선에서의 최적분류점들과의 관계를 유도하여 다양한 최적분류점을 추정하기 위한 여러 조건으로 다시 정의한다.
2)와 다르게 본 연구의 2절에서는 0부터 시작하는 부분에 대한 대안적인 부분 AUC를 제안한다. 그리고 대안적인 부분 AUC와 ROC와 CAP 함수와의 관계를 일차 미분방정식으로 유도하고, 대안적인 부분 AUC의 이차 미분방정식을 이용하여 ROC와 CAP 곡선에서의 최적분류점들과의 관계를 유도하여 다양한 최적분류점을 추정하기 위한 여러 조건으로 다시 정의한다. 3절에서는 부도와 정상의 분포함수를 정규분포로 가정하여 다양한 정규분포의 경우에서의 최적분류점을 유도한다.
신용평가, 제약, 의학, 고객분류 등 다양한 분야에서 두 종류 함수의 혼합분포가 주어진 경우 분류모형을 구현하는 ROC와 CAP 곡선을 바탕으로 최적분류점을 추정하는 많은 연구 문헌 중에서 Hong과 Choi (2009), Yoo와 Hong (2011), 그리고 Hong 등 (2010)은 ROC와 CAP 함수들과 다양한 정확도 측도에 해당하는 일차원 접선의 접점을 활용하여 최적분류점을 추정하는 방법을 제안하였다. 본 연구에서 는 ROC와 CAP 곡선의 AUC의 특정한 부분의 면적을 나타내는 부분 AUC를 제안하고, 대안적인 부분 AUC와 ROC와 CAP 곡선와 관계를 일차 미분방정식으로 유도하고, 이차 미분방정식을 이용하여 ROC와 CAP 곡선에서의 최적분류점들과의 관계를 유도하여 다양한 최적분류점을 추정하기 위한 여러 조건으로 다시 정리하였다. 혼합분포를 구성하는 두 종류의 분포함수를 다양한 정규분포로 가정하여 최분류점을 유도하고 이에 대응하는 제1종과 제2종 오류를 구하였다.
부도와 정상 분포를 가정한 후 평균과 표준편차의 변화에 따른 최적분류점과 이에 대응하는 오류합의 변화를 다양한 정확도 측도들 중에서 대표적인 TR과 TA 변화에 따라 살펴보았다. 설정한 두 분포의 평균 차이가 증가함에 따라 최적분류점의 값 역시 증가하며, 전체 부도율이 0.
본 연구에서 는 ROC와 CAP 곡선의 AUC의 특정한 부분의 면적을 나타내는 부분 AUC를 제안하고, 대안적인 부분 AUC와 ROC와 CAP 곡선와 관계를 일차 미분방정식으로 유도하고, 이차 미분방정식을 이용하여 ROC와 CAP 곡선에서의 최적분류점들과의 관계를 유도하여 다양한 최적분류점을 추정하기 위한 여러 조건으로 다시 정리하였다. 혼합분포를 구성하는 두 종류의 분포함수를 다양한 정규분포로 가정하여 최분류점을 유도하고 이에 대응하는 제1종과 제2종 오류를 구하였다.

성능/효과

분류하는 혼합모형에서 정확도 측도에 따른 최적분류점을 추정하는 문제에서는 본 연구에서 제안한 부분곡선아래면적의 일차와 이차 미분 방정식을 이용하여 최적분류점의 추정을 효율적으로 해결할 수 있음을 확인하였다. 따라서 서로 다른 정확도 측도들을 비교하고 이에 대한 최적분류점의 변화하는 모습을 탐색해야 하는 경우에 ROC와 CAP 곡선의 함수와 접선함수의 접점을 통해 추정하는 기존 방법들보다 본 연구에서 제안한 방법을 활용하는 것이 많은 장점이 있음을 확인하였다.
또한 γ값이 클수록 최적분류점의 값이 더 크며 µn의 증가에 따른 변화와 달리 γ = 0.5인 TR에 의한 값에 수렴하지 않음을 확인하였다.
또한 가정한 두 분포의 분산이 동일한 경우 TR에 의한 최적분류점은 µn/2임을 확인하였다.
5인 즉, TR인 경우로 수렴함을 확인하였다. 또한 이 경우에 오류합이 기하급수적으로 감소하며 마찬가지로 전체 부도율이 0.5인 TR인 경우로 수렴함을 보였다. 혼합분포들의 표준편차 차이가 증가함에 따라 최적분류점이 증가하며, 전체 부도율이 0.
분류하는 혼합모형에서 정확도 측도에 따른 최적분류점을 추정하는 문제에서는 본 연구에서 제안한 부분곡선아래면적의 일차와 이차 미분 방정식을 이용하여 최적분류점의 추정을 효율적으로 해결할 수 있음을 확인하였다. 따라서 서로 다른 정확도 측도들을 비교하고 이에 대한 최적분류점의 변화하는 모습을 탐색해야 하는 경우에 ROC와 CAP 곡선의 함수와 접선함수의 접점을 통해 추정하는 기존 방법들보다 본 연구에서 제안한 방법을 활용하는 것이 많은 장점이 있음을 확인하였다.
부도와 정상 분포를 가정한 후 평균과 표준편차의 변화에 따른 최적분류점과 이에 대응하는 오류합의 변화를 다양한 정확도 측도들 중에서 대표적인 TR과 TA 변화에 따라 살펴보았다. 설정한 두 분포의 평균 차이가 증가함에 따라 최적분류점의 값 역시 증가하며, 전체 부도율이 0.5인 즉, TR인 경우로 수렴함을 확인하였다. 또한 이 경우에 오류합이 기하급수적으로 감소하며 마찬가지로 전체 부도율이 0.
5인 TR인 경우로 수렴함을 보였다. 혼합분포들의 표준편차 차이가 증가함에 따라 최적분류점이 증가하며, 전체 부도율이 0.5이하인 경우에는 최적분류점이 일정부분 감소한 후 다시 증가함을 확인하였다. 그러나 이런 모든 경우에도 오류합이 증가함을 살펴볼 수 있었다.

후속연구

본 연구는 실제로 부도와 정상 기업을 판별해야 하는 신용평가자료 또는 양성과 음성 반응을 분류해야 하는 임상실험자료 등에 대하여 두 집단의 최적분류점을 구하는 경우에 적용할 수 있으며, 본 연구에서 제안한 부분 AUC를 바탕으로 다양한 정확도 측도들에 대한 최적분류점을 구하고 이에 대한 특성을 쉽게 파악할 수 있는 장점이 있다.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증