[논문]신용평가모형에서 두 분포함수의 동일성 검정을 위한 비모수적인 검정방법

홍종선; 김지훈

신용평가모형에서 두 분포함수의 동일성 검정을 위한 비모수적인 검정방법
Nonparametric homogeneity tests of two distributions for credit rating model validation 원문보기

Journal of the Korean Data & Information Science Society = 한국데이터정보과학회지, v.20 no.2, 2009년, pp.261 - 272

홍종선 (성균관대학교 통계학과) , 김지훈 (성균관대학교 응용통계연구소)

초록
AI-Helper

신용평가모형에서 두 집단의 판별력 검정방법 중의 하나로 두 분포함수의 동일성 검정을 위한 비모수적인 Kolmogorov-Smirnov (K-S) 검정방법이 대표적으로 적용되고 있다. 본 연구에서는 신용평가모형에서 두 분포함수의 동일성 검정을 위하여 K-S 검정 방법 외에 Cramer-Von Mises, Anderson-Darling, Watson 검정방법들을 소개하고 Joseph (2005)의 기준에 대응하는 판단기준을 제안한다. 또한 신용평가 자료와 유사한 상황 하에서의 모의실험을 통해서 불량률, 표본크기 그리고 제II종 오류율을 고려한 대안적인 판단기준을 제시하고 그 적용방법에 대해서 살펴본다.

Abstract ▼ AI-Helper

Kolmogorov-Smirnov (K-S) statistic has been widely used for testing homogeneity of two distributions in the credit rating models. Joseph (2005) used K-S statistic to obtain validation criteria which is most well-known. There are other homogeneity test statistics such as the Cramer-von Mises, Anderson-Darling, and Watson statistics. In this paper, these statistics are introduced and applied to obtain criterion of these statistics by extending Joseph (2005)'s work. Another set of alternative criterion is suggested according to various sample sizes, type a error rates, and the ratios of bads and goods by using the simulated data under the similar situation as real credit rating data. We compare and explore among Joseph's criteria and two sets of the proposed criterion and discuss their applications.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 신용평가모형 영역에서 두 집단의 판별력 검정방법 중의 하나로 분포함수의 동일성 검정을 위해 널리 사용되고 있는 비모수적인 검정통계량인 K-S 통계량에 추가적으로 Cramér-Von Mises, Anderson-Darling, Watson 통계량을 소개하였다.
국내 K금융회사에서는 1994년부터 2005년까지 은행연합회 불량발생 등록된 자료를 수집하여 신용평가모형을 개발하였다. 본 연구에서는 이 자료 중에서 매출액 1,000억 이상의 외감 대기업들 4,268건 (정상: 4101건, 부도: 167건)의 재무자료를 바탕으로 개발한 신용평가모형의 예측 부도율 자료를 살펴본다. 불량률은 모형생성을 위해 수집된 전체자료 중에서 불량이 차지하는 비율로써 # = 167/4, 268 = 0.
우선 Cramér-Von Mises W2의 결과를 살펴보자.

가설 설정

본 연구의 서론에서 언급하였듯이 이 값들은 Watson (1962)과 Choulakian 등 (1994)에서 제시한 임계값보다 매우 큰 값을 갖기 때문에 두 집단의 분포함수가 동일하다는 귀무가설은 모두 기각할 수 있다. 그러나 표 3.

제안 방법

3. 통계량들을 계산하고 I = 0.05를 만족하는 “분류기준 스코어” xc를 경계로 스코어가 xc이하인 자료를 불량으로 예측하여 제Ⅱ종 오류율을 생성한다.
신용평가모형 구축에 사용되는 자료는 기업체의 경우 대기업은 약 5,000개 정도의 표본이 이용되고 그 밖의 소규모 업체나 개인에 대한 평가모형은 더 많은 자료를 이용한다. 그러므로 신용평가 모형의 표본크기를 대표하기 위해서 신용평가영역에서 비교적 작은 표본크기인 1,000, 5,000, 10,000까지의 표본크기를 설정 하였다.
4절에서는 박용석과 홍종선 (2008)의 연구를 확장한 대안적인 판단기준을 구하기 위하여 모의실험의 절차와 결과를 제시하며 활용방법을 설명한다. 그리고 3절과 4절에서 제안한 판단기준을 통합하여 토론한다. 5절에서 실제 사례를 통하여 두 판단기준의 적용방법과 차이점을 고려해보고, 마지막 6절에서는 본 연구의 결과에 대해서 정리하고 토론한다.
이 통계량들의 판단기준을 설정하기 위하여 Joseph (2005)의 연구를 확장하여 Cramér-Von Mises, Anderson-Darling, Watson 통계량의 판단기준을 제시하였다. 그리고 신용평가 자료와 유사한 다양한 표본크기 N과 불량률 p그리고 제Ⅱ종 오류율 정보에 근거하여 자료를 생성한 박용석과 홍종선 (2008)의 연구를 확장하여 대안적인 판단기준을 제시하였으며 임계값으로 사용할 수 있는 90과 95 백분위수도 제시하였다. 불량률과 표본크기는 사전에 알 수 있고 제Ⅱ종 오류율의 정보는 각 사용자마다 허용범위를 고려하여 본 연구에서 제안한 기준을 추가적인 정보로 사용하면, 신용평가모형의 적합성 여부를 판단하는데 유용하게 활용할 수 있다.
또한 박용석과 홍종선 (2008)의 유의수준, 두 집단의 표본크기의 차이 그리고 제Ⅱ종오류율을 고려한 대안이 되는 판단 기준을 Cramér-Von Mises, Anderson-Darling, Watson 통계량의 연구를 확장하여 비교 토론하고자 한다.
실제 현장에서 불량의 수는 정상의 수보다 매우 작기 때문에 불량률 p를 3%와 5%로 설정하여 정상과 부도의 수를 97:3와 95:5의 비율로 고려하였으며, 제Ⅰ종 오류의 위험 (risk)은 제Ⅱ종 오류의 위험보다 매우 크기 때문에 제Ⅰ종 오류율을 5%로 통제하였다. 모의실험에서 제Ⅱ종오류율이 60%이상의 값도 구할 수 있지만 여기서는 60%까지 적용하기로 하겠다.
여기서는 불량률, 표본크기 그리고 제Ⅱ종 오류율을 고려한 박용석과 홍종선 (2008)의 연구를 확장하여 Cramér-Von Mises, Anderson-Darling, Watson 검정통계량들의 판단기준을 제시한다.

이론/모형

본 연구에서는 Joseph (2005)이 제안한 표 1.1의 판단기준인 K-S 통계량 외에 추가적으로 Cramér-Von Mises, Anderson-Darling, Watson 통계량들을 고려하여 판단기준을제시한다.
신용평가모형에서는 분류하고자하는 대상이 ‘불량’과 ‘정상’ 두 집단으로 구분되기 때문에 신용평가모형의 판별력에 관한 많은 연구 (예를 들어 Hong 과 Suh, 2008; Hong 과 Choi, 2008등 다수)가 있지만, 특히 검정방법으로 두 집단에 대응하는 두 분포함수의 동일성 검정방법이 이용된다. 부도율 (probability of default)의 함수인 스코어 (score)를 불량과 정상기업으로 구분하고 이에 대응하는 두 분포함수의 동일성을 검정하기 위하여 비모수적 방법인 Kolmogorov-Smirnov (K-S) 검정방법을 많이 사용한다. K-S 검정방법은 두 경험적인 분포함수 (empirical distribution)간의 차이가 최대인 점을 이용하여 두 집단에 대응하는 분포함수의 동일성을 검정하는 방법이며 통계적인 임계값 (critical value)은 유의수준과 두 집단의 표본크기에 의존한다.
여기서는 Joseph이 설정한 상황과 동일한 정규분포하에서 2절에서 소개한 Cramér-Von Mises, Anderson-Darling, Watson 검정통계량들의 판별력 판단기준을 제시한다.
이 통계량들의 판단기준을 설정하기 위하여 Joseph (2005)의 연구를 확장하여 Cramér-Von Mises, Anderson-Darling, Watson 통계량의 판단기준을 제시하였다.

성능/효과

5. 표본불량률 r = 0.10 ∼ 0.70의 경우에 따라 자료를 생성한 후 생성된 자료들을 하나로 통합하고, 제Ⅱ종오류율 10, 20, 30, 40, 50, 60%를 기준으로 Cramér-Von Mises, Anderson-Darling, Watson 통계량에 대한 각각의 평균과 90과 95 백분위수를 산출한다.
2에서 얻은 U²통계량의 평균값에 의한 제Ⅱ종 오류율 30%와 60% 사이의 값에 대응하고 95 백분위수는 제Ⅱ종 오류율 60% 이상의 값에 대응한다. U²통계량이 0.0125 이상의 값을 가질 때 제Ⅱ종 오류율 60% 이하에서 귀무가설을 기각하며, U²통계량이 0.0446 이하의 값을 가질 때 제Ⅱ종 오류율 30%에서 60% 보다 더 큰 오류율까지도 귀무가설을 기각할 수 있다. 그러므로 3절과 4절에서 제안한 판단기준은 통합적으로 표현한 그림 4.
그러므로 A2통계량이 0.4069 이상의 값을 가질 때 제Ⅱ종 오류율 55% 이상으로는 귀무가설을 기각할 수 없으며, 0.4069와 1.0709 사이의 값을 가질 때 제Ⅱ종 오류율 30% ∼ 55%정도에서 귀무가설을 기각할 수 있다.
그러므로 W2통계량이 0.0803 이상의 값을 가진다면, 제Ⅱ종 오류율 55% 이상으로는 귀무가설을 기각할 수 없으며, 0.0803과 0.2222 사이의 값을 가진다면, 제Ⅱ종 오류율 25% ∼ 55% 정도에서 귀무가설을 기각할 수 있겠다.
2의 95 백분위수를 기준으로 제Ⅱ종 오류율 40%와 50% 사이의 값을 나타내므로 제Ⅱ종 오류율의 허용범위 50% 하에서 모형의 판별력이 좋다고 결론내릴 수 있다. 그리고 A²과 U²통계량도 같은 방법으로 제Ⅱ종 오류율 허용범위 50%하에서 모형의 판별력이 좋다고 결론내릴 수 있다. 또한 박용석과 홍종선 (2008)이 제안한 기대 비용함수를 고려하여 제Ⅱ종 오류율을 설정하면 신용평가모형의 가설검정이 가능하다.
1의 판단기준에 의하면, W²과 U²통계량은 Strong하고, A²통계량은 Excellent이상이라고 판단할 수 있다. 또한 표 4.1의 N = 5, 000인 경우와 비교하여 살펴보면, 유의수준 5%에서 W²과 U²통계량은 제Ⅱ종 오류율 40% 수준에서 귀무가설을 기각할 수 있으며, A²통계량은 제Ⅱ종 오류율 30% 수준일 때 귀무가설을 기각하여 모형의 판별력이 좋다고 판단할 수 있다. 그림 4.
따라서 현재 적용되고 있는 ‘Satisfactory’ 지점은 약 60% 지점을 경계로 설정된다. 먼저 W²통계량의 결과를 살펴보면 Joseph의 기준에 의한 판단기준은 0.08이고 표본크기가 비교적 작은 1,000개에서는 Joseph의 기준보다 높은 기준이 필요하고 표본크기가 큰 5,000과 10,000개에서는 Joseph의 기준보다 낮아야함을 나타낸다. A²통계량의 결과는 W²의 결과와 동일하다.
그리고 신용평가 자료와 유사한 다양한 표본크기 N과 불량률 p그리고 제Ⅱ종 오류율 정보에 근거하여 자료를 생성한 박용석과 홍종선 (2008)의 연구를 확장하여 대안적인 판단기준을 제시하였으며 임계값으로 사용할 수 있는 90과 95 백분위수도 제시하였다. 불량률과 표본크기는 사전에 알 수 있고 제Ⅱ종 오류율의 정보는 각 사용자마다 허용범위를 고려하여 본 연구에서 제안한 기준을 추가적인 정보로 사용하면, 신용평가모형의 적합성 여부를 판단하는데 유용하게 활용할 수 있다.
0709 사이의 값을 가진다. 이 결과는 표 4.1과 표 4.2에서 얻은 A²통계량의 평균값과 비교할 때 제Ⅱ종 오류율 25%와 50% 사이의 값에 대응하고, 95 백분위수는 제Ⅱ종 오류율 30%와 55% 사이의 값에 대응한다. 그러므로 A²통계량이 0.
2222 사이의 값을 가진다. 이 결과는 표 4.1과 표 4.2에서 얻은 W²통계량의 평균값에 의한 제Ⅱ종 오류율 20%와 50% 사이의 값에 대응하고, 95 백분위수는 제Ⅱ종 오류율 25%와 55% 사이의 값에 대응한다. 그러므로 W²통계량이 0.

질의응답

핵심어	질문	논문에서 추출한 답변
	신용평가모형에서 분류하고자 하는 대상은 어떻게 구분되는가?	두 확률변수 X1, · · · , Xn과 Y1, · · · , Ym의 누적분포함수 FX(x)와 GY x)의 동일성을 검정하는 H0 : FX(·) = GY(·)에 대한 비모수적 방법으로 Kolmogorov-Smirnov, Cramér-Von Mises, AndersonDarling, Watson 검정방법들이 있다 (Lehmann, 1951; Rosenblatt, 1952; Darling, 1957; Fisz, 1960; Watson, 1961, 1962; Anderson, 1962; Pearson, 1963; Burr, 1964; Stephens, 1965, 1970, 1976; Pettitt, 1976). 신용평가모형에서는 분류하고자하는 대상이 ‘불량’과 ‘정상’ 두 집단으로 구분되기 때문에 신용평가모형의 판별력에 관한 많은 연구 (예를 들어 Hong 과 Suh, 2008; Hong 과 Choi, 2008등 다수)가 있지만, 특히 검정방법으로 두 집단에 대응하는 두 분포함수의 동일성 검정방법이 이용된다. 부도율 (probability of default)의 함수인 스코어 (score)를 불량과 정상기업으로 구분하고 이에 대응하는 두 분포함수의 동일성을 검정하기 위하여 비모수적 방법인 Kolmogorov-Smirnov (K-S) 검정방법을 많이 사용한다.
	검정방법 중 비모수적 방법인 K-S 검정방법을 많이 이용하는 이유는?	신용평가모형에서는 분류하고자하는 대상이 ‘불량’과 ‘정상’ 두 집단으로 구분되기 때문에 신용평가모형의 판별력에 관한 많은 연구 (예를 들어 Hong 과 Suh, 2008; Hong 과 Choi, 2008등 다수)가 있지만, 특히 검정방법으로 두 집단에 대응하는 두 분포함수의 동일성 검정방법이 이용된다. 부도율 (probability of default)의 함수인 스코어 (score)를 불량과 정상기업으로 구분하고 이에 대응하는 두 분포함수의 동일성을 검정하기 위하여 비모수적 방법인 Kolmogorov-Smirnov (K-S) 검정방법을 많이 사용한다. K-S 검정방법은 두 경험적인 분포함수 (empirical distribution)간의 차이가 최대인 점을 이용하여 두 집단에 대응하는 분포함수의 동일성을 검정하는 방법이며 통계적인 임계값 (critical value)은 유의수준과 두 집단의 표본크기에 의존한다.
	Kolmogorov-Smirnov 검정방법은 무엇인가?	부도율 (probability of default)의 함수인 스코어 (score)를 불량과 정상기업으로 구분하고 이에 대응하는 두 분포함수의 동일성을 검정하기 위하여 비모수적 방법인 Kolmogorov-Smirnov (K-S) 검정방법을 많이 사용한다. K-S 검정방법은 두 경험적인 분포함수 (empirical distribution)간의 차이가 최대인 점을 이용하여 두 집단에 대응하는 분포함수의 동일성을 검정하는 방법이며 통계적인 임계값 (critical value)은 유의수준과 두 집단의 표본크기에 의존한다. 표본크기가 큰 경우에는 K-S 통계량의 임계값이 작은 값을 갖는다.

참고문헌 (22)

박용석, 홍종선 (2008). 신용평가모형에서 콜모고로프-스미르노프 검정기준의 문제점. , 15, 1013-1026.

원문보기 상세보기
송문섭, 박창순, 이정진 (2003). , 자유아카데미
홍종선, 이창혁, 김지훈 (2008). 범주형 재무자료에 대한 신용평가모형 검증 비교. , 15, 615-631.

원문보기 상세보기
Anderson, T. W. and Darling, D. A. (1952). Asymptotic theory of certain "goodness-of-fit" criteria based on stochastic processes. The Annals of Mathematical Statistics, 23, 193-212.

상세보기
Anderson, T. W. (1962). On the distribution of the two-sample Cramer-von mises criterion. The Annals of Mathematical Statistics, 33, 1148-1159.

상세보기
Burr. E. (1964). Small-sample distributions of the two-sample Cramer-Von Mises' $W^2$ and Watson's $U^2$ . The Annals of Mathematical Statistics, 35, 1091-1098.

상세보기
Choulakian, V., Lockhart, R. A. and Stephens, M. A. (1994). Cramer-Von Mises statistics for discrete distributions. The Canadian Journal of Statistics / La Revue Canadiennede Statistique, 22, 125-137.

상세보기
Darling, D. A. (1957). The Kolmogorov-Smirno, Cramer-von Mises tests. Annals of Mathematical Statistics, 31, 823-838.
Fisz, M. (1960). On a result by M. Rosenblatt concerning the Mises-Smirnov test. Annals of Mathematical Statistics, 31. 427-429.

상세보기
Hong, C. S. and Choi, J. M. (2008). Validation comparison of credit rating models using Box-Cox transformation. Journal of the Korean data & Information Science Society, 19, 789-801.

원문보기 상세보기
Hong, Y. W. and Suh, J. S. (2008). Estimating the credit value-at risk of korean property and casuality insurers. Journal of the Korean data & Information Science Society, 19, 1027-1036.

원문보기 상세보기
Joseph, M. P. (2005). A PD validation framework for basel II internal ratings-based systems. Credit Scoring and Credit Control IV.
Lehmann, E. L. (1951). Consistency and unbiasedness of certain nonparametric tests. Annals of Mathematical Statistics, 22, 165-179.

상세보기
Pearson, E. S. (1963). Comparison of tests for randomness of points on a line. Biometrika, 50, 315-325.

상세보기
Pettitt, A. (1976). A two-sample Anderson Darling rank statistic. Biometrika, 63, 161-168.

상세보기
Rosenblatt, M. (1952). Limit theorems associated with variants of the von Mises statistic. Annals of Mathematical Statistics, 23, 617-623.

상세보기
Stephens, M. A. (1965). Significance points for the two-sample statistic $U^2_{M,N}$ , Biometrika, 52, 661-663.
Stephens, M. A. (1970). Use of the Kolmogorov-Smirnov, Cramer-Von Mises and related statistics without extensive tables. Journal of the Royal Statistical society, 32, 115-122.
Stephens, M. A. (1976). Asymptotic results for goodness-of-fit statistics with unknown parameters. The Annals of Statistics, 4, 357-369.

상세보기
Watson, G. S. (1961). Goodness-of-fit tests on a circle. Biometrika, 48, 109-114.

상세보기
Watson, G. (1962). Goodness-of-fit tests on a circle II. Biometrika, 49, 57-63.

상세보기
Wilkie, A. D. (2004). Measures for comparing scoring systems. In Readings in Credit Scoring-recent developments, advances, and aims, Eds. Thomas, L. C., Crook, J. N, and Edelman, D. B. Oxford finance.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증