[논문]Index of Union와 다른 정확도 측도들

홍종선; 최소연; 임동휘

doi:10.5351/kjas.2020.33.4.395

Index of Union와 다른 정확도 측도들
Index of union and other accuracy measures 원문보기

응용통계연구 = The Korean journal of applied statistics, v.33 no.4, 2020년, pp.395 - 407

홍종선 (성균관대학교 통계학과) , 최소연 (성균관대학교 통계학과) , 임동휘 (성균관대학교 통계학과)

초록
AI-Helper

최적분류점에 대한 대부분의 정확도 측도들은 두 종류의 누적분포함수와 확률밀도함수를 기반으로 정의하거나 또는 ROC 곡선과 AUC를 기반으로 정의하는 방법으로 구분하는데, Unal (2017)은 두 가지 방법을 혼합하여 누적분포함수와 AUC를 모두 고려하는 정확도 측도 Index of Union (IU) 통계량을 제안하였다. 본 연구에서는 IU 통계량을 포함한 열 개의 정확도 측도들을 여섯 종류의 범주로 구분하여 각 범주에 속하는 측도들을 비교하면서 IU의 장점을 연구한다. 다양한 정규혼합분포를 설정하여 각각의 측도들에 대응하는 최적분류점들을 구하고 각 분류점에 대응하는 제1종과 제2종 오류 그리고 두 종류의 오류합을 구해서 오류들의 크기를 비교하면서 분류정확도 측도들의 판별력을 비교하면서 IU의 성격과 특징을 탐색한다. 두 종류 분포들의 평균 차이가 증가할수록 IU 통계량의 제1종 오류와 오류합의 크기가 최고의 분류정확도를 갖는 제2범주의 정확도 측도의 오류에 수렴하는 것을 발견하였다. 그러므로 IU는 모형의 판별력을 평가하는 정확도 측도로 활용할 수 있다.

Abstract ▼ AI-Helper

Most classification accuracy measures for optimal threshold are divided into two types: one is expressed with cumulative distribution functions and probability density functions, the other is based on ROC curve and AUC. Unal (2017) proposed the index of union (IU) as an accuracy measure that considers two types to get them. In this study, ten kinds of accuracy measures (including IU) are divided into six categories, and the advantages of the IU are studied by comparing the measures belonging to each category. The optimal thresholds of these measures are obtained by setting various normal mixture distributions; subsequently, the first and second type of errors as well as the error sums corresponding to each threshold are calculated. The properties and characteristics of the IU statistic are explored by comparing the discriminative power of other accuracy measures based on error values.The values of the first type error and error sum of IU statistic converge to those of the best accuracy measures of the second category as the mean difference between the two distributions increases. Therefore, IU could be an accuracy measure to evaluate the discriminant power of a model.

주제어

표/그림 (8)

표 Table 2.1. Conditions on optimal thresholds
$Table 3.1. Thresholds and their errors with <TEX>${\sigma}^2_d$</TEX> = <TEX>${\sigma}^2_n$</TEX>(= 1)and <TEX>${\gamma}$</TEX> = 0.4$ 표 Table 3.1. Thresholds and their errors with ${\sigma}^2_d$ = ${\sigma}^2_n$(= 1)and ${\gamma}$ = 0.4
$Table 3.2. Thresholds and their errors with <TEX>${\sigma}^2_d$</TEX> > <TEX>${\sigma}^2_n$</TEX> and <TEX>${\gamma}$</TEX> = 0.4$ 표 Table 3.2. Thresholds and their errors with ${\sigma}^2_d$ > ${\sigma}^2_n$ and ${\gamma}$ = 0.4
$Figure 3.1. <TEX>${\alpha},{\beta},{\alpha}+{\beta}$</TEX> with <TEX>${\sigma}^2_d$</TEX> > <TEX>${\sigma}^2_n$</TEX> = <TEX>$0.5^2.$</TEX>$ 그림 Figure 3.1. ${\alpha},{\beta},{\alpha}+{\beta}$ with ${\sigma}^2_d$ > ${\sigma}^2_n$ = $0.5^2.$
$Figure 3.2. <TEX>${\alpha},{\beta},{\alpha}+{\beta}$</TEX> with <TEX>${\sigma}^2_d$</TEX> > <TEX>${\sigma}^2_n$</TEX> = <TEX>$0.75^2$</TEX>.$ 그림 Figure 3.2. ${\alpha},{\beta},{\alpha}+{\beta}$ with ${\sigma}^2_d$ > ${\sigma}^2_n$ = $0.75^2$.
$Table 3.3. Thresholds and their errors with <TEX>${\sigma}^2_d$</TEX> < <TEX>${\sigma}^2_n$</TEX> and <TEX>${\gamma}$</TEX> = 0.4$ 표 Table 3.3. Thresholds and their errors with ${\sigma}^2_d$ < ${\sigma}^2_n$ and ${\gamma}$ = 0.4
$Figure 3.3. <TEX>${\alpha},{\beta},{\alpha}+{\beta}$</TEX> with <TEX>${\sigma}^2_d$</TEX> < <TEX>${\sigma}^2_n$</TEX> = <TEX>$1.25^2$</TEX>.$ 그림 Figure 3.3. ${\alpha},{\beta},{\alpha}+{\beta}$ with ${\sigma}^2_d$ < ${\sigma}^2_n$ = $1.25^2$.
$Figure 3.4. <TEX>${\alpha},{\beta},{\alpha}+{\beta}$</TEX> with <TEX>${\sigma}^2_d$</TEX> < <TEX>${\sigma}^2_n$</TEX> = <TEX>$1.5^2.$</TEX>$ 그림 Figure 3.4. ${\alpha},{\beta},{\alpha}+{\beta}$ with ${\sigma}^2_d$ < ${\sigma}^2_n$ = $1.5^2.$

참고문헌 (32)

Brasil, P. (2010). Diagnostic test accuracy evaluation for medical professionals, Package DiagnosisMed in R.
Bradley, A. P. (1997). The use of the area under the ROC curve in the evaluation of machine learning algorithms, Pattern Recognitions, 30, 1145-1159.

상세보기
Cantor, S. B., Sun, C. C., Tortolero-Luna, G., Richards-Kortum, R., and Follen, M. (1999). A comparison of C/B ratios from studies using receiver operating characteristic curve analysis, Journal of Clinical Epidemiology, 52, 885-892.

상세보기
Centor, R. N. (1991). Signal detectability: The use of ROC curves and their analyses, Medical Decision Making, 11, 102-106.

상세보기
Connell, F. A. and Koepsell, T. D. (1985). Measures of gain in certainty from a diagnostic test, American Journal of Epidemiology, 121, 744-753.

상세보기
Egan, J. P. (1975). Signal detection theory and ROC analysis, Academic Press, New York.
Engelmann, B., Hayden, E., and Tasche, D. (2003). Testing rating accuracy, Risk, 16, 82-86.
Fawcett, T. (2006). An introduction to ROC analysis, Pattern Recognition Letters, 27, 861-874.

상세보기
Fawcett, T. and Provost, F. (1997). Adaptive fraud detection, Data Mining and Knowledge Discovery, 1, 291-316.

상세보기
Freeman, E. A. and Moisen, G. G. (2008). A comparison of the performance of threshold criteria for binary classification in terms of predicted prevalence and kappa, Ecological Modelling, 217, 48-58.

상세보기
Greiner, M. M. and Gardner, I. A. (2000). Epidemiologic issues in the validation of veterinary diagnostic tests, Preventive Veterinary Medicine, 45, 3-22.

상세보기
Hanley, J. A. and McNeil, B. J. (1982). The meaning and use of the area under a receiver operating characteristic (ROC) curve, Radiology, 143, 29-36.

상세보기
Hong, C. S. and Lee S. J. (2018). TROC curve and accuracy measures, Journal of the Korean Data & Information Science Society, 29, 861-872.

상세보기
Hong, C. S., Joo, J. S., and Choi, J. S. (2010). Optimal thresholds from mixture distributions, The Korean Journal of Applied Statistics, 23(1), 13-28.

원문보기 상세보기
Hong, C. S., Lin, M. H., Hong, S. W., and Kim, G. C. (2011). Classification accuracy measures with minimum error rate for normal mixture, Journal of the Korean Data & Information Science Society, 22, 619-630.
Hsieh, F. and Turnbull, B. W. (1996). Nonparametric and semiparametric estimation of the receiver operating characteristic curve, The Annals of Statistics, 24, 25-40.

상세보기
Krzanowski, W. J. and Hand, D. J. (2009). ROC Curves for Continuous Data, Chapman & Hall/CRC, Boca Raton.
Lambert, J. and Lipkovich, I. (2008). A macro for getting more out of your ROC curve, SAS Global Forum, 231.
Liu, C., White, M., and Newell1, G. (2009). Measuring the accuracy of species distribution models: a review. In Proceedings 18th World IMACs/MODSIM Congress, 4241, 4247.
Metz, C. E. and Kronman H. B. (1980). Statistical significance tests for binormal ROC curves, Journal of Mathematical Psychology, 22, 218-243.

상세보기
Moses, L. E., Shapiro, D., and Littenberg, B. (1993). Combining independent studies of a diagnostic test into a summary ROC curve: Data-analytic approaches and some additional considerations, Statistics in Medicine, 12, 1293-1316.

상세보기
Pepe, M. S. (2000). Receiver operating characteristic methodology, Journal of the American Statistical Association, 95, 308-311.

상세보기
Pepe, M. S. (2003). The Statistical Evaluation of Medical Tests for Classication and Prediction, Oxford University Press, Oxford.
Perkins, N. J. and Schisterman, E. F. (2006). The inconsistency of "optimal" cutpoints obtained using two criteria based on the receiver operating characteristic curve, American Journal of Epidemiology, 163, 670-675.

상세보기
Provost, F. and Fawcett, T. (2001). Robust classification for imprecise environments, Machine Learning, 42, 203-231.
Spackman, K. A. (1989). Signal detection theory: valuable tools for evaluating inductive learning, The Analytics of Risk Model Validation, San Mateo, 160-163.
Tasche, D. (2006). Validation of internal rating systems and PD estimates, The Analytics of Risk Model Validation, 169-196.
Unal, I. (2017). Defining an optimal cut-point value in ROC analysis: an alternative approach, Computational & Mathematical Methods in Medicine, 2017, 1-14.
Vuk, M. and Curk, T. (2006). ROC curve, lift chart and calibration plot, Metodoloski Zvezki, 3, 89-108.
Yoo, H. S. and Hong, C. S. (2011). Optimal criterion of classification accuracy measures for normal mixture, Communications for Statistical Applications and Methods, 18, 343-355.

원문보기 상세보기
Youden, W. J. (1950). Index for rating diagnostic test, Cancer, 3, 32-35.

상세보기
Zweig, M. and Campbell, G. (1993). Receiver-operating characteristics (ROC) plots: A fundamental evaluation tool in clinical medicine, Clinical Chemistry, 39, 561-577.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증