[논문]로버스트추정에 바탕을 둔 주성분로지스틱회귀

김부용; 강명욱; 장혜원

doi:10.5351/kjas.2009.22.3.531

로버스트추정에 바탕을 둔 주성분로지스틱회귀
Principal Components Logistic Regression based on Robust Estimation 원문보기

응용통계연구 = The Korean journal of applied statistics, v.22 no.3, 2009년, pp.531 - 539

김부용 (숙명여자대학교 통계학과) , 강명욱 (숙명여자대학교 통계학과) , 장혜원 ((주)피스트글로벌 종합리스크사업팀)

초록
AI-Helper

로지스틱회귀분석은 고객관계관리를 위한 데이터마이닝 분야에서 많이 사용되는 기법인데, 이 분야의 모형설정 과정에서는 연관성이 매우 높은 설명변수들이 모형에 함께 포함되어 다중공선성의 문제를 유발하며, 더욱이 회귀자료에 이상점들이 포함되면 최우추정량은 심각한 결함을 갖게 된다. 두 가지 문제점을 동시에 해결하기 위하여 로버스트주성분로지스틱회귀를 적용할 수 있는데, 본 논문에서는 주성분의 선정기준을 결정하는 모형을 개발하고, 주성분모형에서의 추정치에 미치는 이상점의 영향을 축소하기 위한 로버스트추정법을 제안하였다. 제안된 추정법은 다중공선성과 이상점이 유발하는 문제들을 적절히 해결해 준다는 사실이 모의실험을 통하여 확인되었다.

Abstract ▼ AI-Helper

Logistic regression is widely used as a datamining technique for the customer relationship management. The maximum likelihood estimator has highly inflated variance when multicollinearity exists among the regressors, and it is not robust against outliers. Thus we propose the robust principal components logistic regression to deal with both multicollinearity and outlier problem. A procedure is suggested for the selection of principal components, which is based on the condition index. When a condition index is larger than the cutoff value obtained from the model constructed on the basis of the conjoint analysis, the corresponding principal component is removed from the logistic model. In addition, we employ an algorithm for the robust estimation, which strives to dampen the effect of outliers by applying the appropriate weights and factors to the leverage points and vertical outliers identified by the V-mask type criterion. The Monte Carlo simulation results indicate that the proposed procedure yields higher rate of correct classification than the existing method.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이상점들에 의해 유발되는 문제점을 해결하기 위한 방안 중의 하나로서, SAS/E-miner와 같이 자료정제 과정에서 이상점을 식별하여 제거하는 방법을 고려할 수 있다. 그러나 이상점이 오염된 관찰치라는 사실이 확인된 경우에는 제거하는 방법이 효과적일 수 있으나, 직접 이상점을 제거하는 방법은 문제 해결에 적절치 않기 때문에 (Kim, 2005), 본 연구에서는 주성분로지스틱모형의 추정치에 미치는 이상점의 영향을 적절히 축소할 수 있는 로버스트 추정법을 제안하고자 한다. 특히, 지렛점들의 영향을 감소시키기 위하여 로버스트추정량인 MCD(minimum covariance determinant)-추정량이나 MVE(minimum volume ellipsoid)-추정량에 바탕을 둔 로버스트 제곱 거리(RSD: robust squared distance)를 기준으로 지렛점을 식별하고 이들에게 적절한 가중치를 부여한다.
로지스틱회귀모형에서의 다중공선성 문제를 해결하기 위해서는 주성분 로지스틱 회귀를 적용할 수 있는데, 주성분의 선정을 위한 적절한 기준의 설정 이 요구된다. 따라서 본 연구에서는 상태지수에 바탕을 둔 주성분 선정기준 및 선정방법을 제 안하고자 한다.
더욱이 이러한 분야의 자료에는 이상점이 다수 포함되는 경우가 많다. 본 논문에서는 로지스틱회귀분석 자료에 다중공선성과 이상점이 동시에 존재하는 경우, 이 문제를 해결할 수 있는 주성분로지스틱회귀분석에 관하여 연구하였다. 특히 주성분을 선정하는 방법을 제안하고 로버스트추정법을 도입하였는데, 모의실험을 통해 제안된 방법의 적합성이 상대적으로 우수한 것으로 평가되었다.

제안 방법

이상점의 비중을 5%와 10%로 하되, 수직이상점(VO), 나쁜 지렛점(BL) 그리고 좋은 지렛점(GL)을 각 자료에 심었다. PCL과 RPCL의 적합성을 평가하기 위하여 정상점 자료와 오염된 자료들로부터 정분류율을 측정하고 전체의 평균을 구하였다. 모의실험 반복수는 1,000회이며 프로그램은 SAS/IML을 사용하였다.
우선 모의실험을 실행하기 위하여 다중공선성이 존재하는 자료를 생성하였는데 Aguilera 등 (2006)이 사용한 방법을 적용하였다. 각 설명변수는 정규분포(0, 1)과 균일분포(0, 1)로부터 생성하고, 설명변수의 개수는 3, 4, 5, 6, 7, 8, 9개로 선정하고, 관찰치의 수는 설명변수 수의 30, 40, 50, 60, 70, 80, 90배로 선정하였다. 그리고 다양한 수준의 다 중공선성이 발생하도록 다중공선성에 관련된 변수의 수를 2, 3, 4, 5개로 설정하여 각 조합별로 1,000개씩의 자료를 생성하였다.
그리고 다양한 수준의 다 중공선성이 발생하도록 다중공선성에 관련된 변수의 수를 2, 3, 4, 5개로 설정하여 각 조합별로 1,000개씩의 자료를 생성하였다. 각 자료에 주성분로지스틱회귀를 적용하여 상태지수의 경계치가 어느 크기일 때 회귀계수 추정치들의 분산 합이 최소가 되는지 조사하였다. 조사된 결과를 바탕으로 컨조인트분석을 실행하였는데, 추정치 분산의 최소치에 대응하는 상태지수의 크기에 가장 큰 영향을 미치는 요인은 설명변수의 수와 관찰치의 수인 것으로 나타났다.
각 설명변수는 정규분포(0, 1)과 균일분포(0, 1)로부터 생성하고, 설명변수의 개수는 3, 4, 5, 6, 7, 8, 9개로 선정하고, 관찰치의 수는 설명변수 수의 30, 40, 50, 60, 70, 80, 90배로 선정하였다. 그리고 다양한 수준의 다 중공선성이 발생하도록 다중공선성에 관련된 변수의 수를 2, 3, 4, 5개로 설정하여 각 조합별로 1,000개씩의 자료를 생성하였다. 각 자료에 주성분로지스틱회귀를 적용하여 상태지수의 경계치가 어느 크기일 때 회귀계수 추정치들의 분산 합이 최소가 되는지 조사하였다.
다중공선성 이 유발하는 심 각한 문제는 추정 량의 분산이 과도하게 팽 창한다는 것 이므로, 주성분 선정법의 초점을 추정량 분산의 최소화에 두기로 하였다. 우선 모의실험을 실행하기 위하여 다중공선성이 존재하는 자료를 생성하였는데 Aguilera 등 (2006)이 사용한 방법을 적용하였다.
실행하였다. 다중공선성이 존재하는 다양한 자료를 대량으로 생성한 후, 모형 (2.2)에 의해 결정된 상태지수의 경계치를 적용하되 이상점을 고려하지 않는 주성분로지스틱회귀(PCL)와 로버스트추정을 도입한 로버스트주성분로지스틱회귀(RPCL)를 각각의 자료에 적용하여 각 방법의 평균정분류율(ACCR: average of the correct classification rate)을 비교하였다.
Kim (2005)은 RSD의 계층적 군집화에 의한 식별방법을 제안하였으나, 데이터마이닝 분야에서 방대한 자료에 계층적 군집화를 적용하면 계산효율성에 심각한 문제가 발생한다. 따라서 Hardin과 Rocke (2004)가 제시한 RSD의 근사적분포를 바탕으로 지렛점을 식별하고자 한다. 즉, RSD의 분포,
설명변수와 반응변수는 제 2장에서 사용한 방법과 동일하게 생성하였다. 설명변수의 분포형태(D, nr: 정규분포, un: 균일분포), 설명변수의 수(K), 관찰치의 수(N), 다중공선성에 관련된 변수의 수(M)를 다양하게 선정하여 자료를 생성하였는데, 지렛점과 수직이상점을 심기 위하여 자료의 일부를 임의로 오염시켰다. 이상점의 비중을 5%와 10%로 하되, 수직이상점(VO), 나쁜 지렛점(BL) 그리고 좋은 지렛점(GL)을 각 자료에 심었다.
설명변수의 분포형태(D, nr: 정규분포, un: 균일분포), 설명변수의 수(K), 관찰치의 수(N), 다중공선성에 관련된 변수의 수(M)를 다양하게 선정하여 자료를 생성하였는데, 지렛점과 수직이상점을 심기 위하여 자료의 일부를 임의로 오염시켰다. 이상점의 비중을 5%와 10%로 하되, 수직이상점(VO), 나쁜 지렛점(BL) 그리고 좋은 지렛점(GL)을 각 자료에 심었다. PCL과 RPCL의 적합성을 평가하기 위하여 정상점 자료와 오염된 자료들로부터 정분류율을 측정하고 전체의 평균을 구하였다.
그러나 이상점이 오염된 관찰치라는 사실이 확인된 경우에는 제거하는 방법이 효과적일 수 있으나, 직접 이상점을 제거하는 방법은 문제 해결에 적절치 않기 때문에 (Kim, 2005), 본 연구에서는 주성분로지스틱모형의 추정치에 미치는 이상점의 영향을 적절히 축소할 수 있는 로버스트 추정법을 제안하고자 한다. 특히, 지렛점들의 영향을 감소시키기 위하여 로버스트추정량인 MCD(minimum covariance determinant)-추정량이나 MVE(minimum volume ellipsoid)-추정량에 바탕을 둔 로버스트 제곱 거리(RSD: robust squared distance)를 기준으로 지렛점을 식별하고 이들에게 적절한 가중치를 부여한다. 그리고 수직이상점에 대해서는 정상점들로부터 벗어난 정도에 비례하는 적절한 조정치를 부여하는 방식을 채택하여 그 영향력을 감소시킨다.

데이터처리

로버스트주성분로지스틱 회귀 추정의 적합성을 평가하기 위하여 Monte Carlo 모의 실험을 실행하였다. 다중공선성이 존재하는 다양한 자료를 대량으로 생성한 후, 모형 (2.
PCL과 RPCL의 적합성을 평가하기 위하여 정상점 자료와 오염된 자료들로부터 정분류율을 측정하고 전체의 평균을 구하였다. 모의실험 반복수는 1,000회이며 프로그램은 SAS/IML을 사용하였다.
그리고 수직이상점에 대해서는 정상점들로부터 벗어난 정도에 비례하는 적절한 조정치를 부여하는 방식을 채택하여 그 영향력을 감소시킨다. 한편, 제안된 방법의 적합성을 평가하기 위하여 Monte Carlo 모의실험을 실행한다.

이론/모형

이러한 추정법들은 대부분 영향력함수 접근법에 이론적 기초를 두고 있는데 실제로 영향력함수의 설정에는 어려움이 따른다. 따라서 본 연구에서는 Kim 등 (2007) 이 제안한 로버스트추정법을 적용한다.
초점을 추정량 분산의 최소화에 두기로 하였다. 우선 모의실험을 실행하기 위하여 다중공선성이 존재하는 자료를 생성하였는데 Aguilera 등 (2006)이 사용한 방법을 적용하였다. 각 설명변수는 정규분포(0, 1)과 균일분포(0, 1)로부터 생성하고, 설명변수의 개수는 3, 4, 5, 6, 7, 8, 9개로 선정하고, 관찰치의 수는 설명변수 수의 30, 40, 50, 60, 70, 80, 90배로 선정하였다.

성능/효과

1 에 수록되었다. RPCL의 경우 좋은 지 렛 점 이 포함된 자료의 ACCR 이 가장 높고 나쁜 지 렛 점 이 포함된 자료의 ACCR 이 가장 낮게나타났는데, 좋은 지렛점의 비중이 클수록 ACCR이 높았고 수직이상점이나 나쁜 지렛점은 그 비중이 클수록 ACCR이 낮았다. 이상점의 형태나 비중이 상이한 모든 자료에서 PCL보다 RPCL의 ACCR이 크게 측정되었으므로 제안된 방법의 적합성이 우수하다고 할 수 있다.
이상점의 형태나 비중이 상이한 모든 자료에서 PCL보다 RPCL의 ACCR이 크게 측정되었으므로 제안된 방법의 적합성이 우수하다고 할 수 있다. 따라서 제안된 방법은 다중공선성 문제를 적절히 해결하면서도 모형의 적합성이 높은 것으로 평가되었다.
RPCL의 경우 좋은 지 렛 점 이 포함된 자료의 ACCR 이 가장 높고 나쁜 지 렛 점 이 포함된 자료의 ACCR 이 가장 낮게나타났는데, 좋은 지렛점의 비중이 클수록 ACCR이 높았고 수직이상점이나 나쁜 지렛점은 그 비중이 클수록 ACCR이 낮았다. 이상점의 형태나 비중이 상이한 모든 자료에서 PCL보다 RPCL의 ACCR이 크게 측정되었으므로 제안된 방법의 적합성이 우수하다고 할 수 있다. 따라서 제안된 방법은 다중공선성 문제를 적절히 해결하면서도 모형의 적합성이 높은 것으로 평가되었다.
각 자료에 주성분로지스틱회귀를 적용하여 상태지수의 경계치가 어느 크기일 때 회귀계수 추정치들의 분산 합이 최소가 되는지 조사하였다. 조사된 결과를 바탕으로 컨조인트분석을 실행하였는데, 추정치 분산의 최소치에 대응하는 상태지수의 크기에 가장 큰 영향을 미치는 요인은 설명변수의 수와 관찰치의 수인 것으로 나타났다. 설명변수의 분포형태와 다중공선성에 관련된 변수의 수도 영향을 미치는 것으로 분석되었으나 그 정도가 미미하고 분석에 앞서 알 수 있는 요인들이 아니기 때문에 다음과 같은 선형모형
본 논문에서는 로지스틱회귀분석 자료에 다중공선성과 이상점이 동시에 존재하는 경우, 이 문제를 해결할 수 있는 주성분로지스틱회귀분석에 관하여 연구하였다. 특히 주성분을 선정하는 방법을 제안하고 로버스트추정법을 도입하였는데, 모의실험을 통해 제안된 방법의 적합성이 상대적으로 우수한 것으로 평가되었다.

참고문헌 (15)

Aguilera, A. M., Escabias, M. and Valderrama, M. J. (2006). Using principal components for estimating logistic regression with high-dimensional multicollinear data, Computational Statistics & Data Analysis, 50, 1905-1924

상세보기
Carroll, R. J. and Pederson, S. (1993), On robustness in the logistic regression model, Journal of the Royal Statistical Society, Series E, 55, 693-706
Copas, J. B. (1988). Binary regression models for contaminated data, Journal of the Royal Statistical Society, Series E, 50, 225-265
Croux, C. and Haesbroeck, G. (2003). Implementing the Bianco and Yohai estimator for logistic regression, Computational Statistics & Data Analysis, 44, 273-295

상세보기
Hadi, A. S. (1994). A modification of a method for the detection of outliers in multivariate samples, Journal of the Royal Statistical Society, Series E, 56, 393-396
Hardin, J. and Rocke, D. M. (2004). Outlier detection in the multiple cluster setting using the minimum covariance determinant estimator, Computational Statistics & Data Analysis, 44, 625-638

상세보기
Kim, B. Y. (2005). V-mask type criterion for identification of outliers in logistic regression, The Korean Communications in Statistics, 12, 625-634

원문보기 상세보기
Kim, B. Y. and Kahng, M. W. (2008). Principal components regression in logistic model, The Korean Journal of Applied Statistics, 21, 571-580

원문보기 상세보기
Kim, B. Y., Kahng, M. W. and Choi, M. A. (2007). Algorithm for the robust estimation in logistic regression, The Korean Journal of Applied Statistics, 20, 551-559

원문보기 상세보기
Kordzakhia, N., Mishra, G. D. and Reiersolmoen, L. (2001). Robust estimation in the logistic regression model, Journal of Statistical Planning and Inference, 98, 211-223

상세보기
Mason, R. L. and Gunst, R. F. (1985). Selecting principal components in regression, Statistics & Probability Letters, 3, 299-301

상세보기
Rousseeuw, P. J. and Driessen, K. (1999). A fast algorithm for the minimum covariance determinant estimator, Technometrics, 41, 212-223

상세보기
Rousseeuw, P. J. and Leroy, A. M. (2003). Robust Regression and Outlier Detection, John Wiley & Sons, New York
Schaefer, R. L. (1986). Alternative estimators in logistic regression when the data are collinear, Journal of Statistical Computation and Simulations, 25, 75-91

상세보기
Woodruff, D. L. and Rocke, D. M. (1994). Computable robust estimation of multivariate location and shape in high dimension using compound estimators, Journal of the American Statistical Association, 89, 888-896

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증