[논문]생존자료분석을 위한 혼합효과 최소제곱 서포트벡터기계

황창하; 심주용

doi:10.7465/jkdi.2012.23.4.739

생존자료분석을 위한 혼합효과 최소제곱 서포트벡터기계
Mixed effects least squares support vector machine for survival data analysis 원문보기

Journal of the Korean Data & Information Science Society = 한국데이터정보과학회지, v.23 no.4, 2012년, pp.739 - 748

황창하 (단국대학교 정보통계학과) , 심주용 (인제대학교 데이터정보학과)

초록
AI-Helper

최소제곱 서포트벡터기계 (least squares support vector machine)는 분류 및 비선형 회귀분석에서 유용하게 사용되고 있는 통계적 기법이다. 본 논문에서는 각 집단별로 생존자료가 관측된 경우 적용할 수 있는 LS-SVM을 제안한다. 제안된 모형은 임의우측 중도절단자료를 비선형 회귀모형에 적용할 수 있게 Kaplan- Meier의 중도절단분포의 추정값을 이용하여 구해진 가중값을 사용하고, 집단 간의 변동을 나타내기 위하여 임의효과항을 포함한다. 벌칙상수와 커널모수의 최적값을 구하기 위하여 일반화 교차타당성함수가 사용되고 모의실험에서는 임의효과항을 포함하지 않은 LS-SVM과 성능을 비교함으로써 제안된 방법의 우수성을 보이기로 한다.

Abstract ▼ AI-Helper

In this paper we propose a mixed effects least squares support vector machine (LS-SVM) for the censored data which are observed from different groups. We use weights by which the randomly right censoring is taken into account in the nonlinear regression. The weights are formed with Kaplan-Meier estimates of censoring distribution. In the proposed model a random effects term representing inter-group variation is included. Furthermore generalized cross validation function is proposed for the selection of the optimal values of hyper-parameters. Experimental results are then presented which indicate the performance of the proposed LS-SVM by comparing with a standard LS-SVM for the censored data.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 각 집단별로 생존자료가 관측되는 경우 적용할 수 있는 혼합효과 LS-SVM이 제안되었다. 혼합효과 LS-SVM이 임의효과항을 고려하지 않는 일반적 LS-SVM보다 더 좋은 성능을 보임을 모의실험을 통하여 알 수 있었다.
생존분석은 생명표를 제외하면 Kaplan과 Meier의 비모수 분석법, Cox의 비례 위험 (proportional hazard) 회귀모형 그리고 가속화 고장시간모형 (accelerated failure time model; Buckley와 James, 1979)의 개발 이후 많은 발전을 보이고 있으며, 생존분석에 대한 기본적인 내용은 참고문헌 Cox (1972), Kaplan과 Meier (1958), KalbfleIsch와 Prentice (1980), Miller (1981)에 설명되어 있다. 본 연구에서 우리는 생존분석에서 입력벡터 (공변량)의 생존시간에 대한 영향력을 분석하는 회귀모형인 가속화 고장시간모형에 기반을 둔 새로운 모형을 제안하고자 한다.

가설 설정

각 집단내의 개체들의 생존시간을 측정하여 얻어지는 자료의 경우 입력벡터 x_ij에 대해 회귀함수 m(x_ij)가 다음과 같은 형태로 관련되어 있다고 가정한다.
여기서, c_i는 x_i에 대응하는 중도절단변수 (censoring variable)이다. 중도절단변수들은 임의우측 중도절단 (randomly right censored) 되었고 서로 독립으로 가정된다. 대부분의 경우에 중도절단변수들의 생존함수는 알려지지 않으므로 주로 Kaplan-Meier (1958) 추정량 또는 그 변종 (variation)에 의해 추정된다.

제안 방법

각 집단 (group)내의 개체들의 생존시간을 측정하여 얻어지는 경우, 우리는 중도절단된 자료를 포함하는 복잡한 구조를 갖는 생존자료 및 집단화된 생존자료를 분석하기 위한 LS-SVM 기반 통계모형 및 기법을 개발하고 그 응용방법을 도출하는데 있다. 우리는 집단 간의 변동효과를 추정할 수 있도록 임의효과 (랜덤효과) 항을 도입하여 LS-SVM에 혼합효과모형을 결합한 모형을 제안한다. 생존분석을 위한 LS-SVM 기반 모형의 장점은 크게 세 가지이다.
우리는 집단의 수를 6개로 정하고, 각 집단의 입력변수 x를 균일분포 U(0,6)에서 생성하였고, 생존시간, 중도절단시간 및 관측시간을 다음과 같이 생성하였다.
제안된 혼합효과 LS-SVM의 유한 표본에 대한 성능을 설명하기위해 모의실험을 수행한다. 혼합 효과 LS-SVM과 임의효과항을 포함하지 않는 일반적 LS-SVM을 집단별로 생성된 모의 생존자료의 회귀함수 (각 입력 변수에 대응하는 생존시간의 평균)의 추정 성능을 비교함으로써 제안된 방법의 우수성을 보이기로 한다.

데이터처리

는 중도절단비율 (censoring proportion)이 15%가 되도록 조절되었다. 실험은 50회 반복되어 오차 측도로 평균제곱근오차 (root mean squared error; RMSE)와 평균절대값오차 (mean absolute error; MAE)를 사용하여 두 방법의 성능을 비교하였다.
이 실험에서는 Gaussian커널, K(x1, x2) = exp(-∥x1 − x2∥2)/σ2)을 사용하였고, 각 반복에서의 벌칙상수와 커널모수의 최적값은 식 (3.13)의 일반화교차타당성함수를 이용하여 구하였다.

이론/모형

우리는 Koul 등 (1981)이 제안한 가중값 u_i를 이용하여 다음과 같은 LS-SVM 형태의 최적화 문제를 고려한다.

성능/효과

첫째, 간단한 볼록최적화 (convex optimization) 기법을 사용하여 비교적 쉽게 추정값을 구할 수 있다. 둘째, 커널함수를 사용하기 때문에 예측력이 뛰어난 비선형 모형일 뿐만 아니라 원소간 곱 (componentwIse product) 커널을 사용하면 비선형 모형이지만 생존분석에서 특히 중요하게 요구되는 해석 가능한 모형이 된다. 셋째, 특히 고차원 (high dimensional) 자료에 대해서 성능이 우수한 생존분석 모형이다.
둘째, 커널함수를 사용하기 때문에 예측력이 뛰어난 비선형 모형일 뿐만 아니라 원소간 곱 (componentwIse product) 커널을 사용하면 비선형 모형이지만 생존분석에서 특히 중요하게 요구되는 해석 가능한 모형이 된다. 셋째, 특히 고차원 (high dimensional) 자료에 대해서 성능이 우수한 생존분석 모형이다.
2는 각각 두 가지 방법의 RMSE와 MAE의 평균을 나타낸다. 표에서 평균제곱근오차과 평균절대값오차의 감소율이 70% 이상 (대응되는 표본표준오차는 80% 이상) 임을 알 수 있고, 이로서 우리는 제안된 혼합효과 LS-SVM을 이용한 추정이 임의효과항을 고려하지 않는 일반적 LS-SVM을 이용한 추정보다 더 좋은 결과를 보여줌을 알 수 있다. Figure 4.
여기서, 점은 중도절단되지 않은 관측시간, o는 중도절단된 관측시간을 나타내고, 실선 (solid line)은 실제 회귀함수, 파선 (dashed line)은 혼합효과 LS-SVM에 의해 추정된 회귀함수, 그리고 점선 (dotted line)은 일반적 LS-SVM에 의해 추정된 회귀함수를 나타낸다. 표와 그림에서 우리는 제안된 혼합효과 LS-SVM을 이용한 추정이 일반적 LS-SVM을 이용한 추정보다 일관되게 더 좋은 결과를 보여줌을 알 수 있다.
제안된 혼합효과 LS-SVM의 유한 표본에 대한 성능을 설명하기위해 모의실험을 수행한다. 혼합 효과 LS-SVM과 임의효과항을 포함하지 않는 일반적 LS-SVM을 집단별로 생성된 모의 생존자료의 회귀함수 (각 입력 변수에 대응하는 생존시간의 평균)의 추정 성능을 비교함으로써 제안된 방법의 우수성을 보이기로 한다.
본 논문에서는 각 집단별로 생존자료가 관측되는 경우 적용할 수 있는 혼합효과 LS-SVM이 제안되었다. 혼합효과 LS-SVM이 임의효과항을 고려하지 않는 일반적 LS-SVM보다 더 좋은 성능을 보임을 모의실험을 통하여 알 수 있었다. 더욱이 혼합효과 LS-SVM도 LS-SVM과 마찬가지로 벌칙상수와 커널모수의 최적의 값을 선택하는데 사용가능한 일반화교차타당성함수를 가지므로 집단별로 관측된 생존자료의 분석에 많이 활용될 것으로 예상된다.

후속연구

혼합효과 LS-SVM이 임의효과항을 고려하지 않는 일반적 LS-SVM보다 더 좋은 성능을 보임을 모의실험을 통하여 알 수 있었다. 더욱이 혼합효과 LS-SVM도 LS-SVM과 마찬가지로 벌칙상수와 커널모수의 최적의 값을 선택하는데 사용가능한 일반화교차타당성함수를 가지므로 집단별로 관측된 생존자료의 분석에 많이 활용될 것으로 예상된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	혼합효과모형이란 무엇인가?	혼합효과모형은 고정효과 (fixed effect)와 임의효과를 모두를 이용하여 종속변수와 입력변수들의 관계를 설명하는 모형이다. 고정효과란 종속변수를 관측할 때 부가적으로 관측되는 입력변수들과 관련된 효과를 의미하고 임의효과란 각 집단 내에서는 고정적이지만 주어진 실험에서는 관측되지 않은 어떤 요인들에 의해 임의적으로 (randomly) 발생되는 집단 간의 변동효과를 의미한다.
	생존분석이란 무엇인가?	일반적으로 생존분석은 양의 값 (positive value)을 갖는 확률변수를 분석하는 통계적 방법으로 알려져 있다. 즉 생존분석이란 같은 상태를 유지하고 있는 시간의 길이를 분석하고, 이 시간의 길이에 영향을 미치는 원인을 분석하는 통계적 방법이다. 전통적으로 통계학이나 의학 분야에서 주로 사용되어 왔으나, 최근 생존분석이라는 용어 대신 사건까지의 시간분석 (time to event analysIs; Moulton과 Dibley, 1997) 등의 포괄적인 용어가 사용되어, 경제학에서는 취업기간이나 실업기간 또는 회사의 도산시간의 분석에, 심리학에서는 학습인지시간 분석에, 공학에서는 제품의 평균수명 추정에 응용되고 있다.
	LS-SVM란 무엇인가?	최소제곱 서포트벡터기계 (least squares support vector machine)는 분류 및 비선형 회귀분석에서 유용하게 사용되고 있는 통계적 기법이다. 본 논문에서는 각 집단별로 생존자료가 관측된 경우 적용할 수 있는 LS-SVM을 제안한다.

참고문헌 (28)

Buckley, J. and James, I. (1979). Linear regression with censored data. Biometrika, 66, 429-436.

상세보기
Cox, D. R. (1972). Regression models과 life tables. Journal of the Royal Statistical Society, 34, 187-202.
Craven, P. andWahba, G. (1979). Smoothing noisy data with spline functions: Estimating the correct degree of smoothing by the method of generalized cross-validation. Numerishe Mathematik, 31, 377-390.
Cristianini, N. and Shawe-Taylor, J. (2000). An introduction to support vector machines and other kernelbased learning methods, Cambridge University Press, Cambridge.
Davidian, M. and Giltinan, D. M. (1995). Nonlinear models for repeated measurement data, Chapman and Hall, London.
Green, P. and Silverman, B. W. (1994). Nonparametric regression and generalized linear models, Chapman and Hall, London.
Gunn, S. R. (1998). Support vector machines for classification and regression, Technical Report, Deptment of Electronics and Computer Science, Southampton University.
Harville, D. A. (1976). Extension of the Gauss-Markov theorem to include the estimation of random effects. Annals of Statistics, 4, 384-395.

상세보기
Harville, D. A. (1977). Maximum likelihood approaches to variance component estimation and to related problems. Journal of American Statistical Association, 72, 320-340.

상세보기
Hwang, C. and Shim, J. (2011). Cox proportional hazard model with L1 penalty. Journal of the Korean Data & Information Society, 22, 613-618.

원문보기 상세보기
Jo, D. H., Shim, J. and Seok, K. H. (2010). Doubly penalized kernel method for heteroscedastic autoregressive data. Journal of the Korean Data & Information Society, 21, 155-162.
Kalbfleisch, J. D. and Prentice, R. L. (1980). The statistical analysis of failure time data, John Wiley & Sons Inc., New York.
Kaplan, E. L. and Meier, P. (1958). Nonparametric estimation from incomplete observations, Journal of American Statistical Association, 53, 457-481.

상세보기
Kim, M., Park, H., Hwang, C and Shim, J. (2008). Claims reserving via kernel machine. Journal of the Korean Data &Information Society, 19, 1419-1427.
Koul, H., Susarla, V. and Van Ryzin J. (1981). Regression analysis with randomly right censored data. Annal of Statistics, 9, 1276-1288.

상세보기
Laird, N. M. and Ware, J. H. (1982). Random effects models for longitudinal data. Biometrics, 56, 89-97.
McCulloch, C, E. and Searle, S. R. (2000). Generalized, linear, and mixed models, John Wiley and Sons, New York.
Mercer, J. (1909). Functions of positive and negative type and their connection with theory of integral equations. Philosophical Transactions of Royal Society A, 415-446.
Miller, R. G. (1981). Survival analysis, Wiley, New York.
Moulton, L. H. and Dibley, M. J. (1997). Multivariate time-to-event models for studies of recurrent childhood diseases. International Journal of Epidemiology, 26, 1334-1339.

상세보기
Saunders, C., Gammerman, A. and Vovk, V. (1998). Ridge regression learning algorithm in dual variables. In Proceedings of 15th International Conference on Machine Learning, Madison, WI, 515-521.
Scholkopf, B. and Smola, A. (2002). Learning with kernels-support vector machines, regularization, optimization and beyond, Cambridge, MA, MIT Press.
Shim, J. and Lee, J. T. (2009). Kernel method for autoregressive data. Journal of the Korean Data & Information Society, 20, 467-472.

원문보기 상세보기
Suykens, J. A. K. and Vandewalle, J. (1999). Least square support vector machine classifier. Neural Processing Letters, 9, 293-300.
Vonesh, E. F. and Chinchilli, V. M. (1996). Linear and nonlinear models for the analysis of repeated measurements, Marcel Dekker, New York.
Vapnik, V. N. (1995). The nature of statistical learning theory, Springer, New York.
Vapnik, V. N. (1998). Statistical learning theory, John Wiley, New York.
Wahba, G. (1990). Spline models for observational data, BMS-NSF Regional Conference Series in Applied Mathematics, 59, SIAM, Philadelphia.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증