[논문]분포변화 검정에서 경험확률과정과 커널밀도함수추정량의 검정력 비교

나성룡; 박현아

doi:10.5351/ckss.2011.18.2.245

분포변화 검정에서 경험확률과정과 커널밀도함수추정량의 검정력 비교
Power Comparison between Methods of Empirical Process and a Kernel Density Estimator for the Test of Distribution Change 원문보기

한국통계학회 논문집 = Communications of the Korean Statistical Society, v.18 no.2, 2011년, pp.245 - 255

초록
AI-Helper

자료의 분포변화를 검정하는 비모수적 방법으로 경험분포함수를 이용하거나 확률밀도함수 추정량을 이용하는 두 가지 방법을 고려할 수 있다. 이 논문에서는 분포변화 검정을 위한 두가지 방법을 자세히 살펴보고 기존 연구의 결과를 정리한다. 여러 확률모형을 가정하고 분포변화 검정에 대한 모의 실험을 실시하여 두 방법에 대한 이론적 극한 성질이잘 성립하는가를 살펴본다. 검정력 비교를 통하여 모형에 따른 적절한 변화점 분석 방법을 알아본다.

Abstract ▼ AI-Helper

There are two nonparametric methods that use empirical distribution functions and probability density estimators for the test of the distribution change of data. In this paper we investigate the two methods precisely and summarize the results of previous research. We assume several probability models to make a simulation study of the change point analysis and to examine the finite sample behavior of the two methods. Empirical powers are compared to verify which is better for each model.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 시계열 자료의 분포변화를 검정하는 방법을 정리하였다. 대표적인 비모수적 방법으로 경험분포함수에 기초한 방법과 확률밀도함수추정량을 이용한 방법을 중점적으로 살펴보았다.
이 논문에서는 ||Dn||∞와 ||dn||∞의 비교를 중점적으로 살펴본다.
지금까지 비모수적 변화점 분석을 위한 분포함수 방법과 확률밀도함수 방법을 직접 비교하는 연구는 이루어지지 않았다. 이 논문에서는 시계열 모형에서 정의되는 순차적 경험확률과정과 순차적 확률 밀도함수 추정량의 비교를 직접 다루고자 한다. 특히 분포변화에 대한 변화점 검정에 적용했을 때 두 추정량에 기초한 검정 방법의 유한 표본 특성을 비교하는 것이 주요 목적이다.
이 절에서는 경험분포함수와 확률밀도함수 추정량을 정의하고 변화점 분석과 관련한 중요한 성질을 알아본다. 먼저 X₁, X₂, .
이 절에서는 앞에서 설명한 비모수적 변화점 분석 방법에 대한 유한 표본 확률적 특성을 모의실험을 통하여 살펴 본다. 검정통계량의 유한 표본 분포가 극한분포로 잘 수렴하는가를 확인하기 위하여 분포변화가 없다고 가정하는 귀무가설 하에서 이론적인 기각역에 대한 검정력을 모의실험으로 구해 본다.
이 논문에서는 시계열 모형에서 정의되는 순차적 경험확률과정과 순차적 확률 밀도함수 추정량의 비교를 직접 다루고자 한다. 특히 분포변화에 대한 변화점 검정에 적용했을 때 두 추정량에 기초한 검정 방법의 유한 표본 특성을 비교하는 것이 주요 목적이다. 이를 위하여 이론에 기초한 기각역을 계산하고 모의실험을 통하여 각각의 추정량에 기초한 검정의 경험 검정력을 산출한다.

가설 설정

시계열을 직접 이용하지만 종속관계와 무관한 검정으로 Lee와 Na (2004)는 경험분포함수 대신 확률밀도함수 추정량을 이용하는 방법을 제안한다. 동일한 분포를 따르는 정상 시계열 자료 X₁, . . . , X_n이 분포함수 F(x)와 확률밀도함수 f(x)를 가짐을 가정하자. 이때 f(x)의 비모수적 추정량으로
이때 귀무가설로는 오차항 ϵi에 대하여 ϵ1, . . . , ϵn ∼ i.i.d. N(0, 1)을 가정한다.

제안 방법

이 절에서는 앞에서 설명한 비모수적 변화점 분석 방법에 대한 유한 표본 확률적 특성을 모의실험을 통하여 살펴 본다. 검정통계량의 유한 표본 분포가 극한분포로 잘 수렴하는가를 확인하기 위하여 분포변화가 없다고 가정하는 귀무가설 하에서 이론적인 기각역에 대한 검정력을 모의실험으로 구해 본다. 한편 효율적인 검정법을 알아보기 위하여 모형에 분포 변화를 가정하고 각 검정법의 경험 검정력을 산출해서 비교한다.
본 연구에서는 시계열 자료의 분포변화를 검정하는 방법을 정리하였다. 대표적인 비모수적 방법으로 경험분포함수에 기초한 방법과 확률밀도함수추정량을 이용한 방법을 중점적으로 살펴보았다. 두 방법의 확률적 특성을 살펴보고 검정력을 비교하기 위하여 몇 가지 시계열 모형을 가정하고 모의실험을 수행하였다.
3절에는 분포변화 변화점 검정에 대한 모의실험 결과가 주어진다. 독립 자료를 비롯한 다양한 시계열 모형을 설정하고 각 모형에 가능한 여러 변화점 분석 방법을 시뮬레이션한 결과를 비교해서 의미있는 결과를 찾아 본다. 이 논문의 연구 결과를 4절에서 최종적으로 정리한다.
대표적인 비모수적 방법으로 경험분포함수에 기초한 방법과 확률밀도함수추정량을 이용한 방법을 중점적으로 살펴보았다. 두 방법의 확률적 특성을 살펴보고 검정력을 비교하기 위하여 몇 가지 시계열 모형을 가정하고 모의실험을 수행하였다.
먼저 독립 모형에 대하여 정규분포 i.i.d. 자료와 정규분포에서 혼합정규분포로 변화하는 독립 자료를 시뮬레이션하여 경험 검정력을 살펴 보았다. 기존 예상과 달리 확률밀도함수추정량을 이용한 방법이 더 높은 검정력을 가지는 것을 보았다.
변화점 분석을 위한 종속 모형의 예로 AR(1) 모형을 고려하였고, 특히 오차항의 분포 변화를 검정하는 문제를 다룬다. 즉 |ϕ| < 1인 ϕ에 대하여 Y₀ = 0, Y_i = ϕY_i−1 + ϵ_i 식을 만족하는 시계열 Y₁, .
변화점 분석을 위해서 자료의 앞 부분과 뒷 부분에 기초한 분포함수 추정량의 차이를 비교한다. 즉
이를 위하여 이론에 기초한 기각역을 계산하고 모의실험을 통하여 각각의 추정량에 기초한 검정의 경험 검정력을 산출한다. 설정된 각 시계열 모형에서 어떤 방법이 분포의 변화점 분석에 더 효율적인가를 산출된 검정력을 비교해서 알아본다.
특히 분포변화에 대한 변화점 검정에 적용했을 때 두 추정량에 기초한 검정 방법의 유한 표본 특성을 비교하는 것이 주요 목적이다. 이를 위하여 이론에 기초한 기각역을 계산하고 모의실험을 통하여 각각의 추정량에 기초한 검정의 경험 검정력을 산출한다. 설정된 각 시계열 모형에서 어떤 방법이 분포의 변화점 분석에 더 효율적인가를 산출된 검정력을 비교해서 알아본다.
자료의 종속성이 변화점 분석에 미치는 영향을 보기 위하여 시계열 모형에서의 분포변화 검정을 모의실험하였다. 특히 AR(1) 모형과 측정오차 AR(1) 모형을 고려하면서 오차항의 분포변화를 시뮬레이션하였다.
한편 비교점을 m개 사용한다면 자료에 대한 누적 확률을 1/(m + 1)로 등분하는 점을 사용하는 것이 특별한 사전정보가 없는 상황에서는 타당하리라 판단된다. 참고로 정규분포, 혼합정규분포 등을 가정한 다양한 모의실험의 결과에서 m의 값이 5 이상되면 검정력이 더 이상 좋아지지 않거나 오히려 떨어지는 경우가 많았고 따라서 이 논문에서는 m = 3과 사분위수를 사용한 모의실험 결과를 제시한다. 확률모형에 따라 검정 결과는 많이 달라질 수 있으리라 보는데 최적의 m과 x를 정하는 문제는 계속 연구되어야 하겠다.
자료의 종속성이 변화점 분석에 미치는 영향을 보기 위하여 시계열 모형에서의 분포변화 검정을 모의실험하였다. 특히 AR(1) 모형과 측정오차 AR(1) 모형을 고려하면서 오차항의 분포변화를 시뮬레이션하였다. 종속 시계열에 기초한 경험분포함수 방법은 분포무관 검정을 찾기 어렵다는 사실이 잘 알려져 있는데 모의실험을 통하여 독립 자료에서의 기각역이 성립하지 않음을 확인하였다.
ED는 경험분포함수를 이용한 방법을 나타내고 KD는 커널밀도함수추정량을 이용한 방법을 의미한다. 표본 크기는 n = 50, 100, 200, 300, 500이 고려되었고 모든 size와 power는 1,000번의 반복 횟수를 갖는 모의실험을 통하여 계산되었다.
검정통계량의 유한 표본 분포가 극한분포로 잘 수렴하는가를 확인하기 위하여 분포변화가 없다고 가정하는 귀무가설 하에서 이론적인 기각역에 대한 검정력을 모의실험으로 구해 본다. 한편 효율적인 검정법을 알아보기 위하여 모형에 분포 변화를 가정하고 각 검정법의 경험 검정력을 산출해서 비교한다.

이론/모형

변화점 분석을 위한 또 다른 모형으로 측정오차 AR(1) 모형을 고려하였다. 이 모형은 나성룡(2009)에서 다루어진 종속 오차를 가지는 선형회귀모형의 일종이다.
적절한 종속관계를 만족하는 시계열 모형에서 시계열 자료를 직접 이용하는 방법이 Lee와 Na(2004)에서 제시되는데 경험분포함수 대신에 (순차적) 확률밀도함수 추정량이 변화점 검정에 이용된다. 시계열 자료를 직접 이용하므로 잔차를 계산하기 위한 복잡한 모형 추정 과정을 거치지 않아도 되는 장점이 있다.

성능/효과

자료와 정규분포에서 혼합정규분포로 변화하는 독립 자료를 시뮬레이션하여 경험 검정력을 살펴 보았다. 기존 예상과 달리 확률밀도함수추정량을 이용한 방법이 더 높은 검정력을 가지는 것을 보았다. 적절한 커널함수와 밴드폭의 선택이 이루어지면 자료의 확률분포에 따라서는 분포변화 검정에 경험분포함수보다 확률밀도함수추정량이 더 효율적일 수 있음을 알 수 있었다.
종속 시계열에 기초한 경험분포함수 방법은 분포무관 검정을 찾기 어렵다는 사실이 잘 알려져 있는데 모의실험을 통하여 독립 자료에서의 기각역이 성립하지 않음을 확인하였다. 대안으로 잔차에 기초한 방법이 가능한데 모의실험 결과 경험분포함수 방법이 변화점 분석에 적당함을 볼 수 있었다. 반면에 확률밀도함수추정량 방법은 잔차뿐만 아니라 상관관계가 아주 높지 않다면 시계열을 직접 이용하는 것도 가능할 수 있음을 보았다.
종속적인 시계열 자료의 변화점 분석에서 순차적 경험확률과정의 사용은 잔차를 사용할 수 있는 경우로 제한이 필요함을 볼 수 있다. 모의실험 연구를 통하여 최근에 새롭게 제시된 확률밀도함수추정량 방법이 시계열 분포변화 검정에 효율적으로 쓰일 수 있다는 점을 확인하였다. 그런데 확률밀도함수추정량을 이용하기 위해서는 커널함수, 밴드폭, 비교점의 수와 위치 등을 사전에 결정해야 하는 복잡한 문제가 있다.
대안으로 잔차에 기초한 방법이 가능한데 모의실험 결과 경험분포함수 방법이 변화점 분석에 적당함을 볼 수 있었다. 반면에 확률밀도함수추정량 방법은 잔차뿐만 아니라 상관관계가 아주 높지 않다면 시계열을 직접 이용하는 것도 가능할 수 있음을 보았다.
비교점은 본 연구와 같이 3개의 사분위수가 적절하리라 판단된다. 밴드폭이 분석 결과에 많은 영향을 주는 것은 비모수적 함수 추정에서 잘 알려진 사실인데, 실제로 밴드폭 선택에 따라 분포변화 검정 결과에 많은 변화가 있음을 모의실험으로 확인할 수 있다. 모의실험을 통한 경험으로 보면 변화점 분석에서는 기존의 함수추정에서 연구된 최적값보다는 작은 밴드폭을 사용하는 것이 효율적인 것으로 보인다.
기존 예상과 달리 확률밀도함수추정량을 이용한 방법이 더 높은 검정력을 가지는 것을 보았다. 적절한 커널함수와 밴드폭의 선택이 이루어지면 자료의 확률분포에 따라서는 분포변화 검정에 경험분포함수보다 확률밀도함수추정량이 더 효율적일 수 있음을 알 수 있었다.
특히 AR(1) 모형과 측정오차 AR(1) 모형을 고려하면서 오차항의 분포변화를 시뮬레이션하였다. 종속 시계열에 기초한 경험분포함수 방법은 분포무관 검정을 찾기 어렵다는 사실이 잘 알려져 있는데 모의실험을 통하여 독립 자료에서의 기각역이 성립하지 않음을 확인하였다. 대안으로 잔차에 기초한 방법이 가능한데 모의실험 결과 경험분포함수 방법이 변화점 분석에 적당함을 볼 수 있었다.

후속연구

모의실험을 통한 경험으로 보면 변화점 분석에서는 기존의 함수추정에서 연구된 최적값보다는 작은 밴드폭을 사용하는 것이 효율적인 것으로 보인다. 자료의 변화점 분석에 확률밀도함수추정량을 효율적으로 활용하기 위해서는 향후 최적 밴드폭, 비교점 등을 포함한 다양한 연구가 이루어져야 하리라 판단된다.
참고로 정규분포, 혼합정규분포 등을 가정한 다양한 모의실험의 결과에서 m의 값이 5 이상되면 검정력이 더 이상 좋아지지 않거나 오히려 떨어지는 경우가 많았고 따라서 이 논문에서는 m = 3과 사분위수를 사용한 모의실험 결과를 제시한다. 확률모형에 따라 검정 결과는 많이 달라질 수 있으리라 보는데 최적의 m과 x를 정하는 문제는 계속 연구되어야 하겠다.

질의응답

핵심어	질문	논문에서 추출한 답변
	경험확률과정이란 무엇인가?	식으로 정의되며, 여기에서 I( )는 지시함수를 의미한다. 이때 경험분포함수를 표준화한 확률과정
	시계열 모형에서 다루어지는 순차적 경험확률과정이 오차의 추정값인 잔차에 기초하는 것이 일반적인 이유는 무엇인가?	시계열 모형에서 다루어지는 (순차적) 경험확률과정은 오차의 추정값인 잔차에 기초하는 것이 일반적이다. 시계열 자체에 기초하는 경험확률과정은 종속관계에 영향을 받는 극한분포를 가지기 때문에 변화점 분석에서 이론적인 기각역을 결정하기 어렵고 독립성을 가정하는 오차는 관측이 불가능하므로 직접 경험확률과정을 정의할 수 없기 때문이다.
	변화점 분석의 가장 일반적인 형태는 무엇인가?	변화점 분석의 가장 일반적인 형태는 자료의 분포변화를 다루는 것이라 할 수 있으며 분포변화를 검정하기 위한 비모수적 방법으로 경험분포함수에 기초한 방법을 전통적으로 사용해왔다. Kolmogorov-Smirnov 검정, Anderson-Darling 검정 등의 비모수적 적합도 검정에서 중요한 역할을 담당하는 경험분포함수(empirical distribution function) 혹은 경험확률과정(empirical process)은 분포변화 검정을 위하여 순차적 경험확률과정(sequential empirical process)의 형태로 일반화된다.

참고문헌 (16)

나성룡(2009). 종속오차에대한분포변화검정법, , 16, 587？594.

원문보기 상세보기
Bai, J. (1994). Weak convergence of the sequential empirical processes of residuals in ARMA models, Annals of Statistics, 22, 2051？2061.

상세보기
Berkes, I. and Horvath, L. (2003). Limit results for the empirical process of squared residuals in GARCH models, Stochastic Processes and their Applications, 105, 271？298.

상세보기
Berkes, I., Hormann, S. and Schauer, J. (2009). Asymptotic results for the empirical process of stationary sequences, Stochastic Processes and their Applications, 119, 1298？1324.

상세보기
Bickel, P. J. and Wichura, M. J. (1971). Convergence criteria for multiparameter stochastic processes and some applications, Annals of Mathematical Statistics, 42, 1656？1670.

상세보기
Billingsley, P. (1999). Convergence of Probability Measures, 2nd edition, John Wiley & Sons, New York.
Bosq, D. (1998). Nonparametric Statistics for Stochastic Processes, 2nd edition, Springer, New York.
Horvath, L., Kokoszka, P. and Teyssiere, G. (2001). Empirical process of the squared residuals of an ARCH sequence, Annals of Statistics, 29, 445？469.

상세보기
Koul, H. (1996). Asymptotics of some estimators and sequential residual empiricals in nonlinear time series, Annals of Statistics, 24, 380？404.

상세보기
Lee, S. and Na, S. (2004). A nonparametric test for the change of the density function in strong mixing processes, Statistics and Probability Letters, 66, 25？34.

상세보기
Ling, S. (1998). Weak convergence of the sequential empirical processes of residuals in nonstationary autoregressive models, Annals of Statistics, 26, 741？754.

상세보기
Na, S., Lee, S. and Park, H. (2006). Sequential empirical process in autoregressive models with measurement errors, Journal of Statistical Planning and Inference, 136, 4204？4216.

상세보기
Picard, D. (1985). Testing and estimating change-points in time series, Advances in Applied Probability, 17, 841？867.

상세보기
Shorack, G. and Wellner, J. (1986). Empirical Processes with Applications in Statistics, John Wiley & Sons, New York.
Silverman, B. W. (1986). Density Estimation for Statistics and Data Analysis, Chapman & Hall, London.
Smirnov, N. (1948). Table for estimating the goodness of fit of empirical distributions, Annals of Mathematical Statistics, 19, 279？281.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증