[논문]비선형 최소제곱법을 이용한 모수추정 방법론

오선아; 송종우

doi:10.5351/kjas.2013.26.3.431

비선형 최소제곱법을 이용한 모수추정 방법론
A Parameter Estimation Method using Nonlinear Least Squares 원문보기

응용통계연구 = The Korean journal of applied statistics, v.26 no.3, 2013년, pp.431 - 440

초록
AI-Helper

우리는 두꺼운 꼬리를 갖는 분포의 모수를 추정하는 방법론을 연구하였다. 일반적으로 MLE(최대우도 추정량)가 모수추정 방법론중에 가장 많이 사용되는데, 이는 MLE가 점근적 일치성과 정규성 그리고 효율성을 가지고 있기 때문이다. 하지만 MLE가 늘 가장 좋은 추정법은 아니다. 어떤 경우에는 MLE가 존재하지 않을 수도 있고 계산이 안정적이지 않을 수도 있다. 본 논문에서는 비선형 최소제곱추정법을 이용한 모수추정 방법론을 제시하고 그 성능을 MLE와 비교하였다. NLS 추정량은 empirical CDF와 이론적 CDF의 차이의 제곱을 최소화 하는 방법론이다. 본 논문에서는 두꺼운 꼬리를 가지는 다양한 분포하에서 우리가 제안하는 NLS방법론과 MLE와의 성능을 비교하였다. 그 결과, Burr 분포에서 표본의 수가 적을 때 우리의 방법론이 MLE보다 좋은 성능을 보여주었고, Frechet 분포에서도 좋은 결과를 얻을 수 있었다.

Abstract ▼ AI-Helper

We consider the problem of estimating the parameters of heavy tailed distributions. In general, maximum likelihood estimation(MLE) is the most preferred method of parameter estimation because it has good properties such as asymptotic consistency, normality and efficiency. However, MLE is not always the best solution because MLE is unstable or does not exist in some cases. This paper proposes another parameter estimation method, non-linear least squares(NLS) and compares its performance to MLE. The NLS estimator is achieved by minimizing sum of squared difference between empirical cumulative distribution function(CDF) and a theoretical distribution function. In this article, we compare the NLS method to MLE using simulated data from heavy tailed distributions. The NLS method is shown to perform better than MLE in Burr distribution when the sample size is small; in addition, it performs well in a Frechet distribution.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

Song과 Song (2011) 논문에서는 NLS의 이러한 단점을 보완한 새로운 모수 추정 방법론인 NLS-2를 제안하였고, 형상 모수(shape parameter)가 0보다 큰 일반화파레토분포(generalized pareto distribution; GPD)에 적용시켜 본 결과 MLE 보다 훨씬 좋은 성능을 나타냈다. 본 논문에서는 NLS-2 방법론을 일반화파레토분포가 아닌 다른 분포에 적용시켜 보고, 그 성능을 MLE와 비교해 보았다.
본 논문에서는 Song과 Song (2011) 논문에서 제시한 새로운 모수 추정 방법인 NLS-2를 일반화파레토 분포가 아닌 다른 다양한 분포에 적용시켜 보았다. 많은 경우 MLE가 NLS-2보다 성능이 좋았으나, 표본의 수가 작을 때의 Burr 분포에서, 그리고 ξ값이 클 때, 프레셰 분포에서는 NLS-2의 성능이 더 좋게 나타났다.

가설 설정

4. I = E(▽θ ln f(X; θ0)f(X; θ0)'): 피셔정보(Fisher information)가 존재하고, 정칙(nonsingular)이다.

제안 방법

F_n(x)를 경험적 누적분포함수, F(x)를 이론적 누적분포함수라 하자. 각각 로그를 취해서 경험적 누적분포함수를 반응변수로, 이론적 누적분포함수를 독립변수로 하여 회귀식을 세운다.
우리는 표본의 수가 작은 경우에 NLS-2 방법론의 성능을 높이기 위하여 경험적 누적분포 함수에 여러가지 평활법(smoothing method)을 시도해 보았다 (Fernholz, 1991). 먼저 주어진 관측치를 이용해서 KDE(kernel density estimation) 방법을 이용하여 분포함수를 추정하고, 수치적 방법론을 이용하여 경험적 누적분포 함수를 다시 만들었다. 그리고 NLS-2 방법론을 적용해 보았다.
모의실험에서는 여러 가지 분포에 대한 모의 자료를 생성하고, 각 경우에 대해서 NLS-2 추정치와 MLE의 성능을 비교해 보았다. 모의실험을 진행한 분포는 Burr 분포, 코시분포(Cauchy distribution), 프레셰 분포(Frechet distribution)이다.
모의실험에서는 여러 가지 분포에 대한 모의 자료를 생성하고, 각 경우에 대해서 NLS-2 추정치와 MLE의 성능을 비교해 보았다. 모의실험을 진행한 분포는 Burr 분포, 코시분포(Cauchy distribution), 프레셰 분포(Frechet distribution)이다. 모의실험의 과정은 다음과 같다.

대상 데이터

1. 독립이고 동등한 분포를 따르는 표본을 각각 10, 25, 50, 100, 200, 500개 추출한다.

데이터처리

3. 단계 1, 2를 10,000번 반복하여 평균제곱근오차(RMSE)를 구한다.
NLS-2 방법은 2단계에 걸쳐 NLS 방법을 사용한 것으로, 데이터의 분포가 넓게 퍼져있는, 두꺼운 꼬리분포(heavy tailed distribution)의 모수를 추정하는 경우에 적합하다. 먼저, 경험적 누적분포함수와 이론적 누적분포함수에 각각 로그를 취해서 NLS 회귀분석을 실시한다. 그 결과 얻어진 추정치를 원래의 경험적 누적 분포함수와 이론적 누적 분포함수의 적합 절차에 초기치로 사용하여 최종 추정치를 얻는다.

이론/모형

먼저 주어진 관측치를 이용해서 KDE(kernel density estimation) 방법을 이용하여 분포함수를 추정하고, 수치적 방법론을 이용하여 경험적 누적분포 함수를 다시 만들었다. 그리고 NLS-2 방법론을 적용해 보았다.두 번째는 경험적 누적분포 함수를 스플라인 함수(spline function)를 이용하여 평활한(smooth) 경험적 누적분포함수로 변환한 후에 NLS-2 방법론을 적용시켰다.
그리고 NLS-2 방법론을 적용해 보았다.두 번째는 경험적 누적분포 함수를 스플라인 함수(spline function)를 이용하여 평활한(smooth) 경험적 누적분포함수로 변환한 후에 NLS-2 방법론을 적용시켰다. 두 가지 방법 모두 표본의 수가 작은 경우에 우리가 임의로 표본의 수를 늘릴 수 있다는 점에서 기존의 경험적 누적분포 함수를 이용한 NLS-2 보다 좋은 결과를 가져 올 수 있을 것이라 예상했다.
본 논문에서는 Song과 Song (2011)에서 사용한 바와 같이 디폴트 최적화 알고리즘인 “Nelder-Mead” (Nelder와 Mead, 1965)를 사용하였다.
우리는 표본의 수가 작은 경우에 NLS-2 방법론의 성능을 높이기 위하여 경험적 누적분포 함수에 여러가지 평활법(smoothing method)을 시도해 보았다 (Fernholz, 1991). 먼저 주어진 관측치를 이용해서 KDE(kernel density estimation) 방법을 이용하여 분포함수를 추정하고, 수치적 방법론을 이용하여 경험적 누적분포 함수를 다시 만들었다.
잔차제곱합이 최소가 되는 추정량을 얻기 위해 최적화 방법으로 R의 “optim” 함수를 사용한다.

성능/효과

2. 선택된 표본들에서 NLS-2 방법과 ML 방법을 사용하였을 때의 추정치를 각각 얻는다.
k가 고정되었을 경우 또한, 표본의 개수가 10개일 때에는 k와 c 추정 시 모두, NLS-2의 성능이 MLE 보다 좋았다. 표본의 수가 클 때에는 NLS-2와 MLE 간에 큰 차이가 나타나지 않는 것에 비해, 표본의 수가 작을 때에는 NLS-2 방법론이 MLE 보다 훨씬 근사하게 참값을 추정하였다.
그 이외에도 와이블 분포, 로그 로지스틱 분포, 로그 감마분포에 대해 적용해본 결과 NLS-2의 성능이 MLE 보다 좋지 못하였다.
하지만 모의실험 결과, 수치적 방법으로 MLE를 구할 경우 척도모수의 값이 커질수록 오차 값이 커지기는 하나, 일정한 추정 값을 제시하였다. 또한 NLS-2 방법을 사용하였을 때보다 항상 오차가 작게 나타났으며, 수치적인 방법론을 이용한 MLE가 꽤 정확한 추정량을 제공한다는 것을 알 수 있었다.
특히 표본의 수가 10개로 매우 작은 경우에는 NLS-2를 사용하였을 때의 RMSE가 매우 크게 나타나, NLS-2가 참값을 제대로 추정하지 못한다는 것을 알 수 있다. 또한 척도모수의 값이 증가함에 따라 두 가지 방법론을 사용하였을 때 모두 오차가 증가하였다. 하지만 표본의 수가 증가하면 두 방법론이 아주 유사한 성능을 보여주는 것을 볼 수 있다.
05인 경우 이외에는 MLE의 성능이 더 좋았다. 또한, 표본이 200개 이상일 때에는 MLE가 모든 경우에 대해 NLS-2보다 좋았다. 하지만, c 추정시 표본의 수가 클 때, 두 추정량의 RMSE값의 차이는 작은 반면, 표본의 수가 작을 때에는 NLS-2가 MLE 보다 월등하게 잘했다.
하지만, c 추정시 표본의 수가 클 때, 두 추정량의 RMSE값의 차이는 작은 반면, 표본의 수가 작을 때에는 NLS-2가 MLE 보다 월등하게 잘했다. 모의실험 결과, MLE의 경우, 표본의 수가 작은 경우에는 참 값에서 굉장히 많이 떨어져 있는 값으로 추정하기도 하였다. 예를 들어, 표본의 수가 10개 일 때 c = 1, k = 0.
우리는 본 논문을 통해서 우리가 제안한 방법이 두터운 꼬리를 가지는 분포의 경우에 표본의 수가 작으면 MLE보다 나은 성능을 보일 수 있다는 것을 보였다. 하지만 많은 경우에 이론적인 결과가 말해주듯이 MLE의 성능이 가장 우수한 것을 볼 수 있었다.
특히 척도모수를 추정할 때에는 MLE의 RMSE가 매우 크게 나타나며, 표본의 수가 500으로 클 때에도 ξ = 3, σ = 1일 때 척도모수에 대한 RMSE 값이 95.98339로 굉장히 크게 나타났다.
1인 경우, #의 추정을 NLS-2 방법론이 훨씬 잘하였다. 표본의 수가 증가할 수록, 두 방법 모두 실제 값에 근사한 추정을 하여 RMSE가 작아졌으며, 그 속도가 MLE의 경우가 더 빨라서 표본의 수가 100일 때에는 c = 1, k = 0.05인 경우 이외에는 MLE의 성능이 더 좋았다. 또한, 표본이 200개 이상일 때에는 MLE가 모든 경우에 대해 NLS-2보다 좋았다.
코시 분포의 경우 일반적으로 척도모수가 알려졌을 때, 위치모수에 대한 우도함수가 다봉분포(multimodal distribution)이므로 위치모수의 MLE를 찾는데 어려움이 있다고 알려져 있다 (Johnson 등, 1994). 하지만 모의실험 결과, 수치적 방법으로 MLE를 구할 경우 척도모수의 값이 커질수록 오차 값이 커지기는 하나, 일정한 추정 값을 제시하였다. 또한 NLS-2 방법을 사용하였을 때보다 항상 오차가 작게 나타났으며, 수치적인 방법론을 이용한 MLE가 꽤 정확한 추정량을 제공한다는 것을 알 수 있었다.

후속연구

통계학에서 확률분포의 모수(parameter)를 추정하는 것은 가장 기본적이면서도 중요한 일이다. 관측된 자료로 부터 적절한 확률모형과 그에 해당하는 적절한 모수를 추정함으로써, 다양한 통계적 방법론들을 더 정확하게 사용할 수 있으며, 더 나아가 앞으로 발생할 수 있는 사건에 대한 예측도 가능하게 된다. 일반적으로 사용되는 모수 추정 방법으로는 최대우도추정량(Maximum likelihood estimators; MLE), 베이즈 추정량(Bayes estimators), 적률추정량(Method of moments estimators; MME), 최소제곱추정량(Least squares estimators; LSE), 최소분산불편추정량(Minimum variance unbiased estimator; MVUE), 최량선형불편추정량(Best linear unbiased estimator; BLUE) 등이 있다.
두 번째는 경험적 누적분포 함수를 스플라인 함수(spline function)를 이용하여 평활한(smooth) 경험적 누적분포함수로 변환한 후에 NLS-2 방법론을 적용시켰다. 두 가지 방법 모두 표본의 수가 작은 경우에 우리가 임의로 표본의 수를 늘릴 수 있다는 점에서 기존의 경험적 누적분포 함수를 이용한 NLS-2 보다 좋은 결과를 가져 올 수 있을 것이라 예상했다. 하지만 모의실험 결과 모두 기존의 NLS-2 방법론보다 성능이 좋지 못하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	MLE가 가장 선호되는 모수 추정 방법인 이유는 무엇인가?	MLE는 우도함수(likelihood function)를 최대화하는 모수에 대한 추정치이다. MLE는 적절한 조건이 만족되었을 때, 일관성(consistency), 정규성(normality), 효율성(efficiency), 충분성(sufficiency), 불변성(invariance) 등 여러 방면에서 좋은성질을 가지고 있기 때문에 가장 선호되는 모수 추정 방법이다 (Hogg 등, 2012). 하지만 이러한 성질들이 모든 경우에 적용되는 것은 아니다.
	비선형 최소제곱법이란 무엇인가?	또 다른 모수 추정 방법 중 하나인 비선형 최소제곱법(nonlinear least squares; NLS)은 경험분포함수(empirical CDF)와 이론적 분포함수 차이의 제곱합을 최소화 하는 방법이다. NLS 추정량은 어떠한 분포에도 사용 가능하다는 장점이 있지만, MLE와 마찬가지로 최적화 문제가 존재한다.
	자료의 손실이 존재하는 경우에 MLE를 직접적으로 계산 할 수 없는데, 이런 경우에는 어떤 방법을 통해 MLE를 구할 수 있는가?	우도함수가 미분 불가능해서 ∂ρ(θ)/∂θ) = 0을 계산 할 수 없는 경우, 또는 자료의 손실이 존재하는 경우 MLE를 직접적으로 계산 할 수 없다. 이러한 경우 반복적인(iterative) 계산을 통하여 구할 수 있다. 수치적 방법으로 MLE를 구하는 방법론은 Newton-Raphson 방법과 Fisher scoring 방법 (Jennrich와 Sampson, 1976; Givens와 Heoting, 2005), EM 알고리즘 (Dempster 등, 1977) 등이 있다.

참고문헌 (13)

Abd-Elfattah, A. M. and Omima, A. M. (2009). Estimation of the Unknown parameters of the generalized frechet distribution, Journal of Applied Sciences Research, 5, 1398-1408.
Dasgupta, R. (2011). On the distribution of Burr with applications, Indian Statistical Institute 2011.
Dempster, A. P., Laird, N. M. and Rubin, D. B. (1977). Maximum likelihood from incomplete data via the EM algorithm, Journal of the Royal Statistical Society, Series B, 39, 1-39.
Fernholz, L. (1991). Almost sure convergence of smoothed empirical distribution functions, Scandinavian Journal of Statistics, 18, 255-262.
Givens, G. H. and Hoeting, J. A. (2005).Computational Statistics, John Wiley & Sons, New Jersey.
Hogg, R. V., Craig, A. and McKean, J. W. (2012). Introduction to Mathematical Statistics, Pearson.
Jennrich, R. I. and Sampson, P. F. (1976). A Newton-Raphson and related algorithms for maximum likelihood variance component estimation, Technometrics, 18, 11-17.

상세보기
Johnson, N. L., Kotz, S. and Balakrishnan, N. (1994). Continuous Univariate Distributions, John Wiley & Sons, New York.
McNeil, A. J. and Saladin, T. (1997). The Peaks over thresholds method for estimating high quantiles of loss distribution, Proceedings of 28th international ASTIN Colloquium.
Nelder, J. A. and Mead, R. (1965). A simplex algorithm for function minimization, Computer Journal, 7, 308-313.

상세보기
Song, J. and Song, S. (2011). A quantile estimation for massive data with generalized Pareto distribution, Computational Statistics and Data Analysis, 56, 143-150.
Todd, C., Headrick, M. D. P. and Yanyan, S. (2010). On Simulating Univariate and Multivariate Burr Type III and Type XII Distributions, Applied Mathematical Sciences, 4, 2207-2240.
Wingo, D. R. (1983). Maximum likelihood methods for the burr type XII distribution to life test data, Biometrical Journal, 25, 77-84.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증