[논문]일반 선형 모형에 대한 공분산 행렬의 비교

남상아; 이근백

doi:10.5351/kjas.2017.30.1.103

일반 선형 모형에 대한 공분산 행렬의 비교
Comparison of the covariance matrix for general linear model 원문보기

응용통계연구 = The Korean journal of applied statistics, v.30 no.1, 2017년, pp.103 - 117

초록
AI-Helper

경시적 자료분석에서 공변량 효과를 추정할 때 반복 측정된 결과들의 상관성은 고려되어야 한다. 따라서 공분산 행렬을 모형화하는 것은 매우 중요하다. 그러나 공분산 행렬의 추정은 모수들의 수가 많고 추정된 공분산행렬이 양정치성을 만족해야 하므로 쉽지 않은 문제이다. 이러한 제한을 극복하기 위해, 공분산행렬의 모형화를 위한 여러가지 방법을 제안하였다: 자기회귀/이동평균/자기회귀-이동평균 구조를 각각 적용한 수정 콜레스키분해 (Pourahmadi, 1999), 이동평균 콜레스키분해 (Zhang과 Leng, 2012)와 자기회귀-이동평균 콜레스키 분해 (Lee 등, 2017) 이들 구조를 가지는 공분산 행렬의 특징을 비교연구하고자 한다. 이 세 가지 모형의 성능을 비교하기 위한 모의실험을 실시한다.

Abstract ▼ AI-Helper

In longitudinal data analysis, the serial correlation of repeated outcomes must be taken into account using covariance matrix. Modeling of the covariance matrix is important to estimate the effect of covariates properly. However, It is challenging because there are many parameters in the matrix and the estimated covariance matrix should be positive definite. To overcome the restrictions, several Cholesky decomposition approaches for the covariance matrix were proposed: modified autoregressive (AR), moving average (MA), ARMA Cholesky decompositions. In this paper we review them and compare the performance of the approaches using simulation studies.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그리고 일반 선형모형에서 공분산행렬의 잘못된 가정이 회귀계수 추정에 어떻게 영향을 미치는지 알아보고자 한다. 그리고 이를 통하여 소개한 공분산 행렬의 모형화 방법들의 성능을 비교하고자 한다.
이 절에서 모의실험을 통하여 공분산행렬의 모형화를 위한 3가지 방법들의 장단점을 알아 보고자 한다.그리고 일반 선형모형에서 공분산행렬의 잘못된 가정이 회귀계수 추정에 어떻게 영향을 미치는지 알아보고자 한다. 그리고 이를 통하여 소개한 공분산 행렬의 모형화 방법들의 성능을 비교하고자 한다.
우리는 위에서 제시된 3가지의 공분산행렬의 분해방법들을 고찰하고, 이들 방법들의 장단점을 모의실험을 통하여 제시하고자 한다. 이를 위하여 본 논문의 구성은 다음과 같다.
따라서 경시적 자료를 올바르게 분석하기 위한 모형들은 이러한 상관관계를 설명하기 위한 모형화에 집중하고 있다. 이 논문에서는 특히 경시적 연속형 자료에서 측정치들의 관련성을 설명하기 위하여 공분산행렬의 모형화에 초점을 맞추도록 한다. 공분산 행렬은 다양한 구조를 가질수 있지만 경시적 자료분석에서는 특히 자기회귀(autoregressive; AR) 구조(Pourahmadi, 1999), 이동평균(moving average; MA) 구조 (Zhang과 Leng, 2012), 그리고 자기회귀-이동평균(autoregressive moving average; ARMA) 구조 (Lee 등, 2017)를 주로 가정하고, 이러한 구조를 가지는 공분산 행렬의 모형화를 위한 방법들이 개발되고 있다 (Kim과 Lee, 2015).
이 절에서 모의실험을 통하여 공분산행렬의 모형화를 위한 3가지 방법들의 장단점을 알아 보고자 한다.그리고 일반 선형모형에서 공분산행렬의 잘못된 가정이 회귀계수 추정에 어떻게 영향을 미치는지 알아보고자 한다.
이 절에서 우리는 연속형 자료를 분석하기 위한 일반 선형모형을 고려하고, 그 모형에서 공분산 행렬의모형화에 대한 여러 방법들을 고찰한다. 우선 수정된 콜레스키 분해는 경시적 연속형 자료분석에서 공분산행렬의 모형화를 위하여 처음 제안되었다 (Pourahmadi, 1999, 2000).

가설 설정

, N)의 반응변수(response vari-able)라고 하고, X_it는 Y_it에 상응하는 p × 1 공변량 벡터(covariate vector)이다. 그리고 다른 개체의 응답과는 독립이라고 가정한다. 만약 X_i가 확률적이라면 (Y_i, X_i), .
그리고 h_it = (1, SEX_i)이라고 가정하자. 여기서 SEX_i는 i번째 개체의 성별을 나타내고 남자일 때 1이고 여자일때 0으로 가정한다. 그러면 혁신분산이 성별에 따라 다른값을 가지게 된다.

제안 방법

여기에서공분산행렬이 같은 ARMA(1, 1) 구조를 가지면서 등분산성을 가지는 경우와 이분산성을 가지는 경우로 구분하였다. 각각의 경우에 표본수(sample size), 반복 수(replication number)를 변화시키며 난수를 발생시켰다. 표본의 수는 100, 300, 500으로 각각 하였고, 각 경우에 반복 횟수를 5, 10, 20인 경우로해서 각각의 모의 표본을 완성하였다.
이 논문에서 경시적 연속형 자료분석을 위한 일반 선형모형을 고려하였다. 그리고 공분산행렬의 모수추정을 위한 여러가지 방법들을 고찰하였다. 자기회귀/이동평균/자기회귀-이동평균을 가지는 공분산행렬의 모형화를 위한 수정된 콜레스키분해 방법을 고찰하였고, 이 분해를 통하여 나오는 일반화 자기회귀/이동평균/자기회귀-이동평균 모수들을 선형회귀모형을 통하여 모형화하였다.
자기회귀/이동평균/자기회귀-이동평균을 가지는 공분산행렬의 모형화를 위한 수정된 콜레스키분해 방법을 고찰하였고, 이 분해를 통하여 나오는 일반화 자기회귀/이동평균/자기회귀-이동평균 모수들을 선형회귀모형을 통하여 모형화하였다. 그리고 원하는 차수의 자기회귀/이동평균/자기회귀-이동평균의 구조를 가지는 공분산행렬을 추정하였다. 혁신분산에 로그선행모형을 적용하여 공분산행렬이 이공분산성을 가질 수 있도록 추정할 수 있었다.
이동평균 콜레스키분해 방법의 경우 이동평균의 특성상 지정된 차수 이상으로 시차가 벌어지면 자기공분산이 0이 됨을 알 수 있다. 따라서 이들 자기회귀와 이동평균의 특성을 결합한 자기회귀-이동평균 콜레스키분해를 고려하였다. 이 경우 수정 콜레스키 방법에서 차수가 큰 경우 이를 이용한 통계적 모형의 비효율성을 극복할 수 있었다.
우선 자기회귀-이동평균 구조의 공분산행렬을 가지는 일반 선형모형에서 난수를 발생시킨다. 여기에서공분산행렬이 같은 ARMA(1, 1) 구조를 가지면서 등분산성을 가지는 경우와 이분산성을 가지는 경우로 구분하였다. 각각의 경우에 표본수(sample size), 반복 수(replication number)를 변화시키며 난수를 발생시켰다.
이 논문에서 경시적 연속형 자료분석을 위한 일반 선형모형을 고려하였다. 그리고 공분산행렬의 모수추정을 위한 여러가지 방법들을 고찰하였다.
이 방법에서는 공분산 행렬의 역행렬을 일반화 자기회귀 모수(generalized autoregressive parameters; GARPs)와 혁신분산(innovation variances; IVs)으로 분해하여 공분산행렬의 모수들을 직접 추정화 하지 않고 이 새로운 모수들을 모형화한다.
따라서 이동평균 구조의 공분산행렬의 모형화를 위하여 이동평균 콜레스키 분해(moving average Cholesky decomposition)가 제안되었다 (Zhang과 Leng, 2012). 이 방법은 수정된 콜레스키 분해와 달리 공분산행렬을 일반화 이동평균 모수(generalized moving average parameters; GMAPs)와 혁신 분산으로 직접 분해하는 방법을 제시하였다. 그리고 이 모수들을 수정된 콜레스키 분해에서 처럼 회귀모형과 로그선형 모형을 이용하여 모형화 한다.
공분산 행렬은 항상 양정치성을 만족해야 하고, 고차원이므로 추정하는 데 어려움이 있다. 이 절에서는 이러한 어려움을 해소하고시간에 따른 변동과 개체들 간의 변동을 잘 설명해주는 모형들 중에 수정콜레스키 분해 (Pourahmadi,1999, 2000), 이동평균 콜레스키분해 (Zhang과 Leng, 2012), 그리고 자기회귀 이동평균 콜레스키 분해(Lee 등, 2017)를 사용하는 모형들을 살펴본다.
그리고 공분산행렬의 모수추정을 위한 여러가지 방법들을 고찰하였다. 자기회귀/이동평균/자기회귀-이동평균을 가지는 공분산행렬의 모형화를 위한 수정된 콜레스키분해 방법을 고찰하였고, 이 분해를 통하여 나오는 일반화 자기회귀/이동평균/자기회귀-이동평균 모수들을 선형회귀모형을 통하여 모형화하였다. 그리고 원하는 차수의 자기회귀/이동평균/자기회귀-이동평균의 구조를 가지는 공분산행렬을 추정하였다.

대상 데이터

각각의 경우에 표본수(sample size), 반복 수(replication number)를 변화시키며 난수를 발생시켰다. 표본의 수는 100, 300, 500으로 각각 하였고, 각 경우에 반복 횟수를 5, 10, 20인 경우로해서 각각의 모의 표본을 완성하였다. 반복되는 응답변수에서 결측이 발생시켰고, 이 결측치는 임의 결측(missing at random; MAR)으로 하였고, 결측의 확률은 아래와 같이 계산되었다.

이론/모형

이 방법은 수정된 콜레스키 분해와 달리 공분산행렬을 일반화 이동평균 모수(generalized moving average parameters; GMAPs)와 혁신 분산으로 직접 분해하는 방법을 제시하였다. 그리고 이 모수들을 수정된 콜레스키 분해에서 처럼 회귀모형과 로그선형 모형을 이용하여 모형화 한다. 수정된 콜레스키 분해와 유사하게 혁신 분산이 양의 값을 가지므로공분산 행렬은 항상 양정치성을 가진다.
따라서 이 모수들을 시간 그리고/또는 개체-특정적 공변량 벡터인 w_itj와 h_it를 이용하여 모수의 개수를 줄일 수 있다. 이를 위하여 회귀식과 로그 선형모형(log linear model)을 이용한다.
그리고 원하는 차수의 자기회귀/이동평균/자기회귀-이동평균의 구조를 가지는 공분산행렬을 추정하였다. 혁신분산에 로그선행모형을 적용하여 공분산행렬이 이공분산성을 가질 수 있도록 추정할 수 있었다. 그리고 이를 통하여추정된 공분산행렬이 항상 양정치성을 만족하게 하였고, 행렬의 모수의 개수도 줄일 수 있었다.

성능/효과

그리고 반복 횟수가 커질 때 편향과 포함 확률은 거의 달라지지 않았으나 추정된 공분산행렬의 편향이 잘못된 공분산행렬을 가지는 모형에서 일정하게 증가함을 볼 수 있다. 결론적으로 공분산 행렬이 등분산성/이분산성을 가질 때에 올바른 공분산 행렬의 가정이 필요함을 알 수가 있다.
그러나 ARMA모형에서는 값이 커지기는 하지 만 그 폭이 작아 어느 정도 잘 추정한다고 볼 수 있지만 AR과 MA 모형에서는 SAD값이 급격하게 증가해 잘 추정하지 못하였다. 결론적으로 표본수와 반복 횟수의 9가지 조합에 있어 포함 확률의 값과 마찬가지로 SAD값 역시 ARMA모형이 월등히 작게 나타났다.
역시 일정 표본수 이상이면 행렬의추정에 영향을 미치지 않는다는 결과이다. 공분산 행렬이 등분산성을 가지 경우처럼 표본수와 반복 횟수의 9가지 조합에 있어 SAD값이 ARMA모형에서 월등히 작게 나타났고, ARMA, AR, MA모형 순서로 SAD값이 작았다.
6은 이 경우의 추정치들의 평균, 절대편향, 추정치들의 표준편차, 추정치의 표준오차들의평균, 그리고 포함확률를 나타내고 있다. 공분산 행렬이 등분산성을 가지는 경우와 같이 ARMA모형이표본수나 반복 횟수에 상관 없이 AR모형, MA모형과 비교할 때 편향이 가장 작은 값을 가지고, 포함확률은 전체적으로 ARMA모형이 다른 두 모형에 비해 더 좋음을 알 수 있다. 반복 횟수가 5, 10, 20으로커짐에 따라 같은 경향을 보임을 알 수 있다.
모의실험을 통하여 세 가지 모형에서 공변량의 효과의 추정치들의 편향은 잘못된 공분산 행렬의 가정으로 인하여 영향을 받는다는 것을 알 수 있었다. 그리고 반복 횟수가 커질 때 편향과 포함 확률은 거의 달라지지 않았으나 추정된 공분산행렬의 편향이 잘못된 공분산행렬을 가지는 모형에서 일정하게 증가함을 볼 수 있다. 결론적으로 공분산 행렬이 등분산성/이분산성을 가질 때에 올바른 공분산 행렬의 가정이 필요함을 알 수가 있다.
혁신분산에 로그선행모형을 적용하여 공분산행렬이 이공분산성을 가질 수 있도록 추정할 수 있었다. 그리고 이를 통하여추정된 공분산행렬이 항상 양정치성을 만족하게 하였고, 행렬의 모수의 개수도 줄일 수 있었다.
ARMA모형이 표본수나 반복 횟수에 상관 없이 AR모형, MA모형과 비교했을 때 편향이 가장 작은 값을 가진다. 그리고 포함확률도 전체적 으로 ARMA와 AR모형이 MA모형보다 크다는 것을 알 수 있다. 반복 횟수가 5, 10, 20으로 커짐에 따라 이러한 포함확률의 경향은 크게 변화지 않음을 알 수 있다.
자료를 자기회귀모형이나 이동평균모형만으로 표현하려면 추정해야 할 모수의 수가 너무 많아질 수 있으며, 그 결과 추정의 효율성이 떨어지고 결과의 해석에 어려움이 생긴다 (Lee 등, 2017). 따라서 자기회귀-이동평균 모형(autoregressive-moving average models)을 통해 이러한 문제점을 해결하여 적은수의 모수로 다양한 구조의 공분산 행렬을 추정하며, 그 결과 모형 해석이 쉬워지고 모수 추청을 안정적으로 할 수 있다. 또한 복잡한 형태의 자기회귀 모형 혹은 이동평균 모형보다 더 나은 예측을 제공한다.
모의실험을 통하여 세 가지 모형에서 공변량의 효과의 추정치들의 편향은 잘못된 공분산 행렬의 가정으로 인하여 영향을 받는다는 것을 알 수 있었다. 그리고 반복 횟수가 커질 때 편향과 포함 확률은 거의 달라지지 않았으나 추정된 공분산행렬의 편향이 잘못된 공분산행렬을 가지는 모형에서 일정하게 증가함을 볼 수 있다.
표본수나 반복 횟수를 변화시킨 각각의 경우의 SAD값을 살펴보면 포함 확률을 비교했을 때와는 다르게 반복 횟수는 크게 영향을 미치는 것을 볼 수 있다. 반복 횟수가 커짐에 따라 ARMA, AR, MA모형에서 SAD값이 각각 커지는 것으로 나타났다. 그러나 ARMA모형에서는 값이 커지기는 하지 만 그 폭이 작아 어느 정도 잘 추정한다고 볼 수 있지만 AR과 MA 모형에서는 SAD값이 급격하게 증가해 잘 추정하지 못하였다.
표본수나 반복 횟수를변화시킨 각각의 경우를 살펴보면 포함 확률을 비교했을 때와는 다르게 반복 횟수가 SAD값에 영향을미치는 것을 볼 수 있다. 앞의 경우에서처럼 반복 횟수가 증가 함에 따라 모든 모형에서 SAD값이 커짐을 볼 수 있고, 표본수는 많은 영향을 미치지 않는 것으로 나타났다. 역시 일정 표본수 이상이면 행렬의추정에 영향을 미치지 않는다는 결과이다.
이 결과 결측치의 비율은 40% 정도이다. 이러한 방법으로 500개의 자료집합(data set)을 만들었다.
이 결과로 이동평균 콜레스키 분해는 공분산 행렬을 직접적으로 모형화 할 수 있음을 알 수 있다. 수정된 콜레스키 분해와 같이 일반화 이동평균모수와 혁신분산은 공변량 z_itj와 h_it을 이용하여 다음과 같이모형화 할 수 있다.
이 결과로부터 수정된 콜레스키 분해는 공분산 행렬의 정도 행렬(precision matrix)을 직접적으로 모형화할 수 있음을 알 수 있다. 그리고 Σ_i의 모수들인 ϕ_i와 σ_i는 개체의 반복수 ni가 증가하면 기하급수 적으로 증가하게 된다.
이상의 결과에서 공분산행렬이 잘못 가정되면, 회귀계수의 추정치에 편향이 생김을 알 수 있다. 따라서공분산행렬에 일반적으로 많이 쓰는 자기회귀구조의 가정을 이동평균 또는 자기회귀-이동평균 구조로확장하여 가정함이 올바를 것으로 사려된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	자기회귀모형이나 이동평균모형만으로 표현할 때 추정해야 할 모수의 수가 너무 많아질 경우 해결하는 방법은?	자료를 자기회귀모형이나 이동평균모형만으로 표현하려면 추정해야 할 모수의 수가 너무 많아질 수 있으며, 그 결과 추정의 효율성이 떨어지고 결과의 해석에 어려움이 생긴다 (Lee 등, 2017). 따라서 자기회귀-이동평균 모형(autoregressive-moving average models)을 통해 이러한 문제점을 해결하여 적은수의 모수로 다양한 구조의 공분산 행렬을 추정하며, 그 결과 모형 해석이 쉬워지고 모수 추청을 안정적으로 할 수 있다. 또한 복잡한 형태의 자기회귀 모형 혹은 이동평균 모형보다 더 나은 예측을 제공한다.
	경시적 연구란 무엇인가?	경시적 연구(longitudinal study)는 일정기간 동안 반복 측정된 자료를 분석하는 연구이다. 이 경우에같은 개체(subject)에서 결과치들이 반복 측정 되어지고, 이 결과치들은 서로 시간에 따른 상관관계를 가지게 된다.
	공분산 행렬의 추정에서 많이 발생하는 문제는?	따라서 공분산 행렬을 모형화하는 것은 매우 중요하다. 그러나 공분산 행렬의 추정은 모수들의 수가 많고 추정된 공분산행렬이 양정치성을 만족해야 하므로 쉽지 않은 문제이다. 이러한 제한을 극복하기 위해, 공분산행렬의 모형화를 위한 여러가지 방법을 제안하였다: 자기회귀/이동평균/자기회귀-이동평균 구조를 각각 적용한 수정 콜레스키분해 (Pourahmadi, 1999), 이동평균 콜레스키분해 (Zhang과 Leng, 2012)와 자기회귀-이동평균 콜레스키 분해 (Lee 등, 2017) 이들 구조를 가지는 공분산 행렬의 특징을 비교연구하고자 한다.

참고문헌 (15)

Daniels, J. M. and Pourahmadi, M. (2002). Bayesian analysis of covariance matrices and dynamic models for longitudinal data, Biometrika, 89, 553-566.

상세보기
Daniels, J. M. and Zhao, Y. D. (2003). Modelling the random effects covariance matrix in longitudinal data, Statistics in Medicine, 22, 1631-1647.

상세보기
Diggle, P. J., Heagerty, P., Liang, K. Y., and Zeger, S. L. (2002). Analysis of Longitudinal Data (2nd Ed), Oxford University Press, Oxford.
Kim, J. and Lee, K. (2015). Survey of models for random effects covariance matrix in generalized linear mixed model, The Korean Journal of Applied Statistics, 28, 211-219.

원문보기 상세보기
Kim, J., Sohn, I., and Lee, K. (2016). Bayesian modeling of random effects precision/covariance matrix in cumulative logit random effects models, Communications for Statistical Applications and Methods, 24, 81-96.
Lee, K. (2013). Bayesian modeling of random effects covariance matrix for generalized linear mixed models, Communications for Statistical Applications and Methods, 20, 235-240.

원문보기 상세보기
Lee, K., Baek, C., and Daniels, M. J. (2017). ARMA Cholesky factor models for the covariance matrix of linear models, Computational Statistics & Data Analysis, working paper.
Lee, K. and Sung, S. A. (2014). Autoregressive Cholesky factor modeling for marginalized random effects models, Communications for Statistical Applications and Methods, 21, 169-181.

원문보기 상세보기
Lee, K. and Yoo, J. (2014). Bayesian Cholesky factor models in random effects covariance matrix for generalized linear mixed models, Computational Statistics & Data Analysis, 80, 111-116.

상세보기
Lee, K., Yoo, J. K., Lee, J., and Hagan, J. (2012). Modeling the random effects covariance matrix for the generalized linear mixed models, Computational Statistics & Data Analysis, 56, 1545-1551.

상세보기
Pan, J. X. and Mackenzie, G. (2003). Model selection for joint mean-covariance structures in longitudinal studies. Biometrika, 90, 239-244.

상세보기
Pan, J. X. and MacKenzie, G. (2006). Regression models for covariance structures in longitudinal studies. Statistical Modelling, 6, 43-57.

상세보기
Pourahmadi, M. (1999). Joint mean-covariance models with applications to longitudinal data: unconstrained parameterisation, Biometrika, 86, 677-690.

상세보기
Pourahmadi, M. (2000). Maximum likelihood estimation of generalized linear models for multivariate normal covariance matrix, Biometrika, 87, 425-435.

상세보기
Zhang, W. and Leng, C. (2012). A moving average Cholesky factor model in covariance modeling for longitudinal data, Biometrika, 99, 141-150.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증