[논문]베이지안 고차원 선형 회귀분석에서의 비교연구

신주원; 이경재

doi:10.5351/kjas.2021.34.3.491

베이지안 고차원 선형 회귀분석에서의 비교연구
A comparison study of Bayesian high-dimensional linear regression models 원문보기

응용통계연구 = The Korean journal of applied statistics, v.34 no.3, 2021년, pp.491 - 505

신주원 (인하대학교 통계학과) , 이경재 (인하대학교 통계학과)

초록
AI-Helper

본 연구에서는, 고차원상황(p ≫ n)에서의 회귀분석 모형을 고려하여 다양한 베이지안 회귀분석 방법들을 비교하였다. Spike and slab 사전분포는 고차원 베이지안 회귀분석에서 가장 많이 사용되는 사전분포 중 하나이지만, 탐험해야 하는 모형 공간이 너무 크기 때문에 유한 표본에서 좋지 않은 성능을 보일 수 있다는 문제가 있다. 이에 대한 대안으로, horseshoe 사전분포를 비롯한 다양한 연속 수축사전분포들이 제안되어 사용되고 있다. 비록 위 사전분포들 각각에 대해서는 많은 연구들이 진행되고 있지만, 이들에 대한 포괄적인 비교연구는 매우 드물게 진행되고 있다. 따라서 본 연구에서는, spike and slab 사전분포와 다양한 연속수축사 전분포들을 다양한 상황에서 비교하는 연구를 진행 하였다. 각 방법의 성능은 회귀계수 추정 측면과 변수선택 측면을 나누어 비교하였다. 최종적으로, 본 연구에서 진행된 시뮬레이션 연구에 기반하여, 사용시 몇 가지 주의점과 제안들을 제시하였다.

Abstract ▼ AI-Helper

We consider linear regression models in high-dimensional settings (p ≫ n) and compare various classes of priors. The spike and slab prior is one of the most widely used priors for Bayesian regression models, but its model space is vast, resulting in a bad performance in finite samples. As an alternative, various continuous shrinkage priors, including the horseshoe prior and its variants, have been proposed. Although each of the above priors has been investigated separately, exhaustive comparative studies of their performance have been conducted very rarely. In this study, we compare the spike and slab prior, the horseshoe prior and its variants in various simulation settings. The performance of each method is demonstrated in terms of the regression coefficient estimation and variable selection. Finally, some remarks and suggestions are given based on comprehensive simulation studies.

주제어

표/그림 (11)

그림 Figure 1: The probability density function of a spike and slab prior.
그림 Figure 2: Probability density functions of Horseshoe, Cauchy and Laplacian distributions.
그림 Figure 3: Probability density functions of various priors with τ = 1 (top row) and τ = 0.01 (bottom row). In the above, H, HP and RH represent horseshoe, horseshoe plus and regularized horseshoe priors, respectively.
표 Table 1: Confusion matrix
그림 Figure 4: MSES (left column) and MSE_N (right column) for Scenario 1 with p = 100 (top row), p = 500 (middle row) and p = 1000 (bottom row). The x-axis represents the level of sparsity (sp).
그림 Figure 5: The estimated shrinkage factors for true signals (green dots) and true signals (red dots) when p = 500 and sp = 0:1. The x-axis represents the indices for p variables, while red region means the indices for true signals.
표 Table 2: AUC values for Scenario 1 with p = 500. sp represents the level of sparsity
$Figure 6: MSE<sub>S</sub> (left column) and MSE<sub>N</sub> (right column) for Scenario 2 with p = 100 (top row), p = 500 (middle row) and p = 1000 (bottom row). The x-axis represents the value of <TEX>$\sqrt{{\mu}}</TEX>.$ 그림 Figure 6: MSE_S (left column) and MSE_N (right column) for Scenario 2 with p = 100 (top row), p = 500 (middle row) and p = 1000 (bottom row). The x-axis represents the value of $\sqrt{{\mu}}.
그림 Figure 7: Standard deviations of MSE_S for each prior when µ = 0.1.
표 Table 3: AUC values for Scenario 2 with p = 500
표 Table 4: Summary of numerical studies in Section 3

참고문헌 (14)

Barbieri MM, Berger JO (2004). Optimal predictive model selection, The Annals of Statistics, 32, 870-897.
Bhadra A, Datta J, Polson NG, and Willard B (2017). The horseshoe+ estimator of ultra-sparse signals, Bayesian Analysis, 12, 1105-1131.
Carvalho CM, Polson NG, and Scott JG (2010). The horseshoe estimator for sparse signals, Biometrika, 97, 465-480.

상세보기
Van ES, Oberski DL, and Mulder J (2019). Shrinkage priors for Bayesian penalized regression, Journal of Mathematical Psychology, 89, 31-50.

상세보기
George EI and McCulloch RE (1993). Variable selection via gibbs sampling, Journal of the American Statistical Association, 88, 881-889.

상세보기
Hoerl AE and Kennard RW (1970). Ridge regression: applications to nonorthogonal problem, Technometrics, 12, 69-82.

상세보기
Ishwaran H and Rao JS (2005). Spike and slab variable selection: frequentist and Bayesian strategies, The Annals of Statistics, 33, 730-773.
Lee SY, Pati D, and Mallick BK (2020). Continuous Shrinkage Prior Revisited: A Collapsing Behavior and Remedy, arXiv preprint arXiv:2007.02192.
Makalic E and Schmidt DF (2015). A simple sampler for the horseshoe estimator, IEEE Signal Processing Letters, 23, 179-182.

상세보기
Makalic E and Schmidt DF (2016). High-Dimensional Bayesian Regularised Regression with the Bayesreg Package, arXiv preprint arXiv:1611.06649.
Martin R, Mess R, and Walker SG (2017). Empirical bayes posterior concentration in sparse high-dimensional linear models, Bernoulli, 23, 1822-1847.

상세보기
Piironen J and Vehtari A (2017). On the hyperprior choice for the global shrinkage parameter in the horseshoe prior. In Proceedings of the 20th International Conference on Artificial Intelligence and Statistics, 905-913.
Piironen J and Vehtari A (2017) . Sparsity information and regularization in the horseshoe and other shrinkage priors, Electronic Journal of Statistics, 11, 5018-5051.
Tibshirani R (1996). Regression shrinkage and selection via the lasso, Journal of the Royal Statistical Society: Series B (Methodological), 58, 267-288.

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증