$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

모형 선택 기준들에 대한 LASSO 회귀 모형 편의의 영향 연구
A study on bias effect of LASSO regression for model selection criteria 원문보기

응용통계연구 = The Korean journal of applied statistics, v.29 no.4, 2016년, pp.643 - 656  

유동현 (계명대학교 통계학과)

초록
AI-Helper 아이콘AI-Helper

고차원 자료(high dimensional data)는 변수의 수가 표본의 수보다 많은 자료로 다양한 분야에서 관측 또는 생성되고 있다. 일반적으로, 고차원 자료에 대한 회귀 모형에서는 모수의 추정과 과적합을 피하기 위하여 변수 선택이 이루어진다. 벌점화 회귀 모형(penalized regression model)은 변수 선택과 회귀 계수의 추정을 동시에 수행하는 장점으로 인하여 고차원 자료에 빈번하게 적용되고 있다. 하지만, 벌점화 회귀 모형에서도 여전히 조율 모수 선택(tuning parameter selection)을 통한 최적의 모형 선택이 요구된다. 본 논문에서는 벌점화 회귀 모형 중에서 대표적인 LASSO 회귀 모형을 기반으로 모형 선택의 기준들에 대한 LASSO 회귀 추정량의 편의가 어떠한 영향을 미치는지 모의실험을 통하여 수치적으로 연구하였고 편의의 보정의 필요성에 대하여 나타내었다. 실제 자료 분석에서의 영향을 나타내기 위하여, 폐암 환자의 유전자 발현량(gene expression) 자료를 기반으로 바이오마커 식별(biomarker identification) 문제에 적용하였다.

Abstract AI-Helper 아이콘AI-Helper

High dimensional data are frequently encountered in various fields where the number of variables is greater than the number of samples. It is usually necessary to select variables to estimate regression coefficients and avoid overfitting in high dimensional data. A penalized regression model simulta...

주제어

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 가우시안 그래피컬 모형 중 회귀 모형 기반의 여러 추정 방법들은 LASSO 회귀 모형의 형태로 표현이 가능하며, 벌점화 모형의 추정량을 토대로 기존의 정보 기준을 적용하여 모형을 선택하고 있기 때문에 유한 표본에서는 편의의 영향으로 더 적절한 모형이 있음에도 다른 모형을 선택하는 오류가 발생할 수 있다. 따라서 본 연구에서는 벌점화 모형 중 LASSO 회귀 모형에서 편의가 모형 선택의 기준들 및 모형 선택에 미치는 영향에 대하여 모의실험을 통하여 수치적으로 확인하고 모형 선택의 기준들을 적용 시 편의에 대한 보정이 필요함을 보이고자 한다.
  • 최근 암에 대한 유전적 연구가 활발히 이루어지면서 유전적인 바이오마커(biomarker)를 식별하여 질병의 예후 및 예측에 이용하고 있다 (Tang 등, 2013). 본 논문에서는 LASSO 회귀 모형을 Tomida 등 (2009)의 폐암 환자에 대한 유전자 발현량 자료에 적용하여 모형 식별의 편의에 대한 영향을 비교하며 기존에 알려진 바이오마커 PIK3CA (El-Telbany와 Ma, 2012)와의 연관성을 토대로 잠재 바이오마커(potential biomarker)를 식별하고자 한다. 본 연구에서 다루는 Tomida 등 (2009) 자료는 Agilent-014850 Whole Human Genome Microarray 4x44K G4112F 플랫폼을 이용한 117명의 폐암 환자의 유전자 발현량(gene expression level) 자료이다.
  • 추가적으로, 보통의 선형 회귀 모형 하에서 LASSO 벌점의 편의와 일치성을 만족하기 위한 조건에 대한 이론적인 연구는 Zang과 Huang (2008)에서 참고 할 수 있으며, Belloni와 Chernozhukov (2013)에서는 본 연구에서 적용한 것처럼 LASSO 회귀 추정량을 이용하여 모형 선택 이후, 이에 대응하는 최소 제곱주청량을 이용하는 post-Lasso 추정량에 대한 이론적인 성질에 대하여 연구하였으며, 모형 선택의 일치성을 만족하지 않는 조건 하에서도 항상 LASSO 회귀 추정량 보다 이론적인 성질이 개선됨을 보였다. 본 연구는 Belloni와 Chernozhukov (2013)에서 비교, 제시한 추정량의 이론적 성질을 실제 유한 표본 하에서 여러 대표적인 정보 기준들 적용하여 편의를 보정한 추정량의 모형 선택 성능이 개선됨을 보였고, 미리 조정된 공액 경사도 알고리즘을 적용하여 효율적으로 편의를 보정하는 방법을 제안한 점에서 의미가 있다.
  • 본 연구에서는 LASSO 회귀 모형에서 모형 선택 기준들을 적용할 때, 0이 아닌 추정량을 기반으로 계산이 이루어짐을 이용하여 LASSO 추정량의 편의가 모형 선택 기준들에 어떠한 영향을 미치는치 모의실험을 통하여 살펴보았다. 또한, 0이 아닌 추정량의 수가 표본의 수보다 작은 경우에는 LASSO 추정량의 부호와 0이 아닌 성분에 대응하는 설명 변수를 이용하여 PCG 알고리즘을 활용하여 효율적으로 편의를 보정하는 방법을 제안하였다.
  • 본 절에서는 LASSO 회귀 추정량의 편의가 AIC, BIC, GIC 및 CV의 값에 어떠한 영향을 주는지 LASSO 회귀 추정량과 편의를 보정한 추정량의 모형 선택 기준들에 대한 비교를 통하여 확인하고자 한다. 모의 실험은 희박한(sparse) 회귀 계수를 고려하기 위하여 참회귀계수 β0 = (# )1≤j≤p
  • 에 대하여 LASSO 회귀 모형의 추정량의 편의가 모형 선택의 기준들에 미치는 영향을 확인하고 이에 대한 보정이 필요함을 보이고자 한다. 여기서, y = (y1, y2, .

가설 설정

  • 이를 위해, 먼저 활성화 집합(active set) #을 정의하고 이에 대응하는 최소제곱추정량을 # 로 나타낸다. 대응하는 회귀 계수를 명확히 하기 위하여 활성화 집합의 원소는 크기 순서로 정렬되어 있다고 가정한다. 위의 표현을 이용하면 LASSO 회귀 추정량 중 0이 아닌 회귀 계수로 추정된 계수들의 최소제곱 추정량은
  • 또한, 각 반응 변수 및 설명변수들은 yi − (1/n) # yi와 같은 연산을 통하여 간단히 0으로 중심화 가능하므로 일반성을 잃지 않고 반응변수와 개별 설명 변수들은 평균이 0으로 중심화되어 있다고 가정한다.
  • 여기서 xi ∼ N(0, Ip), ϵi ∼ N(0, 1)로 가정하였으며, Ip는 p차원의 단위 행렬이다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
고차원 자료란 무엇인가? 고차원 자료(high dimensional data)는 변수의 수가 표본의 수보다 많은 자료로 다양한 분야에서 관측 또는 생성되고 있다. 일반적으로, 고차원 자료에 대한 회귀 모형에서는 모수의 추정과 과적합을 피하기 위하여 변수 선택이 이루어진다.
고차원 자료에 대한 회귀 모형중 하나인 벌잠화 회귀 모형의 특징은 무엇인가? 일반적으로, 고차원 자료에 대한 회귀 모형에서는 모수의 추정과 과적합을 피하기 위하여 변수 선택이 이루어진다. 벌점화 회귀 모형(penalized regression model)은 변수 선택과 회귀 계수의 추정을 동시에 수행하는 장점으로 인하여 고차원 자료에 빈번하게 적용되고 있다. 하지만, 벌점화 회귀 모형에서도 여전히 조율 모수 선택(tuning parameter selection)을 통한 최적의 모형 선택이 요구된다. 본 논문에서는 벌점화 회귀 모형 중에서 대표적인 LASSO 회귀 모형을 기반으로 모형 선택의 기준들에 대한 LASSO 회귀 추정량의 편의가 어떠한 영향을 미치는지 모의실험을 통하여 수치적으로 연구하였고 편의의 보정의 필요성에 대하여 나타내었다.
고차원 자료에 대한 회귀 모형에서 변수 선택이 이루어 지는 이유는 무엇인가? 고차원 자료(high dimensional data)는 변수의 수가 표본의 수보다 많은 자료로 다양한 분야에서 관측 또는 생성되고 있다. 일반적으로, 고차원 자료에 대한 회귀 모형에서는 모수의 추정과 과적합을 피하기 위하여 변수 선택이 이루어진다. 벌점화 회귀 모형(penalized regression model)은 변수 선택과 회귀 계수의 추정을 동시에 수행하는 장점으로 인하여 고차원 자료에 빈번하게 적용되고 있다.
질의응답 정보가 도움이 되었나요?

참고문헌 (38)

  1. Akaike, H. (1973). Information theory and an extension of the maximum likelihood principle. In Proceeding of the Second International Symposium on Information Theory, Budapest: Akademiai Kiado. 

  2. Andersen, P. and Gill, R. (1982). Cox's regression model for counting processes, a large sample study, Annals of Statistics, 10, 1100-1120. 

  3. Benjamini, Y. and Hochberg, Y. (1995). Controlling the false discovery rate: a practical and powerful approach to multiple testing, Journal of the Royal Statistical Society. Series B (Methodological), 57, 289-300. 

  4. Belloni, A. and Chernozhukov, V. (2013). Least squares after model selection in high-dimensional sparse models, Bernoulli, 19, 521-547. 

  5. Cantero-Recasens, G., Fandos, C., Rubio-Moscardo, F., Valverde, M. A., and Vicente, R. (2010). The asthma-associated ORMDL3 gene product regulates endoplasmic reticulum-mediated calcium signaling and cellular stress, Human Molecular Genetics, 19, 111-121. 

  6. Danaher, P., Wang, P., and Witten, D. M. (2014). The joint graphical lasso for inverse covariance estimation across multiple classes, Journal of the Royal Statistical Society. Series B (Methodological), 76, 373-397. 

  7. Demmel, J. W. (1997). Applied Numerical Linear Algebra, SIAM, Philadelphia. 

  8. Efron, B., Hastie, T., Johnstone, I., and Tibshirani, R. (2004). Least angle regression, Annals of Statistics, 32, 407-499. 

  9. El-Telbany, A. and Ma, P. C. (2012). Cancer genes in lung cancer: racial disparities: are there any?, Genes & Cancer, 3, 467-480. 

  10. Fan, J. and Li, R. (2001). Variable selection via nonconcave penalized likelihood and its oracle properties, Journal of the American Statistical Association, 96, 1348-1360. 

  11. Fan, Y. and Tang, C. Y. (2013). Tuning parameter selection in high dimensional penalized likelihood, Journal of the Royal Statistical Society. Series B (Methodological), 75, 531-552. 

  12. Friedman, J., Hastie, T., Ho ing, H., and Tibshirani, R. (2007). Pathwise coordinate optimization, Annals of Applied Statistics, 1, 302-332. 

  13. Friedman, J., Hastie, T., and Tibshirani, R. (2008). Sparse inverse covariance estimation with the graphical lasso, Biostatistics, 9, 432-441. 

  14. Irizarry, R. A., Bolstad, B. M., Collin, F., Cope, L. M., Hobbs, B., and Speed, T. P. (2003). Summaries of Affymetrix GeneChip probe level data, Nucleic Acids Research, 31, e15. 

  15. Jemal, A., Siegel, R., Xu, J., and Ward, E. (2010). Cancer statistics, CA: A Cancer Journal for Clinicians, 60, 277-300. 

  16. Khare, K., Oh, S.-Y., and Rajaratnam, B. (2015). A convex pseudolikelihood framework for high dimensional partial correlation estimation with convergence guarantees, Journal of the Royal Statistical Society. Series B (Methodological), 77, 803-825. 

  17. Meinshausen, N. and Buhlmann, P. (2006). High-dimensional graphs and variable selection with the lasso, Annals of Statistics, 34, 1436-1462. 

  18. Nishii, R. (1984). Asymptotic properties of criteria for selection of variables in multiple regression, Annals of Statistics, 12, 758-765. 

  19. Paige, C. C. and Saunders, M. A. (1975). Solution of sparse indefinite systems of linear equations, SIAM Journal on Numerical Analysis, 12, 617-629. 

  20. Peng, J., Wang, P., Zhou, N., and Zhu, J. (2009). Partial correlation estimation by Joint sparse regression models, Journal of the American Statistical Association, 104, 735-746. 

  21. Picard, R. R. and Cook, R. D. (1984). Cross-validation of regression models, Journal of the American Statistical Association, 79, 575-583. 

  22. Pounds, S. and Morris, S. W. (2003). Estimating the occurrence of false positives and false negatives in microarray studies by approximating and partitioning the empirical distribution of p-values, Bioinformatics, 19, 1236-1242. 

  23. Schwarz, G. (1978). Estimating the dimension of a model, Annals of Statistics, 6, 461-464. 

  24. Shao, J. (1997). An asymptotic theory for linear model selection, Statistica Sinica, 7, 221-264. 

  25. Sterrenberg, J. N., Blatch, G. L., and Edkins, A. L. (2011). Human DNAJ in cancer and stem cells, Cancer Letters, 312, 129-142. 

  26. Tang, H., Xiao, G., Behrens, C., Schiller, J., Allen, J., Chow, C. W., Suraokar, M., Corvalan, A., Mao, J., White, M. A., Wistuba, I., Minna, J. D., and Xie, Y. (2013). A 12-gene set predicts survival benefits from adjuvant chemotherapy in non-small cell lung cancer patients, Clinical Cancer Research, 19, 1577-1586. 

  27. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso, Journal of the Royal Statistical Society. Series B (Methodological), 58, 267-288. 

  28. Tibshirani, R. J. (2013). The lasso problem and uniqueness, Electronic Journal of Statistics, 7, 1456-1490. 

  29. Tomida, S., Takeuchi, T., Shimada, Y., Arima, C., Matsuo, K., Mitsudomi, T., Yatabe, Y., and Takahashi, T. (2009). Relapse-related molecular signature in lung adenocarcinomas identifies patients with dismal prognosis, Journal of Clinical Oncology, 27, 2793-2799. 

  30. Wang, H., Li, B., and Leng, C. (2009). Shrinkage tuning parameter selection with a diverging number of parameters, Journal of the Royal Statistical Society. Series B (Methodological), 71, 671-683. 

  31. Wang, H., Li, R., and Tsai, C. L. (2007). Tuning parameter selectors for the smoothly clipped absolute deviation method, Biometrika, 94, 553-568. 

  32. Wang, T. and Zhu, L. (2011). Consistent tuning parameter selection in high dimensional sparse linear regression, Journal of Multivariate Analysis, 102, 1141-1151. 

  33. Yang, Y. (2005). Can the strengths of aic and bic be shared?: a conflict between model identification and regression estimation, Biometrika, 92, 937-950. 

  34. Yoo, J., Lee, S.-H., Lym, K., Park, S. Y., Yang, S.-H., Yoo, C.-Y., Jung, J.-H., Kang, S.-J., and Kang, C.-S. (2012). Immunohistochemical expression of DCUN1D1 in non-small cell lung carcinoma: its relation to brain metastasis, Cancer Research and Treatment: Official Journal of Korean Cancer Association, 44, 57-62. 

  35. Yu, D., Son, W., Lim, J., and Xiao, G. (2015). Statistical completion of partially identified graph with application to estimation of gene regulatory network, Biostatistics, 16, 670-685. 

  36. Zhang, C.-H. (2010). Nearly unbiased variable selection under minimax concave penalty, Annals of Statistics, 38, 894-942. 

  37. Zhang, C.-H. and Huang, J. (2008). The sparsity and bias of the lasso selection in high-dimensional linear regression, Annals of Statistics, 36, 1567-1594. 

  38. Zou, H. (2006). The adaptive lasso and its oracle properties, Journal of the American Statistical Association, 101, 1418-1429. 

저자의 다른 논문 :

섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로