$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

[국내논문] 호우피해자료에서의 고차원 자료 및 다중공선성 문제를 해소한 회귀모형 개발
Development of Regression Models Resolving High-Dimensional Data and Multicollinearity Problem for Heavy Rain Damage Data 원문보기

대한토목학회논문집 = Journal of the Korean Society of Civil Engineers, v.38 no.6, 2018년, pp.801 - 808  

김정환 (인하대학교 수자원시스템연구소) ,  박지현 (인하대학교 통계학과) ,  최창현 (인하대학교 토목공학과) ,  김형수 (인하대학교 사회인프라공학과)

초록
AI-Helper 아이콘AI-Helper

선형회귀모형의 학습은 일반적으로 자료의 개수가 설명변수의 개수보다 충분히 크고, 설명변수들 사이에 심각한 다중공선성이 없다는 가정 하에서 안정적으로 이루어진다. 본 연구에서는 이러한 가정이 위배되었을 경우 모형 학습의 어려움을 실제 호우피해자료를 분석함으로써 조명하였고, 이를 해결하기 위해 자료를 통합한 다음 주성분회귀모형 또는 능형회귀모형을 사용할 것을 검토하였다. 모형의 학습에 사용된 자료와 별도의 독립된 자료에서 제안된 모형들의 예측력을 평가하였고, 제안된 방법이 선형회귀모형보다 더 나은 예측력을 보이는 것을 확인하였다.

Abstract AI-Helper 아이콘AI-Helper

The learning of the linear regression model is stable on the assumption that the sample size is sufficiently larger than the number of explanatory variables and there is no serious multicollinearity between explanatory variables. In this study, we investigated the difficulty of model learning when t...

Keyword

표/그림 (6)

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 전술한 2가지 문제점을 포함한 자료에서 개발된 회귀모형은 과적합(over-fitting)될 위험이 있으므로 부정확한 예측값을 제시할 가능성이 크다. 따라서, 본연구의 목적은 전술한 2가지 문제점을 해소한 회귀모형을 호우피해함수로 제안하는 것이다
  • 왜냐면 변수선택 시중요한 설명변수가 누락될 가능성이 있을 뿐만 아니라 중요한 설명변수들 사이에 상관성이 강한 경우 어떤 변수를 우선적으로선택해야 하는지에 대해서 명확한 기준이 없기 때문이다. 본 연구에서는 변수선택에 대한 대안으로 주성분회귀모형(principal component regression model; pc-reg) 혹은 능형회귀모형(ridge regressionmodel; ridge-reg)을 제안한다.
  • 본 연구에서는 서울시를 대상지역으로 선정하여 호우피해 함수 개발하고자 하였다. 반응변수로는 행정안전부(구 국민안전처)에서 제공하는 재해연보의 2005년부터 2016년 재해기간 별 호우 피해액(단위: 천원)을 사용하였고, 과거의 화폐가치와 현재의 화폐가치가 다르기 때문에 생산자 물가지수를 이용하여 현재(2016년)의 가치로 환산하였다.
  • 각 시군구 마다 학습된 다중회귀모형에 대해 2013년부터 2015년까지의 설명변수 자료를 입력하여 해당 기간 동안의 예측 피해액을 계산한 후 해당 기간의 실제값과 비교하여 PRMSE를 계산하고자 하였으나, 일부 매우 크게 추정되는 예측 피해액으로 인해 값이 무한대로 표시되어 정확한 값을 알 수가 없었다. 무한대의 값을갖는 PRMSE로부터 모형이 과대적합되었다고 판단할 수 있었으며, 고차원 자료인 행정구역 별(시군구 별) 자료에서 회귀모형을학습하기 보다는 여러 행정구역을 통합하여 고차원 자료의 문제점을 해소한 다음 모형을 개발하는 방향으로 연구를 진행하였다.
  • 서울시 전체의 자료에 대해 다중회귀모형을 적합하는 과정에서개의 설명변수를 대체할 수 있는 ≪  개의 새로운 설명변수인 주성분을 원래의 설명변수 대신에 사용하고자 한다. Fig.
  • 서울시 전체의 자료에 대해 능형회귀모형을 학습하고자 한다. 모형의 회귀식은 Eq.
  • 본 연구는 회귀모형을 이용하여 호우피해 함수를 개발함에 있어서 자료의 형태가 고차원 자료이거나 설명변수 사이에 다중공선성이 존재하는 경우 모형 개발의 어려움을 부각하고 이를 개선하기 위한 방법으로 자료 통합 및 주성분회귀모형과 능형회귀모형을제시하여 최종 호우피해함수를 개발하는 과정을 소개하였다. 연구결과를 요약하면 다음과 같다.
  • 본 연구에서는 고차원 자료의 문제를 해소하기 위한 방법으로서울시에 속하는 모든 시군구의 자료를 통합하는 것을 제시하였으나 이것이 유일한 해결책은 아니다. 알려진 사전지식 혹은 적절한군집분석을 통해 군집 단위로 자료를 통합하여, 군집 별 자료에서 모형을 개발할 수도 있을 것이다.

가설 설정

  • (1)에서 β0은 절편을, β1, ⋯ β\(p\)는 각 설명변수에 대응되는 회귀계수를 의미한다. 는 모형에 의해 설명되지 않는 오차(error)로써 평균이 0이고 분산이 σ2인 정규분포를 따른다고 가정한다. 회귀계수 β = (β0β1, ⋯ β\(p\))는 \(n\)개의 자료로 이루어지는 다음의 목적함수 \(L\)(β)를 최소화하도록 추정된다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
선형회귀모형은 무엇인가? 선형회귀모형(linear regression model; reg)은 설명변수(predictor variable)들을 사용하여 반응변수(response variable)의 값을 예측하는 대표적인 통계 모형이다. 반응변수를 \(y\), 설명변수집합을 \(X=\)(\(x\)0,\(x\)1,.
다중공선성을 해소하기 위해 변수선택을 어떻게 할것인지에 대한 논의가 필요한 이유는 무엇인가? 다중공선성을 해소하기 위해서 연구자의 직관에 의존하여 일부 변수만을 선택하거나 혹은통계적 변수선택절차를 적용할 수도 있으나 실제로 변수선택을어떻게 할 것인지에 대한 논의가 필요하다. 왜냐면 변수선택 시중요한 설명변수가 누락될 가능성이 있을 뿐만 아니라 중요한 설명변수들 사이에 상관성이 강한 경우 어떤 변수를 우선적으로선택해야 하는지에 대해서 명확한 기준이 없기 때문이다. 본 연구에서는 변수선택에 대한 대안으로 주성분회귀모형(principal component regression model; pc-reg) 혹은 능형회귀모형(ridge regressionmodel; ridge-reg)을 제안한다.
주성분회귀모형은 무엇인가?  주성분회귀모형은 원래의 설명변수 대신에 주성분들을 설명변수로 사용하는 회귀모형이다. 따라서 주성분회귀모형을 학습하기 이전에 설명변수 집합을 주성분으로 바꾸는 과정이 필요하다.
질의응답 정보가 도움이 되었나요?

참고문헌 (21)

  1. Choi, C. H., Kim, J. H., Kim, J. S., Kim, D. H., Bae, Y. H. and Kim, H. S. (2018). "Development of heavy rain damage prediction model using machine learning based on big data." Journal of Advances in Meteorology, Vol. 2018, Article ID 5024930. 

  2. Choi, C. H., Kim, J. S., Kim, J. H., Kim, H. Y., Lee, W. J. and Kim, H. S. (2017a). "Development of heavy rain damage prediction function using statistical methodology." Journal of the Korean Society of Hazard Mitigation, Vol. 17, No. 3, pp. 331-338 (in Korean). 

  3. Choi, C. H., Kim, J. S., Lee, M. J., Kim, J. H., Lee, W. J. and Kim, H. S. (2017b). "Development of heavy rain damage prediction function using principal component analysis and logistic regression model." Journal of the Korean Society of Hazard Mitigation, Vol. 17, No. 6, pp. 159-166 (in Korean). 

  4. Choi, C. H., Park, K. H., Park, H. K., Lee, M. J., Kim, J. S. and Kim, H. S. (2017c). "Development of heavy rain damage prediction function for public facility using machin learning." Journal of the Korean Society of Hazard Mitigation, Vol. 17, No. 6, pp. 443-450 (in Korean). 

  5. Choo, T. H., Kwak, K. S., Ahn, S. H., Yang, D. U. and Son, J. K. (2017). "Development for the function of wind wave damage estimation at the western coastal zone based on disaster statistics." Journal of the Korea Academia-Industrial cooperation Society, Vol. 18, No. 2, pp. 14-22 (in Korean). 

  6. Furquim, G., Pessin, G., Faical, B. S., Mendiondo, E. M. and Ueyama, J. (2016). "Improving the accuracy of a flood forecasting model by means of machine learning and chaos theory." Neural computing and applications, Vol. 27, No. 5, pp. 1129-1141. 

  7. Hoerl, A. E. and Kennard, R. W. (1970). "Ridge regression: biased estimation for nonorthogonal problems." Technometrics, Vol. 12, No. 1, pp. 55-67. 

  8. Jeong, J. H. and Lee, S. H. (2014). "Estimating the direct economic damages from heavy snowfall in Korea." Journal of climate research, Vol. 9, No. 2, pp. 125-139. 

  9. Johnstone, I. M. and Titterington, D. M. (2009). "Statistical challenges of high-dimensional data." Philos Trans A Math Phys Eng Sci, Vol. 367, No. 1906, pp. 4237-4253. 

  10. Kim, J. H. Kim, T. G. and Lee, B. R. (2017a). "An analysis of typhoon damage pattern type and development of typhoon damage forecasting function." Journal of the Korean Society of Hazard Mitigation, Vol. 17, No. 2, pp. 339-347 (in Korean). 

  11. Kim, J. S., Choi, C. H., Kim, D. H., Lee, M. J. and Kim, H. S. (2017b). "Development of heavy rain damage prediction function using artificial neural network and multiple regression model." Journal of the Korean Society of Hazard Mitigation, Vol. 17, No. 6, pp. 73-80 (in Korean). 

  12. Kim, J. S., Choi, C. H., Lee, J. S. and Kim, H. S. (2017c). "Damage prediction using heavy rain risk assessment : (2) Development of heavy rain damage prediction function." Journal of Korean Society of Hazard Mitigation, Vol. 17, No. 2, pp. 371-379 (in Korean). 

  13. Kwon, S. H., Lee, J. W. and Chung, G. H. (2017). "Snow damages estimation using artificial neural network and multiple regression analysis." Journal of the Korean Society of Hazard Mitigation, Vol. 17, No. 2, pp. 315-325 (in Korean). 

  14. Lee, J. S., Eo, G., Choi, C. H., Jung, J. W. and Kim, H. S. (2016). "Development of rainfall-flood damage estimation function using nonlinear regression equation." Journal of the Korean Society of Disaster Information, Vol. 12, No. 1, pp. 74-88 (in Korean). 

  15. Lee, S. I. (2012). "A study on damage scale prediction by rainfall and wind velocity with typhoon. master's thesis." Sunchon National University. 

  16. Mandal, S., Saha, D. and Banerjee, T. (2005). "A neural network based prediction model for flood in a disaster management system with sensor networks." In Intelligent sensing and information processing, Proc. of 2005 international conference, pp. 78-82. 

  17. Mendelsohn, R. and Saher, G. (2011) "The global impact of climate change on extreme events." World Bank. 

  18. Munich, R. (2002). "Winter storms in europe: analysis of 1990 losses and future loss potentials." 

  19. Oh, Y. R. and Chung, G. H. (2017). "Estimation of snow damage and proposal of snow damage threshold based on historical disaster data." Journal of the Korean Society of Civil Engineers, Vol. 37, No. 2, pp. 325-331. 

  20. Pielke, R. A. and Downton, M. W. (2000). "Precipitation and damaging floods: trends in the united states, 1932-97." Journal of Climate, Vol. 13, No. 20, pp. 3625-3637. 

  21. Zhai, A. R. and Jiang, J. H. (2014). "Dependence of US hurricane economic loss on maximum wind speed and storm size." Environmental Research Letters, Vol. 9, No. 6, pp. 1-9. 

저자의 다른 논문 :

LOADING...
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로