[논문]다중회귀모형에서 전진선택과 후진제거의 기하학적 표현

홍종선; 김명진

초록
AI-Helper

다중회귀모형에서 변수선택법 중에서 전진선택과 후진제거의 과정을 기하학적으로 표현하는 그래픽적 방법을 제안한다. 반지름이 1인 반원의 제1사분면에는 전진선택 과정을, 제2사분면에는 후진제거 과정을 표현한다. 각 단계에서 회귀제곱합을 벡터로 표현하고, 추가제곱합 또는 부분결정계수를 벡터 사이의 각도로 나타내며 벡터의 끝을 연결할 때 통계적으로 유의하면 점선으로 표현하여 부분가설검정의 통계적 분석결과를 인지할 수 있도록 작성한다. 이 방법을 이용하면 전진선택과 후진제거 방법에 의한 최종모형을 비교 분석하고 전체적으로 모형의 적합도를 파악할 수 있다.

Abstract ▼ AI-Helper

A geometrical description method is proposed to represent the process of the forward selection and backward elimination methods among many variable selection methods for multiple regression models. This graphical method shows the process of the forward selection and backward elimination on the first...

A geometrical description method is proposed to represent the process of the forward selection and backward elimination methods among many variable selection methods for multiple regression models. This graphical method shows the process of the forward selection and backward elimination on the first and second quadrants, respectively, of half circle with a unit radius. At each step, the SSR is represented by the norm of vector and the extra SSR or partial determinant coefficient is represented by the angle between two vectors. Some lines are dotted when the partial F test results are statistically significant, so that statistical analysis could be explored. This geometrical description can be obtained the final regression models based on the forward selection and backward elimination methods. And the goodness-of-fit for the model could be explored.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 다중회귀모형에서 설명변수들의 선택방법을 기하학적으로 표현하는 방법을 제안하고자 한다. 설명변수 선택방법 중에서 전진선택 (forward selection)과 후진제거 (backward elimination) 방법을 사용하며, 각 단계별 회귀제곱합과 회귀제곱합 사이의 추가제곱합 그리고 이에 대응하는 결정계수와 부분결정계수를 이용하여 이차원 평면위의 반원에 벡터의 노름과 벡터사이의 각도로 표현하고자 한다.
본 연구에서는 다중회귀모형에서 변수선택 방법 중 전진선택과 후진제거 방법을 기하학적으로 표현한 그래픽적인 방법을 제안하였다. 제안한 방법을 통해 전진선택 및 후진제거 과정에서의 모형에 대응하는 회귀제곱합은 벡터의 노름으로, 설명변수를 추가 (제거)하면서 증가 (감소)하는 추가제곱합을 벡터와 벡터의 사이 각도로 나타내었다.

가설 설정

H₀ : i번째 단계의 회귀모형이 적합하다.
H₁ : i + 1번째 단계의 회귀모형이 적합하다.

제안 방법

본 연구의 2절에서는 다중회귀분석 자료에 대하여 전진선택과 후진제거 방법을 동시에 구현하는 전체적인 과정을 반원에 기하학적으로 표현하는 방법을 제안한다. 3절에서는 두 종류의 예제에 대하여 표현하고 설명한다.
본 연구에서는 다중회귀모형에서 변수선택 방법 중 전진선택과 후진제거 방법을 기하학적으로 표현한 그래픽적인 방법을 제안하였다. 제안한 방법을 통해 전진선택 및 후진제거 과정에서의 모형에 대응하는 회귀제곱합은 벡터의 노름으로, 설명변수를 추가 (제거)하면서 증가 (감소)하는 추가제곱합을 벡터와 벡터의 사이 각도로 나타내었다. 이러한 표현방법을 바탕으로 설명변수를 추가하거나 제거할 때 결정계수의 크기를 살펴봄으로써 모형의 변화를 파악할 수 있으며, 선택되거나 제거된 설명변수가 무엇인지를 시각적으로 탐색할 수 있다.

데이터처리

임의의 i+1번째 단계에서 변수가 추가되어 증가한 추가제곱합 (extra sum of squares)은 SSR(i+1)− SSR(i)로 구할 수 있으며, i번째 단계의 (축소) 모형과 i+ 1번째 단계의 (완전)모형에 대한 다음과 같은 가설에 대하여 부분 F 검정 (partial F test)을 실행한다.

이론/모형

본 논문에서는 다중회귀모형에서 설명변수들의 선택방법을 기하학적으로 표현하는 방법을 제안하고자 한다. 설명변수 선택방법 중에서 전진선택 (forward selection)과 후진제거 (backward elimination) 방법을 사용하며, 각 단계별 회귀제곱합과 회귀제곱합 사이의 추가제곱합 그리고 이에 대응하는 결정계수와 부분결정계수를 이용하여 이차원 평면위의 반원에 벡터의 노름과 벡터사이의 각도로 표현하고자 한다.

성능/효과

다른 변수선택 방법인 단계식선택 과정에서는 회귀제곱합이 감소할 수도 있는데 이를 본 연구에서 제안한 기하학적인 방법에서는 추가제곱합에 대응하는 벡터와 벡터 사이의 각도가 음의 값을 가지므로 표현이 쉽지 않다. 그러나 본 연구의 표현방법을 컴퓨터 그래픽스를 잘 활용한다면 어렵지 않게 표현 가능하다고 생각된다.
1의 기학학적 표현보다 커다란 도형의 형태로 나타난다. 따라서 3.1절에서 분석한 자료의 적합도는 3.2절에서 분석한 자료와 비교하여 적합도가 충분히 크지 않다고 판단할 수 있다.

후속연구

3절에서는 두 종류의 예제에 대하여 표현하고 설명한다. 4절에서는 단계식선택 (stepwise selection) 방법 등의 다른 변수선택 방법에 대하여 향후 연구를 토론하며 결론을 유도한다.
그러나 본 연구의 표현방법을 컴퓨터 그래픽스를 잘 활용한다면 어렵지 않게 표현 가능하다고 생각된다. 그 외의 다른 변수선택 방법을 기하학적으로 표현하는 방법도 향후 연구과제라고 생각된다.
다른 변수선택 방법인 단계식선택 과정에서는 회귀제곱합이 감소할 수도 있는데 이를 본 연구에서 제안한 기하학적인 방법에서는 추가제곱합에 대응하는 벡터와 벡터 사이의 각도가 음의 값을 가지므로 표현이 쉽지 않다. 그러나 본 연구의 표현방법을 컴퓨터 그래픽스를 잘 활용한다면 어렵지 않게 표현 가능하다고 생각된다. 그 외의 다른 변수선택 방법을 기하학적으로 표현하는 방법도 향후 연구과제라고 생각된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	후진제거 방법이란?	후진제거 방법은 k개의 모든 설명변수가 포함된 완전모형인 0단계에서 출발하여 1단계에서는 하나의 설명변수가 제거되고 순차적으로 제거되는 방법으로 k − i개의 설명변수가 포함된 i단계의 회귀모형에서의 회귀제곱합과 이에 대응하는 결정계수는 전진선택 방법에서와 유사하게 SSR(i)와 R(i)2로 정의한다. 또한 결정계수와 동일한 벡터의 노름도 동일하게 정의한다.
	단계식선택 과정을 기하학적으로 표현하기 어려운 이유는?	다른 변수선택 방법인 단계식선택 과정에서는 회귀제곱합이 감소할 수도 있는데 이를 본 연구에서 제안한 기하학적인 방법에서는 추가제곱합에 대응하는 벡터와 벡터 사이의 각도가 음의 값을 가지므로 표현이 쉽지 않다. 그러나 본 연구의 표현방법을 컴퓨터 그래픽스를 잘 활용한다면 어렵지 않게 표현 가능하다고 생각된다.
	회귀모형을 그래픽적 방법으로 표현하기 위한 연구들은 회귀모형을 어떻게 표현하였는가?	회귀모형을 그래픽적 방법으로 표현하기 위하여 오래전부터 Box 등 (1978), Magoris (1979), Herr (1980), Draper와 Smith (1981), Bryant (1984) 등의 많은 연구가 진행되어 왔다. 이런 연구들은 회귀 분석의 분산분석표에서 총제곱합이 회 귀제곱합과 잔차제곱합으로 분해되고 각 제곱합에 대응하는 벡터의 노름 (Norm)과 각도로 이차원 평면에 기하학적으로 표현하였다.

참고문헌 (14)

이우리, 홍종선, 이의기 (2007). 다중회귀모형의 그래픽적 방법. , 20, 195-204.

원문보기 상세보기
Box, G. E. P., Hunter, W. G. and Hunter, J. S. (1978). Statistics for Experimenters: An Introduction to Design, Data Analysis, and Model Building, John Wiley.
Bryant, P. (1984). Geometry, statistics, probability: Variations on a common theme. The American Statistician, 38, 38-48.

상세보기
Chatterjee, S., Hadi, A. S. and Price, B. (2000). Regression Analysis by Example (3rd ed.), John Wiley & Sons.
Christensen, R. (2006). Comment and reply to Friedman and Wall (2005). The American Statistician, 60, 101-102.

상세보기
Draper, N. and Smith, H. (1981). Applied Regression Analysis (2nd ed.), John Wiley.
Friedman, L. and Wall, M. (2005). Graphical views of suppression and multicollinearity in multiple linear regression. The American Statistician, 59, 127-136.

상세보기
Hamilton, D. (1987). Sometimes $R^{2}$ > $r_{yx1}^{2}$ + $r_{yx2}^{2}$ Correlated variables are not always redundant. The American Statistician, 41, 129-132.

상세보기
Hamilton, D. (1988). Reply to Freund and Mitra. The American Statistician, 42, 90-91.
Herr, D. G. (1980). On the history of the use of geometry in the general linear model. The American Statistician, 34, 43-47.

상세보기
Margolis, M. S. (1979). Perpendicular projections and elementary statistics. The American Statistician, 33, 131-135.

상세보기
Rawlings, J. O., Pantula, S. G. and Dickey, D. A. (1998). Applied Regression Analysis: A Research Tool (2nd ed.), Springer.
Schey, H. M. (1993). The relationship between the magnitudes of SSR(x2) and SSR $(x2{\mid}x1)$ : A geometric description. The American Statistician, 47, 26-30.

상세보기
Sharpe, N. R. and Roberts, R. A. (1997). The relationship among sums of squares, correlation coefficients, and suppression. The American Statistician, 51, 46-48.

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

다중회귀모형에서 전진선택과 후진제거의 기하학적 표현
Geometrical description based on forward selection & backward elimination methods for regression models 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (14)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

다중회귀모형에서 전진선택과 후진제거의 기하학적 표현 Geometrical description based on forward selection & backward elimination methods for regression models 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (14)

이 논문을 인용한 문헌

저자의 다른 논문 :

홍종선 (96) 김명진 (1)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

다중회귀모형에서 전진선택과 후진제거의 기하학적 표현
Geometrical description based on forward selection & backward elimination methods for regression models 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper