선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구에서는 Hadi와 Simonoff (1993)가 선형회귀모형에서 사용한 순차적 방법을 벌점 스플라인 회귀에 적용하여 벌점 스프라인 회귀에서 이상치를 탐지하고 제거하는 직접적인 방법을 제안한다. Hadi와 Simonoff (1993)의 방법은 이상치일 가능성이 없는 관측값들의 집합을 먼저 설정하고 이를 바탕으로 추정된 회귀선으로 부터 각 관찰값의 오차를 계산하여 이상치가 될 가능성이 없는 값들을 처음에 설정한 집합에 추가하는 방식이다.
- 이상치 탐지는 이상치로 의심되는 관찰값들을 찾아내고, 그 값들이 실제로 이상치인지 아닌지 판별하는데 목적이 있다. 이상치 탐지방법은 크게 ‘직접적 이상치 탐지방법’과 강건추정의 잔차를 이용한 ‘간접적 이상치 탐지방법’으로 나뉜다.
제안 방법
- 원래의 설명변수(X)는 네 개(X1: blood clotting score, X2: prognostic index, X3: enzyme function score, X4: liver function test score)이고, 각 환자의 수술 전 평가기록에서 얻은 것이며 반응 변수(Y)는 환자의 생존 시간이다. 간 수술 데이터중 1번부터 54번까지의 관찰값을 이용하여 원래의 반응변수 Y 에 상용로그를 취한 log10Y 를 네 개의 설명변수에 회귀분석을 실시하여 log10#를 추정한 후 log10#을 예측변수로, 원래의 반응변수 Y 를 종속변수로 간주하여 모형추정을 시행하였다. 이 과정에서 1번부터 5번까지의 관찰 값들의 Y 값은 실제값 보다 2배 증가된 값을 사용하여 이상치로 설정하였다.
- 모의실험의 자료는 100번 반복 생성되었으며 매번의 실험마다 모형 오차인 n−1∑{m(xi) − #i}을 계산하였다. 모의실험에서는 이상치가 포함되지 않은 경우에도 각 방법을 적합하여 그 결과를 비교하였다.
- 본 논문에서는 벌점 스플라인 회귀모형(penalized spline regression model)에서 이상치를 탐지하기 위하여 Hadi와 Simonoff (1993)의 이상치군 식별법을 적용하며 제안된 방법은 강건 벌점 스플라인 회귀방법, 이상치 탐지를 하지 않은 벌점 스플라인 회귀방법과 비교한다. 2장에서는 벌점 스플라인 회귀와 강건 벌점 스플라인 회귀방법을 설명하고 본 연구에서 제안하는 Hadi와 Simonoff (1993)의 정상데이터군 식별법을 통하여 이상치를 검출한 후 벌점 스플라인 회귀를 수행하는 알고리즘을 설명한다.
- 본 논문에서는 벌점 스플라인 회귀모형에서 이상치를 탐지하는 방법을 제안하고, 강건 벌점 스플라인 회귀방법, 일반적인 능형회귀모형과 비교하였다. 논문에서 제안한 제안된 방법은 이상치로 판단되는 관찰 값을 제거하고 모형적합을 하는 반면에 강건 벌점 스플라인 회귀방법은 이상치를 제거하지 않고 강건한 모형적합을 위하여 M-추정법을 사용한다.
- 반복된 모의실험의 각 결과에서 고려된 방법들의 모형오차값을 비교한 결과, 제안된 방법은 강건 벌점 스플라인 회귀방법보다 100번 중 69번 작았으며 일반적 벌점 스플라인 회귀방법보다 99번 작았다. 제안된 방법은 100번의 반복실험에서 실제 이상치를 이상치로 탐지하지 못했던 경우는 없었고, 두 번의 실험에서 한 개씩의 정상 관찰값을 이상치로 추가로 잘못 선택하였다.
대상 데이터
- 제안한 방법의 효율성을 검증하기 위하여 사용하는 실제자료는 Balloon 자료와 Liver surgery 자료이다. Balloon 자료는 시간별(X)로 태양으로 부터의 방사선량을 측정한 데이터 (Davies와 Gather, 1993; Kovar와 Silverman, 2000)이다. 총 데이터의 개수는 4984개 이지만 대략 1/10정도인 500개로 실험을 하였다.
- 4에서도 세 가지 방법은 큰 차이가 없음을 알 수 있다. 각 모의실험에서 모형오차값에 의하여 세 방법들을 비교할 때 제안된 방법과 능형회귀의 모형오차값이 같았던 경우는 100번 중 95번이었고, 제안된 방법은 100번의 실험 중 2번을 한 개의 정상값을 이상치로 선택하였다.
-
2. 예제
제안한 방법의 효율성을 검증하기 위하여 사용하는 실제자료는 Balloon 자료와 Liver surgery 자료이다
. Balloon 자료는 시간별(X)로 태양으로 부터의 방사선량을 측정한 데이터 (Davies와 Gather, 1993; Kovar와 Silverman, 2000)이다. - Balloon 자료는 시간별(X)로 태양으로 부터의 방사선량을 측정한 데이터 (Davies와 Gather, 1993; Kovar와 Silverman, 2000)이다. 총 데이터의 개수는 4984개 이지만 대략 1/10정도인 500개로 실험을 하였다.
데이터처리
- 모의실험의 자료는 100번 반복 생성되었으며 매번의 실험마다 모형 오차인 n−1∑{m(xi) − #i}을 계산하였다.
이론/모형
- 강건 벌점 스플라인 회귀방법과 본 논문에서 제안한 이상치 탐지법을 비교하기 위하여 Lee와 Oh (2007), Cantoni와 Ronchetti (2001) 등에서 사용한 모형과 동일하게 아래의 함수를 이용하여 임의의 자료를 발생 시켰다.
- 본 논문에서는 벌점 스플라인 회귀모형에서 이상치를 탐지하는 방법을 제안하고, 강건 벌점 스플라인 회귀방법, 일반적인 능형회귀모형과 비교하였다. 논문에서 제안한 제안된 방법은 이상치로 판단되는 관찰 값을 제거하고 모형적합을 하는 반면에 강건 벌점 스플라인 회귀방법은 이상치를 제거하지 않고 강건한 모형적합을 위하여 M-추정법을 사용한다. 모의실험에서 한 가지의 이상치 모형을 사용했다는 점에서 제한적인 결론이라고 할 수 있지만, 모의실험과 예제의 결과에 따르면, 데이터의 숫자가 많을 경우에는 제안된 방법과 강건 스플라인 회귀방법에 큰 차이가 없으나 적정한 크기의 데이터의 경우 강건 벌점 스플라인 회귀방법보다 제안된 방법인, 이상치를 탐지한 후 벌점 스플라인 회귀모형을 사용하는것이 더 효율적인 것을 확인할 수 있었다.
- 벌점 스플라인 회귀에서 이상치가 존재하면 회귀함수를 추정할 때 왜곡된 결과를 얻을 수 있다. 벌점 스플라인 모형에서 강건성을 갖기 위하여 M-추정법을 적용하여 다음과 같은 기준으로 모형을 추정한다.
성능/효과
- 모의실험에서 한 가지의 이상치 모형을 사용했다는 점에서 제한적인 결론이라고 할 수 있지만, 모의실험과 예제의 결과에 따르면, 데이터의 숫자가 많을 경우에는 제안된 방법과 강건 스플라인 회귀방법에 큰 차이가 없으나 적정한 크기의 데이터의 경우 강건 벌점 스플라인 회귀방법보다 제안된 방법인, 이상치를 탐지한 후 벌점 스플라인 회귀모형을 사용하는것이 더 효율적인 것을 확인할 수 있었다. 다만 강건 스플라인 회귀방법에 비해 제안된 방법은 반복적인 검정을 수행하여 상대적으로 계산시간이 길다는 단점이 있으므로 예제에서 사용한 Balloon 자료 데이터 크기인 n = 500을 기준으로 두 방법의 적용 여부를 선택하는 것이 현실적이라고 할 수 있다.
- 모형오차의 중앙값으로 비교하면 일반 스플라인 회귀의 모형 오차가 가장 크고, 그 다음이 강건 벌점 스플라인 회귀방법, 제안된 방법이 가장 작으며 사분위편차로 비교한 산포도 동일한 결과를 보인다. 따라서 전반적으로 일반 벌점 스플라인의 모형오차값이 크다는 것을 알 수 있으며, 제안된 방법이 강건 스플라인 회귀 방법보다 상대적으로 모형오차값이 작은 것을 알 수 있다.
- 논문에서 제안한 제안된 방법은 이상치로 판단되는 관찰 값을 제거하고 모형적합을 하는 반면에 강건 벌점 스플라인 회귀방법은 이상치를 제거하지 않고 강건한 모형적합을 위하여 M-추정법을 사용한다. 모의실험에서 한 가지의 이상치 모형을 사용했다는 점에서 제한적인 결론이라고 할 수 있지만, 모의실험과 예제의 결과에 따르면, 데이터의 숫자가 많을 경우에는 제안된 방법과 강건 스플라인 회귀방법에 큰 차이가 없으나 적정한 크기의 데이터의 경우 강건 벌점 스플라인 회귀방법보다 제안된 방법인, 이상치를 탐지한 후 벌점 스플라인 회귀모형을 사용하는것이 더 효율적인 것을 확인할 수 있었다. 다만 강건 스플라인 회귀방법에 비해 제안된 방법은 반복적인 검정을 수행하여 상대적으로 계산시간이 길다는 단점이 있으므로 예제에서 사용한 Balloon 자료 데이터 크기인 n = 500을 기준으로 두 방법의 적용 여부를 선택하는 것이 현실적이라고 할 수 있다.
- 상자그림에서 사분위편차로 비교해 볼 때, 산포는 일반 스플라인 회귀모형이 가장 크고, 그 다음이 강건 벌점 스플라인 회귀방법, 제안된 방법이 가장 작다. 모형오차의 중앙값으로 비교하면 일반 스플라인 회귀의 모형 오차가 가장 크고, 그 다음이 강건 벌점 스플라인 회귀방법, 제안된 방법이 가장 작으며 사분위편차로 비교한 산포도 동일한 결과를 보인다. 따라서 전반적으로 일반 벌점 스플라인의 모형오차값이 크다는 것을 알 수 있으며, 제안된 방법이 강건 스플라인 회귀 방법보다 상대적으로 모형오차값이 작은 것을 알 수 있다.
- 반복된 모의실험의 각 결과에서 고려된 방법들의 모형오차값을 비교한 결과, 제안된 방법은 강건 벌점 스플라인 회귀방법보다 100번 중 69번 작았으며 일반적 벌점 스플라인 회귀방법보다 99번 작았다. 제안된 방법은 100번의 반복실험에서 실제 이상치를 이상치로 탐지하지 못했던 경우는 없었고, 두 번의 실험에서 한 개씩의 정상 관찰값을 이상치로 추가로 잘못 선택하였다.
- 2는 각 방법에 따른 실제값과 적합값의 편차를 제곱하여 평균한 모형오차의 상자그림이다. 상자그림에서 사분위편차로 비교해 볼 때, 산포는 일반 스플라인 회귀모형이 가장 크고, 그 다음이 강건 벌점 스플라인 회귀방법, 제안된 방법이 가장 작다. 모형오차의 중앙값으로 비교하면 일반 스플라인 회귀의 모형 오차가 가장 크고, 그 다음이 강건 벌점 스플라인 회귀방법, 제안된 방법이 가장 작으며 사분위편차로 비교한 산포도 동일한 결과를 보인다.
- 이상의 모의실험로 부터 이상치가 있는 경우 다른 두 방법에 비해 제안된 방법의 적합결과가 더 좋으며 이상치가 없는 경우 세 방법에 큰 차이가 없음을 확인할 수 있었다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.