선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이를 위해 소수의 자료이면서 비정상적인 자료특성에 통계적으로 유의한 회귀모형을 적합하고, 다수의 CER을 정확도에 따라 가중 선형결합 하였다. 본 연구를 통해 개별 CER 개발위주의 비용추정 모델 개발 연구에 정확도와 예측력을 향상시킬 수 있는 새로운 접근법인 결합방법에 대한 연구의 필요성을 제기하고자 하였다.
- 본 연구에서는 이러한 제한사항을 완화할 수 있는 CER 선형결합 비용추정모델 개발 방법을 제시하였다. 이를 위해 소수의 자료이면서 비정상적인 자료특성에 통계적으로 유의한 회귀모형을 적합하고, 다수의 CER을 정확도에 따라 가중 선형결합 하였다.
- 본 장에서는 앞에서 제안한 개발 방법을 국내 포병 무기체계 연구개발비 CER 개발에 적용한 사례 연구를 제시하였다. 통계 분석 도구는 SAS 9.
제안 방법
- 2단계는 다중공선성 판단에 따른 조치로서 [Table 5]와 같이 변수 선택에 의해 다중공선성 제거를 수행하였다. 복수 선정된 비용인자 조합에 대해 판단한 결과 다중공선성의 심각성이 해소되어서 이상치를 판단하였다.
- 3단계는 비용주도요인 식별로서 비용분야 전문가와의 인터뷰 및 비용과 비용인자간의 산포도를 통해 최대발사속도 및 지속발사속도는 비용과의 상관관계가 적다고 밝혀짐에 따라 최대사거리, 구경, 중량, 전장을 비용주도요인으로 판단하였다.
- 첫 번째는 주성분회귀 및 능형회귀를 적용하기 위해 비용인자를 제거하지 않은 상태에서 이상치를 판단한다. 두 번째는 변수 선택 방법론을 적용하여 비용인자를 제거하여 다중공선성이 없는 비용인자 조합을 선택한다. 변수 선택은 6가지 방법(R-Square, Adjusted R-Square, Forward, Backward, Stepwise, C(p) Selection)으로부터 복수 선정된 비용인자 조합에 대해 다중공선성을 재판단하고 이상이 없을시 이상치를 판단한다.
- 둘째, 개발된 CER 선형결합 모델 중 평균 자승오차의 제곱근(RMSE : Root Mean Squared Error) 및 R2를 기준으로 가장 작은 값을 가지는 모델을 최종 CER로 확정한다.
- 첫째, 로버스트 회귀를 통한 이상치를 해결하기 위해 이상치를 제거하지 않고 이분산성을 판단한다. 둘째, 관측값 제거에 따른 이상치 문제 해결을 위해 이상치를 제거한 후 비용인자 선택을 다시 수행하고 이분산성을 판단한다. 이상치 존재여부에 관계없이 각 요소들의 영향력이 약할 때에는 이분산성을 판단한다.
- 5단계는 이분산성 판단으로서 이상치를 제거하지 않은 9개와 이상치를 제거한 8개 무기체계에 대한 잔차 산포도가 불규칙적으로 분포되어 있어서 이분산성이 존재하지 않았다. 따라서 개별 CER 개발 단계를 수행하였다.
- 유사한 자료는 유사성의 수준에 따라 가능한 경우에는 동일한 유형으로 보정하고 적용이 불가한 자료는 제거한다. 또한 무기체계의 운영과정에서 소요되는 반복 및 비반복 비용을 구분하고, 학습곡선 이론을 적용하여 생산 물량을 표준화한다. 마지막으로 무기체계의 운영 환경을 구분하여 표준화한다.
- 모델의 타당성은 MMRE와 PRED로 평가하고, 평가 결과 타당한 경우에는 CER 개발을 완료하며, 부적합한 경우에는 자료 수집 및 가공 단계부터 다시 개발한다.
- 두 번째는 변수 선택 방법론을 적용하여 비용인자를 제거하여 다중공선성이 없는 비용인자 조합을 선택한다. 변수 선택은 6가지 방법(R-Square, Adjusted R-Square, Forward, Backward, Stepwise, C(p) Selection)으로부터 복수 선정된 비용인자 조합에 대해 다중공선성을 재판단하고 이상이 없을시 이상치를 판단한다. 이때 복수 선택된 모든 조합에서 다중 공선성이 다시 발견되면 R2가 0.
- 본 연구에서 제시한 CER 선형결합 모델 개발은 개별 CER들의 선형결합과 결합된 모델의 평가를 통해 최종 CER을 선정하는 절차로 진행된다.
- CER은 회귀모형이기 때문에 회귀분석간 고려되어야할 주요한 자료 특성인 다중공선성, 이분산성, 이상치의 문제점을 해결하기 위한 다양한 방법을 적용한다. 본 연구에서는 자료 특성에 따라 다중선형, 로그선형, 능형, 주성분, 로버스트, 가중 회귀를 사용하였으며, 각각의 개념과 장․단점을 간단히 요약하면 [Table 1]과 같다.
- 선정된 두 개의 CER을 이용하여 4가지 방법에 따라 선형결합 모델을 개발하였다. 이 때, 주성분 회귀에 의한 CER을 Model1로, 선형 회귀(Ⅱ)에 의한 CER을 Model2로 하였다.
- 세 번째 단계는 이상치 판단으로서 이상치 판단 기준은 표준화 잔차(studentized residual) 및 표준화 제외잔차(studentized deleted residual)를 이용하여 비용에 대한 이상치를 판단하고 지렛대값(Leverage)를 이용하여 비용인자의 이상치를 판단한다. 이 때 표준화 잔차에 의한 이상치 판단은 Lund가 제시한 임계값을 기준으로 하며, 이를 초과하면 이상치로 판단한다(Lund, 1975).
- 본 연구에서는 이러한 제한사항을 완화할 수 있는 CER 선형결합 비용추정모델 개발 방법을 제시하였다. 이를 위해 소수의 자료이면서 비정상적인 자료특성에 통계적으로 유의한 회귀모형을 적합하고, 다수의 CER을 정확도에 따라 가중 선형결합 하였다. 본 연구를 통해 개별 CER 개발위주의 비용추정 모델 개발 연구에 정확도와 예측력을 향상시킬 수 있는 새로운 접근법인 결합방법에 대한 연구의 필요성을 제기하고자 하였다.
- 네 번째 단계는 이상치 판단에 따른 조치로서 이상치가 존재하고 영향력이 클 때에는 다음 두 가지 방법으로 문제를 해결한다. 첫째, 로버스트 회귀를 통한 이상치를 해결하기 위해 이상치를 제거하지 않고 이분산성을 판단한다. 둘째, 관측값 제거에 따른 이상치 문제 해결을 위해 이상치를 제거한 후 비용인자 선택을 다시 수행하고 이분산성을 판단한다.
- 첫째, 주성분 회귀를 통해 개발된 CER은 4개의 비용인자와 이상치를 제거한 8개의 무기체계를 대상으로 개발하였다. CER은 식 (11)과 같으며, R2값이 0.
- 4단계는 이상치 판단에 따른 조치로서 로버스트 회귀를 적용하기 위해 이상치를 제거하지 않고 이분산성을 판단하였다. 한편, 나머지 회귀분석 방법을 적용하기 위해 [Table 7]과 같이 9번 무기체계를 제거한 후 8개의 무기체계에 대해서 비용인자를 재선택하고 이분산성을 판단하였다.
- 회귀분석을 이용한 결합 모델은 Model1에 의해 추정된 값과 Model2에 의해 추정된 값을 독립변수로 두고 실제 연구개발비를 종속변수로 두어 선형 회귀 분석을 실시함으로써 Model1과 Model2의 계수를 추정하였으며, 그 결과값인 0.469와 0.543을 Model1과 Model2의 가중치로 하여 식 (17)과 같이 개발하였다.
대상 데이터
- 1단계는 자료 수집으로서 국방과학연구소 및 방산업체를 통해 1978년부터 2006년까지 개발된 포병 무기체계 9종에 대한 자료를 획득하였다. 그러나 연구개발과 관련된 자료체계가 미흡하여 연구개발비와 일부의 물리적 형상 자료만 수집할 수 있었다.
- 파라메트릭 비용추정 모델의 타당성은 자료의 신뢰성에 의존적이기 때문에 무기체계 획득 관련 권위 있는 기관인 방위사업청, 국방과학연구소 등과 방산업체 등으로부터 비용, 기술, 사업과 관련된 자료를 수집한다.
데이터처리
- 개별 CER의 통계적 평가는 R2 검정, t검정, F검정을 이용한다(Rencher et al., 2008).
- 이상치로 판단된 값에 대해서는 쿡의 거리(Cook’s Distance)를 적용하여 이상치의 전체 적합값에 대한 영향력을 판단하고 모수값 변화(DFBETAS : Difference in Betas)를 통해 회귀계수의 영향력을 판단한다.
- 최종 선정된 모델에 대한 타당성 검증은 MMRE와 PRED(0.3)를 이용하였다.
- 본 장에서는 앞에서 제안한 개발 방법을 국내 포병 무기체계 연구개발비 CER 개발에 적용한 사례 연구를 제시하였다. 통계 분석 도구는 SAS 9.1, Excel 2007를 사용하였다.
이론/모형
- 로버스트 회귀는 OLS에서 이상치의 잔차에 작은 가중치를 부여하여 영향력을 감소시키는 방법으로서 CER을 강건하게 한다. 이 방법은 M 추정, LTS 추정, S 추정, MM 추정이 있지만, 본 연구에서는 분석대상의 수가 많지 않은 경우에 사용할 수 있는 로버스트 M(Maximum Likelihood Type) 추정법을 사용하였다. 로버스트 M 추정은 간단하고 효과적인 방법으로서 식 (6)과 같이 손실함수를 적용하여 잔차가 큰 값에 대해서는 가중치를 작게 부여하고, 잔차가 작은 값에 대해서는 가중치를 크게 부여하여 회귀계수를 추정한다.
성능/효과
- 결론적으로 해외의 비용추정 모델은 모델의 기본 값(Default)에 객관적인 최소한의 필수 요소만 입력하여 획득 초기단계에서 신속하고 대략적인 예산추정에 활용하는 것이 타당하지만, 근본적으로 한국적 개발 환경이나 생산 여건을 반영하지 못함으로 인해 정확성에 항상 의문이 제기되어 왔다.
- 결합 모델에 대한 SSE가 328.3로서 Model2에 비해 24.95%의 정확도가 향상되었다.
- 결합 모델의 SSE가 326.2로서 Model2에 비해 25.42%의 정확도가 향상되었다.
- 둘째, CER 선형결합 모델 개발을 통해 무기체계 CER 개발에 있어서 실적 자료의 수가 부족한 국내의 환경적인 한계를 극복하면서 안정성과 예측력을 향상시켰다. 즉, 다수의 개별 CER을 선형결합 함으로서 개별 CER에서 발생할 수 있는 비용에 중요하게 영향을 미칠 수 있는 비용인자의 누락 가능성을 해소하고, 개별 모델보다 오차를 향상시킴으로서 CER의 정확도를 높였다.
- 첫째, 상용 모델은 사용자 만족도 측면에서 모델 운용을 위한 자료 획득 곤란, 다수의 입력값 요구 등 사용자 편의성이 전반적으로 낮은 것으로 나타났다. 둘째, 모델 활용성 측면에서 방산원가 체계와 비용항목의 구성요소가 불일치하여 다른 비용추정 방법과 교차검증이 제한되는 것으로 나타났다. 셋째, 추정결과의 정확성 측면에서 사용자의 모델 이해 수준에 따라 상이한 결과가 발생하고, 운용자의 이해관계에 의해서 비용추정 결과를 임의적으로 맞추는 사례가 빈번한 것으로 나타났다.
- 75이다. 따라서 일반 상용 전산모델의 PRED(0.3)가 약 0.3임을 고려할 때 개발된 CER 선형결합 모델의 신뢰성이 높다고 판단할 수 있다.
- 또한, 1992년 “International Journal of Forecasting”에서 결합 모델관련 검증 실험에 참가한 학자의 83%가 결합 모델이 개별 모델에 비하여 예측 오차가 최소화됨을 입증하였다.
- 자료분석 결과를 기초로 [Table 1]에서 제시한 절차를 적용하여 개별 CER을 개발한 결과는 [Table 8]과 같다. 변수 조합별 자료 특성에 적합한 7개의 회귀모형을 적용한 결과 주성분 회귀와 선형 회귀(Ⅱ)를 제외한 나머지 CER은 모델의 적절성 또는 회귀 계수의 신뢰성이 보장되지 않아 개별 CER로서 부적절한 것으로 나타났다. 따라서 선형 결합 대상인 2개 CER 개발 결과를 간략하게 기술하면 다음과 같다.
- 2단계는 다중공선성 판단에 따른 조치로서 [Table 5]와 같이 변수 선택에 의해 다중공선성 제거를 수행하였다. 복수 선정된 비용인자 조합에 대해 판단한 결과 다중공선성의 심각성이 해소되어서 이상치를 판단하였다.
- 본 연구에서 제시한 25.42% 향상된 정확도는 무기체계의 획득 비용이 수백∼수천억 원임을 고려했을 때 비용적으로 상당한 추정 편차 줄일 수 있다.
- 둘째, 모델 활용성 측면에서 방산원가 체계와 비용항목의 구성요소가 불일치하여 다른 비용추정 방법과 교차검증이 제한되는 것으로 나타났다. 셋째, 추정결과의 정확성 측면에서 사용자의 모델 이해 수준에 따라 상이한 결과가 발생하고, 운용자의 이해관계에 의해서 비용추정 결과를 임의적으로 맞추는 사례가 빈번한 것으로 나타났다.
- 실제 및 추정비용에 대하여 무기체계별로 비교한 결과 [Figure 2]와 같이 6, 8번 무기체계를 제외하고 CER 선형결합 모델에 의해 추정된 비용이 개별 CER에 의해 추정된 비용보다 실제비용에 더 근접함을 확인할 수 있다.
- 모델별 SSE를 [Figure 2]와 같이 분석한 결과 CER 선형결합 모델에 의해 계산된 SSE가 개별 CER에 의해 계산된 SSE 보다 더 적음을 알 수 있다. 이는 본 연구에서 제시한 결합 모델이 개별 모델 보다 정확도가 더 높다는 것을 증명해 준다.
- 둘째, CER 선형결합 모델 개발을 통해 무기체계 CER 개발에 있어서 실적 자료의 수가 부족한 국내의 환경적인 한계를 극복하면서 안정성과 예측력을 향상시켰다. 즉, 다수의 개별 CER을 선형결합 함으로서 개별 CER에서 발생할 수 있는 비용에 중요하게 영향을 미칠 수 있는 비용인자의 누락 가능성을 해소하고, 개별 모델보다 오차를 향상시킴으로서 CER의 정확도를 높였다. 본 연구에서 제시한 25.
- 첫째, MMRE를 계산하기 위해 MRE를 계산한 결과는 [Table 10]과 같으며, MMRE는 [Table 2]에 의해 0.23로서 MMRE ≤ 0.25를 만족하여 신뢰성 있는 모델이라고 판단하였다.
- 첫째, 상용 모델은 사용자 만족도 측면에서 모델 운용을 위한 자료 획득 곤란, 다수의 입력값 요구 등 사용자 편의성이 전반적으로 낮은 것으로 나타났다. 둘째, 모델 활용성 측면에서 방산원가 체계와 비용항목의 구성요소가 불일치하여 다른 비용추정 방법과 교차검증이 제한되는 것으로 나타났다.
후속연구
- 그러나 상기에서 제시한 국내의 연구들은 설문을 기초로 개발되어 객관성 보장에 한계가 있으며, 자료가 부족한 경우에 흔히 발생하는 비정상적인 자료의 특성을 효과적으로 처리할 수 있는 방법을 제시하지 않은 한계가 있다.
- 둘째, 선형결합 모델 개발 방법론에 대한 적용이 아직 초보 단계임을 볼 때 선형결합 모델 개발 방법론의 핵심 부분인 가중치 부여 방법에 대해 추가 연구가 필요하다.
- 첫째, 연구에서 제시한 개별 CER 개발 절차는 다양한 회귀분석 방법을 소수의 실적자료 특성에 따라 누락 없이 고려할 수 있는 방법을 체계적으로 종합한 것으로서 향후 국방 무기체계의 CER 개발을 위한 일반적인 방법론으로 활용할 수 있다.
- 첫째, 자료의 수가 부족할 때 사용할 수 있는 변수 생성 또는 Bootstrapping 방법 등을 적용하여 회귀모형의 안정성을 보장할 수 있는 연구가 필요하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.