선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 최소제곱법과 최소절사제곱법의 조합에 대해서 이 모든 이상치값들에 대한 MRE값의 평균값과 중앙값을 계산해 본 결과 최소제곱법과 이상치 제거하지 않은 데이타와의 조합에 대한 값들보다 더 좋지 못한 결과를 보여준다는 것을 표 7에서 확인해볼 수 있다. 결국 본 연구에서는 실험군에서 얻은 공수 예측 정확도들을 평균한 값을 이용하기 때문에 전체적으로는 이상치를 제거하지 않고 만든 공수 예측 모델과 비슷한 공수 예측 정확도를 나타낸다.
- 이상치들이 많이 존재하는 데이타를 이용해 공수 예측 모델을 만든다면 앞으로 수행할 프로젝트에 대한 정확한 공수 예측은 어려울 것이다. 그러므로 본 연구에서는 두 가지 프로젝트 데이타에 대해 이상치 제거 기법들을 적용한 후 공수 예측 모델들의 예측 정확도를 알아보았고, 다른 이상치 제거 기법과 공수 예측기법들이 다른 결과를 보여주는 이유에 대해서도 살펴보았다. 실험을 수행해 본 결과 이상치 제거 기법을 이용해 이상치를 제거한 후 만든 공수 예측 모델들이 그렇지 않은 모델들보다 더 정확한 공수 예측 결과를 보여주었고 다른 분포를 가지는 두 가지 프로젝트 데이타에 대해 얻어진 공수 예측 결과의 차이도 확인할 수 있었다.
- 따라서 본 연구에서는 기존 연구의 (1), (2), (3)파 같은 부족한 점들을 보완하여 통계기반의 기법을 포함한 여러 이상치 제거 기법들이 공수 예측 기법들의 정확성에 미치는 영향을 보다 샨뢰성 있는 공수 예측 평가 기준들과 데이타 특성을 고려해 분석해 보고자 한다.
- 따라서, 본 연구에서는 소프트웨어 공수 예측 기법과 데이타 품질을 저해하는 이상치를 제거하는 기법들 사이의 영향 관계에 대해 공수 예측의 정확도 관점에서 살펴보고자 한다. 실제 업체에서 수집된 2개의 데이타셋을 대상으로 최소절사제곱법과 K-means 클러스터링 기법에 의해 각각 이상치를 제거하고, 이 데이타셋과 원본 데이타셋을 바탕으로 일반적으로 공수 예측 기법으로 많이 사용되는 최소제곱법, 신경망 네트워크, 베이지안 네트워크를 이용하여 공수 예측을 하고 이상치 제거 전후의 공수 예측 정확도를 비교하였다.
가설 설정
- 따라서 통계기반 이외의 다른 이상치 제거기법에 대한 효과에 대한 연구도 필요하다. (2) 공수 예측 정확도의 평가가 미흡하다. 일반적으로 예측모델의 성능을 평가하기 위한 다양한 평가기준들이 존재하는데, Chae의 연구에서는 MMRE(Mean Magnitude of Relative Error)만을 사용하였다.
제안 방법
- 그러므로 공수 예측 모델에 대해 좀더 정확한 평가가 이루어지기 위해서는 MMRE뿐만 아니라 다른 평가기준들이 더 사용되어야 한다. (3) 데이타의 특성을 고려하지 않고 공수 예측 모델을 만들었다. 이 연구에서 사용한 ISBSG 데이타는 성격이 매우 다른 프로젝트 데이타들로 구성되어 있기 때문에 비슷한 도메인 별로 데이타를 구분하여 별개의 공수 예측 모델을 만들었다면 현실적으로 좀더 유효한 실험결과를 도출할 수 있었을 것으로 사료된다.
- 실루엣값의 범위는 -i에서 1까지 이며 1에 가까울수록 그 테이타가 적합한 클러스터에 속해있다고 볼 수 있다. K-means 클러스터링을 이용하여 본 연구에서는 0보다 작은 실루엣값을 갖는 데이타 그리고 하나 또는 두 개의 데이타를 포함하는 클러스터를 이상치로 식별하고 제거한다. 그림 3은 K-means 클러스터링에 의해 식별된 이상치의 예를 나타낸다.
- 네트워크는 그림 ?과 같은 공수 예측을 위한 인과관계 모델로서 공수 예측을 수행하였다.
- 제거한 후 남겨진 120개를 사용하였다. 그리고, 전체 37개의 변수들 중 전문가의 의견을 기반으로 표 2와 같이 공수에 영향을 미치는 6개의 변수를 선택하였다.
- 뽄 연구에서는 통계기반의 최소제곱법과 최소 절사 제곱법을 적용하기 때문에 데이다의 k)g변환 후 Shapiro-Wilks기법[17J을 적용하여 정규성 검정을 하였고, 피어슨(P&m沁n) 상관관계 분석과 1요인 분산분석을 통해 독립변수와 종속변수의 올바른 상관관계를 검증해주었다. 또한, 본 연구의 Kmeans 클러스터링 기법을 적용하기 위하여 데이타들을 0에서 1사이의 값을 갖도록 정규화시켰다.
- 5%만큼의 결측치가 있었는데 이것을 보정하기 위하여 ISBSG와 마찬가지로 K-NN보정기법[⑹을 사용하였다. 마찬가지로 비율척도를 가진 변수들을 log변환값들을 이용해 정규성을 검정하였고 변수들 사이의 상관관계를 분석 및 K-means 클러스트링 기법을 위한 데이타의 정규화를 수행하였다.
- 본 연구에서 적용한 공수 예측 기법들과 이상치 제거기법들은 각각 최소제곱법, 신경망 네트워크, 베이지안 네트워크와 최소절사제곱법 , K-means 클러스터링으로서 각 기법들은 서로 다른 이론적 배경을 가지고 있다. 이 장에서는 이 기법들에 대한 기본 개념들에 대해 설명한다.
- 이 기법은 일반적으로 이상치에 상당히 민감한 기법으로 알려져 있음에도 불구하고, 본 연구의 실험결과에서는 이상치를 제거한 데이타와 그렇지 않은 데이타를 이용한 공수 예측 모델의 예측 결과 차이가 그리 크지 않았다. 본 연구에서는 훈련군에 대해 이상치 제거를 한 후 공수 예측 모델을 만들었기 때문에 훈련군에 대한 공수 예측 정확도는 상당히 높지만, 실험군에 있는 이상치들에 대해서는 민감하게 반응하여 공수 예측 정확도가 오히려 떨어지는 이상치값들이 측정된다. 그림 8은 ISBSG 데이타에서 최소제곱법과 최소절사제곱법의 조합과 최소제곱법과 이상치 제거하지 않은 데이타와의 조합에 대해 10개 실험군에 대한 MRE값들의 상자그림을 보여준다.
- 이상치를 제거한 경우 공수 예측 정확도는 향상하지만 전체적으로 다른 공수 예측 기법들의 결과보다 훨씬 더 좋지 않다. 본 연구의 실험에서 베이지안 네트워크를 사용했을 때 가장 좋은 결과를 보여주는 이상치 제거 기법과의 조합은 K-means 클러스터링이다.
- 공수 예측의 정확도가 상대적으로 정확함에도 불구하고 이상치제거 후에는 더 상승한다. 본 연구의 실험에서 신경망 네트워크를 사용했을 때 가장 좋은 결과를 보여주는 이상치 제거 기법과의 조합은 K-means 클러스터링이다.
- 한다. 실제 업체에서 수집된 2개의 데이타셋을 대상으로 최소절사제곱법과 K-means 클러스터링 기법에 의해 각각 이상치를 제거하고, 이 데이타셋과 원본 데이타셋을 바탕으로 일반적으로 공수 예측 기법으로 많이 사용되는 최소제곱법, 신경망 네트워크, 베이지안 네트워크를 이용하여 공수 예측을 하고 이상치 제거 전후의 공수 예측 정확도를 비교하였다.
대상 데이터
- Bank 데이타에 대해서는 전체 127개의 데이타 중에서 측정된 공수가 0인 데이타 등 형식상 오류가 있는 데이타를 제거한 후 남겨진 120개를 사용하였다. 그리고, 전체 37개의 변수들 중 전문가의 의견을 기반으로 표 2와 같이 공수에 영향을 미치는 6개의 변수를 선택하였다.
- 따라서 본 연구에서는 전체 3, 024개의 ISBSG(Release 9) 데이타 중에서 데이타 품질과 금융 도메인을 고려한기준에 근거하여 99개의 데이타와 표 1과 같은 변수들을 선택했다.
- 본 연구에서는 전세계의 다양한 조직으로부터 수집된 ISBSG 데이타와 국내의 한 금융기관으로부터 수집된 Bank 데이타를 사용하였다*
데이터처리
- 뽄 연구에서는 통계기반의 최소제곱법과 최소 절사 제곱법을 적용하기 때문에 데이다의 k)g변환 후 Shapiro-Wilks기법[17J을 적용하여 정규성 검정을 하였고, 피어슨(P&m沁n) 상관관계 분석과 1요인 분산분석을 통해 독립변수와 종속변수의 올바른 상관관계를 검증해주었다. 또한, 본 연구의 Kmeans 클러스터링 기법을 적용하기 위하여 데이타들을 0에서 1사이의 값을 갖도록 정규화시켰다.
이론/모형
- 변수들 증 "프로젝트 크기”에 대해 2.5%만큼의 결측치가 있었는데 이것을 보정하기 위하여 ISBSG와 마찬가지로 K-NN보정기법[⑹을 사용하였다. 마찬가지로 비율척도를 가진 변수들을 log변환값들을 이용해 정규성을 검정하였고 변수들 사이의 상관관계를 분석 및 K-means 클러스트링 기법을 위한 데이타의 정규화를 수행하였다.
- 변수들 중 “프로젝트 기간”, “언어”에 대해 각각 6%, 4%만큼의 결측치가 있었는데 이것을 보정하기 위하여 K~nearest neighbor(K~NN)보정 기법[1 이을 사용하였다. 뽄 연구에서는 통계기반의 최소제곱법과 최소 절사 제곱법을 적용하기 때문에 데이다의 k)g변환 후 Shapiro-Wilks기법[17J을 적용하여 정규성 검정을 하였고, 피어슨(P&m沁n) 상관관계 분석과 1요인 분산분석을 통해 독립변수와 종속변수의 올바른 상관관계를 검증해주었다.
- 본 연구에서는 2단계와 3단계에서 10차 교차검증기법을 사용하였다. 그림 &은 ISBSG 데이타에 10차 교차검증 기법을 이용하여 최소절사제곱법과 K-means 클러스터링을 적용한 예이다.
- 예측 정확도의 평가기준은 많은 연구 및 문헌에서 주로 시■용되는 MMRE[3, 7], MdMRE[3], Pred(0.25) 13, 191 Pred(爵)[3, 1 이틀 채택했다. MMRE는 가장 많이 사용되는 평가기준 중 하나이지만, 몇 개의 높은 MRE 값을 가지는 데이타들이 존재하거나 실제값이 작은 데이타를 예측할 경우 값의 변동이 매우 민감하다[20〕.
- 클러스터링은 비슷한 특성을 가지는 데이타들끼리 하나의 집단으로 묶는 데이타 마이닝 기법이다[12]. 이 기법은 자료를 집단별로 구분해주어야 하는 감독 학습(sup性-vised 足arning)과는 달리 자료집단의 유사성을 바탕으로 스스로 집단을 나누어 나가는 비감독 학습(unsir pervised 胞aming)방식을 가진다 클러스터링을 위한 알고리즘에는 여러가지가 있는데 본 연구에서는 Kmeans 클러스터링 기법을 적용하였다, K means 클러스터링에서 가장 중요한 문제는 전체 데이타를 몇 개의 클러스터로 나눌지에 대한 것이므로 이를 해결하기 위해 본 연구에서는 평균 실루엣怎曲知여:托) 값을 이용하였다. 하나의 데이타에 대한 실루엣 값의 의미는 다른 클러스터들의 테이타와 비교해 그것이 속한 를러스터 내부 데이타와의 유사성에 대한 척도이다U3J.
- (2) 공수 예측 정확도의 평가가 미흡하다. 일반적으로 예측모델의 성능을 평가하기 위한 다양한 평가기준들이 존재하는데, Chae의 연구에서는 MMRE(Mean Magnitude of Relative Error)만을 사용하였다. 이는 각 데이타에 대한 '상대적인 에러의 크기(The Magnitude of Relative Ens:MRE)'의 평균값을 의미하므로 높은 MRE값을 가지는 몇 개의 데이타예 의해 큰 영향을 받는다.
- 대한 연구의 필요성이 강丕되고 있다. 최근 수행된 관련연구로는 Chan의 연구[6]를 들 수 있는데, 이 연구에서는 ISBSG(release 6) 데이타[14]에 대해 최소중의 제곱법(Least Median Squares: LMS)匚⑸을 사용하여 이상치를 식별 및 제거한 후 공수 예측 모델을 생성했다. 이 연구는 이상치의 제거가 보다 정확한 공수 예측모텔을 생성하는데 필수적이라는 점을 보인 점에 대해서는 의미가 있으나, 연구 내용 멏 실험 측편에서 다음과 같은 부족한 점을 가지고 있다.
- 적용시켜 이상치를 제거한다. 특히, 실험결과의 신뢰도를 높이기 위해 K차 교차검중기법(K-fold cross validfition)을 사용하고 이를 통해 실험에 사용될 데이타군을 생성한다. K차 교차검증기법은 그림 5와 같이 전체 데이타를 K개의 군으로 나눈 후, K-1 개의 군은 공수 예측 모델의 기반이 되는 데이타 집합, 측 훈련군(training set)으로 사용하고 나머지 한 개의 군은 공수 예측 모델의 정확도를 평가하기 위한 실험군(坨sting &或)으로 사용하여 총K번의 실험을 거쳐 얻어지는 공수예측 정확도를 평균하여 검증하는 기법이다.
성능/효과
- 7083이라는 측면에서 상당히 정확한 공수예측치를 보여준다. Bank 데이타가 전반적으로 정확한 공수 예측 결과를 보여주지만 ISBSG 데이타와 마찬가지로 이상치를 제거한 이후 만든 공수 예측 모델들의 예측 정확도가 좀더 향상됨을 확인할 수 있다. Bank 데이타에서도 이상치 제거는 공수 예측 기법의 예측 정확도를 상승시키는 중요한 요소이다.
- ISBSG에 대한 본 연구의 실험에서 가장 정확한 공수예측 결과를 보여준 조합은 신경망 네트워크와 최소 절사 제곱법이다.
- ISBSG와 Bank 데이타에서 각각 최소절사제곱법과 K-means 클러스터링과의 조합이 가장 정확한 결과를 보여주었다. 신경망 네트워크는 프로젝트 데이타의 학습을 기반으로 하기 때문에 비슷하거나 중복된 데이타가 많이 학습될수록 더 정확한 예측 결과를 나타낸다.
- 의해 이상치가 제거된 1。개의 훈련군, K-means 클러스터링에 의해 이상치가 제거된 10개의 훈련군, 그리고 이상치가 제거되지 않은 10개의 훈련군에 대해 공수 예측 기법을 적용시켜 예측 모델을 만들고 실험군을 이용해 각 경우 얻어지는 10개의 예측 정확도를 평균하여 평균 예측 정확도를 구한다, 본 연구에서는 세 가지 공수 예측 기법을 적용하므로 ISBSG와 Bank 데이타에 대해 각각 9개의 평균 예측 정확도가 얻어진다.
- 베이지안 네트워크는 ISBSG와 Bank 데이타 모두 K-means 클러스터링 기법을 이용하는 것이 최소 절사 제곱법을 이용하는 것보다 더 정확한 공수 예측 결과를 보여주었다. 이것은 공수 예측 기법 특성상 K-means 클러스터링을 통해 이상치 제거를 한 데이타들이 인과관계 모델의 정확한 결합확률분포를 구하는데 도움을 주어 공수 예측 정확도를 높여 주었음을 의미한다.
- 본 연구의 실험결과를 통해 알 수 있듯이 이렇게 분산이 크고 유사한 특성을 가진 데이타가 아닌 경우에는 최소 절사 제곱법이 공수 예측 정확도를 높이는데 더 효과적이다. 서로 관련성이 적고 많이 흩어져 있는 데이타는 최소절사제곱법처럼 통계적으로 미리 정해진 절사값이 있고 그 값을 넘어버리면 바로 그 프로젝트 데이타는 이상치로 식별하고 제거시킴으로써 특성이 매우 다른 프로젝트 데이타들이 모여있다고 하더라도 K-means 클러스터링에 비해 비슷한 성향을 가진 데이타들이 모일 수가 있다.
- 본 연구의 실험에서 신경망 네트워크와 함께 사용했을 때 가장 좋은 결과를 보이는 이상치 제거 기법은 최소 절사제곱 법이다.
- 보이지 않는다. 본 연구의 실험에서 최소제곱법을 사용했을 때 가장 좋은 결과를 보여주는 이상치 제거 기법과의 조합은 처소절사제곱법이지만 이 결과 조차 큰 향상도는 없다.
- 이상치 제거 후 다른 공수 예측 기법들에 비해 상대적으로 낮은 향상치를 나타낸다. 본 연구의 실험에서 최소제곱법을 사용했을 때 가장 좋은 결과를 보여주는 이상치 제거 기법은 K-means 클러스터링이지만 이 조합 또한 큰 향상도는 보이지 않는다.
- 신경망 네트워크는 ISBSG와 Bank 데이타 모두에서 가장 높은 공수 예측 정확도를 보여주었으나 이상치 제거 기법의 조합의 성능에 대한 결과는 달랐다. ISBSG와 Bank 데이타에서 각각 최소절사제곱법과 K-means 클러스터링과의 조합이 가장 정확한 결과를 보여주었다.
- 신경망 네트워크는 전체 결과 중에서 4가지 평가기준모두 각 이상치 기법에 대해 가장 정확한 공수 예측 결과를 보여주고, 다른 세 가지 공수 예측 기법들로부터 얻은 결과들과 비교해 보았을 때 이상치를 제거한 경우와 제거하지 않은 경우 모두 공수 예측 결과가 더 정확하다. 본 연구의 실험에서 신경망 네트워크와 함께 사용했을 때 가장 좋은 결과를 보이는 이상치 제거 기법은 최소 절사제곱 법이다.
- 가능하다. 실제로 본 연구의 실험결과를 살펴보면 가장 낮은 MMRE값이 0.2772이고 가장 높은 Pred (0.25) 값이 0.7083이라는 측면에서 상당히 정확한 공수예측치를 보여준다. Bank 데이타가 전반적으로 정확한 공수 예측 결과를 보여주지만 ISBSG 데이타와 마찬가지로 이상치를 제거한 이후 만든 공수 예측 모델들의 예측 정확도가 좀더 향상됨을 확인할 수 있다.
- 그러므로 본 연구에서는 두 가지 프로젝트 데이타에 대해 이상치 제거 기법들을 적용한 후 공수 예측 모델들의 예측 정확도를 알아보았고, 다른 이상치 제거 기법과 공수 예측기법들이 다른 결과를 보여주는 이유에 대해서도 살펴보았다. 실험을 수행해 본 결과 이상치 제거 기법을 이용해 이상치를 제거한 후 만든 공수 예측 모델들이 그렇지 않은 모델들보다 더 정확한 공수 예측 결과를 보여주었고 다른 분포를 가지는 두 가지 프로젝트 데이타에 대해 얻어진 공수 예측 결과의 차이도 확인할 수 있었다.
- ISBSG 데이타의 경우 다양한 도메인으로부터 수집되어 데이타의 분포가 고르지 못하고, 데이타들 사이의 비슷한 특성을 찾아내기가 어렵기 때문에 정확한 공수 예측을 하기는 힘들다. 전체적인 결과에서의 MMRE값 중 가장 낮은 수치도 0.6232이고 가장 높은 Pred(0.25) 값도 0.3556밖에 되지 않는다는 측면에서 공수의 예측 정확도가 전반적으로 좋지 못하다라는 사실을 파악할 수 있다. 그러나 이런 특성을 가진 데이타라 하더라도 이상치 제거 기법을 이용하여 이상치를 제거한 데이타로 공수 예측 모델을 만들었을 때 예측 정확도가 좀더 향상된 것을 확인할 수 있다.
- 그림상의 십자 표시는 각 실험군에 대한 이상치값들을 나타낸다. 최소제곱법과 최소절사제곱법의 조합에 대해서 이 모든 이상치값들에 대한 MRE값의 평균값과 중앙값을 계산해 본 결과 최소제곱법과 이상치 제거하지 않은 데이타와의 조합에 대한 값들보다 더 좋지 못한 결과를 보여준다는 것을 표 7에서 확인해볼 수 있다. 결국 본 연구에서는 실험군에서 얻은 공수 예측 정확도들을 평균한 값을 이용하기 때문에 전체적으로는 이상치를 제거하지 않고 만든 공수 예측 모델과 비슷한 공수 예측 정확도를 나타낸다.
후속연구
- 적용할 예정이다. 또한 데이타 분포, 공수 예측기법, 그리고 이상치 제거 기법들 사이의 관계에 대한 구체적인 분석도 수행할 예정이다.
- (3) 데이타의 특성을 고려하지 않고 공수 예측 모델을 만들었다. 이 연구에서 사용한 ISBSG 데이타는 성격이 매우 다른 프로젝트 데이타들로 구성되어 있기 때문에 비슷한 도메인 별로 데이타를 구분하여 별개의 공수 예측 모델을 만들었다면 현실적으로 좀더 유효한 실험결과를 도출할 수 있었을 것으로 사료된다.
- 향후 연구로는 좀더 의미 있는 결과를 얻기 위해 다른 소프트웨어 프로젝트 데이타들을 추가하고, 이상치 제거기법으로 CART(Classificaiton And Regression Tree)를 적용할 예정이다. 또한 데이타 분포, 공수 예측기법, 그리고 이상치 제거 기법들 사이의 관계에 대한 구체적인 분석도 수행할 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.