[논문]소프트웨어 시험 노력 추정 시그모이드 모델

이상운

doi:10.3745/kipstd.2004.11d.4.885

소프트웨어 시험 노력 추정 시그모이드 모델
Sigmoid Curve Model for Software Test-Effort Estimation 원문보기

정보처리학회논문지. The KIPS transactions. Part D. Part D, v.11D no.4, 2004년, pp.885 - 892

이상운 (국립원주대학 여성교양과)

초록
AI-Helper

소프트웨어 시험단계에 투입되는 노력의 분포를 추정하는 대표적인 모델로 Weibull 분포(Rayleigh와 지수분포 포함)가 있다. 이 모델은 시험 시작시점에서 실제로 많은 노력이 투입되는 점을 표현하지 못한다. 또한 다양한 형태를 갖고 있는 실제 시험 노력의 분포를 적절히 표현하지 못하고 있다. 이러한 문제점을 해결하기 위해 본 논문은 시그모이드 모델을 제안하였다. 신경망 분야에서 적용되고 있는 시그모이드 함수로부터 소프트웨어 시험 노력을 적절히 표현할 수 있도록 함수 형태를 변형시켰다 제안된 모델은 다양한 분포 형태를 보이고 있는 실제 수행된 소프트웨어 프로젝트로부터 얻어진 6개의 시험 노력 데이터에 적용하여 적합성을 검증하였다. 제안된 시그모이드 모델은 기존의 Weibull 모델보다 성능이 우수하여 소프트웨어 시험노력을 추정하는데 있어 와이블 모델의 대안으로 채택될 수 있을 것이다.

Abstract ▼ AI-Helper

Weibull distribution Iincluding Rayleigh and Exponential distribution is a typical model to estimate the effort distribution which is committed to the software testing phase. This model does not represent standpoint that many efforts are committed actually at the test beginning point. Moreover, it does not properly represent the various distribution form of actual test effort. To solve these problems, this paper proposes the Sigmoid model. The sigmoid function to be applicable in neural network transformed into the function which properly represents the test effort of software in the model. The model was verified to the six test effort data which were got from actual software projects which have various distribution form and verified the suitability. The Sigmoid model nay be selected by the alternative of Weibull model to estimate software test effort because it is superior than the Weibull model.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 소프트웨어 시험을 수행하는데 소요되는 노력분포를 적절히 추정하기 위해 시그모이드 모델을 제안한다. 6개의 소프트웨어 시스템으로부터 얻어진 실측 시험 노력 데이터의 다양한 분포 형태를 대상으로 기존의 Rayleigh, 지수와 와이블 모델이 적절히 적용될 수 없음을 보인다.
본 논문은 시험단계에 투입되는 노력의 분포를 적절히 추정할 수 있는 시그모이드 모델을 제안하였다. 본 모델의 확장성 여부를 검증하기 위해 소프트웨어 생명주기 전반에 걸친 투입노력 분포 형태에도 적합한지 평가해볼 필요가 있다.
실제로 소프트웨어 시험단계에 투입된 노력의 분포 형태가 이들 분포를 따르는지 획득된 6개의 데이터를 고찰해보자. Data Set 1, Data Set 2, .
직관적 모델평가와 더불어 모델의 성능을 보다 이론적 관점에서 평가해 보자. 모델의 성능을 비교하기 위해 MSE (Mean Squared Error)와 MMRE(Mean Magnitude of Relative Error)를 비교한다.

가설 설정

. 시험 시작시점에서 투입되는 시험노력의 양을 기존 제안 모델들은 거의 표현할 수 없다.

제안 방법

6개 데이터 각각에 대해 모델들을 적용한 결과 얻어진 MMRE와 각 데이터들에 대한 MMRE가 적은 순서대로 순위를 정한 결과는에 제시하였다.
DS4는 Tohma, Jacoby, Murate 와 Yamamoto[14]의 Table 1 데이터로 111일 동안 운영시험을 한 결과 481개의 결함이 발견되었으며, 이에 투입된 노력은 482명이다. DS5는 Musa, lannino 와 Okumoto[15] 의 데이터로 실시간 명령을 수행하는 21,000 라인의 System T1 프로그램으로 21주 동안 고장 식별과 제거에 1141시간이 투입되었다. DS6는 Tohma, Tokunaga, Nagase와 Murata[16] 의 Table 9 데이터로 16일 동안 198개의 결함을 발견하는데 289명의 인력이 투입되었다.
평가해 보자. 모델의 성능을 비교하기 위해 MSE (Mean Squared Error)와 MMRE(Mean Magnitude of Relative Error)를 비교한다. 界개의 데이터에 대한 MSE = 1/» 否(실즉지-주정지)2이다.
소프트웨어 시험단계에 투입되는 시험노력의 분포를 추정하기 위해 와이블(Rayleigh와 지수분포 포함) 모델이 제안되었다. 그러나 실제로 다양한 시험노력 패턴으로 인해 이들 모델들이 적합하지 않는 경우가 빈번히 발생하고 있다.
또한, 시험 시작시점에서 투입되는 큰 시험노력 현상을 이들 모델들이 정확히 표현하지 못하는 단점을 갖고 있다. 이들 문제점을 해결하기 위하여 시그모이드 모델을 제안하였다.
제안된 시그모이드 모델의 적합성을 평가하기 위해, (그림 3)~(그림 7)의 6개 데이터에 대해 Rayleigh, 지수, 와이블(>»>2)과 시그모이드 모델을 적합시켜 보자. 6개의 데이터 (DS1 ~DS6)에 대해 통계적 분석도구를 이용하여 최소 자승 추정법에 따라 모수를 추정한 결과<표 2>의 값을 얻었다.

대상 데이터

결함이 발견되었고, 총 331명의 인력이 투입되었다. DS2는 Tohma, Jacoby, Murata와 Yamamoto[14]의 Table 3 데이터로 22일 동안 86개의 결함을 디버깅하였으며, 93시간이 투입되었다. DS3 는 Tohma, Jacoby, Murata와 Yamamoto[14] 의 Table 5 데이터로 46일 동안 266개의 결함을 발견하는데 1523개의 Test Case가 수행되었다.
DS2는 Tohma, Jacoby, Murata와 Yamamoto[14]의 Table 3 데이터로 22일 동안 86개의 결함을 디버깅하였으며, 93시간이 투입되었다. DS3 는 Tohma, Jacoby, Murata와 Yamamoto[14] 의 Table 5 데이터로 46일 동안 266개의 결함을 발견하는데 1523개의 Test Case가 수행되었다. DS4는 Tohma, Jacoby, Murate 와 Yamamoto[14]의 Table 1 데이터로 111일 동안 운영시험을 한 결과 481개의 결함이 발견되었으며, 이에 투입된 노력은 482명이다.
DS5는 Musa, lannino 와 Okumoto[15] 의 데이터로 실시간 명령을 수행하는 21,000 라인의 System T1 프로그램으로 21주 동안 고장 식별과 제거에 1141시간이 투입되었다. DS6는 Tohma, Tokunaga, Nagase와 Murata[16] 의 Table 9 데이터로 16일 동안 198개의 결함을 발견하는데 289명의 인력이 투입되었다.
얻어졌으며 72일 동안에 481개의.결함이 발견되었고, 총 331명의 인력이 투입되었다. DS2는 Tohma, Jacoby, Murata와 Yamamoto[14]의 Table 3 데이터로 22일 동안 86개의 결함을 디버깅하였으며, 93시간이 투입되었다.

데이터처리

6개의 데이터 (DS1 ~DS6)에 대해 통계적 분석도구를 이용하여 최소 자승 추정법에 따라 모수를 추정한 결과의 값을 얻었다.

성능/효과

제안한다. 6개의 소프트웨어 시스템으로부터 얻어진 실측 시험 노력 데이터의 다양한 분포 형태를 대상으로 기존의 Rayleigh, 지수와 와이블 모델이 적절히 적용될 수 없음을 보인다. 다음으로 제안된 시그모이드 모델이 가장 적합함을 통계적 방법으로 검증한다.
6개의 실제 수행된 시험노력 데이터들에 적합시켜 본 결과, 직관적으로 볼 때 기존에 제안된 와이블 모델들은 대부분이 적합하지 않음을 보인 반면, 제안된 시그모이드 모델은 다양한 시험노력 패턴에 적합함을 보였으며, 또한, 시험 시작 시점에서 투입되는 시험노력의 양도 적절히 표현함을 보였다. 또한, 이론적인 측면에서 MSE와 MMRE 평가 결과 제안된 모델이 다양한 데이터들에 대해 가장 좋은 성능을 보였다.
결론적으로, 와의 모델 성능 비교 결과 대부분의 데이터 집합에서 시그모이드 모델의 성능이 가장 좋음을 알 수 있다.
또한, 이론적인 측면에서 MSE와 MMRE 평가 결과 제안된 모델이 다양한 데이터들에 대해 가장 좋은 성능을 보였다. 따라서, 제안된 모델은 소프트웨어시험 노력을 추정하는데 있어 기존의 와이블 모델들의 대안 모델로 적합하였다.
못하였다. 또한, Rayleigh 모델은 개발노력의 분포는 잘 표현하고 있으나 시험 시작시점에서의 개발노력의 양을 표현하지 못하며, 일정한 시점이 지난 후에야 개발노력의 양을 표현할 수 있음을 알 수 있다. 이에 반해, 시그모이드 모델은 시험 노력의 분포 형태도 잘 표현할 수 있으면서 시험 시작 시점의 큰 노력의 양도 잘 표현하는 모델임을 알 수 있다.
보였다. 또한, 이론적인 측면에서 MSE와 MMRE 평가 결과 제안된 모델이 다양한 데이터들에 대해 가장 좋은 성능을 보였다. 따라서, 제안된 모델은 소프트웨어시험 노력을 추정하는데 있어 기존의 와이블 모델들의 대안 모델로 적합하였다.
또한, DS2의 Rayleigh 모델은 (그림 8)과 같이 시험 노력이 최대가 되는 시점을 정확히 표현하지 못하는 단점을 갖고 있었다. 시그모이드 모델은 DS1과 DS2 데이터의 분포를 적절히 표현하는 성능을 보임과 더불어 나머지 4개 데이터들에서도 실측 데이터의 분포를 적절히 표현함과 동시에 가장 작은 상대오차를 나타내는 성능을 보였다.
표에서, 시험노력 분포 추정에 실패한 모델을 제외하고 나머지는 음영으로 표시되어 있다. 시험단계에 투입된 총 노력의 양을 비교한 결과 특정 모델이 가장 좋다고 결론을 내릴 수 없다.
실제 시험노력 데이터 분포를 살펴본 결과 시험 시작 시점에서의 큰 투입 노력 값을 표현할 수 있으면서, 시간에 따른 시험노력의 분포를 보다 정확히 표현할 수 있는 모델이 필요하며, 기존의 와이블 분포로는 시험단계 투입 노력분포 표현이 불가능함을 알 수 있다. 이들 모델의 대안으로 식 (6)의 시그모이드 함수(Sigmoid Function) 형태를 적용할 수 있다.
결과는<표 4>에 제시되어 있다.<표 4>의 평균 자승오차 측면에서 지수 모델이 DS3 데이터에서 우수한 성능을 보이 반면 나머지 5개 데이터에 대해서는 시그모이드 모델이 가장 좋은 결과를 나타내었다.
그림에서 DS2의 시험노력 (디버깅 시간)에 대해 지수 모델은 실측 데이터의 분포 형태를 표현하는데 실패하였으며, 와이블과 Rayleigh 모델은 시험노력이 최대가 되기 이전에 최대 값을 나타내면서 노력의 분포 형태를 적절히 표현하지 못하고 있다. 이에 비해, 시그모이드 모델이 시험 시작 시점에서의 노력의 양과 더불어 시간에 따른 노력의 분포형태 측면에서 볼 때 실측치에 가장 근접한 결과를 나타냄을 알 수 있다.
지금까지 직관적으로 살펴본 바와 같이, 6개 데이터 집합 모두에서 제안된 시그모이드 모델이 시험단계 시작 시점에서의 큰 투입 노력의 양과 더불어 시험 수행과정에서의 시험 노력 분포의 변동 형태를 가장 잘 표현하고 있음을 알 수 있어, 시험단계 투입노력 추정 모델로 적합함을 알 수 있다.
평균 절대상대오차 측면에서 DS1은 지수 모델이, DS2 데이터에서는 Rayleigh 모델이 좋은 결과를 보이고 있다. 그러나 (그림 7)에서 알 수 있듯이 DS1의 지수 모델은 시험 시작시점에서의 투입 노력의 양은 충분히 표현하였으나 시간에 따른 노력의 분포 형태를 적절히 표현하는데 실패하였다.

후속연구

본 모델의 확장성 여부를 검증하기 위해 소프트웨어 생명주기 전반에 걸친 투입노력 분포 형태에도 적합한지 평가해볼 필요가 있다. 따라서, 본 제안된 모델이 소프트웨어 생명주기 전체에 소요되는 노력을 추정할 수 있는 모델로서, Putnam[8] 의 SLIM 모델을 대체할 수 있는 모델인지에 대한 연구가 필요하며, 추후 이 분야에 대한 연구를 수행할 것이다.
알 수 있다. 따라서, 시험단계 투입 노력을 추정하는 모델로 시그모이드 모델이 가장 적합함을 알 수 있으며, 기존 제안된 와이블 모델들의 대안 모델로 적용될 수 있을 것이다.
수 있는 시그모이드 모델을 제안하였다. 본 모델의 확장성 여부를 검증하기 위해 소프트웨어 생명주기 전반에 걸친 투입노력 분포 형태에도 적합한지 평가해볼 필요가 있다. 따라서, 본 제안된 모델이 소프트웨어 생명주기 전체에 소요되는 노력을 추정할 수 있는 모델로서, Putnam[8] 의 SLIM 모델을 대체할 수 있는 모델인지에 대한 연구가 필요하며, 추후 이 분야에 대한 연구를 수행할 것이다.

참고문헌 (16)

K. H. Moller and D. J. Paulish, 'Software Metrics - A Practitioner's Guide to Improved Product Development', Chapman & Hall Co., New York, 1993
B. W. Boehm, 'Software Engineering Economics,' Prentice Hall, 1981
B. W. Boehm, 'Software Engineering Economics,' IEEE Trans. on Software Eng., Vol.10, No.1, pp.7-19, 1984
A. J. Albrecht and J. E. Gaffney, 'Software Function, Source Line of Code and Development Effort Prediction : A Software Science Validation,' IEEE Trans. on Software Eng., Vol.SE-9, No.6, pp.639-648, 1983

상세보기
A. J. Albrecht, 'Measuring Application Development Productivity,' Proceedings SHARE/GUIDE IBM Applications Development Symposium, Monterey, CA., 1979
C. F. Kemerer, 'An Empirical Validation of Software Cost Estimation Models,' Communication ACM, Vol.30, No.5, pp.416-429, 1987

상세보기
J. E. Matson, B. E. Barrett and J. M. Mellichamp, 'Software Development Cost Estimation Using Function Points,' IEEE Trans. on Software Eng., Vol.20, No.4, pp.275-287, 1994

상세보기
L. H. Putnam, 'A General Empirical Solution to the Macro Software Sizing and Estimating Problem,' IEEE Trans. on Software Eng., Vol.SE-4, No.4, pp.345-361, 1978

상세보기
P. V. Norden, 'Project Life Cycle Modeling : Background and Application of the Life Cycle Curves,' U. S. Army Computer System Command, 1977
S. Yamada, H. Ohtera and H. Narihisa, 'Software Reliability Growth Models with Testing-Effort,' IEEE Trans. on Reliability, Vol.R-35, pp.19-23, 1986
S. Yamada, J. Hishitani, and S. Osaki, 'Software- Reliability Growth with a Weibull Test-Effort : A Model & Application,' IEEE Trans. on Reliability, Vol.42, No.1, pp.100-106, 1993

상세보기
P. B. Norden, 'Curve Fitting for a Model of Applied Research and Development Scheduling,' IBM J. Research and Development, Vol.3, No.2, pp.232-248, 1958
Y. Thoma and K. Tokunaga, 'A Model for Estimating the Number of Software Faults,' Inst. Electron. Commun. Eng.(IECE) Japan. Tech. Rep., FTS 86-14, pp.41-46, 1986
Y. Tohma, R. Jacoby, Y. Murata and M. Yamamoto, 'Hyper-Geometric Distribution Model to Estimate the Number of Residual Software Faults,' COMPSAC '89, Orland, Florida, pp.610-617, 1989
J. D. Musa, A. Iannino, and K. Okumoto, 'Software Reliability Measurement, Prediction, Application,' McGraw-Hill Book Company, 1987
Y. Tohma, K. Tokunage, S. Nagage, and Y. Murata, 'Structural Approach to the Estimation of the Number of Residual Software Faults Based on the Hyper-Geometric Distribution,' IEEE Trans. on Software Eng., Vol.15, No.3, pp.345-355, 1989

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증