[논문]소프트웨어 품질 예측 모델을 위한 분류 프레임워크

홍의석

doi:10.5392/jkca.2010.10.6.134

소프트웨어 품질 예측 모델을 위한 분류 프레임워크
Taxonomy Framework for Metric-based Software Quality Prediction Models 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.10 no.6, 2010년, pp.134 - 143

초록
AI-Helper

본 논문에서는 위험도라는 품질 인자를 예로 들어 메트릭 기반 소프트웨어 품질 예측 모델들을 네가지 타입으로 분류하는 프레임워크를 제안한다. 모델들은 다음과 같은 두가지 기준에 의해 분류된다: 모델 입력 메트릭 형태, 과거 프로젝트 데이터의 필요 유무. 분류된 타입들은 각각의 특성을 가지며 새롭게 정의된 몇가지 기준들에 의해 타 타입들과 장단점이 비교되었다. 이러한 정성적인 평가를 거쳐 품질 예측 모델을 이용하고자하는 개발 집단은 어떤 품질 예측 모델이 자신들에게 적합한지를 판단할 수 있게 된다. 또한 각 타입에 속하는 위험도 예측 모델들을 구현해 예측 성능을 측정한 선행 연구 데이터를 분석하여 예측 성능에 못지않게 모델이 속한 타입의 특성이 모델 선정의 중요한 관건이 됨을 보였다.

Abstract ▼ AI-Helper

This paper proposes a framework for classifying metric-based software quality prediction models, especially case of software criticality, into four types. Models are classified along two vectors: input metric forms and the necessity of past project data. Each type has its own characteristics and its strength and weakness are compared with those of other types using newly defined criteria. Through this qualitative evaluation each organization can choose a proper model to suit its environment. My earlier studies of criticality prediction model implemented specific models in each type and evaluated their prediction performances. In this paper I analyze the experimental results and show that the characteristics of a model type is the another key of successful model selection.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

많은 관련 연구들이 수행되었지만 새로운 알고리즘을 사용하여 예측 성능을 높이려고 한 것들이 대부분이었다. 본 논문에서는 많은 예측 모델들을 분류하기 위한 프레임워크를 정의하고 이론적으로 가능한 네개의 예측 모델 타입을 정의하였다. 또한 각 타입에 속하는 위험도 예측 모델들을 제시하고 비교기준을 정의하여 정성적인 비교 평가를 실시하였다.
소프트웨어 메트릭 분야에서는 분류에 관한 연구가 있었지만[4], 예측 모델의 분류에 관한 연구는 모델 사용 단계에서 분류트리 모델과 같이 다중 결정 사이클을 사용하는지 여부를 따지는 연구[5] 외에는 없었다. 본 논문에서는 많은 예측 모델들을 분류하기 위해 분류 프레임워크를 정의하고 이를 통하여 이론적으로 의미 있는 네 개의 타입을 정의한다. 모델 평가 기준들을 만들어 모델들을 정성적으로 평가하고 각 타입에 속하는 모델의 예를 들어 간단한 실험 결과를 제시한다.
본 연구의 중요한 목적은 이와 같은 많은 예측 모델들을 몇 개의 형태로 분류하여 정성적인 평가를 하는 것이다. [표 1]에서 언급한 것과 같이 같은 타입에 속하는 모델들은 서로 크게 유의미한 예측 성능의 차이를 보이지 않는다는 관찰 하에서는 개발 집단들은 정성적인 평가를 통해 적합한 모델을 선정하여 사용할 수 있을 것이다.

가설 설정

많지는 않지만 [그림 1]과 같이 프로그램의 위험도를 추정할 수 있는 복잡도 메트릭들을 정의하고 그 타당성을 입증하여 정의한 메트릭들을 바탕으로 시스템의 위험도를 예측하는 연구들도 있었다[11]. 이들 연구들은 복잡도 메트릭이 프로그램의 오류의 분포와 관련이 있음을, 즉 복잡도가 높은 모듈일수록 오류가 발생할 가능성이 높다는 점을 가정하고 있다. 위험도 메트릭 제작은 위험도에 가장 관련이 많은 기본 메트릭을 하나 선정하여 예측에 사용할 수도 있고 위험도와 관련이 있는 기본 메트릭들을 조합하여 하나의 조합 메트릭 형태를 사용할 수도 있다.
전자는 모델 제작 시에 과거 프로젝트 데이터를 이용한다. 즉 어떤 입력 값에 대해 알려진 결과(위험도 유무)가 있으며 이 결과는 옳다고 가정하는 것이다. 이를 훈련 데이터 집합이라고 하며 이는 모델을 데이터에 맞게 훈련시키는 데 사용된다.

제안 방법

본 논문에서는 많은 예측 모델들을 분류하기 위한 프레임워크를 정의하고 이론적으로 가능한 네개의 예측 모델 타입을 정의하였다. 또한 각 타입에 속하는 위험도 예측 모델들을 제시하고 비교기준을 정의하여 정성적인 비교 평가를 실시하였다. 몇가지 관련 연구나 실험들을 통하여 VI-SL 모델과 같이 같은 부류에 속하는 예측 모델들 중 좋은 성능을 갖는다고 알려진 모델들의 예측 정확도에는 유의미하게 큰 차이가 없음을 알 수 있었다.
본 논문에서는 많은 예측 모델들을 분류하기 위해 분류 프레임워크를 정의하고 이를 통하여 이론적으로 의미 있는 네 개의 타입을 정의한다. 모델 평가 기준들을 만들어 모델들을 정성적으로 평가하고 각 타입에 속하는 모델의 예를 들어 간단한 실험 결과를 제시한다. 예측 모델을 사용하고자 하는 집단은 정성적인 평가 결과를 통해 자신들의 환경에 맞는 예측 모델의 타입을 찾아 적당한 모델을 선정할 수 있게 된다.
스칼라 메트릭 입력 모델은 다시 기본 메트릭 입력 모델과 조합 메트릭 입력 모델로 나뉠 수 있지만 이는 그림 상에 나타내지 않았다. 정량화된 결과를 보고 사람이 품질을 분류하는 모델은 훈련 데이터 집합을 필요로 하지 않으므로 비감독형 모델로 볼 수도 있겠지만 비감독형이란 단어가 비감독형 학습 알고리즘에서 사용된 것이므로 감독형과 비감독형 모델은 자동화된 분류기법을 가진 모델로 규정하였으며 사람의 분류 모델을 따로 규정하였다. 따라서 예측 모델은 자동화된 분류 기법 사용 모델과 사람이 품질을 분류하는 모델로 나뉘며 전자는 감독형 학습기법과 비감독형 학습 기법을 사용하는 모델로 나뉜다.
정의한 네가지 부류에 속하는 위험도 예측 모델들이 본 연구의 선행연구로 제안되었으며 이들을 각 타입의 비교와 평가에 이용한다. 모델들은 ITU-T의 표준안으로 널리 사용되고 있는 객체지향 실시간 시스템 명세 언어인 SDL(Specification and Description Language)의 설계 명세를 입력으로 사용한다.

데이터처리

사용된 훈련 알고리즘들은 판별분석[7], 로지스틱 회귀분석[8] 등과 같은 통계 기법이나 분류트리[9], 역전파 신경망[10], SVM[2] 등과 같은 인공지능 기법들이다. 이런 모델들의 성능 검증은 모델의 사용방법의 용이성이나 개발환경의 적합도가 아니라 실험을 통한 예측정확도 비교를 통해 이루어졌다. 하지만 이러한 분류 알고리즘들은 데이터의 분포와 프로젝트의 상황, 모델의 튜닝 정도에 따라 다른 성능 결과를 낼 수 있으므로 어떤 모델이 가장 좋다는 합의는 위험도 연구 분야에서 이루어지지 않았다.

성능/효과

후자가 전자보다 품질에 중요한 영향을 미치는 오류이다. BPM과 GAM은 훈련2보다 일반적인 훈련1로 훈련시킨 결과이며, BPM이 검증1에 대해서는 위험개체를 23개를 선정하였으므로 HMM-HC는 위험개체를 23개로 선정한 결과를 나타내었다. 혼성 메트릭 정의에 포함되지 않는 BRS 메트릭값을 고려한 HMM-HC 결과도 나타내었으며 HMM-AC에서는 가중곱, HMM-HC에서는 가중합 형태의 혼성 메트릭이 더 나은 결과를 보였으므로 해당 메트릭 형태를 사용한 결과를 나타내었다.
HMM과 KSM은 매우 간단한 알고리즘을 사용하여 개발 부담이 없으며, 모델 속도와 선정 원인 분석에 큰 강점을 지니고 있기 때문이다. HMM과 KSM을 같이 사용하면 SI-HC, SI-AC, VI-UL 타입들의 장점들을 모두 받아들일 수 있으며, 분석을 통해 각 모델의 예측 정확도보다 높은 정확도를 낼 수 있다. 만약 비용 문제나 분석 전문가 부족 등의 문제로 두 모델을 함께 사용할 수 없는 상황이라면 앞의 기술과 같이 BRS를 고려한 HMM을 사용하는 것이 가장 바람직하다.
또한 타 모델들도 매우 큰 오류를 내지는 않았으므로 HMM-AC를 제외하고는 다른 모델들도 사용가능하다는 것을 알 수 있다. [표 2]에는 정확히 나타나있지 않지만 실험 결과 전체를 분석해보면 BRS를 고려한 HMM이 BPM의 성능에 근접한 성능을 보였으며, KSM은 전체 적중률 면에서 BRS를 고려하지 않은 HMM-HC와 비슷한 성능을 보였지만 Type II 오류가 BPM과 비슷하게 적었다.
네가지 타입에 해당하는 위험도 예측 모델들을 정성적으로 비교하기 위해 모델들을 비교하는 여러 기준들과 각 기준에 대한 모델들의 평가 결과를 [그림 5]에 나타내었다. 결과는 다섯 단계로 표현되며 좋은 평가 결과일수록 밝게 나타내었다. 각 단계는 몇 배가 좋다는 비율적인 의미는 없으며 서수적인 의미만 있다.
KSM 결과는 클러스터를 15개로 하고 실제 프로젝트 데이터는 검증2 형태를 보일 가능성이 많으므로 검증2 부분의 Type II 오류가 중요한 성능 비교값이 된다. 결과를 보면 예상한 것과 같이 VI-SL 모델인 BPM, GAM이 좋은 예측 성능을 보인다. 또한 타 모델들도 매우 큰 오류를 내지는 않았으므로 HMM-AC를 제외하고는 다른 모델들도 사용가능하다는 것을 알 수 있다.
예측 모델을 사용하고자 하는 집단은 정성적인 평가 결과를 통해 자신들의 환경에 맞는 예측 모델의 타입을 찾아 적당한 모델을 선정할 수 있게 된다. 또한 연구 결과인 모델 분류 용어는 다른 모든 관련 연구들에서 이용함으로써 예측 모델 연구 분야의 일반화된 접근을 가능케 한다는 기대효과가 있다.
또한 각 타입에 속하는 위험도 예측 모델들을 제시하고 비교기준을 정의하여 정성적인 비교 평가를 실시하였다. 몇가지 관련 연구나 실험들을 통하여 VI-SL 모델과 같이 같은 부류에 속하는 예측 모델들 중 좋은 성능을 갖는다고 알려진 모델들의 예측 정확도에는 유의미하게 큰 차이가 없음을 알 수 있었다. 따라서 모델을 필요로 하는 개발 집단들은 분류된 네가지 형태 정보와 정성적인 평가를 이용하여 자신들의 상황에 맞는 적당한 모델을 선정하여 이용할 수 있다.
따라서 모델을 필요로 하는 개발 집단들은 분류된 네가지 형태 정보와 정성적인 평가를 이용하여 자신들의 상황에 맞는 적당한 모델을 선정하여 이용할 수 있다. 위험도 예측 모델의 경우는 훈련 데이터 집합을 보유하고 있는 경우에는 BPM이나 GAM 같은 VI-SL 모델, 보유하고 있지 않은 경우에는 HMM과 KSM을 함께 사용하는 것이 적당하며 이들의 사용도 어려운 경우에는 BRS를 고려한 HMM을 사용하는 것이 적당하다는 결론을 얻었다.
BPM과 GAM은 훈련2보다 일반적인 훈련1로 훈련시킨 결과이며, BPM이 검증1에 대해서는 위험개체를 23개를 선정하였으므로 HMM-HC는 위험개체를 23개로 선정한 결과를 나타내었다. 혼성 메트릭 정의에 포함되지 않는 BRS 메트릭값을 고려한 HMM-HC 결과도 나타내었으며 HMM-AC에서는 가중곱, HMM-HC에서는 가중합 형태의 혼성 메트릭이 더 나은 결과를 보였으므로 해당 메트릭 형태를 사용한 결과를 나타내었다. KSM 결과는 클러스터를 15개로 하고 실제 프로젝트 데이터는 검증2 형태를 보일 가능성이 많으므로 검증2 부분의 Type II 오류가 중요한 성능 비교값이 된다.

후속연구

그러나 [그림 5]는 각 기준들의 상대적인 중요도 가중치를 고려하지 않았고, 중요한 모델 평가 기준인 예측 정확도 비교가 없다. 모델의 특성만을 고려한다면 적용 데이터와 유사한 데이터 영역 공간에 속하는 훈련 데이터 집합 결과를 학습한 VI-SL 모델, 즉 BPM이 높은 예측 정확도를 나타낼 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	소프트웨어 산업이 발전함에 따라 주목받게 된 것은?	소프트웨어 산업이 발전함에 따라 소프트웨어 개발 프로세스 개선 및 평가 방법이 주목받고 있다. 소프트웨어 프로세스에서 가장 중요한 것은 주어진 예산과 자원을 이용하여 고품질의 소프트웨어를 제작 및 유지보수 하는 것이다.
	소프트웨어 프로세스에서 가장 중요한 것은 무엇인가?	소프트웨어 산업이 발전함에 따라 소프트웨어 개발 프로세스 개선 및 평가 방법이 주목받고 있다. 소프트웨어 프로세스에서 가장 중요한 것은 주어진 예산과 자원을 이용하여 고품질의 소프트웨어를 제작 및 유지보수 하는 것이다. 이를 위하여 분석이나 설계와 같은 초기 프로세스에서 나중에 구현될 소프트웨어의 품질 인자를 예측하는 예측 모델의 연구가 활발히 진행되고 있다.
	분석이나 설계와 같은 초기 프로세스에서 나중에 구현될 소프트웨어의 품질 인자를 예측하는 예측 모델의 연구가 활발히 진행되는 이유는 무엇인가?	이를 위하여 분석이나 설계와 같은 초기 프로세스에서 나중에 구현될 소프트웨어의 품질 인자를 예측하는 예측 모델의 연구가 활발히 진행되고 있다. 왜냐하면 품질에 큰 영향을 미치는 핵심 부분들을 초기 프로세스에서 선정하고 이에 맞게 한정된 자원들을 잘 분산 배치함으로써 주어진 시간 내에 고수준의 품질을 보장하는 소프트웨어를 제작할 수 있기 때문이다. 이러한 예측 모델의 필요성은 결과 산물이 수십만 LOC 이상으로 매우 크며 실행 정확성이 요구되는 시스템에 더욱 필요하다.

참고문헌 (15)

C. Ebert, "Fuzzy classification for software criticality analysis," Expert Systems with Applications, Vol.11, No.3, pp.323-342, 1996.

상세보기
K. O. Elish and M. O. Elish, "Predicting defect prone software modules using support vector machines," J. Systems Software, Vol.81, No. 5, pp.649-660, 2008

상세보기
N. Ohlsson and H. Alberg, “Prediction Fault-Prone Software Modules in Telephone Switches,”　IEEE Trans. Software Eng., Vol.22, No.12, pp.886-894, 1996.

상세보기
F. B. Abreu and R. Carapuca, “Candidate metrics for object-oriented software within a taxonomy framework,” J. Systems Software, Vol. 26, No.1, pp.87-96, 1994.

상세보기
L. Chen and S. Huang, "Accuracy and efficiency comparisons of single- and multi-cycled software classification models," Information and Software Technology, Vol.51, No.1, pp.173-181, 2009.

상세보기
J. McCall, P. Richards, and G. Walters, "Factors in Software Quality," three volumes, NTIS AD-A049-014, 015, 055, 1997.
T. M. Khosgoftaar and E. B. Allen, “Early Quality Prediction: A Case Study in Telecommunications,” IEEE Software, Vol.13, No.1, pp.65-71, 1996.

상세보기
K. E. Emam, W. Melo, and J. C. Machado, "The prediction of faulty classes using object oriented design metrics," J. Systems Software, Vol.56, No.1, pp.63-75, 2001.

상세보기
J. Tian, A. Nguyen, C. Allen, and R. Appan, “Experience with identifying and characterizing problem-prone modules in telecommunication software systems,” J. Systems Software, Vol.57, No.3, pp.207-215, 2001.

상세보기
T. M. Khoshgoftaar and D. L. Lanning, “A Neural Network Approach for Early Detection of Program Modules Having High Risk in the Maintenance Phase,” J. Systems Software, Vol.29, No.1, pp.85-91, 1995.

상세보기
W. M. Zage and D. M. Zage, “Evaluating Design Metrics on Large-Scale Software,” IEEE Software, Vol.10, No.4, pp.75-81, 1993.

상세보기
N. Fenton, “Software Measurement: A Necessary Scientific Basis,” IEEE Trans. Software Eng., Vol.20, No.3, pp.199-206, 1994.

상세보기
홍의석, “훈련데이터집합을 사용하지 않는 소프트웨어 품질예측 모델”, 정보처리학회논문지, 제10-D권 제4호, pp.689-696, 2003.
홍의석, “GAM: 대형 통신 시스템을 위한 위험도 예측 모델”, 컴퓨터교육학회논문지, 제6권, 제2호, pp.33-40, 2003.

원문보기 상세보기
홍의석, “대형 소프트웨어 시스템의 결함경향성 예측을 위한 혼성 메트릭 모델”, 컴퓨터교육학회 논문지, 제8권, 제5호, pp.129-137, 2005.

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증