국내 소프트웨어 테스트 성숙도 수준은 TMMi 기준으로 대부분 레벨 2 이하다. 성숙도 개선의 첫째 조건은 현재 성숙도 수준을 정확히 아는데 있다. TMMi에는 레벨 1 정의가 없지만, 같은 레벨 1 조직이라도 성숙도 수준은 분명 차이가 있다. 이에 본 연구는 레벨 1 조직의 성숙도 수준을 정확히 파악하고, 레벨 1 조직이 개선 노력을 줄이면서 레벨 2를 달성하는 방안을 제시한다. 레벨 2에서 의존성이 있는 서브 프랙티스를 해당 프로세스 영역과 그룹화해서 레벨 1을 3단계로 새롭게 정의했다. 의존성을 이용한 이유는 의존성 있는 프랙티스 끼리 묶어 프로세스를 개선하면 프랙티스 여러 개를 한꺼번에 달성하는 효과를 얻을 수 있기 때문이다. 3단계화 적정성을 검증해서 레벨 1 조직의 성숙도 수준을 정확히 평가했고, 다음 단계 개선 목표와 방향을 구체적으로 설정할 수 있음을 알았다.
국내 소프트웨어 테스트 성숙도 수준은 TMMi 기준으로 대부분 레벨 2 이하다. 성숙도 개선의 첫째 조건은 현재 성숙도 수준을 정확히 아는데 있다. TMMi에는 레벨 1 정의가 없지만, 같은 레벨 1 조직이라도 성숙도 수준은 분명 차이가 있다. 이에 본 연구는 레벨 1 조직의 성숙도 수준을 정확히 파악하고, 레벨 1 조직이 개선 노력을 줄이면서 레벨 2를 달성하는 방안을 제시한다. 레벨 2에서 의존성이 있는 서브 프랙티스를 해당 프로세스 영역과 그룹화해서 레벨 1을 3단계로 새롭게 정의했다. 의존성을 이용한 이유는 의존성 있는 프랙티스 끼리 묶어 프로세스를 개선하면 프랙티스 여러 개를 한꺼번에 달성하는 효과를 얻을 수 있기 때문이다. 3단계화 적정성을 검증해서 레벨 1 조직의 성숙도 수준을 정확히 평가했고, 다음 단계 개선 목표와 방향을 구체적으로 설정할 수 있음을 알았다.
Domestic software test maturity level is the most Level 2 below based on TMMi. The first condition of enhancement of test maturity is that know exactly what the current maturity. There is no Level 1 definition in TMMi, but even the same level of maturity level of an organization, there are clear dif...
Domestic software test maturity level is the most Level 2 below based on TMMi. The first condition of enhancement of test maturity is that know exactly what the current maturity. There is no Level 1 definition in TMMi, but even the same level of maturity level of an organization, there are clear differences. In this study, grasp a maturity level of Level 1 organization, while less effort to improve in Level organization, the ways to achieve Level 2 is presented. Sub practices with dependencies in Level 2 is grouped with the corresponding process areas and define a Level 1 newly at 3 phases. If sub practices with dependencies are tied and improve a process, it will produce the effect which attains the practices all at once. Verify the adequacy of three phases, as a result, an organization clearly identify Test Maturity Level 1, we know that the organization can set specific improvement goals and direction.
Domestic software test maturity level is the most Level 2 below based on TMMi. The first condition of enhancement of test maturity is that know exactly what the current maturity. There is no Level 1 definition in TMMi, but even the same level of maturity level of an organization, there are clear differences. In this study, grasp a maturity level of Level 1 organization, while less effort to improve in Level organization, the ways to achieve Level 2 is presented. Sub practices with dependencies in Level 2 is grouped with the corresponding process areas and define a Level 1 newly at 3 phases. If sub practices with dependencies are tied and improve a process, it will produce the effect which attains the practices all at once. Verify the adequacy of three phases, as a result, an organization clearly identify Test Maturity Level 1, we know that the organization can set specific improvement goals and direction.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
하지만 두 회사가 같은 레벨 1이라도 성숙도 수준이 다른데도 성숙도 수준이 같은 레벨 1 조직으로 평가 받는다. 본 연구의 동기는 이런 문제를 해결하고자 프랙티스 중복을 제거하고, 레벨 1 조직의 정확한 성숙도 수준을 파악해서, 단계적이면서 효율적으로 레벨 2에 접근하고자 한다.
TPI(Test Process Improvement)는 테스트 프로세스 개선 모델이다[4]. TMMi와 달리 실무 관점에서 프로세스 개선에 도움을 주려는 목적으로 만들었다. 조직의 테스트 성숙도를 심사해서 테스트 프로세스의 장단점 영역을 파악하고, 적절한 개선 단계를 제안해서 실질적인 개선 활동을 하도록 지원한다.
테스트 성숙도를 평가하는 목적은 조직의 테스트 성숙도 수준을 정확히 알고, 약점을 개선하는데 있다. 하지만 성숙도 수준이 레벨 1인 조직은 정확한 성숙도 수준을 파악하기 힘들다.
이를 위해 프로세스와 서브 프랙티스 사이의 의존성을 분석해서, 레벨 1을 세 가지로 단계화하는 방안을 제안했다. 이를 기업에 적용한 결과 해당 조직의 정확한 레벨 1 수준을 알 수 있어, 이 기법의 효과를 확인했다.
제안 방법
이러한 목적을 달성하기 위한 방안으로 레벨 2 프로세스 영역 의존성 분석을 이용해서 TMMi 레벨 1을 ‘1.0 / 1.5 /1.8’ 세 가지로 단계화한다.
레벨 1 단계화 방안으로 레벨 2 프로세스 영역과 서브 프랙티스(고유 영역-Specific Practices-에 해당하는 서브 프 랙티스) 사이의 의존성(Dependency)을 분석한다. 이어서 의존성 있는 서브 프랙티스(Sub Practices)는 해당 프로세스 영역과 그룹화한다.
이어서 의존성 있는 서브 프랙티스(Sub Practices)는 해당 프로세스 영역과 그룹화한다. 의존성 있는 서브 프랙티스 평가 점수와 프로세스 평가 점수에 따라, 성숙도 레벨 1 조직이 3단계중, 실제 어느 단계 해당하는지 재평가한다. 재평가 결과 레벨 1을 받은 조직은 더 이상 같은 수준의 레벨 1이 아니다.
5) 프로세스는①~④ 과정을 거치지 않았다. 대신 ③번의 TPI 레벨에 해당하는 TMMi 레벨 2 프로세스(서브 프랙티스)를 분석해서 직접 추가했다.
TMMi에서 정의한 프로세스 평가 기준은 표 4와 같다[8]. 평가 기준을 좀더 쉽게 알아보기 위해 TMMi의 프로세스 평가 기준인 N, P, L, F을 각각 0, 1, 2, 3 점수로 바꿨다.
넷째, 효율적인 프로세스 개선 방향을 제시한다. 다섯째, 레벨 1 단계화 기준에 대해 적합성을 검증했다.
TMMi 레벨 1의 세 가지 단계화 기준을 기업에 적용했다. 사례 기업은 데이터 보안 관련 제품을 만들고, 테스트 관련 엔지니어가 5명인 조직이다.
전문가를 대상으로 표 5 ‘레벨 1 단계화 기준’에서 제시한 단계화 기준(예, 1.8 단계의 ②번)이 적합한 지 조사 했다.
TMMi와 테스트 관련 5년 이상 전문가 10명을 대상으로 설문 조사를 통해, 레벨 1 단계화 기준에 대한 적합성을 검증했다. 전문가를 대상으로 표 5 ‘레벨 1 단계화 기준’에서 제시한 단계화 기준(예, 1.
하지만 성숙도 수준이 레벨 1인 조직은 정확한 성숙도 수준을 파악하기 힘들다. 이를 위해 프로세스와 서브 프랙티스 사이의 의존성을 분석해서, 레벨 1을 세 가지로 단계화하는 방안을 제안했다. 이를 기업에 적용한 결과 해당 조직의 정확한 레벨 1 수준을 알 수 있어, 이 기법의 효과를 확인했다.
공통 영역도 의존성 분석을 시도해서, 더 세밀하게 레벨 1을 단계화하는 연구가 필요하다. 또 서브 프랙티스 사이의 1:1매핑 의존성 분석이 아닌 특정 프로세스 영역 전체와 특정 프로세스의 서브 프랙티스 의존성 관계에 치중했다. 앞으로 서브 프랙티스 사이의 1:1 의존성 연구를 덧붙여서 완전한 의존성 관계를 이끌어 낼 필요가 있다.
‘II 관련 연구’에서 언급한 TPI 핵심 영역 사이의 의존성과 TMMi 레벨 2 TPI 매핑 테이블을 기초로, 레벨 2 프로세스와 서브 프랙티스 사이에 의존성을 분석했다.
대상 데이터
TMMi 레벨 1의 세 가지 단계화 기준을 기업에 적용했다. 사례 기업은 데이터 보안 관련 제품을 만들고, 테스트 관련 엔지니어가 5명인 조직이다. 이 회사는 제품 출시 후, 현장에서 제품 결함으로 고객 클레임을 빈번하게 받고 있다.
그래서 테스트 프로세스를 개선하려는 의지가 높아, 심사 사례에 알맞다고 판단했다. 사례 기업은 비공식 심사 결과 TMMi 레벨 1을 받았다. 프로세스 별 평가 결과는 그림 3과 같다.
사례 기업은 표 6에서 서브 프랙티스 1개가 3점을 받고, 2점은 10개, 1점은 13개, 0점은 2개다. 점수를 매길 수 없는 NA(Not Applicable) 서브 프랙티스는 하나다.
사례 기업은 TMMi 레벨 2를 대상으로 심사한 결과 레벨 1을 받았다. 하지만 레벨 1은 레벨 2를 달성하지 못하면 자동으로 부여 받는 레벨이고, 레벨 1에 대한 성숙도 기준이 없기 때문에 조직의 정확한 성숙도 수준을 가늠할 수 없다.
이론/모형
8 단계에서 ①번) 는 TMMi에서 정의한 표 5의 TMMi 프로세스 평가 기준 (예, Fully 등급은 86%이상~100%미만)을 참고했다. TMMi 프레임워크에서 제시하는 프로세스 평가 기준은 ISO 15504(SPICE)를 기반으로 만들었다.
성능/효과
하지만 레벨 1은 레벨 2를 달성하지 못하면 자동으로 부여 받는 레벨이고, 레벨 1에 대한 성숙도 기준이 없기 때문에 조직의 정확한 성숙도 수준을 가늠할 수 없다. 이런 문제를 해결하고자 레벨 2 프로세스와 서브 프랙티스 사이 의존성 분석을 이용해서, 사례 기업의 성숙도 수준을 재정의한 결과 레벨 1.0로 나왔다. 사례 기업은 아래와 같은 이점을 얻을 수 있음을 발견했다.
첫째, 사례 기업은 다른 기업과 비교해 똑같은 레벨 1이라도 성숙도에서 차이가 있음을 발견했고, 자사의 정확한 성숙도 수준을 파악했다.
셋째, 소규모 테스트 조직이 TMMi 레벨 2를 만족하려면 전사 차원의 전폭적인 지원이 뒤따라야 한다. 의존성 있는 서브 프랙티스는 우선순위를 결정하는 효과가 있어, 레벨 1에서레벨 2로 도약하는데 리소스를 줄이면서 효율적으로 테스트 성숙도를 높일 수 있다.
후속연구
본 연구는 레벨 2의 의존성 분석 대상을 고유 영역으로 제한해서, 공통 영역에 대한 의존성 관계는 빠져 있다. 공통 영역도 의존성 분석을 시도해서, 더 세밀하게 레벨 1을 단계화하는 연구가 필요하다. 또 서브 프랙티스 사이의 1:1매핑 의존성 분석이 아닌 특정 프로세스 영역 전체와 특정 프로세스의 서브 프랙티스 의존성 관계에 치중했다.
참고문헌 (10)
TMMi Foundation, "Test Maturity Model Integration(TMMi) v2.0", pp.07-19, 2009.
SEI, "CMMI for Development v1.2", Carnegie Mellon University, pp.05-50, 2006.
정보통신기술협회(TTA), "TMM 적용방안에 관한 연구", 44-50쪽, 2003.
Tim Koomen, Martin Pol, "Test Process Improvement: A step-by-step guide to structured testing", pp.01-53, Addison-Wesley, 1999.
이은표, "테스트 조직을 위한 테스트 프로세스 성숙도 모델의 개발", 서울여자대학교 석사학위 논문, 27-39쪽, 2005년 1월.
Tim Koomen, Martin Pol, "Improvement the Test Process using TPI", Sogeti Nederland B.V., pp.03-13, 1998
김경아, "AHP 기법을 이용한 테스트 프로세스 성숙도 모델 개선에 관한 연구", 단국대학교 석사학위 논문, 15-18쪽, 2009년 8월.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.