[논문]A study for the reduction of the SW reliability test time and human errors using the SW reliability test automation

Kim, Hyoung-Kweon

doi:10.9708/jksci.2015.20.10.045

문제 정의

하지만, SW 개발 및 제품시험의 특성상 빈번한 SW의 수정과 그에 따른 기능 만족성을 재검증하기 위해 수행되는 회귀시험 등으로 인해 품질향상을 위해 요구되어지는 SW 신뢰성 시험을 수행할 시간적 여건이 부족한 실정이며, 여러 차례의 SW 신뢰성 시험을 수행하면서 개발자의 피로도가 증가되고 개발자의 신뢰성 시험 전문성 부족으로 인해 인적오류가 다소 발생하고 있는 실정이다. 본 논문에서는 통계적 기법을 사용한 품질개선 혁신활동인 린6시그마 방법론을 활용하여 SW 신뢰성 시험을 수행하는데 있어서 발생되는 이러한 문제들에 대한 원인파악 및 해결방법을 도출한 후, SW 신뢰성 시험시간을 단축하고 인적오류를 감소할 수 있는 최적화된 방안을 제안하고자 한다.
본 연구를 통해 SW 품질향상을 위하여 SW 신뢰성시험 자동화 시스템 구체화 및 적용방안을 도출한 후 최적화된 SW 신뢰성 시험시간 단축 및 인적오류 감소 방안을 제시하였다. SW 중요성이 부각되고 있는 현시점에서 SW 신뢰성시험에 대한 규정화 및 관심이 증대되고 있으나, SW 신뢰성 분석 시 개발자의 숙련도 차이에 따른 분석시간 지연 및 인적오류가 발생하고 있고, SW 신뢰성시험에 투입되는 비용절감 및 인적오류 축소가 요구되고 있는 실정이다.

제안 방법

Measure 단계에서는 측정가능한 Y's 지표로 SW 신뢰성시험 투입시간과 데이터분석 인적오류율을 선정하고, Y's의 현수준을 파악하였으며, Y에 영향을 주는 X 인자들을 특성요인도를 통해 도출하였고, FDM을 통해 숙련도, 보조도구사용 여부, 소스코드규모, 소스코드난이도 등 발굴된 잠재 X's를 우선순위화 하였다.
Vital Few X's의 최적화 단계에서는 앞서 수행한 개선전략에 따라 각 X 인자별로 대안창출 후 대안평가를 실시하였다.
X‘s 인자들을 발굴한 후 Fig.7과 같이 기능전개매트릭스(FDM)를 활용하여 잠재 X’s의 우선순위를 선정하였다.
X1/X4/X5/X6 핵심인자에 대해서는 SW 신뢰성시험 자동화 시스템 구축을 통한 개선 방안을 도출하였고, Fig.11과 같이 구축방안 및 개념설계가 이루어졌으며, 각 설계 단계별 상세설계를 통해 Fig.12와 같이 구축하고자 하는 SW 신뢰성시험 자동화 시스템의 형상을 설계하였다.
X10 Quick-Fix(즉개선) 핵심인자에 대해서는 Fig.17과 같이 SW 신뢰성시험 자동화 시스템의 하드웨어적인 성능에 대한 개선방안을 도출하였다.
X7 핵심인자에 대해서는 Fig.15와 같이 SW 형상관리도구 사용에 대한 개선방안을 도출하였다.
Y's 확인 단계에서는 본 과제의 핵심성과지표 Y's로 Define 단계에서 식별된 CTQ를 구체적으로 지표화하기 위해 SW 신뢰성시험 투입시간(Y1)과 데이터분석 인적오류율(Y2)을 선정하였으며, 기 개발중인 대상 프로젝트를 기준으로 Y's에 대한 성과기준을 설정하였고, Y's에 대한 운영정의로써 SW 신뢰성시험 투입시간(Y1)은 소스코드 SLOC 1만 라인당 정적시험 수행 평균시간을 측정하는 것으로 설정하였으며, 데이터분석 인적오류율(Y2)은 정적시험도구 오류설정 및 기준 미반영에 의한 인적 오류율을 측정하는 것으로 설정하였다.
개선전략 수립단계에서는 Fig.10과 같이 핵심인자(Vital Few X's)별 특성에 따른 개선전략을 수립하고 최적화 방향을 결정하였다.
또한, Fig.2와 같이 프로젝트 승인 단계 이전에 본 과제를 수행함에 있어서의 Risk 분석 및 감소 방안을 수립하였다.
상세설계 사항에 따라 SW 신뢰성시험 자동화 시스템을 구축한 후, 기존 수작업으로 수행된 정적시험 샘플 데이터를 활용하여 Fig.13과 같이 자동화 시스템에서 정적시험을 수행한 후 자동화 시스템의 정상작동을 검증하고 필요 시 파라미터 튜닝을 통해 최적화를 수행하였다.
프로젝트 승인의 3단계로 진행된다. 프로젝트 선정 단계에서는 VOC(Voice Of Customer), VOB(Voice Of Business), VOP(Voice Of Process) 등을 분석하여 본 과제 선정에 대한 배경 및 문제인식을 통해 CTQ(Critical To Quality)를 식별하였다. 프로젝트 정의 단계에서는 Fig.
프로젝트 선정 단계에서는 VOC(Voice Of Customer), VOB(Voice Of Business), VOP(Voice Of Process) 등을 분석하여 본 과제 선정에 대한 배경 및 문제인식을 통해 CTQ(Critical To Quality)를 식별하였다. 프로젝트 정의 단계에서는 Fig.1과 같이 상위 프로세스맵(SIPOC)을 활용하여 본 과제에 대한 목표와 범위를 정의하였으며 이를 통한 기대효과를 분석하였다.
현수준 파악 단계에서는 선정한 Y's에 대한 데이터 수집계획을 수립 후 산출된 데이터를 이용하여 Fig.3과 같이 정량적/기술적 분석을 수행하였으며 Fig.4와 같이 현 수준의 시그마 수준을 산정하였다.

대상 데이터

데이터 수집단계에서는 발굴된 잠재 X's와 핵심성과지표 Y's와의 관계를 Fig.8과 같이 도출 및 분석인자(X's)에 대한 데이터 수집계획을 수립하였다.
본 논문에서 제안하는 방안을 도출하기 위해 이용하는 린6시그마는 DMAIC의 상위 다섯 단계로 나누어지며, 각 상위 단계는 하부에 3개의 Step으로 구성되어져 총 15개의 Step으로 진행된다.

데이터처리

SW 신뢰성시험 투입시간(Y1)에 대한 개선결과를 검증하기 위해 동일한 샘플에 대하여 3차례의 Pilot 실험을 수행하였으며 측정된 데이터 및 시그마 수준 측정 결과는 Fig.18 및 Fig.19와 같다.
데이터 분석 단계에서는 데이터 수집계획에 따라, 2-sample t, 2-proportion, ANOVA, 산점도를 활용한 상관회귀분석, 전문가 인터뷰 및 벤치마킹 등의 분석도구를 활용하여 각 분석인자(X's)별 수집한 데이터에 대한 정량적 및 정성적 분석을 수행하였으며, Vital Few X's 선정단계에서는 앞서 수행한 데이터 분석결과를 기반으로 Fig.9와 같이 핵심인자들을 선정하였다.
데이터분석 인적오류율(Y2)에 대한 개선결과를 검증하기 위해 동일한 샘플에 대하여 3차례의 Pilot 실험을 수행하였으며 측정된 결과 및 시그마 수준 측정 결과는 Fig.20 및 Fig.21과 같다.
부가적으로 2-sample t는 계량형 데이터 중 등분산성을 가진 2개의 모집단에 대한 평균을 검증하기 위해 사용되었고, 2-proportion,은 계수형 데이터로 구성된 2개의 모집단에 대한 비율을 검증하기 위해 사용되었으며, ANOVA는 계량형 데이터 중 등분산성을 가진 2개 이상의 모집단들의 평균의 차이가 통계적으로 유의한가를 검증하기 위해 사용되었다.

성능/효과

Improve 단계에서는 실질적인 해결을 위한 개선전략을 수립 후 Vital Few X's 의 최적화를 위해 SW 신뢰성시험 자동화 시스템을 구축, 보조도구 및 형상관리도구의 사용개선, 시험결과 데이터에 대한 동료검토 등을 수행하는 개선안을 제시하였으며 개선안에 대한 Pilot 시뮬레이션 수행을 통해 시그마 수준이 목표대비 향상됨을 확인하였다.
결과검증 단계에서는 도출된 개선안에 대하여 다차례에 걸친 Pilot 실험을 통해 핵심성과지표 Y's의 개선효과를 측정하였고, Pilot 실험간 도출되는 추가개선 필요사항을 반영하고 효과를 재측정 함으로써, 각 핵심성과지표별로 시그마 수준이 현수준 대비 현저하게 향상됨을 확인하였다.
Control 단계에서는 사후관리 및 개선사항을 내재화하기 위해 관리계획 수립, 관리계획 실행, 프로젝트 결과에 대한 핵심 사항을 문서화하였다. 본 프로젝트는 문제해결을 위한 일안으로 SW 신뢰성시험 자동화 시스템을 구축하는 제품설계단계가 포함되어 있어서 일반적인 린6시그마에서 수행되는 Control 단계의 진행업무를 적용하기에는 어려움이 있었으나, 재무성과 및 체질개선효과 측면에서 개선된 효과를 확인할 수 있었다.
정규성 검정, 통계량 측정을 위해 6시그마에서의 측정도구인 미니탭을 활용하여 산출된 각 Y's 데이터를 입력 후 정규분포 그래프 및 기술통계량을 산출하고 측정된 데이터의 분포 형태를 파악하여 데이터의 분포형태가 기준값과 얼마나 근접하여 선형성을 가지고 있는지 및 좌우대칭인 가우스 곡선을 나타내는지를 파악한 결과 정규분포를 가짐을 알 수 있다.

후속연구

이러한 문제를 해결하기 위해 린6시그마의 문제해결 방법론을 이용함으로써 기존 방식에서의 문제점의 원인을 파악하고 점진적으로 개선해 나가는 방안을 제시하였으며 이를 검증하는 과정에서 객관적 근거자료가 될 수 있을 것으로 판단된다. 또한, 제안된 개선방안에 따라 기존 개발자에 의해 수작업으로 수행되었던 SW 신뢰성시험을 자동화함으로써 시험시간을 획기적으로 단축하고 인적오류를 축소함과 더불어 SW 고품질 확보 및 SW 개발생산성을 극대화 하는데 큰 기여를 할 것으로 예상된다.
SW 중요성이 부각되고 있는 현시점에서 SW 신뢰성시험에 대한 규정화 및 관심이 증대되고 있으나, SW 신뢰성 분석 시 개발자의 숙련도 차이에 따른 분석시간 지연 및 인적오류가 발생하고 있고, SW 신뢰성시험에 투입되는 비용절감 및 인적오류 축소가 요구되고 있는 실정이다. 이러한 문제를 해결하기 위해 린6시그마의 문제해결 방법론을 이용함으로써 기존 방식에서의 문제점의 원인을 파악하고 점진적으로 개선해 나가는 방안을 제시하였으며 이를 검증하는 과정에서 객관적 근거자료가 될 수 있을 것으로 판단된다. 또한, 제안된 개선방안에 따라 기존 개발자에 의해 수작업으로 수행되었던 SW 신뢰성시험을 자동화함으로써 시험시간을 획기적으로 단축하고 인적오류를 축소함과 더불어 SW 고품질 확보 및 SW 개발생산성을 극대화 하는데 큰 기여를 할 것으로 예상된다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

A study for the reduction of the SW reliability test time and human errors using the SW reliability test automation 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

후속연구

참고문헌 (6)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

A study for the reduction of the SW reliability test time and human errors using the SW reliability test automation 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

성능/효과

후속연구

참고문헌 (6)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

AI 본문요약
AI-Helper