[논문]테스트 수행시간을 고려한 임베디드 소프트웨어의 적합성 테스트 시나리오 추출 기법

박인수; 신영술; 안성호; 김진삼; 김재영; 이우진

doi:10.3745/kipstd.2010.17d.2.147

테스트 수행시간을 고려한 임베디드 소프트웨어의 적합성 테스트 시나리오 추출 기법
Conformance Test Scenario Extraction Techniques for Embedded Software using Test Execution Time 원문보기

정보처리학회논문지. The KIPS transactions. Part D. Part D, v.17D no.2, 2010년, pp.147 - 156

박인수 (삼성전자 무선사업부) , 신영술 (경북대학교 전자전기컴퓨터학부) , 안성호 (한국전자통신연구원 대경권연구센터 자동차SW플랫폼연구팀) , 김진삼 (한국전자통신연구원 대경권연구센터 자동차SW플랫폼연구팀) , 김재영 (한국전자통신연구원 대경권연구센터 자동차SW플랫폼연구팀) , 이우진 (경북대학교 IT대학 컴퓨터학부)

초록
AI-Helper

임베디드 소프트웨어의 적합성 테스트는 소프트웨어의 기능이 명세를 따라 정확히 구현되었는지 검사하는 것이다. 적합성 테스트에서 테스트 시나리오는 소프트웨어의 전체 기능을 테스트할 수 있도록 추출되어야 한다. 일반적으로 테스트 시나리오는 단순히 전체의 기능들을 한 번씩 테스트해 보는데 초점이 맞춰져 있다. 하지만 테스트 시나리오는 테스트 수행의 효율성을 고려할 필요가 있다. 이 연구에서는 각 함수들을 테스트하는데 걸리는 시간과 사용자 입력으로 인해 발생하는 대기 시간을 고려하여 최적화된 테스트 시나리오를 추출하는 기법을 제안한다. 테스트 시나리오를 추출하기 위해 상태 머신 다이어그램과 테스트 케이스를 바탕으로 그래프 형태의 테스트 모델을 생성한다. 테스트 모델에는 테스트 수행 시간과 사용자 입력에 대한 정보가 포함되어 있다. 최적화된 테스트 시나리오는 테스트 모델을 기반으로 수정된 최단거리 알고리즘을 이용하여 추출한다. 제안하는 테스트 시나리오 작성 기법을 이용하면 테스트 수행 시간을 줄일 수 있고, 테스트 자동화를 향상시킬 수 있다.

Abstract ▼ AI-Helper

Conformance testing for embedded software is to check whether software was correctly implemented according to software specification or not. In conformance testing, test scenarios must be extracted to cover every test cases of software. In a general way, test scenarios simply focus on testing all functions at least one time. But, test scenarios are necessary to consider efficiency of test execution. In this paper, we propose a test scenario extraction method by considering function's execution time and waiting time for user interaction. A test model is a graph model which is generated from state machine diagram and test cases in software specification. The test model is augmented by describing test execution time and user interaction information. Based on the test model, test scenarios are extracted by a modified Dijkstra's algorithm. Our test scenario approach can reduce testing time and improve test automation.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

또한 알고리즘을 적용하는 모델이 외부에 보여지는 기능들만을 표현한 프로토콜 상태 머신 형태로 되어있다. 이 연구에서 제안하는 알고리즘은 외부에 보여지는 API 함수의 수행시간뿐만 아니라 API 함수를 테스트 하기 위해 내부의 상태를 진행하는 부분에서도 수행시간에 대한 가중치를 고려하여 실제 테스트 시간을 줄이고자 하였다.
이 연구에서는 모든 테스트 케이스를 고려하되, 테스트 케이스를 수행하는 경로를 최적화하는 기법을 제안한다. 소프트웨어의 행위에 대한 명세와 생성된 테스트 케이스를 바탕으로 적합성 테스트를 수행하기 위한 테스트 시나리오를 추출한다.
임베디드 소프트웨어는 타켓 시스템에 놓여지기 때문에 효율적인 테스트를 수행하기 위해서는 타켓 시스템에는 최소의 연계 모듈만 두고 호스트 환경에서 원격으로 테스트를 진행한다. 이 연구에서는 이러한 테스팅 환경을 가정하고 호스트 환경에서 원격으로 어떠한 순서로 타켓 시스템을 수행할 지를 나타내는 테스트 시나리오를 효율적으로 생성하는 것을 목표로 삼고 있다. 테스트 시나리오 생성에 관한 연구는 크게 시스템의 정형 명세 기반의 시나리오 생성 방법과 표준 API 기반 시나리오 생성 방법으로 나뉠 수 있다.
이 연구에서는 임베디드 소프트웨어의 적합성 테스트 수행 시에 테스트 수행시간과 사용자 입력을 고려하여 최적화된 테스트 시나리오를 추출하는 기법을 제안하였다. 기존의 적합성 테스트 시나리오는 실제 테스트 수행시간에 대해 고려하지 않고, 테스트 자동화를 저하시키는 사용자 입력에 대한 처리가 없어 테스트 수행의 효율을 떨어뜨린다.
위와 같이 정의된 TM은 상태 머신의 계층적, 복합적 표현을 평면적으로 표현한다. 이렇게 간단한 TM으로 변환된 상태 머신을 이용하여 테스트 시나리오를 추출하고자 한다. 테스트 모델을 생성하기 위해서는 몇 가지 과정이 필요하다.

제안 방법

소프트웨어의 행위를 표현한 상태 머신 다이어그램과 분류 트리 방법을 통해 생성된 테스트 케이스를 정형화된 그래프의 형태로 변환하여 테스트 모델을 생성한다. 그리고 테스트 수행의 효율을 높이기 위해 소프트웨어의 함수에 대한 수행시간과 사용자 입력으로 인해 발생하는 대기 시간을 고려하여 최적화된 테스트 시나리오를 추출한다.
변환 규칙은 (그림 3)의 상태 머신 변환 흐름도와 같이 진행된다. 먼저 복합상태들을 모두 검색하여 복합상태에 나타나있는 계층 구조를 평면구조로 변환한다. 그리고 변수에 의한 반복 부분이 나타나는 부분은 반복상태 변환을 통해 변수를 제거한다.
본 연구에서 제안하는 알고리즘은 내부 상태에서 최단 경로를 찾아가기 때문에 (그림 12)에서 보이는 내부 상태 중에서 수행시간 가중치가 가장 작고, 사용자 입력 부분을 피하는 경로로 테스트 시나리오를 추출한다. 하지만 기존의 방법들은 내부 상태에 대해 고려하지 않기 때문에 최악의 경우, 수행시간이 가장 높고, 사용자 입력을 지나가는 경로로 테스트를 수행할 수도 있다.
본 장에서는 기존의 적합성 테스트 시나리오 추출 방법인 T-method, DS-method, UIO-method와 이 연구에서 제안한 수행시간 및 사용자 입력을 고려한 테스트 시나리오 추출 방법을 비교한다. 기존의 FSM 모델을 이용한 테스트 시나리오 추출 방법들은 각 함수들의 수행시간을 고려하지 않고 있다.
상태 머신의 반복 상태 변환은 변수의 사용으로 인해 다중의 의미를 내포하는 상태들을 나열하여 단순 의미를 가진 상태로 변환하고자 한다. 반복 상태의 경계 조건에 따라 반복의 횟수가 결정된다.
이 연구에서는 모든 테스트 케이스를 고려하되, 테스트 케이스를 수행하는 경로를 최적화하는 기법을 제안한다. 소프트웨어의 행위에 대한 명세와 생성된 테스트 케이스를 바탕으로 적합성 테스트를 수행하기 위한 테스트 시나리오를 추출한다. 일반적으로 소프트웨어의 행위에 대한 명세는 표준 문서, 개발자가 작성한 소프트웨어 명세서에 기술되어 있으며, 주로 UML의 상태 머신 다이어그램[3]으로 표현된다.
그러므로 테스트 시나리오를 추출할 때 모든 간선을 포함하도록 해야 한다. 알고리즘을 적용하기 위해 각 테스트 케이스마다 가중치를 부여하였다.
SDL과 UML의 상태 머신 다이어그램이 이에 해당된다. 이 연구에서는 UML의 상태 머신 다이어그램으로 표현된 소프트웨어 행위를 분석하여 테스트 시나리오를 추출한다.
이 연구에서는 상태 머신 다이어그램으로 표현된 소프트웨어의 행위를 간단한 가중치 그래프의 형태로 변환한다. 변환된 그래프를 분석하여 테스트 케이스와 일치하는 부분을 검사한다.
그러나 상태 머신 다이어그램은 복합 구조, 계층 구조로 표현될 수 있기 때문에 상태 머신 다이어그램에서 테스트 시나리오를 추출하기는 쉽지 않고, 테스트 케이스와 동일한 부분을 찾아내어 매핑하기 힘들다. 이 연구에서는 소프트웨어의 행위를 나타내는 상태 머신 다이어그램을 간단한 그래프 형태의 테스트 모델로 변환하여 테스트 시나리오를 추출할 수 있도록 한다. 테스트 모델은 간단한 가중치 그래프의 형태로 다음과 같이 정의한다.
<표 2>와 같이 기존의 T-method, DS-method, UIO-method에서 테스트 시나리오를 추출할 때 최단 경로를 선택할 경우와 최장 경로를 선택할 때 테스트 수행시간은 차이를 보인다. 하지만 제안한 테스트 시나리오 추출 알고리즘을 이용하면 내부 상태에서 가중치가 최소가 되는 경로를 찾아 테스트 시나리오를 추출하기 때문에 어떤 상황에서도 수행시간 가중치가 최소가 되는 경로를 찾아 테스트 시나리오를 추출한다. 또한 기존의 방법들이 내부 상태에서 최단 경로로 진행하였다고 가정하더라도 제안하는 테스트 시나리오 추출 알고리즘은 불필요한 테스트 케이스의 반복을줄이고 최소한 한 번 이상 테스트 대상 함수를 수행하는 최단경로를 추출하기 때문에 실제 테스트 수행시간을 훨씬 줄일수 있다.
즉, 초기 상태인 한 정점에서 모든 테스트 케이스를 지나는 최단 거리의 경로들을 찾는 것이다. 한 정점에서 모든 정점으로 가는 최단 거리를 찾는 방법인 Dijkstra 알고리즘[12]을 변경하여 테스트 시나리오를 추출하는 알고리즘으로 이용한다. 테스트 시나리오를 추출하기 위해서 추가로 고려해야 할 사항은 다음과 같다.

대상 데이터

이와 다르게 적합성 테스트는 구현된 소프트웨어가 표준 또는 규격을 만족하는지 여부와 주변 다른 모듈들과의 적합성에 중점을 둔다. 적합성 테스트의 대상은 소프트웨어에서 외부로 제공되는 인터페이스이고, 오류 검출 테스트는 외부와 내부의 모든 함수에 대해 테스트를 수행한다.

성능/효과

하지만 제안한 테스트 시나리오 추출 알고리즘을 이용하면 내부 상태에서 가중치가 최소가 되는 경로를 찾아 테스트 시나리오를 추출하기 때문에 어떤 상황에서도 수행시간 가중치가 최소가 되는 경로를 찾아 테스트 시나리오를 추출한다. 또한 기존의 방법들이 내부 상태에서 최단 경로로 진행하였다고 가정하더라도 제안하는 테스트 시나리오 추출 알고리즘은 불필요한 테스트 케이스의 반복을줄이고 최소한 한 번 이상 테스트 대상 함수를 수행하는 최단경로를 추출하기 때문에 실제 테스트 수행시간을 훨씬 줄일수 있다. 그리고 테스트 대상이 아닌 사용자 입력을 피함으로써 테스트 수행시간을 줄이고 테스트 수행 시 자동화율을 높일 수 있다.
제안하는 테스트 시나리오 추출 기법을 이용하면 기존의 방법과는 달리 적합성 테스트 대상이 되는 외부 인터페이스와 내부 함수들의 수행시간을 고려하여 외부 인터페이스를 모두 포함하면서 수행시간이 가장 적게 걸리는 시나리오를 추출할 수 있다. 또한 테스트 자동화를 저하시키고 테스트 수행시간을 증가시키는 불필요한 사용자 입력을 피하여 테스트 시나리오를 추출함으로써 테스트 자동화를 향상시킬 수 있다. 그리고 테스트 케이스를 한 번 이상 수행하는 것에만 초점을 맞춘 기존의 방법과 달리 테스트 케이스의 입력이 되는 파라미터의 종류를 고려하여 테스트 시나리오를 추출할 수 있다.
본 연구에서 제안하는 알고리즘은 기본적으로 최단거리 경로를 선택하기 때문에 (그림 14)에서 나타나는 것처럼 불필요한 사용자 입력을 피하여 테스트 자동화를 향상시킬 수 있다. 또한 기존의 방법들이 내부 상태에서 최단 경로를 지나가더라도 제안하는 알고리즘을 이용하면 모든 테스트 케이스를 포함하는 최단 경로를 찾기 때문에 테스트 수행시간이 작은 테스트 시나리오를 추출할 수 있다.
제안하는 테스트 시나리오 추출 기법을 이용하면 기존의 방법과는 달리 적합성 테스트 대상이 되는 외부 인터페이스와 내부 함수들의 수행시간을 고려하여 외부 인터페이스를 모두 포함하면서 수행시간이 가장 적게 걸리는 시나리오를 추출할 수 있다. 또한 테스트 자동화를 저하시키고 테스트 수행시간을 증가시키는 불필요한 사용자 입력을 피하여 테스트 시나리오를 추출함으로써 테스트 자동화를 향상시킬 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	임베디드 소프트웨어의 적합성 테스트란?	임베디드 소프트웨어의 적합성 테스트는 소프트웨어의 기능이 명세를 따라 정확히 구현되었는지 검사하는 것이다. 적합성 테스트에서 테스트 시나리오는 소프트웨어의 전체 기능을 테스트할 수 있도록 추출되어야 한다.
	적합성 테스트에서 테스트 시나리오는 어떻게 추출되어야 하는가?	임베디드 소프트웨어의 적합성 테스트는 소프트웨어의 기능이 명세를 따라 정확히 구현되었는지 검사하는 것이다. 적합성 테스트에서 테스트 시나리오는 소프트웨어의 전체 기능을 테스트할 수 있도록 추출되어야 한다. 일반적으로 테스트 시나리오는 단순히 전체의 기능들을 한 번씩 테스트해 보는데 초점이 맞춰져 있다.
	상태 머신을 테스트 모델로 변환하기 위한 세 가지 규칙을 설명하시오.	변환 규칙은 (그림 3)의 상태 머신 변환 흐름도와 같이 진행된다. 먼저 복합상태들을 모두 검색하여 복합상태에 나타나있는 계층 구조를 평면구조로 변환한다. 그리고 변수에 의한 반복 부분이 나타나는 부분은 반복상태 변환을 통해 변수를 제거한다. 마지막으로 전이의 경계 조건, 이벤트, 액션 부분들을 분할하여 단순 평면 그래프로 변환한다. 이 절에서는 복합상태 변환, 반복상태 변환, 단순상태 변환 기법을 하나씩 설명한다.

참고문헌 (13)

Anders Hessel, Paul Pettersson, "A Global Algorithm for Model-Based Test Suite Generation," Electronic Notes in Theoretical Computer Science 190, pp.47-59, August, 2007.

상세보기
배현섭, 윤광식, 오승욱, "임베디드 소프트웨어 테스팅 이슈 및 현황," 정보과학회지, 제24권, 제8호, pp.40-45, 2006.

원문보기 상세보기
OMG, Unified Modeling Language : Superstructure, version 2.1.1, 2007.
Sanjai Rayadurgam, Mats P. E. Heimdahl, "Test-Sequence Generation from Formal Requirement Models," Proceedings of the 6th IEEE International Symposium of High Assurance Systems Engineering, pp.23-31, 2001.
R. Lai, "A survey of communication protocol testing," Journal of Systems and Software, Vol.62, pp.21-46, 2002.

상세보기
Wang Linzhang, et al., "Generating Test Cases from UML Activity Diagram based on Gray-Box Method," Proceedings of APSEC'04, pp.284-291, 2004.
P. G. Sapna, H. Mohanty, "Automated Scenario Generation Based on UML Activity Diagrams," Proceedings of Information Technology, pp.209-214, 2008.
Philip Samuel, Anju T. Joseph, "Test Sequence Generation from UML Sequence Diagrams," Proceedings of the 9th ACIS International Conference on Software Engineering, pp. 879-887, 2008.
R.E. Miller, S. Paul, "Generating minimal length test sequences for conformance testing of communication protocols," Proceedings of Tenth Annual Joint Conference of the IEEE Computer and Communications Societies, Vol.2, pp.970-979, April 1991.
Hasan Ural, Keqin Zhu, "Optimal Length Test Sequence Generation Using Distinguishing Sequences," IEEE/ACM Transactions on Networking, Vol.1, pp.358-371, June 1993.

상세보기
ISO/IEC 13210:1999(E), IEEE Std 2003, Information Technology - Requirements and Guidelines for Test Methods Specifications and Test Method Implementations for Measuring Conformance to POSIX Standards, 1999.
Richard E. Neapolitan, Kumarss Naimipour, Foundations of Algorithms Using C++ Pseudocode 3rd Edition, Jones and Bartlett Publishers, 2004.
Chul Kim, J. S. Song, "Test Sequence Generation Methods for Protocol Conformance Testing," Proceedings of Computer Software and Applications Conference 1994, pp. 169-174, November, 1994.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증