선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 장에서는 세 가지 실험을 통해 기존의 테스트 기법들[16,17]과 비교하여 제안하는 기법의 효율성(effectiveness)을 검증하였다. 각 실험들의 목적은 SCRS의 입출력 연관관계 구조가 교집합 연관관계, 독립적 연관관계, 그리고 모든 연관관계 일 때 제안하는 기법이 축소된 테스트 케이스 집합을 생성하는지 검증하고, 각 입출력 연관관계 구조가 제안하는 기법에 어떠한 영향을 미치는지를 평가하는 것이다. 제안한 축소된 테스트 케이스 생성 기법의 효율성을 검증하기 위해 축소된 테스트 케이스를 생성 시 시간 복잡도를 계산하고, 다음과 같이 전체 테스트 케이스 축소율 , Rtc를 계산하였다.
- 본 논문에서는 소프트웨어 컴포넌트 기반 로봇 시스템 테스트 시 소비되는 시간 및 비용을 감소시키고자 테스트 케이스를 자동으로 생성하는 기법을 제안하였다.
- 본 논문에서는 소프트웨어 컴포넌트 기반 시스템을 위한 입출력 연관관계 기반 적응형 조합 테스팅 기법을 제안한다. 제안하는 기법은 테스트 관점에서 SCRS의 입출력 연관 관계 구조를 정의하고, SCRS의 각 컴포넌트의 내부 입출력 연관관계와 컴포넌트들 간 입출력 연관관계를 기반으로 시스템의 입출력 연관관계 집합을 생성하는 방법을 제안한다.
가설 설정
- 그리고 SCRS의 입출력 연관관계 구조에 따라 세 가지의 조합 기법들을 통해 적응적으로 테스트 데이터를 조합하여 테스트 케이스를 생성한다. 본 논문은 시스템을 구성하는 단위 컴포넌트들간의 입출력 연관관계는 사전에 주어지고, 테스트 대상 시스템의 동작은 결정론적(deterministic)이라고 가정한다.
제안 방법
- 그렇지 않고 집합 R에 속한연관관계가 서로 독립적이라면 본 논문에서 제안하는 Independent Union 기법을 통해 테스트 데이터를 조합하고, 집합 R에 속한연관관계들이 서로 교집합에 존재한다면 본 논문에서 제안하는 HybridOrder기법을 통해 테스트 데이터를 조합하여 테스트 케이스를 생성한다.
- 제안하는 기법은 테스트 관점에서 SCRS의 입출력 연관 관계 구조를 정의하고, SCRS의 각 컴포넌트의 내부 입출력 연관관계와 컴포넌트들 간 입출력 연관관계를 기반으로 시스템의 입출력 연관관계 집합을 생성하는 방법을 제안한다. 그리고 SCRS의 입출력 연관관계 구조에 따라 세 가지의 조합 기법들을 통해 적응적으로 테스트 데이터를 조합하여 테스트 케이스를 생성한다. 본 논문은 시스템을 구성하는 단위 컴포넌트들간의 입출력 연관관계는 사전에 주어지고, 테스트 대상 시스템의 동작은 결정론적(deterministic)이라고 가정한다.
- 제안하는 기법은 테스트 관점에서 소프트웨어 컴포넌트 기반 로봇 시스템을 정의하고, 세 가지 타입의 시스템 입출력 연관관계 구조, 즉 독립적 연관관계, 모든 연관관계 교집합 연관관계를 정의하였다. 그리고 시스템의 입출력 연관관계 정보를 기반으로 시스템의 입력 연관관계 집합을 생성하고, 시스템의 입출력 연관관계 구조에 따라 각 입력 파라미터의 테스트 데이터들을 적응적(adaptive)으로 조합하여 테스트 케이스를 생성하였다. 제안한 기법의 효율성을 검증하기 위해 세 가지 타입의 입출력 연관관계 구조를 가진 시스템들에 대해 전체 테스트 케이스 축소율과 시간 복잡도를 계산하여 제안한 기법의 우수함을 보였다.
- 그리고 전체 테스트 케이스 축소율 Rtc를 측정하고자 먼저 각 외부 입력 파라미터의 테스트 데이터를 모두 조합(All combination)하여 다음과 같이 128개로 구성된 전체 테스트 케이스 집합을 생성하였다.
- 그리고 전체 테스트 케이스 축소율 Rtc를 측정하고자 먼저 각 외부 입력 파라미터의 테스트 데이터를 모두 조합(All combination)하여 다음과 같이 13824개로 구성된 전체 테스트 케이스 집합을 생성하였다.
- 그리고 테스트 명세 정보를 이용하여 각 외부 입력 파라미터마다 제안한 확장된 명세기반 테스트 데이터 생성 기법을 통해 테스트 데이터를 생성하였으며, 표 2는 SCRS의 각 외부 입력 파라미터별 테스트 명세 정보와 생성된 테스트 데이터 집합을 나타낸다.
- 그리고 테스트 명세 정보를 이용하여 각 외부 입력 파라미터마다 제안한 확장된 명세기반 테스트 데이터 생성 기법을 통해 테스트 데이터를 생성하였으며. 표 3은 SCRS의 각 외부 입력 파라미터별 테스트 명세 정보와 생성된 테스트 데이터 집합을 나타낸다.
- 먼저 SCRS에 대한입출력 연관관계 그래프 (IORG: Input/Output Relationship Graph)를 생성하고, 명세 기반 테스트 기법들을 이용하여 SCRS의 각 외부 파라미터마다 테 스트 데이터를 생성하여 테스트 데이터를 포함하는 외부 입력들의 집합 F를 생성하고, IORG를 이용하여 입력들 간의 연관관계 집합 R을 생성한다. 그런 다음 연관관계 집합 R의 크기가 1이라면 F에속한 모든 외부 입력들을 모두 조합하여 테스트 케이스를 생성한다.
- 입력으로 테스트 데이터 집합을 포함하는 외부 입력 파라미터들의 집합 F와 연관관계 집합 R를 가지며, 출력으로 축소된 테스트 케이스 집합(#)를 가진다. 본 기법은 독립된 연관관계별로 테스트 데이터를 조합(Tidt) 하는 단계(line 1-14), 독립된 연관관계에 포함되어 있지 않은 입력 파라미터별로 테스트 데이터를 조합(#) 하는 단계(line 15-26), 마지막으로 #에 Tidt를 합하는 단계(line 27-32)로 이루어져 있다.
- 입력으로 테스트 데이터 집합을 포함하는 외부 입력 파라미터들의 집합 F 와 독립적인 연관관계 집합 R를 가지며, 출력으로 테스트 케이스 집합 Tidt를 가진다. 본 기법은 먼저 Tidt를 초기화 하고 (line 1), R의 각 연관관계 r마다 여기에 속한외부 입력 파라미터들만의 테스트 데이터들을 서로 조합하여 테스트 케이스 집합을 생성한다(line 2-10). 좀 더 상세히 설명하면 연관관계 , r에 속한 외부 입력 파라미터들의 테스트 데이터 조합 수를 계산하여 size에 저장한다(line 3).
- 본 논문에서 제안한 기법의 효율성을 평가하고자 표 4에서 보는 바와 같이 각 실험마다 전체 테스트 케이스 축소율 Rtc과 시간 복잡도를 측정하였다
- 본 장에서는 세 가지 실험을 통해 기존의 테스트 기법들[16,17]과 비교하여 제안하는 기법의 효율성(effectiveness)을 검증하였다. 각 실험들의 목적은 SCRS의 입출력 연관관계 구조가 교집합 연관관계, 독립적 연관관계, 그리고 모든 연관관계 일 때 제안하는 기법이 축소된 테스트 케이스 집합을 생성하는지 검증하고, 각 입출력 연관관계 구조가 제안하는 기법에 어떠한 영향을 미치는지를 평가하는 것이다.
- 실험 1에서는 SCRS의 외부 입출력의 연관관계가 서로 교집합 관계를 가질 때 제안하는 기법들이 효율적으로 축소된 테스트 케이스 집합을 생성하는지를 검증한다.
- 연관관계 집합 R의 연관관계들이 모두 독립된 연관관계라면 제안하는 Independent Union 기법을 통해 테스트 케이스를 생성한다. Independent Union기법은 서로 독립적인 연관관계 집합들을 서로 합하여 축소된 테스트 케이스 집합 (#)을 생성하는 기법으로 기존의 Union [15,16]과 달리 “don't care data”를 임의로 생성하여 합하지 않아 불필요한 테스트 케이스의 수를 줄인다.
- 이 때 각 연관관계에 포함되지 않은 외부 입력 파라미터에 대해서는 미리 랜덤하게 테스트 데이터를 추가한 후 합하여 20개의 축소된 테스트 케이스를 생성하였다.
- 제안하는 기법은 앞서 생성한 SCRS의 테스트 데이터를 포함하는 외부 입력들의 집합 F와 연관관계 집합 R을 이용하여, 집합 R의 구조에 따라 적응적으로 집합 F의 입력들을 조합함으로써 테스트 케이스를 생성한다.
- 본 논문에서는 소프트웨어 컴포넌트 기반 시스템을 위한 입출력 연관관계 기반 적응형 조합 테스팅 기법을 제안한다. 제안하는 기법은 테스트 관점에서 SCRS의 입출력 연관 관계 구조를 정의하고, SCRS의 각 컴포넌트의 내부 입출력 연관관계와 컴포넌트들 간 입출력 연관관계를 기반으로 시스템의 입출력 연관관계 집합을 생성하는 방법을 제안한다. 그리고 SCRS의 입출력 연관관계 구조에 따라 세 가지의 조합 기법들을 통해 적응적으로 테스트 데이터를 조합하여 테스트 케이스를 생성한다.
- 제안하는 기법은 테스트 관점에서 소프트웨어 컴포넌트 기반 로봇 시스템을 정의하고, 세 가지 타입의 시스템 입출력 연관관계 구조, 즉 독립적 연관관계, 모든 연관관계 교집합 연관관계를 정의하였다. 그리고 시스템의 입출력 연관관계 정보를 기반으로 시스템의 입력 연관관계 집합을 생성하고, 시스템의 입출력 연관관계 구조에 따라 각 입력 파라미터의 테스트 데이터들을 적응적(adaptive)으로 조합하여 테스트 케이스를 생성하였다.
- 제안하는 입출력 연관관계 기반 적응형 조합 테스팅 기법은 그림 3에서 보는 바와 같이 입력으로 SCRS의 입출력 연관관계 정보 RP, SCRS의 외부 입력 집합 CCin, SCRS의 외부 출력 집합 CCout을 가지며 출력으로는 SCRS를 테스트하기 위한 축소된 테스트 케이스 집합 #을 생성한다.
- 각 실험들의 목적은 SCRS의 입출력 연관관계 구조가 교집합 연관관계, 독립적 연관관계, 그리고 모든 연관관계 일 때 제안하는 기법이 축소된 테스트 케이스 집합을 생성하는지 검증하고, 각 입출력 연관관계 구조가 제안하는 기법에 어떠한 영향을 미치는지를 평가하는 것이다. 제안한 축소된 테스트 케이스 생성 기법의 효율성을 검증하기 위해 축소된 테스트 케이스를 생성 시 시간 복잡도를 계산하고, 다음과 같이 전체 테스트 케이스 축소율 , Rtc를 계산하였다.
대상 데이터
- 실험 1에서 테스트 대상 SCRS는 그림 1의 예제 SCRS로서 4개의 단위 컴포넌트들로 구성되어 있다. 테스트 대상 SCRS의 외부 입력 파라미터 집합(CCin)과 외부 출력 파라 미터 집합(CCout)은 제 2장에 따라 다음과 같이 정의된다.
- 실험 2에서 테스트 대상 SCRS는 장애물을 피해 로봇을 이동시키면서 안내 메시지를 출력하는 시스템으로서 그림 7(a)에서 보는 바와 같이 4개의 단위 컴포넌트들, 거리 센서 컴포넌트(Distance sensor component, Cdsc), 모바일 컴포넌트(Mobile component, Cmc), 문장 생성 컴포넌트(Statement generation component, Csgc), 제어 컴포넌트(Control component, Ccc)로 구성 되어 있다.
- 그림 7. 실험 2의 테스트 대상 SCRS 구조.
- 실험 3에서 테스트 대상 SCRS는 네비게이션(Navigation)기능을 이용하여 로봇을 이동시키면서 안내 메시지를 출력하는 시스템으로서 그림 8(a)에서 보는 바와 같이 10개의 단위 컴포넌트들, 전역 맵 컴포넌트(Global map component, Cgmc), 경로 생성 컴포넌트(Path planning component, Cppc), 장애물 회피 컴포넌트(Obstacle avoidance component, Coac), 네비게이션 컴포넌트(Navigation component, Cnc), 위치인식 컴포넌트(Localization component, Clc), 범퍼 센서 컴포넌트 (Bumper sensor component, Cbsc), 사용자 감지 컴포넌트(User detection component, Cudc), 레이저 스캐너 컴포넌트(Laser scanner component, Clsc), 모바일 컴포넌트(Mobile component, Cmc), 문장 생성 컴포넌트(Statement generation component, Csgc)로 구성되어 있다.
- 그림 8. 실험 3의 테스트 대상 SCRS구조.
- Union 기법의 경우 연관관계 r1에 포함된 각 외부 입력 파라미터에 대한테스트 데이터를 서로 조합하여 256개의 테스트 케이스를 생성하고 연관관계 r2에 포함된 각 외부 입력 파라미터들을 서로 조합하여 54개의 테스트 케이스를 생성한다. 이 때 각 연관관계에 포함되지 않은 외부 입력 파라미터에 대해서는 미리 랜덤하게 테스트 데이터를 추가한 후 합하여 310개의 축소된 테스트 케이스를 생성한다. 제안한 기법과 ParaOrder 기법은 축소된 테스트 케이스 생성 시 각 연관관계에 포함되지 않은 외부 입력 파라미터에 대해 미리 처리를 하지 않고 각 테스트 데이터를 조합하기 때문에 256개의 축소된 테스트 케이스를 생성한다.
이론/모형
- 그리고 각 외부 입력 파라미터 마다 테스트 명세 정보를 이용하여 동등분할 기법[19]을 이용하여 테스트 데이터를 생성하였으며, 표 1은 SCRS의 각 외부 입력 파라미터별 테스트 명세 정보와 생성된 테스트 데이터 집합을 나타낸다.
- 연관관계 집합 R의 연관관계들이 교집합 연관관계라면 제안하는 HybridOrder기법을 통해 테스트 케이스를 생성한다. HybridOrder기법은 기존의 ParaOrder 기법[15]을 개선한것으로서 집합 R에 속한 연관관계 집합들이 모두 독립적이지 않을 경우, 즉 각 연관관계 집합 간에 서로 교집합이 존재할 경우 축소된 테스트 케이스 집합(#)을 생성하는 기법이다.
- 여기서 V는 그래프상의 정점으로써 모든 단위 컴포넌트들의 입출력 파라미터이며, E는 그래프상의 정점들 간의 에지(edge)로써 각 입출력 파라미터 들의 연관관계를 나타낸다. 입출력 연관관계 그래프는 [18] 에서 제안한 기법을 이용하여 생성한다. 그림 4는 그림 1의 예제 SCRS를 입출력 연관관계 그래프 생성 기법을 통해 생성한 IORG이다.
성능/효과
- 이럴 경우 각 기법은 전체 테스트 케이스 집합과 동일한테스트 케이스를 생성하게 되지만 시간 복잡도는 다름을 확인할 수 있었다. Union 기법과 제안한기법은 한번에 외부 입력 파라미터의 테스트 데이터를 조합하여 단순한 시간 복잡도를 가지지만, ParaOrder 기법은 각 외부 입력 파라미터를 하나씩 추가하면서 테스트 데이터를 조합하며, 매번 기존에 조합된 테스트 케이스를 검색함에 따라 시간 복잡도가 증가함을 확인하였다.
- 각 실험들의 결과를 통해 제안한 기법이 SCBS의 연관관계 구조가 다를지라도 Union 기법[16]에 비해 테스트 케이스 축소율이 우수하며, ParaOrder 기법[17]에 비해 시간 복잡도가 우수함을 증명하였다.
- 교집합 연관관계 구조를 가지는 실험 1의 테스트 케이스 축소율 결과, 128개로 구성된 전체 테스트 케이스 집합에 대해, Union 기법[16] 은 20개로 구성된 축소된 테스트 케이스 집합을 생성하여 84.37% 테스트 케이스 수를 감소 시켰으며, 제안한 기법과 ParaOrder 기법[17]은 8개의 축소된 테스트 케이스를 생성하여 93.75% 테스트 케이스 수를 감소 시켰다. Union 기법의 경우 r1, r2, r3, 각 연관관계에 포함된 외부 입력 파라미터에 대한 테스트 데이터를 서로 조합하여 각 각 4개씩 테스트 케이스를 생성하고, r4에 대해 8개의 테스트 케이스를 생성한다.
- 제안한 기법과 ParaOrder 기법은 축소된 테스트 케이스 생성 시 각 연관관계에 포함되지 않은 외부 입력 파라미터에 대해 미리 처리를 하지 않고 각 테스트 데이터를 조합하기 때문에 256개의 축소된 테스트 케이스를 생성한다. 그리고 축소된 테스트 케이스 생성을 위한 시간 복잡도 계산 결과, Union 기법과 제안한 기법은 연관관계 집합 개수에 따라 시간 복잡도가 계산되어 동일한 시간 복잡도를 가지며, ParaOrder 기법은 각 외부 입력 파라미터 개수에 따라 시간 복잡도가 계산되어 제안한 기법과 동일한 테스트 케이스 감소율을 보이지만 시간 복잡도는 증가함을 확인 할 수 있었다.
- 독립된 연관관계 구조를 가지는 실험 2의 테스트 케이스 축소율 결과, 13824개로 구성된 전체 테스트 케이스 집합에 대해, Union 기법[16]은 310개 구성된 축소된 테스트 케이스 집합을 생성하여 97.63% 테스트 케이스 수를 감소 시켰으며, 제안한 기법과 ParaOrder기법[17]은 256개의 축소된 테스트 케이스를 생성하여 테스트 케이스 수를 98.02% 감소 시켰다.
- 제안한기법과 ParaOrder기법은 축소된 테스트 케이스 생성 시 각 연관관계에 포함되지 않은 외부 입력 파라미터에 대해 미리 처리를 하지 않고 각 테스트 데이터를 조합하기 때문에 8개의 축소된 테스트 케이스를 생성한다 그리고 축소된 테스트 케이스 생성을 위한 시간 복잡도 계산 결과, Union 기법의 시간 복잡도는 연관관계 집합 개수에 따라 계산되어 단순하며, ParaOrder 기법은 각 외부 입력 파라미터들을 하나씩 추가함으로써 축소된 테스트 케이스를 생성하므로 시간 복잡도가 증가한다. 제안한 기법은 연관관계 중 r1, r2, r3와 교집합이 존재하지 않는 r4에 대한 조합을 먼저 생성하고 나머지 외부 입력 파라미터들을 하나씩 조합함에 따라 ParaOrder 기법에 비해 시간 복잡도가 간소화됨을 확인 할 수 있었다.
- 그리고 시스템의 입출력 연관관계 정보를 기반으로 시스템의 입력 연관관계 집합을 생성하고, 시스템의 입출력 연관관계 구조에 따라 각 입력 파라미터의 테스트 데이터들을 적응적(adaptive)으로 조합하여 테스트 케이스를 생성하였다. 제안한 기법의 효율성을 검증하기 위해 세 가지 타입의 입출력 연관관계 구조를 가진 시스템들에 대해 전체 테스트 케이스 축소율과 시간 복잡도를 계산하여 제안한 기법의 우수함을 보였다.
- 이 때 각 연관관계에 포함되지 않은 외부 입력 파라미터에 대해서는 미리 랜덤하게 테스트 데이터를 추가한 후 합하여 20개의 축소된 테스트 케이스를 생성하였다. 제안한기법과 ParaOrder기법은 축소된 테스트 케이스 생성 시 각 연관관계에 포함되지 않은 외부 입력 파라미터에 대해 미리 처리를 하지 않고 각 테스트 데이터를 조합하기 때문에 8개의 축소된 테스트 케이스를 생성한다 그리고 축소된 테스트 케이스 생성을 위한 시간 복잡도 계산 결과, Union 기법의 시간 복잡도는 연관관계 집합 개수에 따라 계산되어 단순하며, ParaOrder 기법은 각 외부 입력 파라미터들을 하나씩 추가함으로써 축소된 테스트 케이스를 생성하므로 시간 복잡도가 증가한다. 제안한 기법은 연관관계 중 r1, r2, r3와 교집합이 존재하지 않는 r4에 대한 조합을 먼저 생성하고 나머지 외부 입력 파라미터들을 하나씩 조합함에 따라 ParaOrder 기법에 비해 시간 복잡도가 간소화됨을 확인 할 수 있었다.
후속연구
- 향후 연구 과제로 비 결정론적(non-deterministic) 로봇 시스템에 대한 테스트 케이스와 예상 결과 값을 자동으로 생성하기 위한 연구를 진행할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.