선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 과거 몇몇 연구들이 진행이 되었으나 그 실험 과정 및 내용이 상세하지 못하였으며 비교를 위해 적용된 방법들의 수 또한 제한적이었다. 본 논문에서는 잘 알려진 블랙 박스 테스팅 기법들을 실제 응용 시스템을 대상으로 실험적으로 평가하였다. 평가를 위해서 3가지 블랙 박스테스팅 기법에 각 3가지 조합 방법들을 적용하였다.
- 이에 대한 실험에서는 사진 파일이 보이는 상의 구도를 다양하게 설정하고 이들의 색에 대한 투명도를 변화시켜 테스트 입력 값으로 설정하였다. 이와 같이 성격이 다른 2가지 응용 프로그램을 사용하여 다양한 종류의 결함들에 대해서 여러 블랙 박스 테스팅 방법들의 결함검출 능력을 실험적으로 비교하고자 하였다. 그리고 이 실험에서는 시스템이 비정상 종료되거나 기대한 것과 테스트 결과가 다르게 나타날 경우에는 결함으로 간주하고 발견되는 결함 종류의 수를 비교하였다.
제안 방법
- 2.1 절에서 소개된 테스팅 기법으로 생성된 테스트 케이스들 가운데 우선적으로 적용할 테스트 케이스들을 선별하는 방법들을 소개한다.
- 이와 같이 성격이 다른 2가지 응용 프로그램을 사용하여 다양한 종류의 결함들에 대해서 여러 블랙 박스 테스팅 방법들의 결함검출 능력을 실험적으로 비교하고자 하였다. 그리고 이 실험에서는 시스템이 비정상 종료되거나 기대한 것과 테스트 결과가 다르게 나타날 경우에는 결함으로 간주하고 발견되는 결함 종류의 수를 비교하였다.
- 본 실험에서는 사용자가 등록하게 되는 입력 파일들의 메타 데이터, 파일 이름의 길이 및 파일의 상태를 입력 데이터로 사용하였다. 그리고 이들 입력 데이터의 내용을 일반 정상적인 값과 자체 결함이 포함된 값으로 구성하였다. 그리고 이 두 가지 종류의 입력 데이터에 대해서 시스템이 기대와는 다르게 비정상 동작하게 될 경우 시스템 코드 내부에 결함이 있다고 판단하였다.
- 일반화할 수는 없을 것이다. 논문 내용의 제약으로 테스트기법을 올바르게 적용 하였는가에 대한 구체적인 설명이 부족하였고 발견된 결함의 종류도 테스터가 임의적으로 판단하여 분류하였다. 또한 테스트를 위한 입력 변수의 종류를 특별한 기준이 없이 테스터가 주관적인 판단으로 선택하였다.
- 첫 번째 경우에는 입력 데이터 값을 무작위로 설정하여 적용하였다. 두 번째 경우에서는 입력 값을 무작위로 선정하여 적용하고 만일 Fail로 되었을 경우에는 오류를 발생시키는 부분을 바로 잡고 다음 입력 값을 적용하였다. 마지막 세 번째 방법에서는 bottom-up 방식으로 가장 하위 모듈에 대해서 테스트를 진행하고 모듈 간의 integration에 대해서 테스트를 진행하면서 최종적으로 전체 시스템을 대상으로 테스트를 진행하였다.
- 그리고 메타 데이터 정보를 기반으로 사용자에게 다양한 기준에 의한 검색 기능을 제공한다. 또한 컨텐츠의 내용을 분석하여 음악 파일들을 무드(Mood) 별 정렬하고 사진 파일들을 구도 별 정렬하여 보여준다.
- 두 번째 경우에서는 입력 값을 무작위로 선정하여 적용하고 만일 Fail로 되었을 경우에는 오류를 발생시키는 부분을 바로 잡고 다음 입력 값을 적용하였다. 마지막 세 번째 방법에서는 bottom-up 방식으로 가장 하위 모듈에 대해서 테스트를 진행하고 모듈 간의 integration에 대해서 테스트를 진행하면서 최종적으로 전체 시스템을 대상으로 테스트를 진행하였다. 이 논문은 테스트 진행 방법상의 효율성을 비교하였으며 본 논문에서 설명하는 블랙 박스 테스팅 기법들 간의 효율성 비교와는 차이가 있다.
- 이 방법을 적용하면 생성해야 하는 테스트 케이스들의 수가 엄청나게 많아질 수 있기에 실제 상황에서는 가장 비효율적인 방법으로 분류된다. 본 논문에서는 실험적 비교를 위해서 Cartesian product[3]^ 생성된 테스트 케이스들 가운데 pair-wise combination으로 생성된 경우와 같은 수의 테스트 케이스를 무작위로 선정한다.
- 그리고 이 두 가지 종류의 입력 데이터에 대해서 시스템이 기대와는 다르게 비정상 동작하게 될 경우 시스템 코드 내부에 결함이 있다고 판단하였다. 이를 테스트 하기 위해서 테스트 입력 파라미터들을 메타 데이터, 파일 이름의 길이 및 파일의 상태를 나타내는 항목들로 설정하였다. 그리고 이들에 대한값은 메타 데이터의 상태 혹은 수치적인 값으로 설정하였다.
- 다른 하나는 사진 파일이 나타내는 상의 구도를 자동적으로 분석하여 구도 별 분류를 하는 프로그램이다. 이에 대한 실험에서는 사진 파일이 보이는 상의 구도를 다양하게 설정하고 이들의 색에 대한 투명도를 변화시켜 테스트 입력 값으로 설정하였다. 이와 같이 성격이 다른 2가지 응용 프로그램을 사용하여 다양한 종류의 결함들에 대해서 여러 블랙 박스 테스팅 방법들의 결함검출 능력을 실험적으로 비교하고자 하였다.
- 하나는 음악 파일들의 메타 데이터 정보들을 관리하여 사용자에게 검색의 다양성을 제시하는 프로그램이다. 이에 대한 실험에서는 음악 파일 내부에 들어가는 메타 데이터들의 종류와 그 값들을 다양하게 구성하고 이들을 테스트 입력 값으로 사용하여 시스템에 어떠한 고장이 발생하는가를 관찰하였다. 다른 하나는 사진 파일이 나타내는 상의 구도를 자동적으로 분석하여 구도 별 분류를 하는 프로그램이다.
- 인위적으로 defect를 삽입한 시스템을 대상으로 세가지 테스트 기법을 적용하였다. 첫 번째 경우에는 입력 데이터 값을 무작위로 설정하여 적용하였다.
- 이때 applicatione 사진 파일의 내용을 분석하여 이들을 각각의 구도에 맞게 분류한다. 테스터는 구도 별로 적절하게 사진들이 배치되었는지를 확인한다. 만일 적절하게 배치되었으면 결과를 ' PASS' 로 처리한다.
- 본 논문에서는 잘 알려진 블랙 박스 테스팅 기법들을 실제 응용 시스템을 대상으로 실험적으로 평가하였다. 평가를 위해서 3가지 블랙 박스테스팅 기법에 각 3가지 조합 방법들을 적용하였다. 적용할 응용 프로그램은 모두 디지털 텔레비전에 탑재되는 2 가지 프로그램이다.
- 과정은 다음과 같다. 프로그램의 요구사항을 분석하고 입력할 mp3음악 파일의 특성 가운데 프로그램에 영향을 줄 수 있는 다섯 개의 입력 파라미터들을 선택하였다. 표1에서 각각의 열들 가운데 ' FileNameLeng, 는 입력 파일 이름의 길이를 나타낸다.
대상 데이터
- 또한 메타 정보 외에 mp3 음악 파일 이름의 길이가 비정상적으로 길거나 파일의 내용이 비정상적일 경우에도 결함으로 이어질 가능성을 가지게 된다. 본 실험에서는 사용자가 등록하게 되는 입력 파일들의 메타 데이터, 파일 이름의 길이 및 파일의 상태를 입력 데이터로 사용하였다. 그리고 이들 입력 데이터의 내용을 일반 정상적인 값과 자체 결함이 포함된 값으로 구성하였다.
- 실험에 적용할 프로그램은 사용자가 방대한 양의 컨텐츠를저장하고 이들을 손쉽게 찾을 수 있는 C 티 Consiim 아' 티ect「onics, 소비자 전자 제품) 기기를 위한 DCM(Digital Contents Management) 시스템[6]이며 두 개의 프로그램으로 구성되어 있다. 각각의 Applicatione 다량의 사진 및 음악 파일들을 저장하고 이들이 가지는 메타 데이터 정보들을 별도의 데이터 베이스로 관리한다.
데이터처리
- Partition testing고!' Random Testing을 적용하여 결함 검출능력을 실험적으로 비교하였다. 실험 결과에서 주목할 만한 차이가 없었으나 비용을 고려한다면 오히려 Random Testing이 효과적이라고 설명한다.
이론/모형
- 이에 의해서 한 쌍의 입력 파라미터에 대하여 이 두 파라미터가 취할 수 있는 유효환 값들의 모든 조합이 최소 하나의 테스트 케이스에는 포함되도록 한다. 본 논문에서는 all-pai「s라는 도구를 사용하여 Test Suite를 생성한다.
- ' NORMAL' 은 정상적인 상태를 의미하며 ' FRAGILE' 은 바이너리 코드가 비정상적으로 깨져있음을 의미한다. 이러한 설계를 반영하여 본 논문에서는 세 개의조합 방법들인 Pair-wise Combination[4] [8], String Analysis Combination[5] 그리고 Weak Analysis Combination[5] 을 적용할 수 있었다. 표2는 special value analysis와 pair-wise combination[4][8]0ll 의해서 생성된 Test Case들 및 테스트 결과를 보인다.
성능/효과
- 실험적으로 비교하였다. 실험 결과에서 주목할 만한 차이가 없었으나 비용을 고려한다면 오히려 Random Testing이 효과적이라고 설명한다. 결과의 신뢰성을 높이기 위해서 동일한 실험을 1,000번 나아가 2,000번 수행하였다.
- 또한 테스트를 위한 입력 변수의 종류를 특별한 기준이 없이 테스터가 주관적인 판단으로 선택하였다. 이러한 제약을 감안하고 boundary value analysis 와 pair-wise combination이 상대적으로 효과적이었음을 보여주었다. 향후 이러한 실험들이 계속적으로 수행되고 연구된다면 테스팅 방법들 간의 결함 검출 효율성을 객관적으로 비교할 수 있을 것이다.
- 경우 그림6, 7와 같았다. 전체적으로 boundary value analysis 와 pair-wise combination 을 적용하였을 경우에 defect type의 검출 비율이 가장 크게 나타났다. 그러나 항상 그러한 것은 아니었다.
후속연구
- 크게 다음과 같이 두 가지를 고려한다. 첫째, 테스트할 함수의 입력 파라미터들에 어떠한 값들을 테스트 데이터로 사용할 것인가? 둘째, 각 파라미터 별 입력 값들을 어떠한 기준에 의해서 조합할 것인가? 전자의 경우 크게는 입력 가능한 도메인에서 무작위로 값을 선정하는 Random Testing 방법과 Domain 을 S니b—domain으로 나누고 각 S니b—domain 내에서 어느 대표 값을 입력 값으로 정하는 Partitioning Testing방법이 있다[刀. 입력 값들을 조합하는 방법에는 모든 가능한 조합을 적용하는 Strong analysis방법, Default 테스팅 방법 그리고 Pair-wise Combination방법이 있다[5].
- 이러한 제약을 감안하고 boundary value analysis 와 pair-wise combination이 상대적으로 효과적이었음을 보여주었다. 향후 이러한 실험들이 계속적으로 수행되고 연구된다면 테스팅 방법들 간의 결함 검출 효율성을 객관적으로 비교할 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.