선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 인공신경망과 관련된 선행연구에서 사용한 기법을 기반으로 문장들 간의 관계를 추가적으로 고려하는 기법을 제안한다. 특정 문장이 항상 지나는 테스트케이스들 중 다른 문장들이 지나는 테스트케이스의 비율을 통해 문장들 간의 관계를 나타낸다.
제안 방법
- Formula 1을 사용하여 실패한 테스트케이스 커버리지 정보에서 문장들 간의 관계를 계산한다(Table 2).
- 기존 인공신경망 기반의 결함 위치 식별 기법을 보완하기 위해 프로그램 커버리지 정보와 문장들 간의 관계 정보를 학습한다. 그다음으로 테스트 데이터를 사용하여 프로그램을 이루는 각 문장들의 의심도를 구한다.
- 결함이 없는 원본 코드 파일을 기준으로 수정된 문장을 결함이라고 한다. 두 개의 결함 중 가장 빨리 찾은 결함의 순위가 아닌 두 결함 모두를 찾았을 때의 의심도 순위를 비교한다.
- 제안 기법의 성능을 확인하기 위하여 일반적으로 사용되고 있는 Tarantula 기법과 비교한다. 또한 제안 기법이 BPNN 기반 기법을 확장한 것이므로 BPNN 기반 기법과도 비교한다.
- 위의 두 연구 모두 다중 결함에 대해 다루고 있지만, 본문 내용에서 그 비중은 크지 않다. 또한, 프로그램 커버리지 정보에서 각 문장이 갖는 규칙만을 독립적으로 사용하여 각 문장의 의심도를 계산한다. 본 논문에서는 문장들의 관계를 추가적으로 참고한다.
- Table 1에서 실패한 테스트케이스 정보만을 가지고 각 문장들 간의 관계를 구한다. 베이지안 확률을 이용하여 Sn이 항상 지나는 테스트케이스 내에서 다른 문장들이 지나는 확률을 계산한다. P(a)를 a에 대한 확률, N(b)를 b의 개수라고 하면, Sn과 다른 문장 Sm의관계를 계산하는 식은 다음과 같다.
- 본 논문에서 새롭게 제안하는 기법은 기계학습 기반 기법으로 분류되며, 역전파(Back-Propagation, BP) 신경망과 베이지안 확률을 적용한다.
- 본 논문에서 제안하는 기법은 인공신경망과 관련된 선행연구에서 사용한 기법을 기반으로 디자인한다.
- 본 논문에서는 printtokens2 프로그램만을 사용하여 실험을 진행하였다. 다른 프로그램에서도 유사한 결과를 얻을 수 있는지 확인할 필요가 있다.
- 또한, 프로그램 커버리지 정보에서 각 문장이 갖는 규칙만을 독립적으로 사용하여 각 문장의 의심도를 계산한다. 본 논문에서는 문장들의 관계를 추가적으로 참고한다. 인공신경망 내에서 문장들의 관계에 따라 의심도를 결정하는 웨이트를 조정하여 정확도를 향상시킨다.
- 버전 조합 {6, 10}은 모든 테스트케이스가 실패하며, 커버리지 정보 역시 대부분의 문장이 테스트케이스를 전혀 지나지 않는 무의미한 정보이기 때문에 실험에서 제외한다. 즉, 20가지의 다중 결함 버전 중 총 16개의 다중 결함 버전으로 실험을 진행한다.
대상 데이터
- 선행 연구에서와 마찬가지로 가상의 테스트 데이터인 직교행렬(orthogonal matrix) 형태의 테스트 데이터를 사용한다(Table 3). 이를 통해 각 문장의 웨이트만을 고려하여 의심도를 계산한다.
데이터처리
- 제안 기법의 성능을 확인하기 위하여 일반적으로 사용되고 있는 Tarantula 기법과 비교한다. 또한 제안 기법이 BPNN 기반 기법을 확장한 것이므로 BPNN 기반 기법과도 비교한다.
이론/모형
- 특정 문장이 항상 지나는 테스트케이스들 중 다른 문장들이 지나는 테스트케이스의 비율을 통해 문장들 간의 관계를 나타낸다. 이 비율을 계산하기 위해 조건부 확률인 베이지안 확률을 사용한다. 문장들 간의 확률적 관계를 파악하여 의심도를 조정함으로써 다중 결함 위치 식별의 정확도를 향상시킨다.
- 특정 문장이 항상 지나는 테스트케이스들 중 나머지 다른 문장들이 지나는 테스트케이스의 비율을 계산하기 위해 베이지안 확률을 사용한다. control flow graph나 date flow graph와 같은 부가적인 정보 없이 단순한 계산을 통해 얻을 수 있는 문장들 간의 관계를 의미한다.
성능/효과
- 16개의 버전 조합 중 8개에서 제안 기법의 정확도가 약 39.8% 향상된다. 버전 조합 {5, 6}은 Tarantula Best-case와는 순위 하나 차이, Worst-case와는 차이가 없는 것을 감안하면, 총 9개의 버전 조합에서 제안 기법의 정확도가 Tarantula와 비슷하거나 향상된다.
- BPNN 기반 기법과 비교하였을 때, 16개의 버전 조합 중 9개에서 제안 기법의 정확도가 약 60.5% 향상된다. 정확도가 같은 경우를 포함하면, 총 10개의 버전 조합에서 제안 기법의 정확도는 BPNN 기반 기법과 같거나 향상된다.
- 이를 학습 데이터로 사용하면, 문장들의 관계에 따라 인공신경망 내에서 의심도를 결정하는 웨이트가 기존 기법과는 다르게 학습된다. 결과적으로 의심도의 값이 변하고, 이 차이가 다중 결함 위치 식별의 정확도를 향상시킨다.
- 기존 Tarantula에서는 공동 순위로 인해 구분하지 못했던 문장들의 의심도를 인공신경망을 사용함으로써 세분화할 수 있다. 그리고 두개의 결함을 모두 찾을 때까지 프로그래머가 확인해야 할 문장의 개수가 Tarantula와 BPNN에 비해 줄어들었다.
- 8% 향상된다. 버전 조합 {5, 6}은 Tarantula Best-case와는 순위 하나 차이, Worst-case와는 차이가 없는 것을 감안하면, 총 9개의 버전 조합에서 제안 기법의 정확도가 Tarantula와 비슷하거나 향상된다.
- 5% 향상된다. 정확도가 같은 경우를 포함하면, 총 10개의 버전 조합에서 제안 기법의 정확도는 BPNN 기반 기법과 같거나 향상된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.