[논문]소프트웨어 버그 정정에 SeqGAN 알고리즘을 적용

양근석; 이병정

doi:10.7472/jksii.2020.21.5.129

소프트웨어 버그 정정에 SeqGAN 알고리즘을 적용
Applying SeqGAN Algorithm to Software Bug Repair 원문보기

Journal of Internet Computing and Services = 인터넷정보학회논문지, v.21 no.5, 2020년, pp.129 - 137

양근석 (Dept. of Computer Science, University of Seoul) , 이병정 (Dept. of Computer Science, University of Seoul)

초록
AI-Helper

최근 소프트웨어가 다양한 분야에 적용되면서 소프트웨어 규모와 프로그램 코드의 복잡성이 증가하였다. 이에 따라 소프트웨어 버그의 존재가 불가피하게 발생하고, 소프트웨어 유지보수의 비용이 증가하고 있다. 오픈 소스 프로젝트에서는 개발자가 할당 받은 버그 리포트를 해결할 때 많은 디버깅 시간을 소요한다. 이러한 문제를 해결하기 위해 본 논문은 SeqGAN 알고리즘을 소프트웨어 버그 정정에 적용한다. 자세히는 SeqGAN 알고리즘을 활용하여 프로그램 소스코드를 학습한다. 학습과정에서 공개된 유사 소스코드도 같이 활용한다. 생성된 후보 패치에 대한 적합성을 평가 하기 위해 적합도 함수를 적용하고, 주어진 모든 테스트 케이스를 통과하면 소프트웨어 버그 정정이 되었다고 본다. 제안한 모델의 효율성을 평가하기 위해 베이스라인과 비교하였으며, 제안한 모델이 더 잘 정정하는 것을 보였다.

Abstract ▼ AI-Helper

Recently, software size and program code complexity have increased due to application to various fields of software. Accordingly, the existence of program bugs inevitably occurs, and the cost of software maintenance is increasing. In open source projects, developers spend a lot of debugging time when solving a bug report assigned. To solve this problem, in this paper, we apply SeqGAN algorithm to software bug repair. In detail, the SeqGAN model is trained based on the source code. Open similar source codes during the learning process are also used. To evaluate the suitability for the generated candidate patch, a fitness function is applied, and if all test cases are passed, software bug correction is considered successful. To evaluate the efficiency of the proposed model, it was compared with the baseline, and the proposed model showed better repair.

주제어

표/그림 (8)

그림 (그림 1) 프로그램 버그 정정 예시 (Figure 1) An Example of Program Bug Repair
표 (표 1) 관련 연구와의 정성적 비교 (Table 1) A Qualitative Comparison with Related Works
그림 (그림 2) 프로그램 버그 정정 도식도 (Figure 2) An Overview of Program Bug Repair
그림 (그림 3) 사용자 토큰 식별 예 (Figure 3) An Example of User Dictionary Identification
표 (표 2) 사용된 데이터 집합 (Table 2) Our Dataset
그림 (그림 4) 제안한 모델의 성능 (Figure 4) A Performance of Our Model
그림 (그림 5) 베이스라인과 성능 비교 (Figure 5) A Comparison Result with baseline
표 (표 3) 통계 검증 결과 (Table 3) A Result of Statistical Test

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 SeqGAN 알고리즘을 소프트웨어 버그 정정에 적용하여 프로그램 버그 정정 기법을 제안했다. 자세히는 소프트웨어 저장소로부터 소스코드를 추출하고, 키워드 검색으로 관련 프로그램 소스코드와 설명을 추출하였다.
연구[1]은 C언어 기반 구문오류 프로그램 정정 기법을 제안하였지만, 본 논문은 Java언어 기반 런타임 프로그램 정정 기법을 제안하였다. 해당 연구는 구문오류가 있는 프로그램 소스코드를 학습하여 구문오류를 적절하게 정정하고, C언어 컴파일러의 에러메시지를 줄이는 것에 중점을 두었다.
이 질문은 베이스라인과의 비교를 통해 제안한 기법이 프로그램 버그 정정에 적용될 수 있는가에 대해 살펴보는 질문이다. 추가적으로 제안한 방법과 베이스라인과의 유의미한 차이를 비교하기 위해 통계 검증[18, 19]도 진행한다.
이 질문은 베이스라인과의 비교하기 전에 제안한 방법이 어느 정도의 버그를 정정하는지 살펴보는 질문이다.
해당 연구는 구문오류가 있는 프로그램 소스코드를 학습하여 구문오류를 적절하게 정정하고, C언어 컴파일러의 에러메시지를 줄이는 것에 중점을 두었다. 하지만 본 연구는 생성된 패치에 대해 주어진 테스트 케이스를 실행하여 적합성을 평가하고 프로그램 정정이 적절하게 되었는지 판단한다. 또한 해당 연구는 컴파일 에러메시지 제거를 통해 프로그램 구문오류를 정정해서 비즈니스 로직과 원하는 결과에 대한 확인은 추가 검증이 필요하다.

가설 설정

연구질문 2: 제안한 프로그램 버그 정정 기법이 프로그램 버그 정정에 적용될 수 있는가?

제안 방법

[10]은 학습 모델에 의한 특징 추출 및 C언어 기반 프로그램 패치 생성을 한다. 그러나 본 논문에서는 SeqGAN 알고리즘과 강화 학습 기반 정책을 사용하여 Java 기반 프로그램 버그를 정정한다.
커밋 내역은 VCS (Version Control Systems)에서 확보한다. 그리고 올바른 패치를 찾기 위해 확률 분포를 학습한다.
생성된 후보 프로그램의 적합성을 평가하기 위해 주어진 테스트 케이스를 모두 통과하는 후보 패치에 대해 적절하게 패치 되었다고 본다. 따라서 적절한 후보 패치를 버기 프로그램에 적용하여 프로그램 버그 정정을 진행한다. 제안한 방법의 효율성을 평가하기 위해 유사 연구와 비교를 하였으며, 제안한 방법이 더 효율적임을 보였다.
추출한 소스코드를 딥러닝 알고리즘에 적용하기 위해 프로그램 변환과정을 포함한다. 변환된 프로그램 소스코드를 SeqGAN 모델에 학습을 진행한다. 의심스러운 버기 라인을 학습된 모델에 입력을 하면, 새로운 프로그램 후보 패치가 생성이 된다.
본 논문에서는 프로그램 버그 정정에서 SeqGAN 알고리즘을 활용하여 프로그램 버그 정정을 진행했다. 사용된 오픈 소스 프로젝트에서의 132개의 버그 중 30개의 버그를 정정하였으며, 베이스라인 보다 더 버그를 정정하였다. 통계 검증에서도 베이스라인 보다 유의미한 차이가 있음을 보였다.
그리고 버기 소스코드 라인을 학습된 모델에 입력으로 넣어 프로그램 후보 패치를 생성한다. 생성된 후보 패치의 유효성을 평가하기 위해 적합도 함수[3]를 적용하여 프로그램 패치가 적절하게 되었는지 판단한다. 제안한 모델의 성능을 평가 하기 위해 관련 연구와 비교를 진행하였고 제안한 방법이 더 정정하는 것을 보였다.
유전 프로그래밍에는 선택, 교차 변이 알고리즘을 포함한다. 유전 프로그래밍 기반으로 프로그램 후보 패치를 생성하고 주어진 테스트 케이스를 적용하여 적합한지 아닌지 판단한다.
이러한 문제를 해결하기 위해 본 논문에서는 딥러닝 알고리즘을 활용하여 프로그램 버그 정정을 진행한다. 자세히는 SeqGAN 알고리즘[1]을 활용하여 프로그램 소스코드를 학습한다.
DeepFix[2]는 C언어 기반 구문 오류 프로그램 버그 정정 과정을 진행한다. 입력된 소스코드 라인에 대해서 새로운 소스코드를 생성하고 구문 오류를 정정한다. kGenProg[3]은 Java 언어 기반 유전 프로그래밍 기법을 적용하여 프로그램 버그를 정정한다.
본 논문에서는 SeqGAN 알고리즘을 소프트웨어 버그 정정에 적용하여 프로그램 버그 정정 기법을 제안했다. 자세히는 소프트웨어 저장소로부터 소스코드를 추출하고, 키워드 검색으로 관련 프로그램 소스코드와 설명을 추출하였다. 추출한 소스코드에 대해서 프로그램 변환 과정을 진행한다.
추가적으로 본 논문에서는 사용된 Java 프로그램에 대한 정정된 소스코드와 관련 설명을 저장소[16]로부터 키워드 검색으로 추출한다. 사용한 데이터 셋과 추출한 데이터셋을 모두 이용하여 모델을 학습한다.
프로그램 소스코드는 다양한 텍스트로 구성이 되어 있으며, 본 논문에서는 해당 텍스트를 토큰으로 간주한다. 보통의 소스코드 구성은 Type, Keyword, Semicolon, Library Function을 포함하며, 그 이외의 토큰은 사용자 토큰으로써 식별된 순서대로 저장한다.
연구[1]은 C언어 기반 구문오류 프로그램 정정 기법을 제안하였지만, 본 논문은 Java언어 기반 런타임 프로그램 정정 기법을 제안하였다. 해당 연구는 구문오류가 있는 프로그램 소스코드를 학습하여 구문오류를 적절하게 정정하고, C언어 컴파일러의 에러메시지를 줄이는 것에 중점을 두었다. 하지만 본 연구는 생성된 패치에 대해 주어진 테스트 케이스를 실행하여 적합성을 평가하고 프로그램 정정이 적절하게 되었는지 판단한다.

대상 데이터

본 논문에서 사용한 CPU 규격은 Intel® Xeon® processor E5-1650 v3 3.50GHz 12Cores 이다.
연구 답변 #1: 총 132개의 버그에서 30개의 버그를 정정하였다.
프로그램 버그 정정에서 사용된 데이터 셋은 다음 표 2와 같다. 오픈 소스 프로젝트 Defect4J[15]의 데이터 셋을 사용한다.
SeqGAN 모델은 2가지 모델로 구성되어 있다. 첫 번째 모델은 생성 모델이다. 생성 모델은 RNN 모델에 프로그램 시퀀스를 입력 받고, Hidden Unit Activation 함수를 업데이트 한다.

데이터처리

먼저, 제안한 모델과 베이스라인간 정규 분포[20]를 계산한다. 정규 분포가 0.05보다 크면 t검증[18]을 진행하고 0.05보다 작으면 Wilcox검증[19]을 진행한다. 각 검증의 결과 (p-value)가 0.

이론/모형

• SeqGAN 알고리즘을 소프트웨어 버그 정정에 적용하여 프로그램 버그 정정을 진행하였다.
RNN에서 자주 발생하는 Vanishing Gradient Problem의 문제를 해결하기 위해 본 논문에서도 Long Short-Term Memory (LSTM)[13]을 사용한다. 식별 모델에서는 Convolutional Neural Network (CNN)[14]을 이용한다.
추출한 소스코드에 대해서 프로그램 변환 과정을 진행한다. SeqGAN 알고리즘을 이용하여 프로그램 소스코드에 대해 모델을 학습한다. 의심스러운 버기 라인을 학습 모델에 입력을 하여 새로운 프로그램 소스코드 시퀀스를 생성한다.
Yang et al.[1]은 SeqGAN 알고리즘을 활용하여 C언어 기반 구문오류 프로그램 버그 정정을 진행하였다. 그리고 연구[11, 12]에서 Java언어 기반 런타임 프로그램 버그 정정 기법을 제안하였다.
본 논문에서는 프로그램 버그 정정에서 SeqGAN 알고리즘을 활용하여 프로그램 버그 정정을 진행했다. 사용된 오픈 소스 프로젝트에서의 132개의 버그 중 30개의 버그를 정정하였으며, 베이스라인 보다 더 버그를 정정하였다.
생성된 프로그램 패치 후보에 대한 적합성을 평가 하기 위해 본 논문에서는 적합도 함수[3]를 이용하여 계산한다. 사용된 수식은 다음과 같다.
그 다음, CNN에서 Filter Size를 여러 개로 서로 다른 특징을 추출하면서, Max Over Time Pooling[1]을 시킨다. 성능을 향상하기 위해, Highway network[1]를 적용하고, Fully-Connected Layer[1]와 Sigmoid Activation 함수[1]를 이용한다. 그리고 Cross Entropy[1]를 사용하여 최적화를 진행하며, 입력된 프로그램 시퀀스가 정확한지 아닌지 판단한다.
RNN에서 자주 발생하는 Vanishing Gradient Problem의 문제를 해결하기 위해 본 논문에서도 Long Short-Term Memory (LSTM)[13]을 사용한다. 식별 모델에서는 Convolutional Neural Network (CNN)[14]을 이용한다. 시퀀스의 입력을 다음과 같이 진행한다.
이러한 문제를 해결하기 위해 본 논문에서는 딥러닝 알고리즘을 활용하여 프로그램 버그 정정을 진행한다. 자세히는 SeqGAN 알고리즘[1]을 활용하여 프로그램 소스코드를 학습한다. 학습과정에서 공개된 유사 소스코드도 같이 활용한다.
제안한 모델의 성능을 평가하기 위해 프로그램 버그 정정 과정에서 일반적으로 사용되는 적합도 함수를 이용하였다. 따라서 제안한 모델이 항상 좋은 결과를 보인다고 일반화 할 수는 없으며, 적합도 함수 뿐만 아니라 다양한 평가 척도를 이용하여 모델을 검증할 예정이다.
프로그램 버그 정정 모델을 학습하기 위해 본 논문에서는 오픈 소스 프로젝트를 사용하였다. 비즈니스 프로젝트 적용 가능 여부는 추가 연구가 필요하며, 향후 다양한 오픈 소스 프로젝트를 사용하여 모델을 검증할 예정이다.

성능/효과

• 제안한 모델의 효율성을 평가하기 위해 유사 연구와 비교 하였으며, 제안한 방법이 더 효율적임을 보였다.
05보다 크면 설정한 대립가설을 승인한다. 따라서 제안한 방법과 베이스라인간 유의미한 차이가 없음을 의미한다.
05보다 작으므로 귀무가설을 기각하고, 대립가설을 승인한다. 따라서 제안한 방법이 kGenProg 보다 프로그램 버그 정정에서 유의미한 차이를 보인다.
통계 검증에서도 베이스라인 보다 유의미한 차이가 있음을 보였다. 성능에 대해서는 전체 소스코드만을 이용하여 모델을 학습하는 베이스라인 SeqGAN 보다 공개된 유사 소스코드를 활용하는 것이 프로그램 버그 정정 성능을 향상하였다.
따라서 적절한 후보 패치를 버기 프로그램에 적용하여 프로그램 버그 정정을 진행한다. 제안한 방법의 효율성을 평가하기 위해 유사 연구와 비교를 하였으며, 제안한 방법이 더 효율적임을 보였다. 추가적으로 통계 검증을 통하여 제안한 모델과 베이스라인간의 유의미한 차이를 보였다.
제안한 방법의 효율성을 평가하기 위해 유사 연구와 비교를 하였으며, 제안한 방법이 더 효율적임을 보였다. 추가적으로 통계 검증을 통하여 제안한 모델과 베이스라인간의 유의미한 차이를 보였다. 향후 다양한 딥러닝 알고리즘을 소프트웨어 버그 정정에 적용할 예정이며, 프로그램 정정 모델을 더욱 구체화 할 예정이다.
연구[11]는 Java 언어 기반 런타임 프로그램 정정 기법을 진행하기 위한 사전 방법론적 접근을 하였고 연구[12]에서 사례 연구를 통해 검증하였지만, 본 논문은 모델 학습과정에서 공개된 유사 소스코드 활용이 프로그램 정정에 도움을 주는 것을 확인하였다. 추가적으로 통계적 검증을 통하여 제안한 방법과 베이스라인간 프로그램 버그 정정에서 유의미한 차이를 보였다.
프로그램 후보 패치의 적합성을 평가하기 위해 사용된 적합도 함수 기본 개념은 주어진 테스트 케이스를 모두 통과하면 적합하다고 본다. 하지만 모든 테스트 케이스를 통과하였다고 프로그램 버그가 정확하게 정정되었다고 일반화 할 수는 없다.
또한 해당 연구는 컴파일 에러메시지 제거를 통해 프로그램 구문오류를 정정해서 비즈니스 로직과 원하는 결과에 대한 확인은 추가 검증이 필요하다. 하지만 본 논문은 사용자로부터 버그 프로그램과 테스트 케이스를 입력 받으면 크고/작은 버그를 자동 정정하여 개발자의 개발적 생산성을 향상하고, 소프트웨어 유지보수의 비용을 줄일 수 있는 특징을 갖고 있다.
의심스러운 버기 라인을 학습된 모델에 입력을 하면, 새로운 프로그램 후보 패치가 생성이 된다. 후보 패치의 적합성을 평가하기 위해 적합도 함수를 적용하고, 주어진 테스트 케이스를 모두 통과하면 해당 후보 패치를 적용하여 프로그램 버그 정정이 성공적으로 되었다고 본다.

후속연구

제안한 모델의 성능을 평가하기 위해 프로그램 버그 정정 과정에서 일반적으로 사용되는 적합도 함수를 이용하였다. 따라서 제안한 모델이 항상 좋은 결과를 보인다고 일반화 할 수는 없으며, 적합도 함수 뿐만 아니라 다양한 평가 척도를 이용하여 모델을 검증할 예정이다.
하지만 본 연구는 생성된 패치에 대해 주어진 테스트 케이스를 실행하여 적합성을 평가하고 프로그램 정정이 적절하게 되었는지 판단한다. 또한 해당 연구는 컴파일 에러메시지 제거를 통해 프로그램 구문오류를 정정해서 비즈니스 로직과 원하는 결과에 대한 확인은 추가 검증이 필요하다. 하지만 본 논문은 사용자로부터 버그 프로그램과 테스트 케이스를 입력 받으면 크고/작은 버그를 자동 정정하여 개발자의 개발적 생산성을 향상하고, 소프트웨어 유지보수의 비용을 줄일 수 있는 특징을 갖고 있다.
프로그램 버그 정정 모델을 학습하기 위해 본 논문에서는 오픈 소스 프로젝트를 사용하였다. 비즈니스 프로젝트 적용 가능 여부는 추가 연구가 필요하며, 향후 다양한 오픈 소스 프로젝트를 사용하여 모델을 검증할 예정이다.
추가적으로 통계 검증을 통하여 제안한 모델과 베이스라인간의 유의미한 차이를 보였다. 향후 다양한 딥러닝 알고리즘을 소프트웨어 버그 정정에 적용할 예정이며, 프로그램 정정 모델을 더욱 구체화 할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Generative Adversarial Network 에서 Generator가 하는 역할은?	이후 입력에 대한 새로운 생성을 하기 위해, Generative Adversarial Network (GAN)[6] 이라는 알고리즘이 제안되었으며 다음과 같은 2가지의 모델을 구성한다. Generator는 입력에 대한 새로운 데이터 생성을 진행하고, Discriminator는 Generator가 생성한 것을 판별한다. 이 과정에서 과거 논문에서는 Generator를 지폐위조범으로 표현하고, Discriminator는 경찰에 비유한다.
	오픈 소스 프로젝트에서 개발자가 할당 받은 버그 리포트에 대해 프로그램 버그 정정 과정은 어떻게 되는가?	오픈 소스 프로젝트에서는 개발자가 할당 받은 버그 리포트에 대해 프로그램 버그 정정 과정을 다음과 같이 진행한다. 먼저 버그 리포트의 설명과 요약을 보면서, 소스코드의 어느 부분이 버기 라인인지 식별한다. 그리고 적절하게 프로그램 버그 정정을 진행한다. 만약 자동적으로 식별된 버기 라인을 정정한다면, 개발자의 개발적 생산성이 증가하고 품질 좋은 소프트웨어를 제공할 수 있다. 프로그램 버그 정정과 관련된 유사 연구는 다음과 같다.
	Recurrent Neural Networks 의 Sequence to Sequence 단점은?	Recurrent Neural Networks (RNN)[4]에서 Sequence to Sequence (Seq2Seq)[5]는 자연어 번역에서 자주 사용되지만, 보통의 경우 학습하는데 많은 시간이 걸리며, 속도가 많이 느리다. 이후 입력에 대한 새로운 생성을 하기 위해, Generative Adversarial Network (GAN)[6] 이라는 알고리즘이 제안되었으며 다음과 같은 2가지의 모델을 구성한다.

참고문헌 (20)

G. Yang, K. Min, B. Lee, "Applying Deep Learning Algorithm to Automatic Bug Localization and Repair", In Proc. of ACM Symposium on Applied Computing, pp. 1634-1641, 2020. https://doi.org/10.1145/3341105.3374005
R. Gupta, S. Pal, A. Kanade, and S. Shevade, "Deepfix: Fixing Common C Language Errors by Deep Learning", In Proc. of Thirty-First AAAI Conference on Artificial Intelligence, pp. 1345-1351, 2017. https://arxiv.org/abs/1510.02927
Y. Higo, S. Matsumoto, R. Arima, A. Tanikado, K. Naitou, J. Matsumoto, Y. Tomida, and S. Kusumoto, "kGenProg: A High-Performance, High-Extensibility and High-Portability APR System," In Proc. of Asia-Pacific Software Engineering Conference, pp. 697-698, 2018. https://doi.org/10.1109/APSEC.2018.00094
R. Messina, and J. Louradour, "Segmentation-free Handwritten Chinese Text Recognition with LSTM-RNN", In Proc. of 13th International Conference on Document Analysis and Recognition (ICDAR), pp. 171-175, 2015. https://doi.org/10.1109/ICDAR.2015.7333746
I. Sutskever, O. Vinyals, and Q.V. Le, "Sequence to Sequence Learning with Neural Networks", In Proc. of Advances in Neural Information Processing Systems, pp. 3104-3112, 2014. https://arxiv.org/abs/1409.3215
I. J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A.C. Courville, and Y. Bengio, "Generative Adversarial Nets", In NIPS, 2014. https://papers.nips.cc/paper/5423-generative-adversarial-nets
V. Debroy, and W.E. Wong, "Using Mutation to Automatically Suggest Fixes for Faulty Programs", In Proc. of Third International Conference on Software Testing, Verification and Validation, pp. 65-74, 2010. https://doi.org/10.1109/ICST.2010.66
D. Kim, J. Nam, J. Song, and S. Kim, "Automatic Patch Generation Learned from Human-written Patches", In Proc. of the 2013 International Conference on Software Engineering, pp. 802-811, 2013. https://doi.org/10.1109/ICSE.2013.6606626
F. DeMarco, J. Xuan, D. Le Berre, and M. Monperrus, "Automatic Repair of Buggy IF Conditions and Missing Preconditions with SMT", In Proc. of the 6th International Workshop on Constraints in Software Testing, Verification, and Analysis, pp. 30-39, 2014. https://doi.org/10.1145/2593735.2593740
F. Long, and M. Rinard, "Automatic Patch Generation by Learning Correct Code", In ACM SIGPLAN Notices, vol. 51, no. 1, pp. 298-312, 2016. https://doi.org/10.1145/2837614.2837617

상세보기
Geunseok Yang, Cheolhun Lee, Hyunho Choi and Byungjeong Lee, "A Novel Technique for Automatic Bug Repair by using Seq-GAN Algorithm", In Proc. of the 22nd Korea Conference on Software Engineering (KCSE 2020), pp. 43-46, 2020. http://sigsoft.or.kr/KCSE2020/
Geunseok Yang, Hyunho Choi, Cheolhun Lee and Byungjeong Lee, "Utilizing Seq-GAN Algorithm with Feature Extraction from Source Code and Bug Report for Automatic Bug Repair", In Proc. of Korea Computer Congress (KCC 2020), 2020. http://www.kiise.or.kr/conference/main/index.do?CCkcc&CS2020
S. Hochreiter and J. Schmidhuber, "Long Short-Term Memory", In Neural Computation, 9(8), pp. 1735-1780, 1997. https://doi.org/10.1162/neco.1997.9.8.1735

상세보기
Y. Kim, "Convolutional Neural Networks for Sentence Classification", In arXiv preprint arXiv: 1408.5882, 2014. https://arxiv.org/abs/1408.5882
M. Martinez and M. Monperrus, "Astor: A Program Repair Library for JAVA", In Proc. of International Symposium on Software Testing and Analysis, pp. 441-444, 2016. https://doi.org/10.1145/2931037.2948705
Github, https://github.com/
M. Martinez, T. Durieux, R. Sommerard, J. Xuan, and M. Monperrus, "Automatic repair of real bugs in java: A large-scale experiment on the defects4j dataset", In Empirical Software Engineering, 22(4), 1936-1964, 2017. https://dx.doi.org/10.1007/s10664-016-9470-4

상세보기
The T-Test, Research Methods Knowledge Base, http://www.socialresearchmethods.net/kb/stat_t.php.
F. Wilcoxon, "Individual Comparisons by Ranking Methods" In Biometrics Bulletin, Vol. 1, No. 6, pp. 80-83, 1945. https://dx.doi.org/10.2307/3001968

상세보기
Shapiro-Wilk test, WIKIPEDIA, http://en.wikipedia.org/wiki/Shapiro-Wilk_test.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증