[논문]소스코드 주제를 이용한 인공신경망 기반 경고 분류 방법

이정빈

doi:10.3745/ktccs.2020.9.11.273

소스코드 주제를 이용한 인공신경망 기반 경고 분류 방법
Warning Classification Method Based On Artificial Neural Network Using Topics of Source Code 원문보기

정보처리학회논문지. KIPS transactions on computer and communication systems 컴퓨터 및 통신 시스템, v.9 no.11, 2020년, pp.273 - 280

이정빈 (고려대학교 시간생물학연구소)

초록
AI-Helper

자동화된 정적분석 도구는 소스 코드상에 잠재된 결함을 개발자들이 적은 노력으로 빠르게 찾을 수 있도록 도와준다. 하지만 이러한 정적분석 도구는 수정할 필요가 없는 오탐지 경고들을 무수하게 발생시킨다. 본 연구에서는 소스코드 블록의 토픽 모델을 이용한 인공신경망 기반의 경고 분류 기법을 제안한다. 소프트웨어 변경 관리 시스템으로부터 버그를 수정한 리비전들을 수집하고, 개발자들로부터 수정된 코드 블록들을 추출한다. 토픽 모델링을 이용하여 수집된 코드 블록의 토픽 분포 값을 구하고, 코드 블록의 리비전 간 경고들의 삭제 여부를 표현하는 이진데이터를 인공신경망의 입력 값과 출력 값으로 사용하여 심층 학습을 수행한다. 그 결과, 인공신경망 기반의 분류 모델이 높은 예측 성능으로 진성 또는 오탐지 경고를 분류하였다.

Abstract ▼ AI-Helper

Automatic Static Analysis Tools help developers to quickly find potential defects in source code with less effort. However, the tools reports a large number of false positive warnings which do not have to fix. In our study, we proposed an artificial neural network-based warning classification method using topic models of source code blocks. We collect revisions for fixing bugs from software change management (SCM) system and extract code blocks modified by developers. In deep learning stage, topic distribution values of the code blocks and the binary data that present the warning removal in the blocks are used as input and target data in an simple artificial neural network, respectively. In our experimental results, our warning classification model based on neural network shows very high performance to predict label of warnings such as true or false positive.

주제어

표/그림 (11)

그림 Fig. 1. Artificial Neural Network Structure
그림 Fig. 2. LDA Model
그림 Fig. 3 Perplexity of LDA Model with Each Topic k
그림 Fig. 4. Warning Changes between Code Blocks before and after Revision for Fixing Bug
표 Table 1. Experimental Results
표 Table 2. Input and Output Variables of ANN
그림 Fig. 5. Comparative Evaluation Result of Full Dataset
표 Table 3. Comparison of RMSE for ANN Structures
그림 Fig. 6. Comparative Evaluation Result of 101 Dataset
그림 Fig. 7. Topic Distribution between Code Blocks
표 Table 4. Confusion Matrix

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

BCE 손실 함수는 인공신경망 출력층의 Sigmoid 활성화 함수 뒤에 Cross-Entropy 함수를 붙인 형태로 정적분석을 통해 보고되는 경고가 진성 경고(1)인지 오탐 경고(0)인지 판단하기 위해 Sigmoid 함수로부터 출력되는 0과 1사이의 실수 값을 0 또는 1로 출력하여 평가한다. BCE 손실 함수의 목표는 인공신경망의 입력값 즉, 어떤 코드 블록의 토픽의 확률 분포 값들에 대해서 해당 코드 블록에서 어떤 경고가 수정해야 하는 진성 경고이고 수정하지 않아도 되는 오탐 경고인지 확률적으로 예측하는 것이다. 이 예측을 통해 실제 개발자들 이 수정한 ground truth 확률값에 최대한 유사하게 학습함으로써 인공신경망의 초모수 값을 조정할 수 있다.
본 연구에서는 자동 정적분석 도구가 탐지하는 수많은 경고들 중에서 개발자들이 반드시 수정해야 할 진성 경고와 오탐 경고를 인공신경망을 이용하여 분류해주는 방법을 제시하고자 한다. 심층 학습을 통해 선정된 인공신경망 모델로부터 수정된 소스 코드 블록의 토픽 분포 유형에 따라 어떤 경고를 수정해야 하는지 구분하는 것을 목표로 한다.
본 연구에서는 정적분석 도구를 통해 보고되는 무수히 많은 경고 중에서, 개발자들이 반드시 수정해야 하는 진성 경고와 수정하지 않아도 되는 오탐 경고를 분류하기 위한 인공신경망 기반 경고 분류 기법을 제안하였다. 변경된 코드 블록의 토픽 분포 확률값을 입력 변수로, 버그 수정 전과 후의 코드 블록 안에서 발생된 경고의 변화 여부를 출력 변수로 사용하는 인공신경망을 구축하여 진성 경고와 오탐 경고를 예측하고, 그 결과를 다중회귀모델과 비교분석하여 모델의 타당성을 검증하였다.
본 연구에서는 자동 정적분석 도구가 탐지하는 수많은 경고들 중에서 개발자들이 반드시 수정해야 할 진성 경고와 오탐 경고를 인공신경망을 이용하여 분류해주는 방법을 제시하고자 한다. 심층 학습을 통해 선정된 인공신경망 모델로부터 수정된 소스 코드 블록의 토픽 분포 유형에 따라 어떤 경고를 수정해야 하는지 구분하는 것을 목표로 한다.

제안 방법

인공신 경망 훈련을 위한 손실 함수는 확률적 분류 모델의 학습에 적합한 BCE (Binary Cross-Entropy) 손실 함수를 사용한다. BCE 손실 함수는 인공신경망 출력층의 Sigmoid 활성화 함수 뒤에 Cross-Entropy 함수를 붙인 형태로 정적분석을 통해 보고되는 경고가 진성 경고(1)인지 오탐 경고(0)인지 판단하기 위해 Sigmoid 함수로부터 출력되는 0과 1사이의 실수 값을 0 또는 1로 출력하여 평가한다. BCE 손실 함수의 목표는 인공신경망의 입력값 즉, 어떤 코드 블록의 토픽의 확률 분포 값들에 대해서 해당 코드 블록에서 어떤 경고가 수정해야 하는 진성 경고이고 수정하지 않아도 되는 오탐 경고인지 확률적으로 예측하는 것이다.
Table 4에서 보는 바와 같이 인공신경망은 실제 32개의 경고 중에서 31개를 진성 경고로 예측하였고, 나머지 60개의 오탐 경고 중에서 58개를 오탐 경고로 예측하였다. 정확도가 약 97% (=89/92)로 매우 높으며, 정밀도와 재현률 역시 매우 높다.
가장 먼저 인공신경망의 입출력 값을 추출하기 위한 기반 데이터로써 소스코드를 수집하는데 Git 저장소¹⁾로부터 버그 수정과 관련된 커밋 로그 메시지를 검색하여 관련 소스코드를 수집하였다. 커밋 로그를 검색할 때, 단순히 성능 개선이나 기능추가와 같은 목적으로 소스코드를 수정하는 경우는 잠재적 결함을 제거하는 목적과는 관련이 없기 이와 같은 목적의 소스코드는 수집하지 않았다.
구축된 인공신경망의 성능을 비교하기 위해서 다중회귀모델(Multiple Regression Model)을 구축하고 인공신경망과 동일한 훈련 데이터를 사용하여 학습하였다. 인공신경망의 입력 변수와 마찬가지로 회귀모델의 독립 변수로 20개의 토픽 분포 값을 사용하였고, 종속 변수는 동일한 독립변수에 308개의 출력 변수를 종속변수로 정의하여 학습하였다.
예를 들어, GUI와 관련된 파일일지라도 그 안에 수정된 코드 블록은 DB에 접근하는 코드일 수 있다. 따라서, 본 연구에서는 수집된 소스 파일 전체가 아닌 변경된 코드 블록을 추출한다. 이를 위해, 커밋 로그를 참고하여 파일 별로 수정된 코드 블록을 식별한다.
토픽 모델링을 위해 파이썬의 gensim 라이브러리에 포함된 LDA 알고리즘을 사용하였으며, α와 γ 초모수 값은 기본 값을 사용하였다. 또한, 토픽의 개수 K는 혼잡도 측정을 통해 결정하였다. Fig.
본 연구에서 사용한 정적분석 도구는 PMD 6.27.0 버전으로써 사용되지 않는 변수, 비어있는 catch 블록, 불필요한 객체의 생성 등 개발자들이 흔하게 위반할 수 있는 308개의 결함들³⁾을 Rule로 정의를 하여 분석한다. PMD 뿐만 아니라 다른 오픈소스 또는 상용 정적분석도구도 이러한 Rule을 정의하여 소스코드를 분석하기 때문에 다른 정적분석 도구에서 지원하는 Rule을 출력 변수로 사용하여도 된다.
하나의 문서에 대한 토픽의 확률값을 토픽 기여도 (Topic contribution) 또는 토픽 분포 값이라고 한다. 본 연구에서는 변경된 소스코드 블록이 하나의 문서에 해당하며 이 블록에 대한 k개의 토픽 분포 확률값을 인공신경망 입력 층의 각 노드 값으로 사용한다.
대체로 Adam 최적화 함수에서, 은닉층의 노드 수가 많아질수록 낮은 RMSE 값을 보였다. 본 연구에서는 최종적으로 인공신경망의 은닉층 노드 개수가 41개, 학습률이 0.05인 Adam 최적화 함수가 가장 낮은 RMSE 값을 보였으므로 이를 최종 예측모델에 적용하였다.
다중회귀모델과 같은 통계기반, 그리고 기계학습 기반 경고 분류 기법의 경우 수정하는 코드가 가지고 있는 특성을 학습 모델에 반영하지 않는 일반적인 모델을 생성하기 때문에 코드의 특성에 따라 오탐 경고가 빈번하게 발생하여 분류 성능이 떨어진다. 본 연구의 인공신경망 모델은 비슷한 토픽 분포를 가진 코드 블록에서 유사한 분류 결과를 예측하였으며, 해당 코드 블록의 진성 및 오탐 경고를 높은 성능으로 분류하였다. 이를 통해 인공신경망을 통한 경고 분류 예측 모델이 기존 경고 분류 기법이 고려하지 못했던 코드의 성격까지 반영함으로써 성능을 보임을 확인할 수 있었다.
성능 비교를 위해서 각 모델이 출력하는 모든 예측값과 출력값을 모아 일괄적으로 정밀도, 재현률, 정확도를 측정하였다. 즉, Table 1에서 보는 바와 같이 26,990개의 코드 블록 중, 5,398개(20%)의 토픽 분포 값을 입력으로 각 모델이 예측하는 값을 누적했다.
실제로 인공신경망이 비슷한 토픽 분포를 가진 코드 블록에서 유사한 예측을 보여주는지 보여주기 위해서 두 개의 파일을 추출하여 그 결과를 비교해보았다. Fig.
2013년부터 2020년까지 941개의 커밋이 버그 수정과 관련된 커밋들이었으며 해당 커밋에서 수정된 자바 소스코드 파일이 7,049개이다. 이 파일에서 총 27,990개의 수정된 코드 블록을 식별하였고, 이 블록으로부터 입력 변수(=토픽 분포 값) 및 출력 변수(=진성 및 오탐 경고에 대한 이진값) 추출하여 인공지능망에서 심층학습에 사용하였다. 이중 최근 20%의 파일은 인공신경망 모델의 테스트 데이터로 사용하고, 나머지 과거 80%의 데이터를 모델 평가를 통한 초모수 탐색을 위해 훈련 데이터로 사용하였다.
따라서, 본 연구에서는 수집된 소스 파일 전체가 아닌 변경된 코드 블록을 추출한다. 이를 위해, 커밋 로그를 참고하여 파일 별로 수정된 코드 블록을 식별한다. Git을 이용한 버전 관리 시스템은, ‘Git diff’ 명령어를 통해 두 버전 간의 수정된 코드 블록을 식별해 낼 수 있다.
구축된 인공신경망의 성능을 비교하기 위해서 다중회귀모델(Multiple Regression Model)을 구축하고 인공신경망과 동일한 훈련 데이터를 사용하여 학습하였다. 인공신경망의 입력 변수와 마찬가지로 회귀모델의 독립 변수로 20개의 토픽 분포 값을 사용하였고, 종속 변수는 동일한 독립변수에 308개의 출력 변수를 종속변수로 정의하여 학습하였다. 성능 비교를 위한 척도로써 정밀도(Precision)와 재현률(Recall), 그리고 조화평균인 F1-score, 마지막으로 각 모델이 얼마나 정확하게 진성 경고와 오탐 경고를 구분해 냈는지를 평가하는 정확도(Accuracy)를 사용하였다.
토픽 모델링 수행에 앞서 토픽 모델의 품질 향상을 위해서 간단한 자연어 전처리 과정을 수행하였다. 소스코드 블록 상에서 구두점이나 숫자를 제거하고, 여러 단어로 이루어진 식별자들은 단어별로 분리한다.
3절에서 소개한 소스코드 블록의 토픽 분포 값이 사용된다. 토픽 모델링을 위해 3.2절에서 식별한 소스코드 블록 중 버그를 수정하기 전 소스파일의 코드블록을 대상으로 토픽 모델링을 수행한다. 그 이유는 학습된 인공신경망 모델의 입력 값이 버그가 수정되기 이전의 코드 블록에 대한 토픽 분포 값이고 모델은 이에 대한 특정 값을 예측해야 하기 때문이다.

대상 데이터

2013년부터 2020년까지 941개의 커밋이 버그 수정과 관련된 커밋들이었으며 해당 커밋에서 수정된 자바 소스코드 파일이 7,049개이다. 이 파일에서 총 27,990개의 수정된 코드 블록을 식별하였고, 이 블록으로부터 입력 변수(=토픽 분포 값) 및 출력 변수(=진성 및 오탐 경고에 대한 이진값) 추출하여 인공지능망에서 심층학습에 사용하였다.
로부터 관련 데이터를 수집하였다. RxJava는 자바 언어로 리액티브 프로그래밍을 할 수 있는 라이브러리 중에 하나로, 2012년 3월부터 현재까지 263여명의 개발자들에 의해서 활발하게 관리되는 대규모의 오픈소스 프로젝트 중 하나이기 때문에 풍부한 커밋 데이터를 가지고 있어 본 연구의 대상으로 선정하였다. Table 1은 RxJava 프로젝트로부터 수집된 데이터들을 요약하여 보여주고 있다.
본 연구에서 제안한 인공신경망 기반 경고 분류 모델의 심층학습을 위해 오픈 소스 프로젝트인 RxJava²⁾로부터 관련 데이터를 수집하였다. RxJava는 자바 언어로 리액티브 프로그래밍을 할 수 있는 라이브러리 중에 하나로, 2012년 3월부터 현재까지 263여명의 개발자들에 의해서 활발하게 관리되는 대규모의 오픈소스 프로젝트 중 하나이기 때문에 풍부한 커밋 데이터를 가지고 있어 본 연구의 대상으로 선정하였다.
이 파일에서 총 27,990개의 수정된 코드 블록을 식별하였고, 이 블록으로부터 입력 변수(=토픽 분포 값) 및 출력 변수(=진성 및 오탐 경고에 대한 이진값) 추출하여 인공지능망에서 심층학습에 사용하였다. 이중 최근 20%의 파일은 인공신경망 모델의 테스트 데이터로 사용하고, 나머지 과거 80%의 데이터를 모델 평가를 통한 초모수 탐색을 위해 훈련 데이터로 사용하였다.

데이터처리

그 결과, 총 1,662,584(=5,398×308)개의 예측값을 도출했으며, 실제값과의 대조를 통해 성능을 측정하였다.
본 연구에서는 정적분석 도구를 통해 보고되는 무수히 많은 경고 중에서, 개발자들이 반드시 수정해야 하는 진성 경고와 수정하지 않아도 되는 오탐 경고를 분류하기 위한 인공신경망 기반 경고 분류 기법을 제안하였다. 변경된 코드 블록의 토픽 분포 확률값을 입력 변수로, 버그 수정 전과 후의 코드 블록 안에서 발생된 경고의 변화 여부를 출력 변수로 사용하는 인공신경망을 구축하여 진성 경고와 오탐 경고를 예측하고, 그 결과를 다중회귀모델과 비교분석하여 모델의 타당성을 검증하였다.
초모수 결정을 위한 예측 모델의 성능을 평가하기 위해 예측값에 대한 RMSE (Root Mean Square Error)를 이용한다. RMSE는 모델이 예측한 값과 실제 값의 차이를 다룰 때 가장 많이 사용하는 척도이며, 모델의 정밀도를 표현한다.

이론/모형

인공신경망의 입력 변수와 마찬가지로 회귀모델의 독립 변수로 20개의 토픽 분포 값을 사용하였고, 종속 변수는 동일한 독립변수에 308개의 출력 변수를 종속변수로 정의하여 학습하였다. 성능 비교를 위한 척도로써 정밀도(Precision)와 재현률(Recall), 그리고 조화평균인 F1-score, 마지막으로 각 모델이 얼마나 정확하게 진성 경고와 오탐 경고를 구분해 냈는지를 평가하는 정확도(Accuracy)를 사용하였다.
소스 코드상에 잠재된 결함이나 취약점을 개발 또는 테스트 단계에서 미리 점검하고, 예방하기 위해 정적분석 기법을 사용한다. 소프트웨어의 규모가 커지고, 개발 주기가 점점 더 짧아짐에 따라 개발자들이 소스 코드에서 결함을 수동으로 찾아내기란 현실적으로 불가능하므로 보통 자동화된 정적분석 도구를 사용한다.
05로 정의한다. 인공신 경망 훈련을 위한 손실 함수는 확률적 분류 모델의 학습에 적합한 BCE (Binary Cross-Entropy) 손실 함수를 사용한다. BCE 손실 함수는 인공신경망 출력층의 Sigmoid 활성화 함수 뒤에 Cross-Entropy 함수를 붙인 형태로 정적분석을 통해 보고되는 경고가 진성 경고(1)인지 오탐 경고(0)인지 판단하기 위해 Sigmoid 함수로부터 출력되는 0과 1사이의 실수 값을 0 또는 1로 출력하여 평가한다.
인공신경망을 통한 심층 학습은 그 훈련과정에서 입력층(Input Layer)에서 주어지는 값이 은닉층(Hidden Layer)을 거쳐 출력층(Output Layer)에서 계산되는 출력값과의 오차를 최소화되도록 각 층에서 입력되는 값에 곱해지는 가중치와 편향을 계산하고 지속해서 갱신하는 오류역전파(Backpropagation) 알고리즘[12]을 사용한다. Fig.
토픽 모델링을 위해 파이썬의 gensim 라이브러리에 포함된 LDA 알고리즘을 사용하였으며, α와 γ 초모수 값은 기본 값을 사용하였다.
토픽 모델링을 위해서 LSI(Latent Semantic Indexing) [14, 15]와 LDA(Latent Dirichlet Allocation)[16]가 주로 사용되며 본 연구에서는 새로운 텍스트 문서에 대한 확률값 을 계산하기 위해서 LDA 알고리즘을 사용한다. LDA는 텍스트 문서가 주어졌을 경우, 해당 문서들의 중심 토픽의 분포를 찾아 주제별로 클러스터링해주는 비지도 학습(Unsupervised Learning) 알고리즘이다.
또한, 출력층의 노드 수는 풀고자 하는 문제에 맞게 적절하게 정할 수 있으며 분류를 위해서는 분류하고 싶은 클래스의 수로 설정한다. 회귀분석을 위해서는 주로 항등함수(Identity function)를 사용하고 분류를 위해서는 소프트 맥스 함수(Softmax function)를 사용한다[13].

성능/효과

Table 3은 은닉층 노드의 수, 최적화 함수, 학습 률에 따라 훈련한 RMSE 값을 보여주고 있다. 대체로 Adam 최적화 함수에서, 은닉층의 노드 수가 많아질수록 낮은 RMSE 값을 보였다. 본 연구에서는 최종적으로 인공신경망의 은닉층 노드 개수가 41개, 학습률이 0.
BCE 손실 함수의 목표는 인공신경망의 입력값 즉, 어떤 코드 블록의 토픽의 확률 분포 값들에 대해서 해당 코드 블록에서 어떤 경고가 수정해야 하는 진성 경고이고 수정하지 않아도 되는 오탐 경고인지 확률적으로 예측하는 것이다. 이 예측을 통해 실제 개발자들 이 수정한 ground truth 확률값에 최대한 유사하게 학습함으로써 인공신경망의 초모수 값을 조정할 수 있다.
본 연구의 인공신경망 모델은 비슷한 토픽 분포를 가진 코드 블록에서 유사한 분류 결과를 예측하였으며, 해당 코드 블록의 진성 및 오탐 경고를 높은 성능으로 분류하였다. 이를 통해 인공신경망을 통한 경고 분류 예측 모델이 기존 경고 분류 기법이 고려하지 못했던 코드의 성격까지 반영함으로써 성능을 보임을 확인할 수 있었다.
정밀도는 다중회귀모델이 94%로 높지만, 나머지 재현률, F1-score, 정확도에서는 인공신경망 모델이 각각 25%, 16%, 25% 높은 것으로 확인되었다. 인공신경망 모델의 경우, 308 개의 출력 변수를 예측할 때(Fig.

후속연구

향후 연구로는 인공신경망의 은닉층의 개수 및 최적화 알고리즘 등 인공신경망의 성능을 높일 수 있는 다양한 기법 탐색하고, 더 많은 프로젝트에 본 연구 기법을 적용함으로써 그 효과성을 검증할 예정이다. 또한, 정적분석 도구에서 보고되는 경고를 단순하게 진성 및 오탐 경고로 분류하기보다, 이들의 우선순위까지 예측함으로써 개발자들이 오탐 경고로 인해 낭비되는 시간과 비용을 절약할 것으로 예상된다.
향후 연구로는 인공신경망의 은닉층의 개수 및 최적화 알고리즘 등 인공신경망의 성능을 높일 수 있는 다양한 기법 탐색하고, 더 많은 프로젝트에 본 연구 기법을 적용함으로써 그 효과성을 검증할 예정이다. 또한, 정적분석 도구에서 보고되는 경고를 단순하게 진성 및 오탐 경고로 분류하기보다, 이들의 우선순위까지 예측함으로써 개발자들이 오탐 경고로 인해 낭비되는 시간과 비용을 절약할 것으로 예상된다.

참고문헌 (19)

U. Yuksel and H. Sozer, "Automated classification of static code analysis alerts: A case study," in 2013 IEEE International Conference on Software Maintenance, pp.532-535, 2013.
L. M. R. Velicheti, D. C. Feiock, M. Peiris, R. Raje, and J. H. Hill, "Towards modeling the behavior of static code analysis tools," in Proceedings of the 9th Annual Cyber and Information Security Research Conference, pp.17-20, 2014.
Z. P. Reynolds, A. B. Jayanth, U. Koc, A. A. Porter, R. Raje, and J. H. Hill, "Identifying and documenting false positive patterns generated by static code analysis tools," in 2017 IEEE/ACM 4th International Workshop on Software Engineering Research and Industrial Practice, pp.55-61, 2017.
M. Beller, R. Bholanath, S. McIntosh, and A. Zaidman, "Analyzing the state of static analysis: A large-scale evaluation in open source software," in 2016 IEEE 23rd International Conference on Software Analysis, Evolution, and Reengineering, pp.470-481, 2016.
S. Mani, A. Sankaran, and R. Aralikatte, "Deeptriage: Exploring the effectiveness of deep learning for bug triaging," in Proceedings of the ACM India Joint International Conference on Data Science and Management of Data, pp.171-179, 2019.
A. Yadav, S. K. Singh, and J. S. Suri, "Ranking of software developers based on expertise score for bug triaging," Information and Software Technology, Vol.112, pp.1-17, 2019.

상세보기
A. Goyal and N. Sardana, "Analytical Study on Bug Triaging Practices," In Cognitive Analytics: Concepts, Methodologies, Tools, and Applications, pp.1698-1725, 2020.
Q. Hanam, L. Tan, R. Holmes, and P. Lam, "Finding patterns in static analysis alerts: improving actionable alert ranking," in Proc. the 11th Working Conference on Mining Software Repositories, ACM, pp.152-161, 2014.
J. Wang, S. Wang, and Q. Wang, "Is there a golden feature set for static warning identification?: an experimental evaluation," in Proc. the 12th ACM/IEEE International Symposium on Empirical Software Engineering and Measurement, pp.1-10, 2018.
S. Arai, K. Sakamoto, H. Washizaki, and Y. Fukazawa, "A gamified tool for motivating developers to remove warnings of bug pattern tools," in 2014 6th International Workshop on Empirical Software Engineering in Practice. pp.37-42, 2014.
K. Liu, D. Kim, T. F. Bissyande S. Yoo, and Y. Le Traon, "Mining fix patterns for findbugs violations," IEEE Transactions on Software Engineering, 2018.
Paul J. Werbos, "The Roots of Backpropagation: From Ordered Derivatives to Neural Networks and Political Forecasting," New York: John Wiley & Sons, 1994.
G. Ian, B. Yoshua, and C. Aaron, "6.2.2.3 Softmax Units for Multinoulli Output Distributions," in Deep Learning, MIT Press, pp.180-184, 2016.
S. Deerwester, S. T. Dumais, G. W. Furnas, T. K. Landauer, and R. Harshman, "Indexing by latent semantic analysis," Journal of the Association for Information Science and Technology, Vol.41, No.6, pp.391-407, 1990.
T. Hofmann, "Probabilistic latent semantic indexing," in Proc. the 22nd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp.50-57, 1999.
D. M. Blei, A. Y. Ng, and M. I. Jordan, "Latent Dirichlet allocation," Journal of Machine Learning Research, Vol.3, pp.993-1022, 2003.
J. Chang, S. Gerrish, C. Wang, J. L. Boyd-Graber, and D. M. Blei, "Reading tea leaves: How humans interpret topic models," in Proc. the 23rd Advances in Neural Information Processing Systems, pp.288-296, 2009.
N. Singh, S. R. Mohanty, and R. D. Shukla, "Short term electricity price forecast based on environmentally adapted generalized neuron," Energy, Vo.125, pp.127-139, 2017.
S. Ruder, "An overview of gradient descent optimization algorithms," arXiv preprint arXiv:1609.04747v2, 2016.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증