[논문]민감도와 특이도 직선을 이용한 부분 AUC

홍종선; 장동환

doi:10.5351/kjas.2020.33.5.541

민감도와 특이도 직선을 이용한 부분 AUC
Partial AUC using the sensitivity and specificity lines 원문보기

응용통계연구 = The Korean journal of applied statistics, v.33 no.5, 2020년, pp.541 - 553

초록
AI-Helper

Receiver operating characteristic (ROC) 곡선은 민감도와 특이도로 표현되며, ROC 곡선을 이용하는 최적분류점도 민감도와 특이도만을 반영하지만, 본 연구에서는 질병률과 효용을 추가하여 고려하는 기대효용함수를 연구한다. 특히 교차하는 ROC 곡선들의 area under the ROC curve (AUC) 값들이 유사한 경우에 특정한 부분의 부분 AUC를 비교해야 한다. 본 연구에서는 정의된 민감도 직선과 특이도 직선을 바탕으로 각각 높은 민감도와 특이도를 나타내는 부분 AUC를 제안한다. ROC 곡선들이 교차하고 동일한 AUC 값을 갖는 다양한 분포함수를 설정하여, 민감도 직선과 특이도 직선을 이용하여 구한 부분 AUC를 비교하면서 모형의 판별력을 향상시키는 방법을 제안한다.

Abstract ▼ AI-Helper

The receiver operating characteristic (ROC) curve is expressed as both sensitivity and specificity; in addition, some optimal thresholds using the ROC curve are also represented with both sensitivity and specificity. In addition to the sensitivity and specificity, the expected usefulness function is considered as disease prevalence and usefulness. In particular, partial the area under the ROC curve (AUC) on a certain range should be compared when the AUCs of the crossing ROC curves have similar values. In this study, partial AUCs representing high sensitivity and specificity are proposed by using sensitivity and specificity lines, respectively. Assume various distribution functions with ROC curves that are crossing and AUCs that have the same value. We propose a method to improve the discriminant power of the classification models while comparing the partial AUCs obtained using sensitivity and specificity lines.

주제어

표/그림 (9)

그림 Figure 1.1. ROC curve and expected utility.
그림 Figure 2.1. ROC curve with specicity and sensitivity lines.
그림 Figure 3.1. ROC curves and specificity lines.
표 Table 3.1. pAUCs for three cases
그림 Figure 4.1. ROC curves and sensitivity line.
표 Table 4.1. pAUCs for three cases
그림 Figure 5.1. Sample and normal cumulative distribution functions.
표 Table 5.1. Credit evaluation data for large enterprises and small and medium corporates
그림 Figure 5.2. Specificity and sensitivity lines on ROC curve.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 ROC 곡선들이 교차하고 유사한 AUC 값을 가진 모형들의 판별력을 비교하기 위해서, 정상 및 질병 상태의 다양한 분포함수들을 고려한다. 평균은 동일하지만 분산이 다른 단봉과 쌍봉의 분포함수들을 다양하게 설정하여, 특이도 직선으로부터 높은 특이도를 참조하는 pAUC와 높은 민감도를 고려하는 민감도 직선을 이용하여 pAUC을 비교하면서 모형의 판별력을 파악하는 방법을 제안한다.
본 연구에서는 질병 및 정상 상태의 분포함수를 다양한 정규분포 및 정규혼합분포들에 대하여 AUC 값이 유사하면서 교차하는 ROC 곡선들을 설정하고, 효용과 질병률을 다양하게 고려한 특이도 직선과 민감도 직선을 바탕으로 특이도와 민감도에 제한된 범위에서의 pAUC를 탐색하였다.

제안 방법

Figure 3.1(a), (b), (c)를 통하여 각 경우에서 ROC 곡선들과 특이도 직선이 만나는 점들 중에서 가장 큰 1 − 특이도 값을 선택하고, ROC 곡선들이 왼쪽 부분에서 교차하므로 0부터 가장 큰 1 − 특이도 값까지 즉, 특이도의 측면에서는 특이도 값이 큰 범위에서의 pAUC를 구하고 비교하였다. 다양한 분포함수들의 ROC 곡선들 중에서 특이도 직선을 바탕으로 구한 pAUC가 가장 큰 모형에서 판별력이 가장 우수하다고 판단할 수 있다.
3절에서 고려한 분포함수들과 동일하게 설정하여 교차하는 ROC 곡선들과 민감도 직선이 통과하는 경우에 대하여 민감도 직선과 만나는 ROC 곡선들 중에서 민감도의 특성을 제일 잘 반영하는 ROC 곡선에서 1 − 특이도의 범위에서의 민감도에 대응하는 pAUC를 토론한다.
여기서 sen(t)와 spe(t)는 분류점 t에 대한 민감도와 특이도를 각각 나타내며, π는 질병률이다. 그리고 정상을 질병으로 분류하는 순비용(net cost; NC)는 U_TN − U_FP이며, 질병을 질병으로 분류하는 순이익(net benefit; NB)는 U_TP − U_FN이므로 NC/NB는 순비용과 순이익에 대한 오즈(odds)로 해석한다. 식 (1.
1(b)는 기울기가 1보다 작은 민감도 직선이 두 ROC 곡선 중 하나의 곡선을 통과한다. 민감도 직선과 ROC 곡선이 만나는 점 P₃에 대응하는 민감도 (= 0.891)보다 높은 민감도에 대응하는 1 − 특이도의 범위 (0.4608, 1.0)에 대하여 pAUC를 각각 구하고 비교한다. 그러므로 높은 민감도를 가지는 범위에 대응하는 두 pAUC 중에서 큰 값을 갖는 모형이 우수한 판별력을 갖는다고 결론 내릴 수 있다.
본 논문에서는 교차하는 ROC 곡선을 구현하기 위하여 Samawi 등 (2017)이 제시한 분포를 확장하여, 두 질병 및 정상 상태의 분포가 모두 단봉형이고 평균이 다른 상황을 ‘경우 1(Case 1)’로, 두 분포가 모두 단봉형이며 평균은 동일하나 분산이 서로 다른 상황을 ‘경우 2(Case 2)’로, 그리고 정상 상태의 분포는 단봉형이고 질병 상태의 분포는 쌍봉형인 상황을 ‘경우 3(Case 3)’로 구분하여 탐색한다. 각 경우에 대해서 다음과 같은 분포를 설정한다.
본 연구는 의학 분야의 관점에서 두 범주로 구분할 수 있는 질병(disease, positive; d)과 정상(normal, negative; n)인 피험자(subject)에 대한 혼합분포를 분류하는 연구를 설명한다. 통계적 의사결정 및 여러 분야에서 폭넓게 사용되며 평가모형의 비교 및 타당성을 검정하는 대표적인 방법 중에서 성과(performance)를 기반으로 분류자(classifier)를 시각화하여 손쉽게 파악할 수 있는 유용한 방법으로 receiver operating characteristic (ROC) 곡선을 고려한다.
국내 I은행으로부터 신용평가모형을 위한 2018년 6월의 자료를 활용한다. 수집한 65,455개의 표본을 대기업(large enterprises), 중소기업(small and medium corporates), 개인 자료로 구분하고, 신용을 나타내는 확률변수를 20개의 등급으로 분류하였다. 본 논문에서는 이 자료 중에서 대기업, 중소기업에 대한 자료만을 발췌하여 Table 5.
1(b)와 마찬가지로 민감도 직선과 ROC 곡선이 만나는 점들이 ROC 곡선의 왼쪽부분에서 교차하므로 pAUC는 ROC 곡선의 왼쪽부분(회색 부분)을 계산한다. 이때 질병 상태의 µ_d = 5일 때의 ROC 곡선과 민감도 직선이 교차하는 점에 대응하는 1 − 특이도까지의 범위 (0, 0.2305)에 대하여 네 모형의 pAUC를 구하여 비교한다. Figure 3.
196)에서 pAUC(회색 부분)를 구한다. 즉, 점 P₂에 대응하는 특이도 값(= 0.804) 보다 높은 특이도를 가지는 범위 (0.804, 1.0)에 대하여 두 모형의 pAUC를 구하고 비교 분석한다. 따라서 높은 특이도 범위에서의 pAUC 중에서 큰 값을 갖는 모형이 판별력이 우수하다고 판단한다.
본 연구에서는 ROC 곡선들이 교차하고 유사한 AUC 값을 가진 모형들의 판별력을 비교하기 위해서, 정상 및 질병 상태의 다양한 분포함수들을 고려한다. 평균은 동일하지만 분산이 다른 단봉과 쌍봉의 분포함수들을 다양하게 설정하여, 특이도 직선으로부터 높은 특이도를 참조하는 pAUC와 높은 민감도를 고려하는 민감도 직선을 이용하여 pAUC을 비교하면서 모형의 판별력을 파악하는 방법을 제안한다.

대상 데이터

국내 I은행으로부터 신용평가모형을 위한 2018년 6월의 자료를 활용한다. 수집한 65,455개의 표본을 대기업(large enterprises), 중소기업(small and medium corporates), 개인 자료로 구분하고, 신용을 나타내는 확률변수를 20개의 등급으로 분류하였다.
수집한 65,455개의 표본을 대기업(large enterprises), 중소기업(small and medium corporates), 개인 자료로 구분하고, 신용을 나타내는 확률변수를 20개의 등급으로 분류하였다. 본 논문에서는 이 자료 중에서 대기업, 중소기업에 대한 자료만을 발췌하여 Table 5.1에 정리한 64, 264개의 표본만을 활용하여 분석한다. 대기업과 중소기업의 신용평가 자료를 각각 N(7.

성능/효과

1(b)의 질병 상태의 표준편차 σd와 Figure 4.1(c)의 질병 상태의 평균 µd가 각각 증가할수록 pAUC는 증가한다. 이는 σd와 µd가 증가할수록 정상과 질병 상태의 분포가 겹치는 면적이 감소하므로 판별력이 증가하기 때문에 3절과 동일하게 민감도 직선을 바탕으로 구한 pAUC가 가장 큰 모형의 판별력이 우수하다고 결론내릴 수 있다.
기울기가 1보다 큰 특이도 직선이 ROC 곡선의 왼쪽을 통과하며 만나는 점에 대응하는 특이도가 높은 범위인 ROC 곡선의 왼쪽에서의 pAUC를 구한다. ROC 곡선과 특이도 직선이 만나는 점에 대응하는 특이도보다 높은 특이도를 가지는 범위가 가장 넓다면, 모형이 특이도의 특성을 더 많이 반영하는 것을 파악하였다. 따라서 높은 특이도를 갖는 범위에서 pAUC가 제일 큰 모형이 판별력이 가장 우수하다는 것을 발견하였다.
ROC 곡선을 통하여 두 예측모형을 비교할 때, 두 ROC 곡선이 교차하지 않는다면, 큰 AUC와 pAUC 값을 갖는 예측모형이 성능이 우수하고 큰 기대효용을 발생한다고 판단할 수 있다. 그러나 두 ROC 곡선이 교차하는 경우에는 두 예측모형의 비교는 교차하지 않는 특정한 범위에 대하여 살펴보아야 한다(McClish, 1989; Dodd와 Pepe, 2003).
기울기가 1보다 작은 민감도 직선이 ROC 곡선의 오른쪽 또는 왼쪽에서 통과하는 경우가 발생한다. ROC 곡선의 오른쪽을 참조할 때, 민감도 직선과 ROC 곡선이 만나는 점에 대응하는 민감도보다 높은 민감도를 가지는 범위에서 pAUC를 탐색하였고 높은 민감도를 가지는 범위가 넓은 모형이 민감도의 성질을 더 포함하므로 pAUC가 더 크게 나타나는 것을 탐색하였다. 그리고 정상 및 질병 상태의 분포가 단봉형으로 평균이 동일한 경우와 정상 상태의 분포는 단봉형이며 질병 상태의 분포는 쌍봉형인 경우에는 ROC 곡선의 왼쪽을 참조하는데 민감도 직선과 ROC 곡선이 만나는 점에 대응하는 민감도가 가장 큰 경우에 대한 모형의 pAUC가 가장 큰 것을 알 수 있었다.
0)에 대하여 pAUC를 각각 구하고 비교한다. 그러므로 높은 민감도를 가지는 범위에 대응하는 두 pAUC 중에서 큰 값을 갖는 모형이 우수한 판별력을 갖는다고 결론 내릴 수 있다.
1(c)와 마찬가지로 질병 상태의 µ_d가 증가할수록 민감도가 증가하므로 질병상태의 µ_d = 5일 때의 ROC 곡선에서 민감도가 가장 높으면서 pAUC가 가장 크다. 그러므로 민감도 직선을 바탕으로 구한 pAUC를 이용하여 정상 상태의 분포는 단봉형이고 질병 상태의 분포는 쌍봉형인 분포함수들의 ROC 곡선들 중에서 쌍봉형인 분포함수들의 평균 차이가 가장 큰 모형이 민감도 측면에서 판별력이 좋다고 파악할 수 있다.
1(b)와 마찬가지로 질병 상태의 표준편차 σ_d가 증가할수록 민감도가 증가하므로 질병 상태의 σ_d = 16일 때의 ROC 곡선에서 민감도가 가장 높고 이에 따라 pAUC가 가장 크다. 그러므로 민감도 직선을 바탕으로 구한 pAUC를 이용하여 평균은 동일하지만 분산이 다른 분포함수들의 ROC 곡선들 중에서 분산이 가장 큰 모형의 판별력이 민감도 측면에서 가장 우수하다고 결론내릴 수 있다.
0)에 대한 pAUC(회색 부분)를 비교하면, 질병 상태의 σ_d가 증가할수록 pAUC가 커지므로 σd = 16일 때 pAUC가 가장 크다. 그러므로 특이도 직선을 바탕으로 구한 pAUC를 이용하여 평균은 동일하지만 분산이 다른 분포함수들의 ROC 곡선들 중에서 분산이 가장 큰 모형의 판별력이 특이도가 높은 범위에서는 가장 우수하다고 결론내릴 수 있다.
ROC 곡선의 오른쪽을 참조할 때, 민감도 직선과 ROC 곡선이 만나는 점에 대응하는 민감도보다 높은 민감도를 가지는 범위에서 pAUC를 탐색하였고 높은 민감도를 가지는 범위가 넓은 모형이 민감도의 성질을 더 포함하므로 pAUC가 더 크게 나타나는 것을 탐색하였다. 그리고 정상 및 질병 상태의 분포가 단봉형으로 평균이 동일한 경우와 정상 상태의 분포는 단봉형이며 질병 상태의 분포는 쌍봉형인 경우에는 ROC 곡선의 왼쪽을 참조하는데 민감도 직선과 ROC 곡선이 만나는 점에 대응하는 민감도가 가장 큰 경우에 대한 모형의 pAUC가 가장 큰 것을 알 수 있었다. 따라서 민감도 직선을 바탕으로 구한 pAUC가 가장 큰 모형이 우수한 판별력을 가지는 것을 확인하였다.
1(a), (b), (c)를 통하여 각 경우에서 ROC 곡선들과 특이도 직선이 만나는 점들 중에서 가장 큰 1 − 특이도 값을 선택하고, ROC 곡선들이 왼쪽 부분에서 교차하므로 0부터 가장 큰 1 − 특이도 값까지 즉, 특이도의 측면에서는 특이도 값이 큰 범위에서의 pAUC를 구하고 비교하였다. 다양한 분포함수들의 ROC 곡선들 중에서 특이도 직선을 바탕으로 구한 pAUC가 가장 큰 모형에서 판별력이 가장 우수하다고 판단할 수 있다.
33으로 순비용이 순이익보다 크게 설정하여 기울기 S = 2인 특이도 직선을 고려한다. 두 ROC 곡선과 특이도 직선이 만나는 점을 살펴보면, 모형 A의 ROC 곡선에서 만나는 점이 모형 B의 ROC 곡선보다 오른쪽에 위치하며 ROC 곡선의 수평축인 1 − 특이도의 값 (= 1 − 0.5952)이 모형 B의 ROC 곡선과 만나는 1 − 특이도의 값보다 높다. 즉, 모형 A의 ROC 곡선과 특이도 직선이 만나는 점에 대응하는 특이도보다 높은 특이도를 가지는 범위는 모형 A가 모형 B보다 넓으며 이는 특이도의 특성을 더 많이 반영하는 것을 의미한다.
ROC 곡선과 특이도 직선이 만나는 점에 대응하는 특이도보다 높은 특이도를 가지는 범위가 가장 넓다면, 모형이 특이도의 특성을 더 많이 반영하는 것을 파악하였다. 따라서 높은 특이도를 갖는 범위에서 pAUC가 제일 큰 모형이 판별력이 가장 우수하다는 것을 발견하였다.
즉, 모형 A의 ROC 곡선과 특이도 직선이 만나는 점에 대응하는 특이도보다 높은 특이도를 가지는 범위는 모형 A가 모형 B보다 넓으며 이는 특이도의 특성을 더 많이 반영하는 것을 의미한다. 따라서 모형 A와 특이도 직선이 교차하는 점에 대응하는 특이도 값 (= 0.5952)보다 높은 특이도를 가지는 범위 (0.5952, 1.0)에 대하여 pAUC를 살펴보면, 모형 A의 pAUC(회색 부분)가 모형 B보다 큰 것을 파악할 수 있다. 그러므로 특이도 직선을 바탕으로 구한 pAUC를 이용하여 특이도가 높은 범위에서는 모형 A의 판별력이 모형 B보다 좋다고 판단할 수 있다.
그리고 정상 및 질병 상태의 분포가 단봉형으로 평균이 동일한 경우와 정상 상태의 분포는 단봉형이며 질병 상태의 분포는 쌍봉형인 경우에는 ROC 곡선의 왼쪽을 참조하는데 민감도 직선과 ROC 곡선이 만나는 점에 대응하는 민감도가 가장 큰 경우에 대한 모형의 pAUC가 가장 큰 것을 알 수 있었다. 따라서 민감도 직선을 바탕으로 구한 pAUC가 가장 큰 모형이 우수한 판별력을 가지는 것을 확인하였다.
0)에 대한 pAUC를 살펴보면, 질병 상태의 µ_d가 증가할수록 pAUC가 커지므로 µ_d = 5일 때 pAUC가 가장 크다. 따라서 특이도 직선을 바탕으로 구한 pAUC를 이용하여 정상 상태의 분포는 단봉형이고 질병 상태의 분포는 쌍봉형인 분포함수들의 ROC 곡선들 중에서 쌍봉형인 분포함수들의 평균 차이가 가장 큰 모형이 특이도가 높은 범위에서는 판별력이 가장 좋다고 파악할 수 있다.
1(c)의 질병 상태의 평균 µd가 각각 증가할수록 pAUC는 증가한다. 이는 σd와 µd가 증가할수록 정상과 질병 상태의 분포가 겹치는 면적이 감소하므로 판별력이 증가하기 때문에 3절과 동일하게 민감도 직선을 바탕으로 구한 pAUC가 가장 큰 모형의 판별력이 우수하다고 결론내릴 수 있다.
5952)이 모형 B의 ROC 곡선과 만나는 1 − 특이도의 값보다 높다. 즉, 모형 A의 ROC 곡선과 특이도 직선이 만나는 점에 대응하는 특이도보다 높은 특이도를 가지는 범위는 모형 A가 모형 B보다 넓으며 이는 특이도의 특성을 더 많이 반영하는 것을 의미한다. 따라서 모형 A와 특이도 직선이 교차하는 점에 대응하는 특이도 값 (= 0.
그러므로 특이도가 높은 범위를 갖는 ROC 곡선은 질병 상태의 µ_d = 5일 때 가장 넓으며 특이도의 특성을 가장 많이 반영한다. 질병 상태의 µ_d = 5일 때의 ROC 곡선과 특이도 직선이 교차하는 점에 대응하는 특이도 값 (= 0.8348)보다 높은 특이도를 가지는 범위 (0.8348, 1.0)에 대한 pAUC를 살펴보면, 질병 상태의 µ_d가 증가할수록 pAUC가 커지므로 µ_d = 5일 때 pAUC가 가장 크다. 따라서 특이도 직선을 바탕으로 구한 pAUC를 이용하여 정상 상태의 분포는 단봉형이고 질병 상태의 분포는 쌍봉형인 분포함수들의 ROC 곡선들 중에서 쌍봉형인 분포함수들의 평균 차이가 가장 큰 모형이 특이도가 높은 범위에서는 판별력이 가장 좋다고 파악할 수 있다.
6902로 기울기가 1보다 매우 큰 특이도 직선이 ROC 곡선을 통과하는 경우이다. 특이도에 대응되는 효용이 민감도에 대응되는 효용보다 크므로 특이도가 높은 범위를 고려하는 것이 선호되어 ROC 곡선과 특이도 직선이 만나는 점에 대응하는 특이도의 값 (= 0.9380)보다 높은 특이도를 가지는 범위 (0.9380, 1)에서 pAUC(회색 부분)는 0.0243이다. 만약 Figure 5.

후속연구

본 연구는 예측모형에 대한 평가 및 비교를 하는 경우에 질병률과 기대효용에 대한 정보를 활용하여 분류 성능을 높이는 경우에 활용할 수 있으며, ROC 곡선이 교차하는 경우에 민감도 직선과 특이도 직선을 고려하고 민감도와 특이도 측면에서 pAUC를 구하여 우수한 판별력을 가진 모형을 선택할 수 있으며 본 연구에서 제안한 방법을 사용하면 판별 성능이 향상되는 것을 기대한다.

참고문헌 (21)

Bradley, A. P. (1997). The use of the area under the ROC curve in the evaluation of machine learning algorithms, Pattern Recognitions, 30, 1145-1159.
Brasil, P. (2010). Diagnostic test accuracy evaluation for medical professionals, Package DiagnosisMed in R.
Centor, R. M. (1991). Signal detectability: the use of ROC analysis, Med Decision Making, 11, 102-106.
Dodd, L. E. and Pepe, M. S. (2003). Partial AUC estimation and regression, Med Decision Making, 59, 614-623.
Fawcett, T. (2003). ROC graphs: notes and practical considerations for data mining researchers, Laboratories, Palo Alto, HPL-2003-4.
Greiner, M., Pfeiffer, D., and Smith, R. D. (2000). Principles and practical application of the receiver operating characteristic analysis for diagnostic tests, Veterinary Medicine, 45, 23-41.
Irwin, J. R. and Irwin, C. T. (2012). Appraising credit ratings: does the CAP fit better than the ROC?, Monetary Fund Working paper, WP. 12/122.
Jiang, Y., Metz, C., and Nishikawa, R. (1996). A receiver operating characteristic partial area index for highly sensitive diagnostic tests, Radiology, 201, 745-750.

상세보기
Koepsell, T. D. and Connell, F. A. (1985). Measures of gain in certainty from a diagnostic test, American Journal of Epidemiology, 121, 744-753.

상세보기
Krzanowski, W. J. and Hand, D. J. (2009). ROC Curves for Continuous Data, Chapman & Hall/CRC, Boca Raton.
McClish, D. K. (1989). Analyzing a portion of the ROC curve, Med Decision Making, 9, 190-195.
Metz, C. E. (1978). Basic principles of ROC analysis, Seminars in Nuclear Medicine, 8, 283-298.

상세보기
Perkins, N. J. and Schisterman, E. F. (2006). The inconsistency of "optimal" cutpoints obtained using two criteria based on the receiver operating characteristic curve, American Journal of Epidemiology, 163, 670-675.

상세보기
Samawi, H. M., Yin, J., Rochani, H., and Panchal, V. (2017). Notes on the overlap measure as an alternative to the Youden index: How are they related?, Statistics in Medicine, 36, 4230-4240.

상세보기
Sox, H. C., Blatt, M. A., Higgins, M. C., and Marton, K. I. (1988). Medical decision making, Butterworths, Stoneham.
Subtil, F. and Rabilloud, M. (2015). An enhancement of ROC curves made them clinically relevant for diagnostic-test comparison and optimal-threshold determination, Journal of Clinical Epidemiology, 68, 752-759.

상세보기
Swets, J. A., Dawes, R. M., and Monahan, J. (2000). Better decisions through science, Scientific American, 82-87.
Tasche, D. (2006). Validation of internal rating systems and PD estimates, The Analytics of Risk Model Validation, 169-196.
Vickers, A. J. E. and Elkin, E. B. (2006). Decision curve analysis: a novel method for evaluating prediction models, Med Decis Making, 26, 565-574.
Youden, W. J. (1950). Index for rating diagnostic test, Cancer, 3, 32-35.
Zweig, M. and Campbell, G. (1993). Receiver-operating characteristics (ROC) plots: A fundamental evaluation tool in clinical medicine, Clinical Chemistry, 39, 561-577.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증