[논문]시스템의 확률 값 시험을 위한 신뢰구간 비교 분석

황익순

시스템의 확률 값 시험을 위한 신뢰구간 비교 분석
Comparison of confidence intervals for testing probabilities of a system 원문보기

한국전자통신학회 논문지 = The Journal of the Korea Institute of Electronic Communication Sciences, v.5 no.5, 2010년, pp.435 - 443

황익순 (Software-Networks Department, TELECOM SudParis)

초록
AI-Helper

확률적 특성을 가지는 시스템의 시험을 위해서는 시험 입력을 일정 횟수만큼 반복하여 제공하고 관찰된 데이터를 기반으로 판정이 내려져야 한다. 구간 추정 기법을 이용하여 관찰된 데이터로부터 확률 값이 올바른지 여부를 판단할 수 있으며, 이 때 적절한 신뢰구간의 선택은 시험의 품질을 결정하는 중요한 요인이 된다. 본 논문에서는 다양한 크기의 표본에 대해 대표적인 구간 추정 기법인 Wald 신뢰구간과 Agresti-Coull 신뢰구간을 비교 분석한다. 각 신뢰구간이 확률 값 시험에 사용되었을 경우 올바른 구현 제품이 시험을 통과할 확률과 잘못된 구현제품이 시험을 통과하지 못할 확률을 기반으로 비교 분석을 수행하며, 확률 값이 올바른지를 판단하기 위한 양측검정뿐만 아니라 확률 값이 기준 확률 이상인지 여부를 판단하기 위한 단측검정을 사용하는 경우에 대해서도 비교 분석을 수행한다. 비교 분석 결과 양측검정의 경우 Agresti-Coull 신뢰구간을 사용할 것을 추천하며, 단측검정의 경우 큰 크기의 표본에 대해서는 Agresti-Coull 신뢰구간을, 적은 크기의 표본에 대해서는 Wald 신뢰구간 또는 Agresti-Coull 신뢰구간을 선택적으로 사용할 것을 추천한다.

Abstract ▼ AI-Helper

When testing systems that incorporate probabilistic behavior, it is necessary to apply test inputs a number of times in order to give a test verdict. Interval estimation can be used to assert the correctness of probabilities where the selection of confidence interval is one of the important issues for quality of testing. The Wald interval has been widely accepted for interval estimation. In this paper, we compare the Wald interval and the Agresti-Coull interval for various sizes of samples. The comparison is carried out based on the test pass probability of correct implementations and the test fail probability of incorrect implementations when these confidence intervals are used for probability testing. We consider two-sided confidence intervals to check if the probability is close to a given value. Also one-sided confidence intervals are considered in the comparison in order to check if the probability is not less than a given value. When testing probabilities using two-sided confidence intervals, we recommend the Agresti-Coull interval. For one-sided confidence intervals, the Agresti-Coull interval is recommended when the size of samples is large while either one of two confidence intervals can be used for small size samples.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 신뢰구간이 확률 값 시험에 사용되는 경우의 특성을 고려하여 40에서 100,000까지의 다양한 크기의 표본에 대해 Wald 신뢰구간과 Agresti-Coull 신뢰구간을 비교 분석하였다. 올바른 구현 제품이 시험을 통과할 확률(P_EP)과 잘못된 구현 제품이 시험을 통과하지 못할 확률(P_NEF)을 기반으로 하여 비교 분석을 수행하였으며, 확률 값이 올바른지를 판단하기 위한 양측검정뿐만 아니라 확률 값이 기준 확률 값 이상인지 여부를 판단하기 위한 단측검정을 사용할 경우에 대해서도 비교 분석을 수행하였다.
본 논문에서는 확률 값 시험 특성을 고려하여 40에서 100,000까지의 다양한 크기의 표본에 대해 신뢰구간에 대한 비교 분석을 수행한다. 기존에 가장 널리 사용되어 온 Wald 신뢰구간과 Agresti-Coull 신뢰구간을 분석 대상으로 하며, 기존의 커버리지 확률과 신뢰구간의 길이를 기반으로 한 분석과는 달리 해당 신뢰구간을 확률 값 시험에 사용했을 때 측정되는 P_EP와 P_NEF를 기반으로 하여 비교 분석을 수행한다¹⁾.

가설 설정

PFSM의 한 상태에서 입력 a에 대해 p와 1-p의 확률 값을 가지고 x와 y를 출력으로 내는 천이 t₁과 t₂가 각각 존재한다고 가정하자. 해당 상태에서 입력 a가 주어졌을 때 t₁과 t₂ 중 하나를 선택하여 실행하는 행위는 하나의 실험(experiment) 또는 시도(trial)라 한다.
일반적으로 널리 알려진 구간 추정 기법은 Central Limit Theorem (CLT), 즉 많은 수의 동일한 분포 함수 (distribution function)을 가지는 독립적인 랜덤 변수의 합은 정규 분포 (normal distribution)에 가까워진다는 이론을 기반으로 한 Wald 신뢰구간이다 [2]. 모집단의 분포 함수가 확률 값 p를 파라미터로 가지는 이항 분포 (binomial distribution)라 가정하자. 모집단으로부터 얻은 크기가 n인 표본에 대해 n의 값이 충분히 크다면, p에 대해 100(1-α)%의 신뢰수준을 가지는 Wald 신뢰구간은 다음과 같이 주어진다.

제안 방법

시험 대상 PFSM이 제공되면 PFSM의 각 천이를 확률 값에 따라 실행하는 PFSM 시뮬레이터를 구현하였다. PFSM 시뮬레이터에 입력 a을 주어진 표본 크기만큼 반복하여 제공하고 출력을 관찰한다. PFSM 시뮬레이터를 통해 관찰된 데이터를 기반으로 식 (1)과 (2)를 이용하여 p′에 대한 Wald 신뢰 구간과 Agresti-Coull 신뢰구간을 계산하며, 계산된 신뢰구간을 기반으로 식 (3)을 이용하여 성공 또는 실패 판정이 내려진다.
P_NEF의 경우 4절에서와 같이 p′ = p+2d인 잘못된 구현 제품을 고려하였으며, 식 (5)를 이용하여 표본의 크기로부터 d를 계산하였다. 각 확률 값 p와 표본의 크기 n의 조합에 대해 100,000번 실험을 반복하였으며, 각 신뢰구간에 대해 P_EP와 P_NEF를 측정하였다. 그림 3에 실험 결과가 나와 있다.
본 논문에서는 확률 값 시험 특성을 고려하여 40에서 100,000까지의 다양한 크기의 표본에 대해 신뢰구간에 대한 비교 분석을 수행한다. 기존에 가장 널리 사용되어 온 Wald 신뢰구간과 Agresti-Coull 신뢰구간을 분석 대상으로 하며, 기존의 커버리지 확률과 신뢰구간의 길이를 기반으로 한 분석과는 달리 해당 신뢰구간을 확률 값 시험에 사용했을 때 측정되는 P_EP와 P_NEF를 기반으로 하여 비교 분석을 수행한다¹⁾. 또한 확률 값이 올바른지를 판단하기 위한 양측검정뿐만 아니라 확률 값이 기준 확률 이상인지 여부를 판단하기 위한 단측검정을 사용하는 경우에 대해서도 비교 분석을 수행한다.
또한 [9]에서와 같이 시험 대상이 되는 시스템이 상용 서비스 중일 수도 있으므로 시스템에 큰 부하를 주기 어려울 수도 있으며, 적은 크기의 표본을 기반으로 판정이 내려져야 하는 경우도 존재한다. 따라서 본 실험에서는 0.8, 0.9, 0.95 세 가지 확률 값을 고려하며, 각 확률 값에 대해 40부터 100,000까지 다양한 표본 크기를 이용하여 비교 분석을 수행한다. P_NEF의 경우 4절에서와 같이 p′ = p+2d인 잘못된 구현 제품을 고려하였으며, 식 (5)를 이용하여 표본의 크기로부터 d를 계산하였다.
따라서 본 실험에서는 신뢰구간의 길이가 min(p,1-p′)의 10%에서부터 100%까지의 값을 가지는 경우를 고려한다.
기존에 가장 널리 사용되어 온 Wald 신뢰구간과 Agresti-Coull 신뢰구간을 분석 대상으로 하며, 기존의 커버리지 확률과 신뢰구간의 길이를 기반으로 한 분석과는 달리 해당 신뢰구간을 확률 값 시험에 사용했을 때 측정되는 P_EP와 P_NEF를 기반으로 하여 비교 분석을 수행한다¹⁾. 또한 확률 값이 올바른지를 판단하기 위한 양측검정뿐만 아니라 확률 값이 기준 확률 이상인지 여부를 판단하기 위한 단측검정을 사용하는 경우에 대해서도 비교 분석을 수행한다.
본 논문에서는 단측검정을 사용하여 0.8 이상의 확률 값을 시험할 경우 큰 크기의 표본 (약 1,500 이상)에 대해서는 Agresti-Coull 신뢰구간을 사용할 것을 추천한다. 표본의 크기가 작을 경우에는 시험의 목적에 따라 달라지며, 낮은 P_NEF 값을 가지더라도 우수한 P_EP가 보장되어야 하는 경우에는 Wald 신뢰구간을, 상대적으로 낮은 P_EP 값을 가지더라도 우수한 P_NEF가 보장되어야 하는 경우에는 Agresti-Coull 신뢰구간을 사용할 것을 추천한다.
min(p,1-p′) 값 대비 신뢰구간 길이를 r이라 하자. 본 실험에서는 p가 0.01부터 0.5까지의 값을 가지는 경우를 고려하며, 각 p 값에 대해서 r이 10%에서 100%까지의 값을 가지도록 표본의 크기를 정하였다. PEP의 경우 p′ = p이므로 식 (1)과 (2)를 이용하여 주어진 신뢰구간의 길이로부터 표본의 크기 n를 계산할 수 있다.
5% 이상의 값을 가지는지 여부를 판단해야 하며, 따라서 식 (4)에서 제시된 판단 기준이 사용될 수 있다. 본 실험에서는 시험 대상 확률 값이 1에 가까울 경우 우수한 성능을 보이는 Agresti-Coull 신뢰구간을 이용하여 각 p와 r 조합에 대해 측정된 확률 값을 기반으로 P_EP와 P_NEF가 각각 95%와 97.5%이상의 확률 값을 가지는지 여부를 판단하였다. 그림 2에는 각 확률 값 p에 대해 P_EP와 P_NEF가 각각 95%와 97.
본 절에서는 식 (3)에서 주어진 것과 같이 확률 값 시험에 양측검정을 사용하는 경우 다양한 확률 값과 다양한 크기의 표본에 대해 P_EP와 P_NEF를 기반으로 Wald 신뢰구간과 Agresti-Coull 신뢰구간을 비교 분석한다. 비교 분석에서는 편의상 95%의 신뢰수준을 고려하며, 따라서 시험을 통해 95% 정도의 P_EP와 97.
본 절에서는 식 (4)에서 주어진 것과 같이 확률 값 시험에 단측검정을 사용하는 경우 다양한 확률 값과 다양한 크기의 표본에 대해 P_EP와 P_NEF를 기반으로 Wald 신뢰구간과 Agresti-Coull 신뢰구간을 비교한다. 실험 방법은 기본적으로 성공 또는 실패 판정을 내리기 위한 판정 기준만 다를 뿐 4절에서 설명한 방법과 동일하다.
시험을 위한 기준 확률 값을 p, 시험 대상의 확률 값을 p′이라 하자. 시험 대상 PFSM이 제공되면 PFSM의 각 천이를 확률 값에 따라 실행하는 PFSM 시뮬레이터를 구현하였다. PFSM 시뮬레이터에 입력 a을 주어진 표본 크기만큼 반복하여 제공하고 출력을 관찰한다.
제안된 방안에서는 PFSM에 시험 입력을 일정 횟수만큼 반복하여 제공하고 관찰된 데이터를 기반으로 PFSM의 각 천이(transition)의 확률 값이 올바르게 구현되어 있는지 여부를 Agresti-Coull 신뢰구간을 이용하여 판단하였다. 시험의 품질(quality)을 판단하기 위해 올바른 구현 제품이 시험을 통과할 확률(PEP)과 잘못된 구현제품이 시험을 통과하지 못할 확률(PNEF)을 고려하였으며, PEP와 PNEF를 보장하기 위한 시험 입력 반복 횟수를 결정하는 방안을 제시하였다. [8]에서는 [7]에서 제안한 기법을 이용하여 이동통신 시스템의 통화 성공률이 성능 요구사항을 만족하는지 여부를 시험하는 방안을 제안하였다.
본 논문에서는 신뢰구간이 확률 값 시험에 사용되는 경우의 특성을 고려하여 40에서 100,000까지의 다양한 크기의 표본에 대해 Wald 신뢰구간과 Agresti-Coull 신뢰구간을 비교 분석하였다. 올바른 구현 제품이 시험을 통과할 확률(P_EP)과 잘못된 구현 제품이 시험을 통과하지 못할 확률(P_NEF)을 기반으로 하여 비교 분석을 수행하였으며, 확률 값이 올바른지를 판단하기 위한 양측검정뿐만 아니라 확률 값이 기준 확률 값 이상인지 여부를 판단하기 위한 단측검정을 사용할 경우에 대해서도 비교 분석을 수행하였다. 비교 분석 결과 확률 값 시험에 양측검정이 사용되었을 경우 Wald 신뢰구간은 작은 크기의 표본뿐만 아니라 큰 크기의 표본에 대해서도 열악한 결과를 보임을 알 수 있었으며, Agresti-Coull 신뢰구간의 경우 표본의 크기가 약 200 이상인 경우에는 매우 우수한 결과를 보여주었다.
따라서 본 실험에서는 Wald 신뢰구간을 사용했을 경우 표본의 크기가 np(1-p) < 10인 경우에는 고려 대상에서 제외하며 Agresti-Coull 신뢰구간을 사용했을 경우는 n < 40인 경우는 고려 대상에서 제외한다. 하나의 p와 r의 조합에 대해 100,000번 실험을 반복하였으며, 각 신뢰구간에 대해 P_EP와 P_NEF를 측정하였다. 그림 1에 실험 결과가 나와 있다.

데이터처리

[7]에서는 구간 추정 기법을 이용하여 PFSM(Probabilistic Finite-State Machine)을 시험하는 방안이 제안되었다. 제안된 방안에서는 PFSM에 시험 입력을 일정 횟수만큼 반복하여 제공하고 관찰된 데이터를 기반으로 PFSM의 각 천이(transition)의 확률 값이 올바르게 구현되어 있는지 여부를 Agresti-Coull 신뢰구간을 이용하여 판단하였다. 시험의 품질(quality)을 판단하기 위해 올바른 구현 제품이 시험을 통과할 확률(PEP)과 잘못된 구현제품이 시험을 통과하지 못할 확률(PNEF)을 고려하였으며, PEP와 PNEF를 보장하기 위한 시험 입력 반복 횟수를 결정하는 방안을 제시하였다.

성능/효과

비교 분석 결과 확률 값 시험에 양측검정이 사용되었을 경우 Wald 신뢰구간은 작은 크기의 표본뿐만 아니라 큰 크기의 표본에 대해서도 열악한 결과를 보임을 알 수 있었으며, Agresti-Coull 신뢰구간의 경우 표본의 크기가 약 200 이상인 경우에는 매우 우수한 결과를 보여주었다. 0.8 이상인 확률 값에 대해 단측 검정을 사용하여 확률 값을 시험할 경우에는 큰 크기의 표본 (약 1,500 이상)에 대해서는 Agresti-Coull 신뢰구간이 우수한 결과를 보였으며, 작은 크기의 표본에 대해서는 P_EP의 경우 Wald 신뢰구간이, P_NEF의경우 Agresti-Coull 신뢰구간이 보다 우수한 결과를 보임을 알 수 있었다.
95%의 신뢰수준을 가지고 (4)를 기반으로 확률 값에 대한 시험을 수행하면 사용된 신뢰구간의 커버리지 확률 값이 명목수준을 보장할 경우 p′ ≥ p 인 구현 시스템에 대해 PEP를 97.5% 정도로 보장할 수 있고, p′ < p-2d 인 잘못된 구현 시스템에 대해 PNEF를 97.5% 정도로 보장할 수 있다.
Agresti-Coull 신뢰구간의 경우 약 96% 정도의 p와 r의 조합에서 P_EP가 95% 이상의 값을 가지는 것으로 판단되었으며, 약 94% 정도의 조합에서 P_NEF가 97.5% 이상의 확률 값을 가지는 것으로 판단되었다. 확률 값이 0.
따라서 95%의 신뢰수준을 가지고 (3)을 기반으로 확률 값에 대한 시험을 수행하면 사용된 신뢰구간의 커버리지 확률 값이 명목수준인 95% 이상일 경우 PEP를 95% 정도로 보장할 수 있고, |p-p′|> 2d인 잘못된 구현 제품에 대해 PNEF를 97.5% 정도로 보장할 수 있다.
올바른 구현 제품이 시험을 통과할 확률(P_EP)과 잘못된 구현 제품이 시험을 통과하지 못할 확률(P_NEF)을 기반으로 하여 비교 분석을 수행하였으며, 확률 값이 올바른지를 판단하기 위한 양측검정뿐만 아니라 확률 값이 기준 확률 값 이상인지 여부를 판단하기 위한 단측검정을 사용할 경우에 대해서도 비교 분석을 수행하였다. 비교 분석 결과 확률 값 시험에 양측검정이 사용되었을 경우 Wald 신뢰구간은 작은 크기의 표본뿐만 아니라 큰 크기의 표본에 대해서도 열악한 결과를 보임을 알 수 있었으며, Agresti-Coull 신뢰구간의 경우 표본의 크기가 약 200 이상인 경우에는 매우 우수한 결과를 보여주었다. 0.
5% 미만인 경우가 상당히 많음을 알 수 있다. 약 36% 정도의 p와 r의 조합에서 P_EP가 95% 이상 확률 값을 가지는 것으로 판단되었으며, 약 31% 정도의 조합에서 P_NEF가 97.5% 이상 확률 값을 가지는 것으로 판단되었다. P_EP의 경우 모든 확률 값에서 비슷한 수준으로 좋지 않은 결과를 보여주고 있으며, 대부분의 확률 값에서 표본의 크기가 1,000 이상인 경우에도 적지 않게 P_EP가 95%보다 작은 확률 값을 가지는 경우가 존재함을 알 수 있다.
를 보장하는 p와 r의 조합들을 제시하고 이를 사용할 것을 권장하였다. 이를 위해 실험을 통해 측정된 P_EP와 P_NEF 값이 각각 95%와 97.5% 이상일 경우 해당 p와 r의 조합은 우수하다고 판단하였다. 하지만 이러한 판단 기준은 [8]에서 언급된 것과 같이 측정된 P_EP와 P_NEF 값이 통계적 특성을 가지는 것을 고려하지 않음으로 인해 열악한 우수 판정 확률을 보이는 문제가 있다.
4 이하일 경우 확률 값이 작아질수록 열악한 결과를 보여주고 있음을 알 수 있다. 특히 확률 값이 0에 가까운 경우에는 100,000에 가까운 표본 크기를 가지더라도 P_NEF가 97.5%보다 작은 확률 값을 가지는 것으로 나타났다.
5% 이상의 확률 값을 가지는 것으로 판단되었다. 확률 값이 0.2 이하인 경우에 매우 우수한 결과를 보여주고 있으며, 표본의 크기가 약 200 이상인 경우 모든 확률 값에서 P_EP와 P_NEF 모두 우수한 결과를 보여주고 있음을 알 수 있다.

후속연구

8 미만인 경우에는 [4]에서 보인 것과 같이 본 실험에서 제시된 결과와는 다른 결과를 보일 수 있다. 따라서 향후 다양한 확률 값에 대한 보다 일반적인 비교 분석이 수행되어야 한다.
5%보다 작은 경우가 다수 존재한다. 따라서 향후 연구방향으로는 단측검정을 사용하여 확률 값을 시험하는 경우 Jeffreys 신뢰구간을 포함한 보다 다양한 신뢰구간에 대한 비교 분석이 수행되어야 한다. 또한 0.

질의응답

핵심어	질문	논문에서 추출한 답변
	구간 추정 기법이란 무엇인가?	구간 추정(interval estimation) 기법은 특정한 분포함수(distribution function)를 가지는 모집단에 대해 분포 함수의 파라미터 값을 모집단으로부터 관찰된 데이터, 즉 표본(sample)을 기반으로 하여 일정 수준의 신뢰수준(confidence level)를 가지고 구간으로 추정하는 기법이다. 구간 추정 기법 중 일반적으로 널리 알려진 방법은 Central Limit Theorem(CLT)을 기반으로 한 Wald 신뢰구간(confidence interval)이다 [2].
	구간 추정 기법 중 일반적으로 널리 알려진 방법은 무엇인가?	구간 추정(interval estimation) 기법은 특정한 분포함수(distribution function)를 가지는 모집단에 대해 분포 함수의 파라미터 값을 모집단으로부터 관찰된 데이터, 즉 표본(sample)을 기반으로 하여 일정 수준의 신뢰수준(confidence level)를 가지고 구간으로 추정하는 기법이다. 구간 추정 기법 중 일반적으로 널리 알려진 방법은 Central Limit Theorem(CLT)을 기반으로 한 Wald 신뢰구간(confidence interval)이다 [2]. 비록 Wald 신뢰구간이 널리 사용되어 왔지만 Wald 신뢰구간은 추정하고자 하는 확률 값이 0 또는 1에 근접할 경우 낮은 커버리지 확률 (coverage probability: 해당 신뢰 구간이 실제 확률 값을 포함하고 있을 확률)을 제공하는 등의 문제점이 있는 것으로 알려져 있다 [3, 4].
	본 연구에서 Wald 신뢰구간의 문제점을 해결하기 위해 추천된 신뢰구간은 무엇인가?	비록 Wald 신뢰구간이 널리 사용되어 왔지만 Wald 신뢰구간은 추정하고자 하는 확률 값이 0 또는 1에 근접할 경우 낮은 커버리지 확률 (coverage probability: 해당 신뢰 구간이 실제 확률 값을 포함하고 있을 확률)을 제공하는 등의 문제점이 있는 것으로 알려져 있다 [3, 4]. 이러한 문제점을 해결하기 위해 다양한 신뢰구간이 제안되었으며, [3]과 [4]에서는 각각 양측검정과 단측검정을 사용하는 경우 다양한 신뢰구간에 대한 비교 분석을 수행하여 양측검정 사용시에는 Agresti-Coull 신뢰구간 [5]을 포함한 몇 개의 신뢰구간을 사용할 것을 추천하였고, 단측검정 사용시에는 Jeffreys 신뢰구간 [3]을 사용할 것을 추천하였다. 하지만 최적의 신뢰구간에 대해서는 의견의 차이를 보이고 있으며, 신뢰구간의 비교를 위한 적절한 기준의 설정 및 설정된 기준의 적합성에 대한 논의가 계속되고 있다 [6].

참고문헌 (9)

O. Markowitch, Y. Roggeman. Probabilistic non-repudiation without trusted third party. Second Conference on Security in Communication Networks 1999, Amalfi, Italy.
S.M. Ross, Introduction to Probability and Statistics for Engineers and Scientists, Johns Wilely & Sons, New York, 1987.
L. D. Brown, T. T. Cai, A. DasGupta. "Interval Estimation for a Binomial Proportion," Statistical Science, Vol. 16, No. 2, pp. 101-117, 2001.
T. T. Cai, "One-sided confidence intervals in discrete distributions", Journal of Statistical Planning and Inference, Vol. 131, No. 1, pp. 63-88, 2005.

상세보기
A. Agresti, B. Coull, "Approximate is better than 'exact' for interval estimation of binomial proportions", The American Statistician, Vol. 52, No. 2, pp. 119-126, 1998.

상세보기
류제복, "이항신뢰구간에 대한 소고", 한국통계 학회논문집, 제16권 제5호, pp. 731-743, 2009.

원문보기 상세보기
Iksoon Hwang, Ana Cavalli, Testing a probabilistic FSM using interval estimation, Computer Networks, Vol. 54, No. 7 pp. 1108-1125, 2010.

상세보기
황익순, 박재성, "구간 추정 기법을 이용한 이 동통신 시스템의 통화 성공률 시험 방법", Technical report, 수원대학교, 2010.
방송통신위원회 이용자보호국, 2009년도 통신서비스 품질 평가 결과, 2010. URL http://www.wiseuser.go.kr/quality/main.do

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증