[논문]앙상블 머신러닝 모델 기반 유튜브 스팸 댓글 탐지

정민철; 이지현; 오하영

doi:10.6109/jkiice.2020.24.5.576

앙상블 머신러닝 모델 기반 유튜브 스팸 댓글 탐지
Ensemble Machine Learning Model Based YouTube Spam Comment Detection 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.24 no.5, 2020년, pp.576 - 583

정민철 (Department of Digital Media, Ajou University) , 이지현 (Department of English Language and Literature, Ajou University) , 오하영 (Global Convergence, Sungkyunkwan University)

초록
AI-Helper

이 논문은 최근 엄청난 성장을 하고 있는 유튜브의 댓글 중 스팸 댓글을 판별하는 기법을 제안한다. 유튜브에서는 광고를 통한 수익 창출이 가능하기 때문에 인기 동영상에서 자신의 채널이나 동영상을 홍보하거나 영상과 관련 없는 댓글을 남기는 스패머(spammer)들이 나타났다. 유튜브에서는 자체적으로 스팸 댓글을 차단하는 시스템을 운영하고 있지만 여전히 제대로 차단하지 못한 스팸 댓글들이 있다. 따라서, 유튜브 스팸 댓글 판별에 대한 관련 연구들을 살펴 보고 인기 동영상인 싸이, 케이티 페리, LMFAO, 에미넴, 샤키라의 뮤직비디오 댓글 데이터에 6가지 머신러닝 기법(의사결정나무, 로지스틱 회귀분석, 베르누이 나이브 베이즈, 랜덤 포레스트, 선형 커널을 이용한 서포트 벡터 머신, 가우시안 커널을 이용한 서포트 벡터 머신)과 이들을 결합한 앙상블 모델로 스팸 탐지 실험을 진행하였다.

Abstract ▼ AI-Helper

This paper proposes a technique to determine the spam comments on YouTube, which have recently seen tremendous growth. On YouTube, the spammers appeared to promote their channels or videos in popular videos or leave comments unrelated to the video, as it is possible to monetize through advertising. YouTube is running and operating its own spam blocking system, but still has failed to block them properly and efficiently. Therefore, we examined related studies on YouTube spam comment screening and conducted classification experiments with six different machine learning techniques (Decision tree, Logistic regression, Bernoulli Naive Bayes, Random Forest, Support vector machine with linear kernel, Support vector machine with Gaussian kernel) and ensemble model combining these techniques in the comment data from popular music videos - Psy, Katy Perry, LMFAO, Eminem and Shakira.

주제어

표/그림 (8)

그림 Fig. 1 Examples of Spam comment for promoting self video
그림 Fig. 2 Overview of the proposed spam commentdetection scheme
표 Table. 1 Datasets collected and used in the experiments
그림 Fig. 3 Tokenize and BoW vectorize process[17]
표 Table. 2 Classification methods used in the experiments
표 Table. 3 Confusion matrix. Positive : Spam, Negative : Ham
표 Table. 4 Experiment result
그림 Fig. 4 ROC curve of the proposed classifiers scheme

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

기존 유튜브 스팸 댓글 탐지에 대한 연구들에서는 여러 가지 머신러닝 기법들을 각각 데이터 셋에 적용하여 댓글을 분류하고 성능을 비교하였다. 따라서, 본 논문에서는 여러 모델의 결과를 결합하여 최종 결과를 도출하는 앙상블 머신러닝 기법을 제안한다.
따라서, 본 연구에서는 스패머 인식 및 탐지와 관련된 기존 연구들을 웹사이트 상의 스팸과 유튜브의 스팸 두범주로 나누어 살펴보고자 한다.
실험 결과, 본 논문에서 제안한 ESM-S 모델은 5종류의 성능 평가 중 4종류에서 가장 좋은 성능을 보였고 1종류에서 두 번째로 좋은 성능을 보였다. 따라서, 한 가지 기법만으로 모델을 만들어서 분류를 했던 기존 연구들과는 달리, 본 논문에서는 여러가지 기법들의 결과를 결합하여 분류를 하는 앙상블 모델을 제안하여 성능 개선을 하였다. 향후 연구에서는 뮤직비디오가 아닌 다른 카테고리의 동영상에도 제안한 모델을 적용해보고, TF-IDF 전처리 및 딥러닝 기법도 추가한다면 더 좋은 성능이 나올 것으로 예상된다.
본 논문에서는 머신러닝 기법들로 앙상블 모델을 만들어 유튜브 스팸 댓글 탐지를 하였다. 실험 결과, 본 논문에서 제안한 ESM-S 모델은 5종류의 성능 평가 중 4종류에서 가장 좋은 성능을 보였고 1종류에서 두 번째로 좋은 성능을 보였다.
[3]. 즉, n-grame 사전을 사용하는 데는 어느 정도 한계가 있고, 컴퓨터가 자동으로 품사를 분해하는데도 규칙에 따르지 않는 경우도 존재하기 때문에 차라리 적당한 크기로 잘게 쪼개서 분석하자는 목적을 가지고 있다.

가설 설정

웹 사이트에서 스팸 및 악성 후기는 복제되었다는 가정 하에 세 유형으로 나뉘는데, 그 중 같은 내용을 다른 아이디로 업로드 한 경우에 대해 이 모델을 사용했다. 즉, 상품 후기 데이터의 언어 분석, 특히 특정 단어 뒤에 어떤 단어가 위치하는지 예측하면서 각각을 비교하고 무분별하게 복제된 후기 데이터를 찾아내기 위해 n-gram 언어 모델을 사용했다.

제안 방법

데이터수집 기간 동안 영상을 올린 500명의 채널을 찾고 영상 30, 621개를 크롤링했다. ‘채널 생성 일자’, ‘업로드 된 영상의 평균 수’, ‘채널 생성일에 따른 조회수 비율’과‘전체 조회수에 대한 좋아요 비율’ 등 채널의 특징 16개로 한정하여 각 채널을 분석하였다. 그런 다음 9개의 알고리즘을 적용해서 해당 특징이 스팸 탐지에 얼마나 기여하는지 평가하였고, 결과 Bayes Network, Naïve Bayesian 과 Bayes classifier가 약 98%의 정확도를 보여주었다.
표. 1에 있는 전체 데이터의 70%를 훈련 데이터, 30% 를 시험 데이터로 나누고 8가지 머신러닝 기법들을 적용하여 실험을 진행하였다. 사용한 기법들은 표 2와 같다.
따라서, 투입한 분류기의 수를 홀수로 만들기 위해 표. 2와 같이 기존 6가지 기법 중 성능이 가장 낮았던 NB-B를 제외한 나머지 5가지 기법으로 생성하였다. 두 번째로는 각 분류기가 클래스를 예측한 확률들의 평균을 내어 최종 예측을 하는 ESM-S (Ensemble with soft voting) 모델을 제안하였다.
스팸 탐지 결과를 제시했다. ANN 적용 후, 정확도, 스팸 탐지 비율, 정상 댓글 차단 비율, F1 스코어와 MCC 를 기준으로 [9]과의 결과를 비교하였다. 그 결과 ANN 이 다른 모델보다 높은 정확도, F1 스코어와 MCC를 보였다.
추가되었다. 각 알고리즘의 성능을 비교하기 위해 정확도, 스팸 탐지 비율, 정상 댓글 차단 비율과 F1 스코어가 사용되었다. 이와 더불어 MCC를 사용하여 정상댓글이 차단된 경우의 비율도 같이 고려했다.
댓글 데이터는 텍스트 데이터이기 때문에 머신러닝 기법에 적용할 수 있도록 전처리를 하였다. 전처리는 불용어(stop words) 제거를 하고 파이썬 사이킷런 라이브러리의 CountVectorizer 함수를 사용하여 댓글을 토큰의 목록으로 만들고 토큰의 출현 빈도를 카운트한 후에 Bag of words(BoW) 벡터화를 하였다.
데이터는 [16] 에서 다운로드가 가능하다. 데이터는 댓글 ID, 댓글 작성자, 날짜, 댓글 내용, 레이블 링 된 클래스(0: Ham 혹은 1: Spam)로 이루어졌고, 본 논문에서는 댓글 내용과 레이블 링 된 클래스만을 사용하였다. 5가지 데이터를 각각 훈련(train)시키고 시험(test)하면 5개의 분류기가 해당 데이터에 대해서만 성능이 좋고 다른 동영상의 댓글 데이터에는 적용이 잘되지 않는 과적합(overfitting) 이 발생할 수 있다.
2와 같이 기존 6가지 기법 중 성능이 가장 낮았던 NB-B를 제외한 나머지 5가지 기법으로 생성하였다. 두 번째로는 각 분류기가 클래스를 예측한 확률들의 평균을 내어 최종 예측을 하는 ESM-S (Ensemble with soft voting) 모델을 제안하였다.
본 연구에서는 먼저, 단순 다수결 방식을 사용하여 더많은 분류기가 선택한 클래스를 최종 클래스로 채택하도록 하는 ESM-H (Ensemble with hard voting) 모델을 제안한다. 즉, 5개의 분류기 중에 3개의 분류기가 클래스 0, 2개의 분류기가 클래스 1로 예측을 하였다면 클래스 0이라고 예측하는 앙상블 모델을 활용한다.
댓글 데이터는 휴리스틱하게 직접 일반 댓글과 스팸 댓글로 분류되었고, 이 중 32% 는 일반 댓글 그리고 68%는 스팸이었다. 블로그 포스팅, 댓글과 댓글에 포함된 외부 링크의 글쓰기 방식이 다르기 때문에, 각각에 언어 모델을 적용하였다. 이 모델들의 유사도를 통해 댓글의 스팸 여부를 확인하였다.
있다. 유튜브 API로 최근 업로드된 영상과 댓글을 불러와서 Multinomial Naïve Bayes, Random Forests 그리고 SVM 분류 기법을 적용한 연구다. F1 스코어로 각각을 평가한 결과, SVM는 0.
블로그 포스팅, 댓글과 댓글에 포함된 외부 링크의 글쓰기 방식이 다르기 때문에, 각각에 언어 모델을 적용하였다. 이 모델들의 유사도를 통해 댓글의 스팸 여부를 확인하였다. 즉, 언어 모델은 어떤 단어가 뒤에 오는지에 대한 예측을 바탕으로 단어 순서에 확률을 할당하는 모델이기 때문에 이를 활용한다면 스팸 탐지의 주요한 방법이다.
삼았다. 이를 위해, [9]에서 좋은 성능을 보였고, 99.9%의 신뢰수준에서 유의미했던 6가지 머신러닝 기법 CART (의사결정나무, Decision Tree), LR (로지스틱회귀분석, Logistic Regression), NB-B (베르누이 나이브 베이즈, Bernoulli Naive Bayes), RF (랜덤 포레스트, Random Forest), SVM-L (선형 커널을 이용한 서포트벡터 머신, Support vector machine with linear kernel), SVM-R (가우시안 커널을 이용한 서포트 벡터 머신, Support vector machine with Gaussian kernel)들과 이를 결합한 앙상블 모델을 제안하고 성능평가를 진행했다.
해당기법에서 SVM 분류 기법은 입력된 데이터가 스팸에 속할 확률이 얼마나 되는지 지속적으로 학습 및 계산 후 업데이트되면서 분류되는 기법이다. 이를 토대로 유튜브 사용자와 영상의 특성을 파악하고 답글 영상이라는 유튜브 내 사회적 연결망을 확인하였다.
적용할 수 있도록 전처리를 하였다. 전처리는 불용어(stop words) 제거를 하고 파이썬 사이킷런 라이브러리의 CountVectorizer 함수를 사용하여 댓글을 토큰의 목록으로 만들고 토큰의 출현 빈도를 카운트한 후에 Bag of words(BoW) 벡터화를 하였다. 해당 과정은 그림 3과 같다.
댓글 데이터 1983개를 수집하고 전체의 70%인 1369개를 훈련 데이터, 30%인 587개를 시험 데이터로 나눈다. 전처리를 한 후에 훈련 데이터를 머신러닝 알고리즘 6가지 기법(CART, LR, NB-B, RF, SVM-L, SVM-R)과 이들을 결합하여 만든 ESM-H (Ensemble with hard voting), ESM-S (Ensemble with soft voting)으로 학습을 시키고 분류 모델을 만든다. 만들어진 모델에 시험 데이터를 넣어서 클래스를 예측하고 평가한다.
사용했다. 해당 연구에서는 데이터 수집을 위해 랜덤으로 블로그 포스팅 50개와 해당 포스팅에 달린 1024 개의 댓글을 크롤링 했다. 댓글 데이터는 휴리스틱하게 직접 일반 댓글과 스팸 댓글로 분류되었고, 이 중 32% 는 일반 댓글 그리고 68%는 스팸이었다.

대상 데이터

제안하는 기법의 실험 개요는 그림 2와 같다. 댓글 데이터 1983개를 수집하고 전체의 70%인 1369개를 훈련 데이터, 30%인 587개를 시험 데이터로 나눈다. 전처리를 한 후에 훈련 데이터를 머신러닝 알고리즘 6가지 기법(CART, LR, NB-B, RF, SVM-L, SVM-R)과 이들을 결합하여 만든 ESM-H (Ensemble with hard voting), ESM-S (Ensemble with soft voting)으로 학습을 시키고 분류 모델을 만든다.
데이터수집 기간 동안 영상을 올린 500명의 채널을 찾고 영상 30, 621개를 크롤링했다. ‘채널 생성 일자’, ‘업로드 된 영상의 평균 수’, ‘채널 생성일에 따른 조회수 비율’과‘전체 조회수에 대한 좋아요 비율’ 등 채널의 특징 16개로 한정하여 각 채널을 분석하였다.
5가지 데이터를 각각 훈련(train)시키고 시험(test)하면 5개의 분류기가 해당 데이터에 대해서만 성능이 좋고 다른 동영상의 댓글 데이터에는 적용이 잘되지 않는 과적합(overfitting) 이 발생할 수 있다. 따라서, 본 논문에서는 표1과 같이 일반화를 위하여 5가지 데이터를 모두 결합한 1983개의 데이터 중에 70%인 1369개의 데이터를 훈련 데이터, 30%인 587개의 데이터를 시험 데이터로 분리하여 실험하였다.
본 논문에서는 [9]에서 제공한 5가지 인기 뮤직비디오의 댓글 데이터로 실험을 진행하였다. 데이터는 [16] 에서 다운로드가 가능하다.
실험 환경은 주피터 노트북에서 파이썬 3.7.1버전과 사이킷런 라이브러리 0.20.1버전을 사용하였다[13, 14, 15].
제안하는 기법은 유튜브 스팸 댓글 탐지에 대한 대표적인 선행 연구인 Tulio의 연구[9]를 비교 연구 대상으로 삼았다. 이를 위해, [9]에서 좋은 성능을 보였고, 99.

데이터처리

성능 측정은 Acc (Accuracy rate, 정확도), SC (Spam caught rate, 스팸 탐지 정도), BH (Blocked ham rate, 정상 댓글 차단 정도), F1-score, MCC (Matthews correlation coefficient, 매튜 상관계수)를 사용하였다. 각각 구하는 공식은 표 3의 confusion matrix를 참조했을 때 다음과 정리된다.

이론/모형

이와 더불어 MCC를 사용하여 정상댓글이 차단된 경우의 비율도 같이 고려했다. 분류 기법은 10개(CART, K-NN, LR, NB-B, NB-G, NB-M, RF, SVM-L, SVM-P, SVM-R)가 사용되었다. 각각을 적용한 결과, 연구에서 사용된 10개 기법 모두 90%이상의 정확도와 일반 댓글 차단 비율은 5%에 불과했다.
스팸 답글 영상은 답글 영상이 목표로 하는 영상의 주제와 관련 없이 특정 상품을 홍보하거나 외설적 내용을 다룰 경우 스팸으로 분류됐다. 이렇게 분류된 데이터에 Support Vector Machine (SVM) 분류 기법을 적용하고 스팸 매트릭스, 정확도와 F1 스코어로 평가했다. 해당기법에서 SVM 분류 기법은 입력된 데이터가 스팸에 속할 확률이 얼마나 되는지 지속적으로 학습 및 계산 후 업데이트되면서 분류되는 기법이다.
즉, 5개의 분류기 중에 3개의 분류기가 클래스 0, 2개의 분류기가 클래스 1로 예측을 하였다면 클래스 0이라고 예측하는 앙상블 모델을 활용한다. 따라서, 투입한 분류기의 수를 홀수로 만들기 위해 표.
사용했다. 즉, 상품 후기 데이터의 언어 분석, 특히 특정 단어 뒤에 어떤 단어가 위치하는지 예측하면서 각각을 비교하고 무분별하게 복제된 후기 데이터를 찾아내기 위해 n-gram 언어 모델을 사용했다.

성능/효과

[6] 의 저자들은 답글 영상에서 스팸을 찾아내고자 실험 기간 동안에 답글 영상을 주고받은 사용자와 해당 영상을 랜덤으로 수집했다. 592명의 유튜브 계정을 대상으로 16, 611명의 스팸 사용자들을 찾았고, 이들이 총 8, 710개의 영상에 스팸 답글 영상을 달았다는 것을 확인하였다. 스팸 답글 영상은 답글 영상이 목표로 하는 영상의 주제와 관련 없이 특정 상품을 홍보하거나 외설적 내용을 다룰 경우 스팸으로 분류됐다.
유튜브 API로 최근 업로드된 영상과 댓글을 불러와서 Multinomial Naïve Bayes, Random Forests 그리고 SVM 분류 기법을 적용한 연구다. F1 스코어로 각각을 평가한 결과, SVM는 0.9774% 그리고 Random Forests는 0.9726%의 높은 정확도를 도출했다.
분류 기법은 10개(CART, K-NN, LR, NB-B, NB-G, NB-M, RF, SVM-L, SVM-P, SVM-R)가 사용되었다. 각각을 적용한 결과, 연구에서 사용된 10개 기법 모두 90%이상의 정확도와 일반 댓글 차단 비율은 5%에 불과했다. 그 중 CART, LR, NB-B, RF, SVM-L and SVM-R는 99.
ANN 적용 후, 정확도, 스팸 탐지 비율, 정상 댓글 차단 비율, F1 스코어와 MCC 를 기준으로 [9]과의 결과를 비교하였다. 그 결과 ANN 이 다른 모델보다 높은 정확도, F1 스코어와 MCC를 보였다.
각각을 적용한 결과, 연구에서 사용된 10개 기법 모두 90%이상의 정확도와 일반 댓글 차단 비율은 5%에 불과했다. 그 중 CART, LR, NB-B, RF, SVM-L and SVM-R는 99.9%의 신뢰성을 보여주었다.
‘채널 생성 일자’, ‘업로드 된 영상의 평균 수’, ‘채널 생성일에 따른 조회수 비율’과‘전체 조회수에 대한 좋아요 비율’ 등 채널의 특징 16개로 한정하여 각 채널을 분석하였다. 그런 다음 9개의 알고리즘을 적용해서 해당 특징이 스팸 탐지에 얼마나 기여하는지 평가하였고, 결과 Bayes Network, Naïve Bayesian 과 Bayes classifier가 약 98%의 정확도를 보여주었다.
ROC 커브의 밑면적인 AUC (Area Under a ROC Curve)는 면적이 1에 가까울수록 TP(스팸을 스팸이라고 예측한 것)와 FN(정상 댓글을 정상이라고 예측한 것)이 동시에 높은 것이므로 좋은 커브다. 따라서, 회색 곡선으로 나타난 ESM-S모델이 가장 면적이 넓은 것을 확인하였다.
유튜브 스팸 댓글 탐지를 하였다. 실험 결과, 본 논문에서 제안한 ESM-S 모델은 5종류의 성능 평가 중 4종류에서 가장 좋은 성능을 보였고 1종류에서 두 번째로 좋은 성능을 보였다. 따라서, 한 가지 기법만으로 모델을 만들어서 분류를 했던 기존 연구들과는 달리, 본 논문에서는 여러가지 기법들의 결과를 결합하여 분류를 하는 앙상블 모델을 제안하여 성능 개선을 하였다.
실험 결과, 표4에서 보여주듯이 Acc, SC, F1-score, MCC에서 ESM-S 모델이 가장 좋은 성능을 보였고 BH 에서는 ESM-S 모델이 NB-B 기법 다음으로 좋은 성능을 보였다. 8가지 분류기로 False Positive rate {FP/ (FP+TN)}를 x축, Recall을 y축으로 사용하여 만든 ROC (Receiver Operating Characteristic) 최종 커브는 그림 4 와 같다.
결과를 비교 및 정리하였다. 제시된 선행 연구는 최소 2개 이상의 분류 기법을 사용했고 각각 높은 정확도를 보였다. 좋은 결과를 내는 기법이 데이터 셋마다 다르기 때문에, 여러 기법으로 실험을 하며 최상의 결과를 내는 분류 알고리즘을 찾아야 됨을 제시했다.

후속연구

또한, 유튜브라는 플랫폼의 특성상 스팸은 영상과 댓글의 형태로 각각 나타날 수 있기 때문에 유튜브 내에서도 스팸의 종류가 나누어져 있다. 이를 토대로 영상 스팸을 다룬 연구를 먼저 살펴보고 분류 기법을 적용한 댓글 스팸 관련 연구를 소개할 것이다.
제시된 선행 연구는 최소 2개 이상의 분류 기법을 사용했고 각각 높은 정확도를 보였다. 좋은 결과를 내는 기법이 데이터 셋마다 다르기 때문에, 여러 기법으로 실험을 하며 최상의 결과를 내는 분류 알고리즘을 찾아야 됨을 제시했다.
따라서, 한 가지 기법만으로 모델을 만들어서 분류를 했던 기존 연구들과는 달리, 본 논문에서는 여러가지 기법들의 결과를 결합하여 분류를 하는 앙상블 모델을 제안하여 성능 개선을 하였다. 향후 연구에서는 뮤직비디오가 아닌 다른 카테고리의 동영상에도 제안한 모델을 적용해보고, TF-IDF 전처리 및 딥러닝 기법도 추가한다면 더 좋은 성능이 나올 것으로 예상된다.

참고문헌 (18)

KBS NEWS [Internet] Available: https://mn.kbs.co.kr/news/view.do?ncd4260664
YouTube Help, [Internet] Available: https://support.google.com/youtube/answer/72857?hlko
M. S. Patil, and A. M. Bagade, "Online review spam detection using language model and feature selection." International Journal of Computer Applications, 59(7), December 2012, 1-4.
M. Mishne, G. Carmel, D. David, L. Ronny, "Blocking Blog Spam with Language Model Disagreement.", ACM Transactions on Multimedia Computing, Communications, and Applications, May, 2005, 1-6.
T. Bogers and D. B. Van, "Using Language Models for Spam Detection in Social Book marking", Proceedings of ECML/PKDD Discovery Challenge Workshop, 2008, 1-12.
P. S. Kiran, "Detecting spammers in YouTube : A study to find spam content in a video platform", IOSR Journal of Engineering (IOSRJEN), 05(07), July 2015, 26-30.
Y. Yusof and O. H. Sadoon, "Detecting video spammers in youtube social media", Proceedings of the 6th International Conference of Computing & Informatics, April 2017, 228-235.
A. Shreyas, and S. Nisha, "N-Gram Assisted Youtube Spam Comment Detection", Procedia Computer Science, 132, Jan 2018, 174-182.

상세보기
A. Tulio, L. Johannes and A. Tiago, "TubeSpam: Comment Spam Filtering on YouTube", IEEE 14th International Conference on Machine Learning and Applications (ICMLA), Dec 2015, 1-6.
Bag-of-words model [Internet] Available: https://en.wikipedia.org/wiki/Bag-of-words_model
A. Thulfiqar, and A. Hussein, and Q. Samir, "YouTube spam comments detection using Artificial Neural Network", Journal of Engineering and Applied Sciences, 13(22), 2018, 9638-9642.
A. Rafaqat, "Spammer Detection: A Study of Spam Filter Comments on YouTube Videos", Lahore Garrison Education System, May 2019, 1-6.
Project jupyter [Internet] Available: https://jupyter.org/
Welcome to Python.org [Internet] Available: https://python.org/
Scikit-learn: machine learning in python [Internet] Available: https://scikit-learn.org/stable/
YouTube Spam Collection v.1, [Internet] Available: http://dcomp.sor.ufscar.br/talmeida/youtubespamcollection
YouTube Spam Collection, [Internet] Available: http://www.dt.fee.unicamp.br/-tiago//youtubespamcollection/
Y. J. Jang, H. J. Kim, and H. J. Jo, "Data Mining", KNOU PRESS, 2016, 1-200.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증