[논문]Exploring the Feature Selection Method for Effective Opinion Mining: Emphasis on Particle Swarm Optimization Algorithms

Eo, Kyun Sun; Lee, Kun Chang

doi:10.9708/jksci.2020.25.11.041

Exploring the Feature Selection Method for Effective Opinion Mining: Emphasis on Particle Swarm Optimization Algorithms 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.25 no.11, 2020년, pp.41 - 50

Eo, Kyun Sun (SKK Business School, Sungkyunkwan University) , Lee, Kun Chang (SKK Business School)

초록
AI-Helper

감성분석 연구에서는 문장에 내포된 감성을 결정짓는 단어를 찾는 것으로부터 시작된다. 경영자는 소비자가 주로 사용하는 단어를 분석함으로써 시장의 반응을 이해할 수 있다. 본 연구에서는 감성분류의 성능에 영향을 미치는 단어를 찾기 위하여 입자군집최적화 탐색방법과 다목적진화 알고리즘이 적용된 속성선택 방법을 제안한다. 속성선택 방법은 기존 머신러닝 분류기를 벤치마킹함으로써 성능이 비교된다. 벤치마킹된 분류기는 의사결정나무, 나이브 베이지안 네트워크, 서포터 벡터 머신, 랜덤포레스트, 배깅, 랜덤 서브스페이스, 로테이션 포레스트이다. 연구결과에 따르면, 입자군집 최적화 알고리즘이 적용된 속성선택방법으로 선택된 속성을 사용한 경우에 속성의 수를 상당히 줄일 수 있었고, 분류기의 성능을 유지시킬 수 있었다. 특히, 정확도 결과에서는 입자군집 최적화 탐색방법으로 선택된 속성을 사용한 경우의 서포터 벡터 머신의 성능이 가장 높게 나타났다. AUC 결과에서는 랜덤 서브스페이스가 가장 높게 나타났다. 본 연구의 결과는 해당 탐색방법과 분류기를 적용함으로써 오피니언 마이닝 모델의 성능을 효율적으로 유지 및 개선시키도록 도움을 준다.

Abstract ▼ AI-Helper

Sentimental analysis begins with the search for words that determine the sentimentality inherent in data. Managers can understand market sentimentality by analyzing a number of relevant sentiment words which consumers usually tend to use. In this study, we propose exploring performance of feature selection methods embedded with Particle Swarm Optimization Multi Objectives Evolutionary Algorithms. The performance of the feature selection methods was benchmarked with machine learning classifiers such as Decision Tree, Naive Bayesian Network, Support Vector Machine, Random Forest, Bagging, Random Subspace, and Rotation Forest. Our empirical results of opinion mining revealed that the number of features was significantly reduced and the performance was not hurt. In specific, the Support Vector Machine showed the highest accuracy. Random subspace produced the best AUC results.

주제어

표/그림 (9)

표 Table 1. A Study on the Sentiment Analysis Based on Machine Learning
표 Table 2. A Study on the Feature Selection of the Particle Swarm Optimization Algorithm
표 Table 3. A Study on the Feature Selection of Multi-Objective Evolutionary Algorithm
그림 Fig. 1. Procedure of this study
표 Table 4. Number of Variables
그림 Fig. 2. AUC Image
표 Table 5. Accuracy Results
표 Table 6. AUC Results
표 Table 7. T-Test Results

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

다목적 진화 알고리즘은 다목적 최적해결책을 병렬로 탐색하고 최종 모집단에서 한 번의 실행으로 최적의 해결책 집합을 찾을 수 있기 때문에 다목적 최적화에 적합하다. 따라서 다목적 탐색 알고리즘의 목적은 파레토 우선(Pareto front)에 대한 좋은 근사치인 해결책 집단을 발견하는 것이다. 다목적 속성 선택의 경우에는 해결책으로 정확도와 모델 복잡성 사이에 관련된 속성의 부분집합을 나타낼 수 있다.
본 연구에서는 속성선택 방법으로 선택된 속성으로 구성된 모델의 성능을 객관적으로 검증하기 위해 다수의 머신러닝 분류기를 벤치마킹하였다. 벤치마킹한 분류기는 의사결정나무(Decision Tree), 나이브 베이지안 네트워크(Naive Bayesian Network), 서포터 벡터머신(Support Vector Machine), 랜덤포레스트(Random Forest), 배깅(Bagging), 랜덤서브스페이스(Random Subspace), 마지막으로 로테이션 포레스트이다(Rotation Forest)[5-10].
본 연구에서는 입자군집 최적화(Particle Swarm Optimization) 방법과 다목적진화 알고리즘(Multi Objective Evolutionary Algorithm) 방법이 적용된 속성 선택 방법을 이용하여 불필요한 속성을 줄이고 오피니언 마이닝 모델의 성능을 개선시키고자 한다. 속성선택방법은 머신러닝 분류기에 사용되는 속성의 수를 줄여 학습효율을 높이고 분류기의 성능을 향상 및 유지시키기 위해 사용된다.
본 연구에서는 효과적인 오피니언 마이닝 분류를 위하여 입자군집 최적화 방법과 다목적진화 알고리즘이 적용된 속성선택 방법을 제안한다. 본 연구를 위하여 SemEval2017오픈 데이터를 이용하였다[31].

가설 설정

RQ1: 오피니언 마이닝 모델에 속성선택 방법을 적용할 경우 모델의 성능은 향상 및 유지되는가?
RQ2: 속성선택 방법으로 선택된 속성을 사용할 경우, 가장 높은 성능을 나타내는 분류기는 무엇인가?

제안 방법

본 연구에서는 속성선택방법의 효과성을 검증하기 위해 다음과 같이 다수의 머신러닝 분류기가 사용되었다. 본 연구에서 벤치마킹된 분류기는 의사결정트리(DT), 나이브 베이지안 네트워크(NBN), 서포터 벡터 머신(SVM), 랜덤포레스트(RF), 배깅(BA), 랜덤 서브스페이트(RS), 로테이션 포레스트(Rof)이다[25-30].
본 연구의 한계점은 다음과 같다. 첫째, 본 연구에서는 트위터 데이터를 사용하여 입자군집 최적화와 다목적 진화 알고리즘을 적용한 속성 셋을 사용하였다. 영화 리뷰 및 아마존 상품 리뷰와 같은 다른 주제의 데이터를 사용하여 속성선택 방법을 검증하여야 한다.

대상 데이터

본 연구를 위하여 SemEval2017오픈 데이터를 이용하였다[31]. SemEval2017 데이터는 SemEval2016의 트위터 데이터를 추출한 트윗들로 구성되어 있다. 총 2013, 2014, 2015, 2016년도 기간동안 수집된 트위터의 짧은 텍스트 문장과 문장의 긍정, 부정, 중립 등과 같은 감성 값으로 이루어져 있다.
본 연구에서는 효과적인 오피니언 마이닝 분류를 위하여 입자군집 최적화 방법과 다목적진화 알고리즘이 적용된 속성선택 방법을 제안한다. 본 연구를 위하여 SemEval2017오픈 데이터를 이용하였다[31]. SemEval2017 데이터는 SemEval2016의 트위터 데이터를 추출한 트윗들로 구성되어 있다.
본 연구에서는 속성선택방법의 효과성을 검증하기 위해 다음과 같이 다수의 머신러닝 분류기가 사용되었다. 본 연구에서 벤치마킹된 분류기는 의사결정트리(DT), 나이브 베이지안 네트워크(NBN), 서포터 벡터 머신(SVM), 랜덤포레스트(RF), 배깅(BA), 랜덤 서브스페이트(RS), 로테이션 포레스트(Rof)이다[25-30].
본 연구에서는 트위터 텍스트 데이터를 바탕으로 구성된 SemEval2017 오픈 데이터가 사용되었다. 나아가 진화알고리즘을 기반으로 만들어진 입자군집 최적화 알고리즘과 다목적 진화 알고리즘이 적용된 속성선택 방법이 사용된다.
트위터는 전 세계의 5억명이 넘은 사람들이 사용하는 마이크로 블로그 서비스이다. 트위터에 게시되는 짧은 트윗들은 서포터 벡터 머신과 인공신경망 모델로 작성자의 의견을 분류하기 위하여 학습대상으로 사용되었다. 트윗에 포함된 반복적이고 무의미한 단어들은 단어의 빈도수에 따라 선택되어 제거 대상으로 삼는다[15].

데이터처리

영화 리뷰 및 아마존 상품 리뷰와 같은 다른 주제의 데이터를 사용하여 속성선택 방법을 검증하여야 한다. 둘째, 본 연구에서 사용된 입자군집 최적화 방법과 다목적 진화 알고리즘이 지만 선행 연구에서는 정보획득, 카이제곱 검증 등 방법을 사용하였다. 이에 따라, 다양한 속성선택 방법들을 사용하여 검증하여 상대적인 본 논문에서 사용된 방법의 상대적인 성과를 파악하여야 한다.

이론/모형

ENORA(Evolutionary NOn-Dominated Radial Slots based Algorithm)에 랜덤포레스트로 구동되는 래퍼 검색 전략이 적용된 속성선택 방법은 정확한 판매예측 회귀모델을 구성하기 위한 속성을 선택하는데 사용되었다. ENORA는 NSGA-II(Non-dominated Sorted Genetic Algorithm), 후방탐색방법, 순환 속성제거(Recursive Feature Elimination) 방법, 속성선택 전 데이터 셋과 비교되어 평균적으로 높은 성능을 나타냈다[29].
본 연구는 상관관계 속성선택 방법이 이용되고 속성을 탐색하기 위한 탐색방법으로 다목적진화 알고리즘방법과 입자군집 최적화 방법이 사용되었다. 속성선택 방법을 이용하여 선택된 속성 개수는 다음 Table 4와 같다.
본 연구에서는 오피니언 마이닝을 위한 다목적진화 알고리즘과 입자군집최적화 알고리즘이 적용된 속성선택 방법이 사용되었다. 본 연구에서 사용된 속성선택 방법의 객관적인 성능평가를 위해 기존의 머신러닝 분류기가 벤치마킹되었다.
본 연구에서는 정확도(Accuracy), AUC(Area Under the ROC Curve)을 이용하여 모델의 성능을 평가하였다. 성능평가 지표에서 정확도는 전체 분류 건수에서 긍정감성인지 부정감성인지 맞게 분류한 비율이다.
분류기 모델의 편향된 훈련 및 테스트를 피하기 위해 10-겹 교차검증(10-Fold Cross Validation)이 사용되었다[33]. 10-겹 교차검증은 전체 데이터 셋에서 균등하게 10분할한 다음, 분할된 9할의 데이터를 훈련용으로 사용되고 남은 1할 데이터를 검증용에 사용된다.
유전알고리즘의 진화 연산은 자연 진화방식을 이용한다. 자연 진화방법에 따르면, 해결하고자 하는 문제는 개인이 사는 환경의 역할을 하며, 개인은 문제에 대한 가능한 해결방안을 나타낸다.
자연어처리 과정를 거친 데이터는 TF-IDF(Term Frequency-Inverse Document Frequency) 방법을 이용해 가중치가 산출된다[32]. TF-IDF는 TF(단어의 빈도), IDF(역 단어가 등장하는 문서의 수)의 곱으로 단어의 중요도를 나타낸다.

성능/효과

, (2014)의 연구에서는 얼굴 인식 시스템의 성능 향상을 위하여 듀얼 서브밴드 주파수 도메인 속성추출 방법과 임계값 기반 이진 입자군집 최적화 방법(ThBPSO)이 제안되었다[23]. 결과에 따르면, 제안된 방법은 얼굴 인식률을 유의하게 증가시킬 수 있었고, 얼굴인식에 필요한 속성의 수를 상당히 감소시킬 수 있었다.
이 방법은 중요한 속성을 선택하기 위하여 새로운 근접선택 전략이 사용된다. 비지도 텍스트 클러스터링 속성선택방법으로 Reuter 21578, TDT2 and Tr11의 세가지 데이터셋을 분석한 결과에 따르면 비지도 텍스트 클러스터링 방법은 우수한 결과를 나타냈다.
첫 번째는 비지배적정렬 방법이 적용된 입자군집 최적화 (Non-Dominance sorted PSOFS, NSPSOFS) 방법이고, 두 번째는 파레토 우선 해 기반 입자군집 최적화 방법에 군중심리, 돌연변이, 지배의 개념이 적용된 CMDPSOFS (PSOFS-Crowding, Mutation, and Dominance) 방법이다. 연구결과에 따르면, 12가지 벤치마킹 데이터 셋을 통해 K-최근접이웃(K-Nearest Neighbor)의 성능으로 비교한 결과, 두 번째 방법이 다른 방법보다 더 나은 결과를 나타냈다.
연구결과에 따르면, 입자군집최적화 알고리즘이 사용된 속성선택방법으로 선택된 속성을 사용한 경우에 속성의 수를 대폭 줄일 수 있었고 분류기의 성능을 유지할 수 있었다. 정확도의 결과에서는 서포터 벡터 머신의 성능이 가장 높게 나타났고, AUC의 결과에서는 랜덤 서브스페이스가 공통적으로 가장 높게 나타났으나, 배깅, 랜덤포레스트 또한 가장 높게 나타났다.
2016이 5,128이었다. 입자군집 최적화 알고리즘이 적용된 속성선택을 적용하여 분류기의 성능을 향상 시킬 수 있었다. 입자군집 최적화가 적용된 속성선택을 사용한 경우에는 각각 데이터마다 2013년은 1,633개, 2014년은 1,315개, 2015년은 3,480개, 마지막으로 2016년은 2,123으로 줄이고도 성능을 유지시킬 수 있었다.
입자군집 최적화 알고리즘이 적용된 속성선택을 적용하여 분류기의 성능을 향상 시킬 수 있었다. 입자군집 최적화가 적용된 속성선택을 사용한 경우에는 각각 데이터마다 2013년은 1,633개, 2014년은 1,315개, 2015년은 3,480개, 마지막으로 2016년은 2,123으로 줄이고도 성능을 유지시킬 수 있었다. 이는 속성선택 전과 비교하여 2013년도는 32.
정확도를 살펴보면 입자군집 최적화 방법을 이용하여 선택된 속성을 사용한 경우에 서포터 벡터 머신(SVM)으로 분석한 결과가 2013년도에 60.33, 2014년도에 58.88, 2015년 도에 57.32, 2016년도에 62.28로 가장 높게 나타났다.
연구결과에 따르면, 입자군집최적화 알고리즘이 사용된 속성선택방법으로 선택된 속성을 사용한 경우에 속성의 수를 대폭 줄일 수 있었고 분류기의 성능을 유지할 수 있었다. 정확도의 결과에서는 서포터 벡터 머신의 성능이 가장 높게 나타났고, AUC의 결과에서는 랜덤 서브스페이스가 공통적으로 가장 높게 나타났으나, 배깅, 랜덤포레스트 또한 가장 높게 나타났다. AUC는 부정에서 부정을 맞춘 비율에 비해 긍정에서 긍정을 맞춘 비율이 클수록 1에 가까운 값이 나온다.

후속연구

워드 임베딩 방법으로 구성된 속성 셋를 입자군집최적화 방법이 사용된 속성선택방법으로 구축된 모델을 검증하여야 한다. 나아가 LSTM(Long-Short Term Memory)과 같은 더욱 발전된 딥러닝 분류 모델과 입자군집 최적화 알고리즘이 적용된 속성선택 방법으로 구축하여 오피니언 마이닝 모델을 한층 더 발전시킬 수 있을 것이다.
둘째, 본 연구에서 사용된 입자군집 최적화 방법과 다목적 진화 알고리즘이 지만 선행 연구에서는 정보획득, 카이제곱 검증 등 방법을 사용하였다. 이에 따라, 다양한 속성선택 방법들을 사용하여 검증하여 상대적인 본 논문에서 사용된 방법의 상대적인 성과를 파악하여야 한다.
향후 연구에서는 오피니언 마이닝에서 백 오브 워즈 방법과 같이 활발하게 사용되고 있는 워드 임베딩 방법에 대한 연구가 필요하다. 워드 임베딩 방법으로 구성된 속성 셋를 입자군집최적화 방법이 사용된 속성선택방법으로 구축된 모델을 검증하여야 한다.

참고문헌 (33)

K. Xu, G. Qi, J. Huang, T. Wu, and X. Fu, "Detecting Bursts in Sentiment-Aware Topics from Social Media," Knowledge-Based Systems, Vol. 141, pp. 44-54, Feb 2018. DOI: 10.1016/j.knosys.2017.11.007

상세보기
A. Yadollahi, A. G. Shahraki, and O. R. Zaiane, "Current State of Text Sentiment Analysis from Opinion to Emotion Mining," ACM Computing Surveys (CSUR), Vol. 50, No.2, pp. 1-33, May 2017. DOI: 10.1145/3057270

상세보기
K. S. Eo, and K. C. Lee, "Exploring an Optimal Feature Selection Method for Effective Opinion Mining Tasks," Journal of the Korea Society of Computer and Information, Vol. 24, No. 2, pp. 171-177, Feb 2019. DOI: 10.9708/jksci.2019.24.02.171

원문보기 상세보기
N. F. Da Silva, E. R. Hruschka, and E. R. Hruschka Jr, "Tweet Sentiment Analysis with Classifier Ensembles," Decision Support Systems, Vol. 66, pp. 170-179, Oct 2014. DOI: 10.1016/j.dss.2014.07.003

상세보기
M. A. Friedl, and C. E. Brodley, "Decision Tree Classification of Land Cover from Remotely Sensed Data," Remote sensing of environment, Vol. 61, No. 3, pp. 399-409, Sep 1997. DOI: 10.1016/S0034-4257(97)00049-7

상세보기
N. Friedman, D. Geiger, and M. Goldszmidt, "Bayesian Network Classifiers," Machine Learning, Vol. 29, No. 2-3, pp. 131-163, Nov 1997. DOI: 10.1023/A:1007465528199
J. A. Suykens, and J. Vandewalle, "Least Squares Support Vector Machine Classifiers,". Neural Processing Letters, Vol. 9, No. 3, pp. 293-300, Jun 1999. DOI: 10.1023/A:1018628609742
L. Breiman, "Random Forests," Machine Learning, Vol. 45, No. 1, pp. 5-32, Oct 2001. DOI: 10.1023/A:1010933404324
L. Breiman, "Bagging Predictors," Machine Learning, Vol. 24, No. 2, pp. 123-140, Aug 1996. DOI: 10.1007/BF00058655

상세보기
T. K. Ho, "The Random Subspace Method for Constructing Decision Forests," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 8, pp. 832-844, Aug 1998. DOI: 10.1109/34.709601

상세보기
Q. Ye, Z. Zhang, and R. Law, "Sentiment Classification of Online Reviews to Travel Destinations by Supervised Machine Learning Approaches," Expert Systems with Applications, Vol. 36, No. 3, pp. 6527-6535, Apr 2009. DOI: 10.1016/j.eswa.2008.07.035

상세보기
R. Moraes, J. F. Valiati, and W. P. G. Neto, "Document-Level Sentiment Classification: An Empirical Comparison Between SVM and ANN," Expert Systems with Applications, Vol. 40, No. 2, pp. 621-633, Feb 2013. DOI: 10.1016/j.eswa.2012.07.059

상세보기
F. Corea, "Can Twitter Proxy the Investors' Sentiment? The Case for The Technology Sector," Big Data Research, Vol. 4, pp. 70-74, Jun 2016. DOI: 10.1016/j.bdr.2016.05.001

상세보기
Y. Ruan, A. Durresi, and L. Alfantoukh, "Using Twitter Trust Network for Stock Market Analysis," Knowledge-Based Systems, Vol. 145, pp. 207-218, Apr 2018. DOI: 10.1016/j.knosys.2018.01.016

상세보기
M. Ghiassi, J. Skinner, and D. Zimbra, "Twitter Brand Sentiment Analysis: A hybrid System Using N-Gram Analysis and Dynamic Artificial Neural Network," Expert Systems with Applications, Vol. 40, No. 16, pp. 6266-6282, Nov 2013. DOI: 10.1016/j.eswa.2013.05.057

상세보기
G. Wang, J. Sun, J. Ma, K. Xu, and J. Gu, "Sentiment Classification: The Contribution of Ensemble Learning," Decision Support Systems, Vol. 57, pp. 77-93, Jan 2014. DOI: 10.1016/j.dss.2013.08.002

상세보기
S. Yoo, J. Song, & O. Jeong, "Social Media Contents Based Sentiment Analysis and Prediction System," Expert Systems with Applications, Vol. 105, pp. 102-111, Sep 2018. DOI: 10.1016/j.eswa.2018.03.055

상세보기
A. Garcia-Pablos, M. Cuadros, & G. Rigau, "W2VLDA: Almost Snsupervised System for Aspect Based Sentiment Analysis," Expert Systems with Applications, Vol. 91, pp. 127-137, Jan 2018. DOI: 10.1016/j.eswa.2017.08.049

상세보기
J. B. Park, K. S. Lee, J. R. Shin, and K. Y. Lee, "A Particle Swarm Optimization for Economic Dispatch with Nonsmooth Cost Functions," IEEE Transactions on Power Systems, Vol. 20, No. 1, pp. 34-42, Jan 2005. DOI: 10.1109/TPWRS.2004.831275.

상세보기
M. Amoozegar, and B. Minaei-Bidgoli, "Optimizing Multi-Objec tive PSO Based Feature Selection Method Using a Feature Elitism Mechanism," Expert Systems with Applications, Vol. 113, pp. 499-514, Dec 2018. DOI: 10.1016/j.eswa.2018.07.013

상세보기
B. Xue, M. Zhang, and W. N. Browne, "Particle Swarm Optimization for Feature Selection in Classification: A Multi-Objective Approach," IEEE Transactions on Cybernetics, Vol. 43, No. 6, pp. 1656-1671, Dec 2012. DOI: 10.1109/TSMCB.2012.2227469.

상세보기
L. Cervante, B. Xue, M. Zhang, and L. Shang, "Binary Particle Swarm Optimisation for Feature selection: A Filter Based Approach," In 2012 IEEE Congress on Evolutionary Computation, pp. 1-8, 2012. DOI: 10.1109/CEC.2012.6256452.
N. A. Krisshna, V. K. Deepak, K. Manikantan, and S. Ramachandran, "Face Recognition Using Transform Domain Feature Extraction And PSO-Based Feature Selection," Applied Soft Computing, Vol. 22, pp. 141-161, Sep 2014. 10.1016/j.asoc.2014.05.007

상세보기
N. Kushwaha, and M. Pant, "Link Based BPSO for Feature Selection in Big Data Text Clustering," Future Generation Computer Systems, Vol. 82, pp. 190-199, May 2018. DOI: 10.1016/j.future.2017.12.005

상세보기
Z. Wang, M. Li, and J. Li, "A Multi-Objective Evolutionary Algorithm for Feature Selection Based on Mutual Information with a New Redundancy Measure," Information Sciences, Vol. 307, pp. 73-88, Jun 2015. DOI: 10.1016/j.ins.2015.02.031

상세보기
A. Gaspar-Cunha, "Feature Selection Using Multi-Objective Evolutionary Algorithms: Application to Cardiac SPECT Diagnosis," In Advances in Bioinformatics, pp. 85-92, 2010. DOI: 10.1007/978-3-642-13214-8_11
L. D. Vignolo, D. H. Milone, and J. Scharcanski, "Feature Selection for Face Recognition Based on Multi-Objective Evolutionary Wrappers," Expert Systems with Applications, Vol. 40, No. 13, pp. 5077-5084, Oct 2013. DOI: 10.1016/j.eswa.2013.03.032

상세보기
U. Mlakar, I. Fister, J. Brest, and B. Potocnik, "Multi-Objective Differential Evolution for Feature Selection in Facial Expression Recognition Systems," Expert Systems with Applications, Vol. 89, pp. 129-137, Dec 2017. DOI: 10.1016/j.eswa.2017.07.037

상세보기
F. Jimenez, G. Sanchez, J. M. Garcia, G. Sciavicco, and L. Miralles, "Multi-Objective Evolutionary Feature Selection for Online Sales Forecasting," Neurocomputing, Vol. 234, pp. 75-92, Apr 2017. DOI: 10.1016/j.neucom.2016.12.045

상세보기
Y. Zhang, D. W. Gong, X. Z. Gao, T. Tian, & X. Y. Sun, "Binary Fifferential Evolution with Self-Learning for Multi-Objective Feature Selection," Information Sciences, Vol. 507, pp. 67-85, Jan 2020. DOI: 10.1016/j.ins.2019.08.040

상세보기
S. Rosenthal, N. Farra, and P. Nakov, "SemEval-2017 Task 4: Sentiment Analysis in Twitter," arXiv preprint arXiv:1912.00741, 2019. DOI: 10.18653/v1/S17-2088
A. Aizawa, "An Information-Theoretic Perspective of Tf-Idf Measures," Information Processing & Management, Vol. 39, No. 1, pp. 45-65, Jan 2003. DOI: 10.1016/S0306-4573(02)00021-3

상세보기
S. Arlot, and A. Celisse, "A Survey of Cross-Validation Procedures for Model Selection,". Statistics Surveys, Vol. 4, pp. 40-79, 2010. DOI: 10.1214/09-SS054

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증