[논문]Filter Method와 Classification 알고리즘을 이용한 전자상거래 블랙컨슈머 탐지에 대한 연구

이태규; 이경호

doi:10.13089/jkiisc.2018.28.6.1499

Filter Method와 Classification 알고리즘을 이용한 전자상거래 블랙컨슈머 탐지에 대한 연구
Black Consumer Detection in E-Commerce Using Filter Method and Classification Algorithms 원문보기

情報保護學會論文誌 = Journal of the Korea Institute of Information Security and Cryptology, v.28 no.6, 2018년, pp.1499 - 1508

이태규 (고려대학교 정보보호대학원) , 이경호 (고려대학교 정보보호대학원)

초록
AI-Helper

빠른 속도로 성장하고 있는 전자상거래 시장이 기업들에게 고객층을 넓혀나갈 좋은 기회를 제공하고 있는 반면에 블랙컨슈머로 인한 기업들의 피해 사례 또한 늘어나고 있다. 본 연구는 전자상거래 고객 데이터를 통해 전자상거래상의 블랙컨슈머를 탐지해내는 머신 러닝 모델을 구축하고 최적화하는 것을 목표로 한다. Feature selection의 filter method와 4개의 classification 알고리즘을 이용한 실험을 통해 F-measure 0.667의 정확도로 블랙컨슈머를 탐지하는 모델을 구축하였으며 F-measure에서 11.44%, AURC에서 10.51%, TPR에서 22.87%의 성능 향상을 확인 할 수 있었다.

Abstract ▼ AI-Helper

Although fast-growing e-commerce markets gave a lot of companies opportunities to expand their customer bases, it is also the case that there are growing number of cases in which the so-called 'black consumers' cause much damage on many companies. In this study, we will implement and optimize a machine learning model that detects black consumers using customer data from e-commerce store. Using filter method for feature selection and 4 different algorithms for classification, we could get the best-performing machine learning model that detects black consumer with F-measure 0.667 and could also yield improvements in performance which are 11.44% in F-measure, 10.51% in AURC, and 22.87% in TPR.

주제어

표/그림 (11)

그림 Fig. 1. Machine Learning Model Process
그림 Fig. 2. Multicollinearity test result
표 Table 1. List of features before pre-processing
표 Table 2. List of features after pre-processing
그림 Fig. 3. Correlation ranking filter result
그림 Fig. 4. 10-fold cross-validation example
표 Table 3. Confusion matrix
표 Table 4. Each algorithms’ results before feature selection
표 Table 5. Test results with filter method
표 Table 6. Detection model’s confusion matrix
표 Table 7. Performance comparison

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 이렇게 급증하고 있는 전자상거래상의 블랙컨슈머를 탐지하기 위해 고객 주문 데이터를 이용해 지도 학습 머신러닝 모델을 구축하고 filter method와 classification 알고리즘을 이용한 실험을 통해 최적화하는 것을 목표로 한다.
본 연구에서 구축하고자 하는 모델의 목적은 새로운 주문 고객 데이터가 입력되었을 때 기업에 의해분류 되어있는 블랙컨슈머와 같은 고객 type으로 예측되는 잠재적 블랙컨슈머를 탐지해 내는 것이다. 그러므로 해당 기업이 과거에 어떤 기준으로 블랙컨슈머를 분류했는가에 따라 탐지 모델의 잠재적 블랙컨슈머 예측 결과도 달라진다.
본 연구에서는 WEKA에서 제공하는classification 알고리즘 4가지의 실험 결과를 비교하여 최적의 모델을 구축하고자 한다. 실험에 사용할 알고리즘은 random forest, J48, naive bayes, SMO이다.
본 연구에서는 filter method로 측정한 feature의 중요도 랭킹에 따라 feature를 하나씩 줄여가며 각 classification 알고리즘에서의 최적의 feature set을 찾아가는 방식으로 filter method와classification 알고리즘을 이용한 머신 러닝 모델의 최적화 방법을 블랙컨슈머 탐지 모델에 적용해볼 것 이다.
신용 카드 사기 탐지 연구들에서 사용된 데이터들은 전자상거래 플랫폼 상에서의 고객의 행동이나 주문 특성들은 포함하기 어려운 점이 있다. 본 연구에서는 고객의 행동과 주문 상의 특성을 포함한 데이터 셋을 이용하여 어떤 특성을 갖고 있는 데이터들이 블랙컨슈머로 분류되었는지 학습하여 탐지하는 지도 학습 머신러닝 모델을 구축하고자 한다. Clustering을 사용한 비지도 학습 탐지 모델은 전체의 데이터 중에 anomaly를 찾아내는 데에는 좋은 방법일 수 있지만 과거에 수집된 데이터에 대해 비슷한 데이터를 탐지해 내기 위해서는 labeled된 아웃풋이 존재하는 데이터 셋을 이용한 지도 학습 classification알고리즘을 사용하는 것이 더 적합하다.
본 연구에서는 과대적합 문제가 덜 발생하고 러닝알고리즘으로부터 독립적인 filter method를 이용해 각 feature의 연관성을 측정한다. 연관성 랭킹이 낮은 순으로 feature 개수를 하나씩 제외하며 각 알고리즘에서의 머신 러닝 결과 값을 비교해 최적의feature set을 찾아내도록 할 것이다.
Precision은 positive로 예측된 모든 값 중에 실제 positive 데이터의 비율을 나타낸다. 본 연구에서는 블랙컨슈머로 예측된 고객 중에 실제 블랙컨슈머의 비율을 나타낸다.
Recall은 실제 positive 데이터 중에 제대로positive로 예측된 데이터의 비율을 나타낸다. 본 연구에서는 실제 블랙컨슈머 중에 어느 정도의 비율을 모델이 탐지했는지를 나타낸다.
본 연구에서는 실험 결과 값의 F-measure, AURC, TPR 값을 비교하여 모델의 성능을 평가할 것이다. 평가 항목의 priority(우선순위)는 탐지 능력을 가장 잘 보여주는 F-measure, 효율성을 보여주는 AURC, 블랙컨슈머 중에 실제 탐지된 비율을 보여주는 TPR 순으로 평가하여 가장 높은 성능을 보이는 최적화된 모델을 찾도록 한다.
본 연구에서는 지도 학습 머신러닝 알고리즘을 이용해 고객 타입을 분류하여 블랙컨슈머를 탐지해내는 머신러닝 모델을 구축하였다. Filter method를 이용하여 주요한 feature들을 추려낼 수 있었고 4가지의 classification 알고리즘의 성능을 비교하여 더 효과적이고 정확한 모델을 구축할 수 있었다.
, Verstraeten, G.의 연구에서는 고객 이탈 예측 모델 구축에서의 data preparation 기술에 대해 분석하였다. 이전 연구들이 알고리즘의 성능에 집중을한 반면에 이 연구는 data preparation 기술이 예측 모델 성능에 어떠한 영향을 주는지 실험하였다.

제안 방법

4개의 classification 알고리즘에서 최고의 성능을 내는 결과 값을 얻기 위해 feature 개수를correlation ranking filter의 결과 상 랭킹이 낮은 순으로 총 9개에서 하나씩 줄여가며 각 알고리즘에서 어떠한 성능을 보여주는지 실험해 보았다. 각 알고리즘에서 가장 좋은 결과를 낸 feature 개수는 다음과 같다.
Feature selection에서의 correlation ranking filter를 통해 얻은 결과 값에서 연관성랭킹이 낮은 feature들을 하나씩 제거하며 각feature set에 앞서 언급한 4가지의classification 알고리즘을 적용하여 가장 최적의feature set과 classification 알고리즘을 찾아내도록 한다. 각 실험에서 classification 알고리즘은10-fold cross-validation을 통해 한 번의 실험에 각기 다른 10가지 경우의 test set, train set을 적용하여 더 정확한 결과 값을 도출해낸다[21].
머신러닝에 사용하기 위해서 데이터 전처리를 통해 데이터 셋의 중복 항목 또는 실험에 관련 없는 무의미한 항목을 제거하고 항목들의 포맷을 머신러닝과정에 사용 가능한 integer로 치환했다. Table 2는 데이터 전처리 후의 데이터 셋의 feature 리스트를 정리한 표이다.
본 연구에서는 WEKA에서 제공하는 filter method인 correlation ranking filter를 이용해각 feature의 중요도 랭킹을 측정했으며 payment attempts, shipping and IP location match, billing country and shipping country match, web proxy, accepts marketing, subtotal, payment method, source, line item taxable 순으로 결과가 나왔다.
본 연구에서는 실험 결과 값의 F-measure, AURC, TPR 값을 비교하여 모델의 성능을 평가할 것이다. 평가 항목의 priority(우선순위)는 탐지 능력을 가장 잘 보여주는 F-measure, 효율성을 보여주는 AURC, 블랙컨슈머 중에 실제 탐지된 비율을 보여주는 TPR 순으로 평가하여 가장 높은 성능을 보이는 최적화된 모델을 찾도록 한다.
이호진 등은 신용 카드 사기 탐지를 위한clustering 알고리즘에서의 여러 가지 feature selection method들을 이용하여 실험 한 후 결과값을 비교하여 효율성과 정확도를 높이는 연구를 진행하였다[6]. 해당 연구에서는 6개의 비지도 학습알고리즘, 10개의 feature evaluators 그리고 11개의 search methods를 이용하여 성능을 비교하는 실험을 진행하였다.

대상 데이터

8375%가 블랙컨슈머이다. 블랙컨슈머 고객 데이터는 앞서 언급한 전자상거래 기업에서 과거에 발생한 블랙컨슈머 피해 데이터를 통해 수집되었다. 지도 학습 머신 러닝에 적합하게 고객 분류는type이라는 항목으로 일반 고객과 블랙컨슈머로 labeled되어있다.
실험에 사용될 데이터는 국내에서 실제로 운영되고 있는 전자상거래 기업의 고객 주문 데이터 셋이며 결제 시도 횟수 등의 고객 행동 정보를 포함하고 있다. 총 4179개의 주문 고객 데이터 중 35개의 데이터가 블랙컨슈머로 분류 되어 있으며 전체 주문 고객데이터의 0.

데이터처리

Filter method를 통해 feature selection을 했으며 EM, k-means, canopy, density based등의clustering 알고리즘을 이용하여 실험을 진행했다. 각 실험값에서 최적화된 모델을 찾기 위해accuracy, AUC, TPR 값을 이용하여 실험값을 검증했다[3].
결과 값을 평가하기 위해서 각 실험 결과 값을confusion matrix로 정리하고 결과 값에 대한F-measure, AURC(area under ROC curve), TPR을 평가 기준으로 사용하기로 한다.
데이터 전처리 후 데이터 항목간의 다중공선성 존재 여부에 대해 NumXL 프로그램을 통해 측정해보았다. 독립변수들 간에 상호의존성 또는 상관계수가 일정 수준 이상 높은지 측정하는 방식이다.

이론/모형

김태호 등은 내부자 위협 탐지를 위한 비지도 학습에서의 속성선택 최적화에 대해 연구하였다.Filter method를 통해 feature selection을 했으며 EM, k-means, canopy, density based등의clustering 알고리즘을 이용하여 실험을 진행했다. 각 실험값에서 최적화된 모델을 찾기 위해accuracy, AUC, TPR 값을 이용하여 실험값을 검증했다[3].
Feature selection에서의 correlation ranking filter를 통해 얻은 결과 값에서 연관성랭킹이 낮은 feature들을 하나씩 제거하며 각feature set에 앞서 언급한 4가지의classification 알고리즘을 적용하여 가장 최적의feature set과 classification 알고리즘을 찾아내도록 한다. 각 실험에서 classification 알고리즘은10-fold cross-validation을 통해 한 번의 실험에 각기 다른 10가지 경우의 test set, train set을 적용하여 더 정확한 결과 값을 도출해낸다[21].
지도 학습은 보통 classification과 regression에 사용된다. 본 연구에서 구축하고자 하는 머신러닝 모델은 classification 모델이다. Classification은 모델의 아웃풋 데이터들이 분류되어 나누어질 수 있는 경우를 말하며 본 연구에서는 일반고객과 블랙컨슈머로 분류된다.
본 연구에서는 WEKA(the waika to environment for knowledge analysis)[12]를 이용하여 머신러닝 모델을 구현한다. 머신러닝 모델 구현은 다음과 같은 과정을 통해 이루어진다.
본 연구에서는 WEKA에서 제공하는classification 알고리즘 4가지의 실험 결과를 비교하여 최적의 모델을 구축하고자 한다. 실험에 사용할 알고리즘은 random forest, J48, naive bayes, SMO이다.

성능/효과

본 연구에서는 지도 학습 머신러닝 알고리즘을 이용해 고객 타입을 분류하여 블랙컨슈머를 탐지해내는 머신러닝 모델을 구축하였다. Filter method를 이용하여 주요한 feature들을 추려낼 수 있었고 4가지의 classification 알고리즘의 성능을 비교하여 더 효과적이고 정확한 모델을 구축할 수 있었다. 그렇게 진행한 실험을 통해 F-measure 0.
위의 Table 7은 feature selection 전후의 결과 값들의 평균값을 정리한 표이다. Filter method를 통해 feature selection을 진행하여 각classification 알고리즘 별 가장 좋은 feature set을 찾은 탐지 모델의 결과 값들의 평균값이feature selection을 진행하기 전의 각 알고리즘의 탐지 모델들의 결과 값들의 평균값에 비해F-measure에서 11.44%, AURC에서 10.51%, TPR에서 22.87%의 성능 향상을 보여주었다.
결과적으로 연관성이 가장 적은 2개의 feature를 제외시킨 총 7개의 feature로 random forest 알고리즘을 이용하여 학습한 머신러닝 모델이 가장 좋은 성능을 보여주었다. 아래의 Table 6는 해당 모델의결과 값을 confusion matrix로 표현한 표이다.
독립변수들 간에 상호의존성 또는 상관계수가 일정 수준 이상 높은지 측정하는 방식이다. 계산 결과 데이터 전처리 이후 각 항목들 간에 다중공선성은존재하지 않아 본 연구 실험에 적합한 데이터 셋임을 확인하였다.
Filter method를 이용하여 주요한 feature들을 추려낼 수 있었고 4가지의 classification 알고리즘의 성능을 비교하여 더 효과적이고 정확한 모델을 구축할 수 있었다. 그렇게 진행한 실험을 통해 F-measure 0.667의 정확도로 블랙컨슈머를 탐지하는 모델을 구축하였으며F-measure에서 11.44%, AURC에서 10.51%, TPR에서 22.87%의 성능 향상을 확인 할 수 있었다.
2008년 Xia Guo-en과 Jin Wei-dong의 연구에서는 구조적 위험 최소화(structural risk minimization)에 기반을 둔 support vector machine 알고리즘을 사용하여 고객 이탈 예측을 위한 머신 러닝 모델을 구축한 후 artificial neural network, decision tree, logistic regression, naive bayesian classifier등의 다른 알고리즘과 성능을 비교하는 실험을 진행했다. 성능 비교에는 각 알고리즘의 accuracy rate, hit rate, covering rate, lift coefficient 값을 이용했으며 support vector machine 알고리즘이 고객 이탈 예측에서 가장 좋은 성능을 보여주었다[9].
아래의 Table 6는 해당 모델의결과 값을 confusion matrix로 표현한 표이다. 실제 35개의 블랙컨슈머 고객 데이터 중 21개의 데이터를 제대로 탐지해 냈으며 4144개의 일반 고객 중에서는 단 7개의 데이터만을 블랙컨슈머로 오탐하여 실제기업 운영에서 블랙컨슈머로 부터의 피해 예방에 실용적인 도움이 될 수 있는 의미 있는 수준의 TPR과 FPR을 갖는 결과 값이 나왔다.
이전 연구들이 알고리즘의 성능에 집중을한 반면에 이 연구는 data preparation 기술이 예측 모델 성능에 어떠한 영향을 주는지 실험하였다. 실험 결과 data preparation 기술에 따라 성능에는 확연한 차이가 있었으며 AURC에서 최고14.5%, TDL에서 최고 34%의 성능 향상을 확인할 수 있었다[11].
667이 나왔다. 이 둘의 성능을 비교하기 위해 AURC를 추가로 참고하였고 7개의 feature로 진행한 실험에서 가장 좋은 결과가 나왔다.

후속연구

아직까지 많은 연구가 진행되지 않은 전자상거래상의 블랙컨슈머 탐지 분야에서 본 연구는 새로운 연구 방향 제시 및 실제 적용에 대한 의미가 있으며 본 연구에서 진행한 블랙컨슈머 탐지 모델 구축 과정과 실험 결과는 실제 기업의 운영에 적용하였을 때에 실용적인 도움을 줄 것으로 기대된다. 기업에서 과거에 수집한 블랙컨슈머들의 데이터를 학습해 새로운 고객의 데이터가 입력되었을 때 기업의 고객 특성에 맞게 학습된 머신러닝 모델이 고객 타입을 분류하여 일반고객인지 블랙컨슈머인지 예측하여 혹시 모를 블랙컨슈머로부터의 피해에 미리 대처할 수 있는 기회를 줄 수 있다.
본 연구에서는 과대적합 문제가 덜 발생하고 러닝알고리즘으로부터 독립적인 filter method를 이용해 각 feature의 연관성을 측정한다. 연관성 랭킹이 낮은 순으로 feature 개수를 하나씩 제외하며 각 알고리즘에서의 머신 러닝 결과 값을 비교해 최적의feature set을 찾아내도록 할 것이다.
이번 연구에서 사용된 탐지 모델 구축 과정은 다른 feature로 구성된 새로운 고객 데이터 셋에서도 탐지 모델 구축을 위해 쓰일 수 있다. 해당 데이터 셋에서도 feature selection과 classification 알고리즘들의 성능을 같은 과정의 실험을 통해 최적화해 각 기업의 고객 데이터 셋과 블랙컨슈머 분류 기준에 맞는 블랙컨슈머 탐지 모델을 구축할 수 있을 것이다.
향후 블랙컨슈머 탐지 모델의 성능을 향상시키기 위해 더 큰 규모의 데이터 셋, 새로운 머신러닝 알고리즘과 feature selection method 등을 이용하여 모델 개선 방안에 대해 연구하여 적용할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	블랙컨슈머란?	반면에 이러한 상황을 악용하는 블랙컨슈머라 불리는 소비자들 또한 늘어나고 있다. 악성을 뜻하는 블랙과 소비자를 뜻하는 컨슈머의 합성어로 고의적, 상습적으로 기업에 피해를 주는 소비자를 뜻하는 말이다[1]. 전자상거래에서도 신용카드 차지백 악용, 환불 정책 악용 등 비정상적인 행위를 통해 기업에 큰 피해를 끼치는 블랙컨슈머 들이 늘어나고 있다.
	filter, wrapper, embedded method 각각 방법을 설명하라	Filter method는 각 feature의 중요도를 평가한 랭킹을 기반으로 가장 중요도가 낮은 feature 부터 하나씩 제거해 나가며 가장 좋은 feature set을 찾아내는 방법이다. 비교적으로 과대적합 문제가 발생할 가능성이 더 낮으며 더 큰 규모의 데이터 셋에도 적합한 방법이다. Wrapper method처럼 해당러닝 알고리즘에서의 최고의 성능을 내는 feature subset을 결과로 주는 방식이 아닌 러닝 알고리즘과 독립적으로 각 feature의 중요도를 측정해내는 방법으로 러닝 알고리즘에 종속되지 않는다. Wrapper method는 각 러닝 알고리즘에서 어떠한 feature subset이 가장 좋은 성능을 갖는지 찾아내는 방식으로 모든 subset의 성능을 평가해 가장 좋은 subset을 찾아내는 방법이다. 특정 알고리즘에서는 높은 정확도의 결과를 주지만 데이터의feature 수가 많고 규모가 클 경우 비효율적이며 과대적합 문제가 잘 발생하는 단점이 있다. Embedded method는 filter method와wrapper method의 장점을 결합한 방법이다.Wrapper method와 같이 각 러닝 알고리즘에서의 최적의 feature set을 구해내지만 보다 더 효율적으로 찾아내는 방법이다.
	Feature selection이란?	Feature selection은 데이터 셋의 여러 가지 항목 중 머신 러닝 모델이 학습하고 결과 값을 도출 해낼 때에 가장 큰 연관성을 갖고 있는 항목을 골라내는 과정이다. 연관성이 적은 항목을 제외시키고 연관성이 큰 항목들을 골라내 데이터 셋의 차원수를 줄여 학습 성능을 향상시키고 불필요한 데이터를 없애 과대적합(overfitting)문제를 해결할 수 있다[13].

참고문헌 (24)

Jae Wook Shin, Min Cheol Shin, "The Effects of Consumers' Psychological Characteristics on Dysfunctional Consumer Behavior and Life Satisfaction", The Korean Journal of Consumer and Advertising Psychology, 15(3), pp. 409-433, Aug. 2014
Chandola, V., Banerjee, A. and Kumar, V., "Anomaly detection: A survey", ACM computing surveys (CSUR), vol. 41, no. 3, p.15, Jul. 2009
Tae-ho Kim and Kyung-ho Lee, "Feature Selection Optimization in Unsupervised Learning for Insider Threat Detection", KSII The 13th Asia Pacific International Conference on Information Science and Technology (APIC-IST), June 2018
Stafford, Richard G., et al., "Application of neural networks as an aid in medical diagnosis and general anomaly detection", U.S. Patent No 5,331,550, 1994
Ahmed, M., Mahmood, A. N., & Hu, J., "A survey of network anomaly detection techniques. Journal of Network and Computer Applications", vol. 60, pp. 19-31., Jan. 2016

상세보기
Lee, Hojin, et al., "Feature Selection Practice For Unsupervised Learning of Credit Card Fraud Detection", Journal of Theoretical & Applied Information Technology, vol. 96, no. 2, pp. 408-417, Jan, 2018
Maes, S., Tuyls, K., Vanschoenwinkel, B. and Manderick, B., "Credit card fraud detection using Bayesian and neural networks", In Proceedings of the 1st international naiso congress on neuro fuzzy technologies, pp. 261-270, Jan. 2002
Srivastava, A., Kundu, A., Sural, S. and Majumdar, A., "Credit card fraud detection using hidden Markov model", IEEE Transactions on dependable and secure computing, vol. 5, no. 1, pp.37-48, Jan. 2008

상세보기
Guo-en Xia, Wei-dong Jin, "Model of customer churn prediction on support vector machine", Systems Engineering-Theory & Practice, vol.28, no.1, pp. 71-77, Sep. 2008
Vafeiadis, T., Diamantaras, K. I., Sarigiannidis, G., Chatzisavvas, K. C., "A comparison of machine learning techniques for customer churn prediction", Simulation Modelling Practice and Theory, vol. 55, pp. 1-9, Jun. 2015

상세보기
Coussement, K., Lessmann, S., Verstraeten, G., "A comparative analysis of data preparation algorithms for customer churn prediction: A case study in the telecommunication industry", Decision Support Systems, vol. 95, pp. 27-36, Mar. 2017

상세보기
Garner, Stephen R., "Weka: The waikato environment for knowledge analysis", In Proceedings of the New Zealand computer science research students conference, pp. 57-64. May 1995
Vipin K., et al., "Feature selection : a literature review", SmartComputing Review, vol. 4, no. 3, Jun. 2014
Guyon, Isabelle, and Andre Elisseeff., "An introduction to feature extraction", Feature extraction, Studies in Fuzziness and Soft Computing, vol, 207, pp. 1-25, 2006
Ghahramani, Zoubin, and Michael I. Jordan., "Supervised learning from incomplete data via an EM approach", In Advances in neural information processing systems, pp. 120-127, 1994
Breiman, L., "Random forests", Machine learning, vol.45, no.1, pp.5-32, Oct. 2001
Bhargava, N., Sharma, G., Bhargava, R., & Mathuria, M., "Decision tree analysis on j48 algorithm for data mining", Proceedings of International Journal of Advanced Research in Computer Science and Software Engineering, vol. 3, no. 6, Jun 2013
Patil, T.R. and Sherekar, S.S., "Performance analysis of Naive Bayes and J48 classification algorithm for data classification", International journal of computer science and applications, vol. 6, no. 2, pp.256-261, Apr. 2013
Dimitoglou, G., Adams, J.A. and Jim, C.M., "Comparison of the C4. 5 and a Naive Bayes classifier for the prediction of lung cancer survivability", arXiv preprint arXiv: 1206.1121, Jun. 2012
Platt, J.C., "12 fast training of support vector machines using sequential minimal optimization", Advances in kernel methods, pp.185-208, Aug. 1999
Kohavi, R., "A study of cross-validation and bootstrap for accuracy estimation and model selection", the International Joint Conference on Articial Intelligence (Ijcai), vol. 14, no. 2, pp. 1137-1145, Aug. 1995
Davis, J. and Goadrich, M., "The relationship between Precision-Recall and ROC curves", In Proceedings of the 23rd international conference on Machine learning, pp. 233-240, Jun. 2006
Hanley, J.A. and McNeil, B.J., "The meaning and use of the area under a receiver operating characteristic (ROC) curve", Radiology, vol. 143, no. 1, pp.29-36, Apr. 1982

상세보기
Sasaki, Y., "The truth of the F-measure", Teach Tutor mater, vol.1, no.5, pp.1-5, Oct. 2007

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증