[논문]SVM 기반 Bagging과 OoD 탐색을 활용한 제조공정의 불균형 Dataset에 대한 예측모델의 성능향상

김종훈; 오하영

doi:10.3745/ktsde.2022.11.11.455

SVM 기반 Bagging과 OoD 탐색을 활용한 제조공정의 불균형 Dataset에 대한 예측모델의 성능향상
Boosting the Performance of the Predictive Model on the Imbalanced Dataset Using SVM Based Bagging and Out-of-Distribution Detection 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.11 no.11, 2022년, pp.455 - 464

김종훈 (LX하우시스) , 오하영 (성균관대학교 인공지능융합학과)

초록
AI-Helper

제조업의 공정에서 생성되는 데이터셋은 크게 두 가지 특징을 가진다. 타겟 클래스의 심각한 불균형과 지속적인 Out-of-Distribution(OoD) 샘플의 발생이다. 클래스 불균형은 SMOTE 및 다양한 샘플링 전략을 통해서 대응할 수 있다. 그러나, OoD 탐색은 현재까지 인공신경망 영역에서만 다뤄져 왔다. OoD 탐색의 적용이 가능한 인공신경망은 제조공정 데이터셋에 대해서 만족스러운 성능을 발현하지 못한다. 원인은 제조공정의 데이터셋이 인공신경망에서 일반적으로 다루는 이미지, 텍스트 데이터셋과 비교해서 크기가 매우 작고, 노이즈가 심하다는 것이다. 또한 인공신경망의 과적합(overfitting) 문제도 제조업 데이터셋에서 인공신경망의 성능을 저하하는 원인으로 지적된다. 이에 현재까지 시도된 바 없는 SVM 알고리즘과 OoD 탐색의 접목을 시도하였다. 또한 예측모델의 정밀도 향상을 위해 배깅(Bagging) 알고리즘을 모델링에 반영하였다.

Abstract ▼ AI-Helper

There are two unique characteristics of the datasets from a manufacturing process. They are the severe class imbalance and lots of Out-of-Distribution samples. Some good strategies such as the oversampling over the minority class, and the down-sampling over the majority class, are well known to handle the class imbalance. In addition, SMOTE has been chosen to address the issue recently. But, Out-of-Distribution samples have been studied just with neural networks. It seems to be hardly shown that Out-of-Distribution detection is applied to the predictive model using conventional machine learning algorithms such as SVM, Random Forest and KNN. It is known that conventional machine learning algorithms are much better than neural networks in prediction performance, because neural networks are vulnerable to over-fitting and requires much bigger dataset than conventional machine learning algorithms does. So, we suggests a new approach to utilize Out-of-Distribution detection based on SVM algorithm. In addition to that, bagging technique will be adopted to improve the precision of the model.

주제어

표/그림 (16)

그림 Fig. 1. The Binary Classification with Hyper Plane in SVM
그림 Fig. 2. Bootstrap Sampling and Aggregating in Bagging
그림 Fig. 3. In- and Out-of-Distribution Samples
그림 Fig. 4. The Sample Augmentation Method with SMOTE
그림 Fig. 5. Proposed Study Scheme
표 Table 1. The Matrix for Classification Performance Evaluation
표 Table 2. Predictive Performance by Default Settings
표 Table 3. Hyper-Parameter Value Range for Grid Search
그림 Fig. 7A. Distribution of Samples from the Raw Dataset
그림 Fig. 7B. Distribution of Samples Modified with SMOTE
그림 Fig. 6. Performance by both SMOTE and Conventional Sampling Method
표 Table 4. Performance by Hyper-Parameter Optimization
그림 Fig. 8. Performance by Bootstrapped Subset Size
그림 Fig. 9. Pseudo Code for the Hybrid Algorithm of Bagging and OoD Detection based on SVM
그림 Fig. 10. The Performance of Three Classification Models
표 Table 5. Performance by Bagging With OoD Detection

참고문헌 (19)

E. A. Zanaty, "Support Vector Machines (SVMs) versus Multilayer Perceptron (MLP) in data classification," Egyptian Informatics Journal, Vol.13, Iss.3, pp.177-183, 2012.
S. Bulusu, B. Kailkhura, P. K. Varshney, B. Li, and D. Song, "Anomalous example detection in deep learning: A survey," IEEE Access, Vol.8, pp.132330-132347, 2020.

상세보기
Y. B. Hur, E. H. Yang, and S. J. Hwang, "A simple framework for robust out-of-distribution detection," IEEE Access, Vol.10, pp.23086-23097, 2022.

상세보기
Y. Liu, A. An, and X. Huang, "Boosting prediction accuracy on imbalanced datasets with SVM ensembles," 10th Pacific-Asia Conference, Pacific-Asia Conference on Knowledge Discovery and Data Mining, pp.107-118, 2006.
D. Hendrycks and K. Gimpel, "A baseline for detecting misclassified and out-of-distribution examples in neural networks," International Conference on Learning Representations, 2017.
S. Liang, Y. Li, and R. Srikant, "Enhancing the reliability of Out-of-Distribution image detection in neural networks," International Conference on Learning Representations, 2018.
K. M. Lee, H. L. Lee, K. B. Lee, and J. W. Shin, "Training confidence-calibrated classifiers for detecting Out-ofDistribution samples," International Conference on Learning Representations, 2018.
K. Hansson, S. Yella, M. Doughherty, and H. Fleyeh, "Machine learning algorithms in heavy process manufacturing," American Journal of Intelligent Systems, Vol.6, No.1, pp.1-6, 2016.
F. Mohareb, O. Papadopoulou, and E. Panagou, "Ensemblebased support vector machine classifiers as an efficient tool for quality assessment of beef fillets from electronic nose data," Analytical Methods, Vol.8, Iss.18, pp.3711-3721, 2016.

상세보기
D. Hendrycks, M. Mazeika, and T. Dietterich, "Deep anomaly detection with outlier exposure," International Conference on Learning Representations, 2019.
C. Jian, J. Gao, and Y. Ao, "A new sampling method for classifying imbalanced data based on support vector machine ensemble," Neurocomputing, Vol.193, Iss.C, pp.115-122, 2016.

상세보기
M. Farrash and W. Wang, "How data partitioning strategies and subset size influence the performance of an ensemble?," IEEE International Conference on Big Data, pp.42-49, 2013.
M. Hossin and M. N. Sulaiman, "A review on evaluation metrics for data classification evaluations," International Journal of Data Mining & Knowledge Management Process, Vol.5, No.2, pp.1-11, 2015.
C. M. Bishop, "Neural networks for pattern recognition," Oxford University Press, pp.365, 1996.
H. Y. Lee, "Research methodology," 2nd ed. Seoul, Korea: CRbooks, pp.234-235, 2014.
S. M. Nzuva, L. Nderu, and T. Mwalili, "Ensemble model for enhancing classification accuracy in intrusion detection systems," International Conference on Electrical, Computer and Energy Technologies, 2021.
C. Ayuya, "Ensemble learning on bias and variance," Updated on January 20, 2021, Section [Internet], https://www.section.io/engineering-education/ensemble-bias-var/
D. H. Yang, K. M. Ngoc, I. S. Shin, K. H. Lee, and M. G. Hwang, "Ensemble-based out-of-distribution detection," Electronics, Vol.10, Iss.5, 2021.
M. Sensoy, L. Kaplan, and M. Kandemir, "Evidential deep learning to quantify classification uncertainty," Neural Information Processing Systems, 2018.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증