[논문]불균형자료를 위한 판별분석에서 HDBSCAN의 활용

이보희; 김태헌; 최용석

doi:10.5351/kjas.2021.34.4.599

초록
AI-Helper

군집간의 개체 수의 차이가 큰 자료들을 불균형자료라고 한다. 불균형자료의 판별분석에서 다수 범주의 개체를 잘 분류하는 것 보다 소수 범주의 개체를 잘 분류하는 것이 더 중요하다. 그러나 개체 수가 상대적으로 작은 소수 범주의 개체를 개체 수가 상대적으로 많은 다수 범주의 개체로 오분류하는 경우가 많다. 본 연구에서는 이를 해결하기 위해 HDBSCAN과 SMOTE를 결합한 방법을 제안한다. HDBSCAN을 이용하여 소수 범주의 노이즈와 다수 범주의 노이즈를 제거하고 SMOTE를 적용하여 새로운 자료를 만들어낸다. 기존의 방법들과 성능을 비교하기 위하여 AUC와 F1 점수를 이용하였고 그 결과 대부분의 경우에 HDBSCAN과 SMOTE를 결합한 방법이 높은 성능 지표를 보였고, 불균형자료를 분류하는데 있어 뛰어난 방법으로 나타났다.

Abstract ▼ AI-Helper

Data with a large difference in the number of objects between clusters are called unbalanced data. In discriminant analysis of unbalanced data, it is more important to classify objects in minority categories than to classify objects in majority categories well. However, objects in minority categorie...

Data with a large difference in the number of objects between clusters are called unbalanced data. In discriminant analysis of unbalanced data, it is more important to classify objects in minority categories than to classify objects in majority categories well. However, objects in minority categories are often misclassified into majority categories. In this study, we propose a method that combined hierarchical DBSCAN (HDBSCAN) and SMOTE to solve this problem. Using HDBSCAN, it removes noise in minority categories and majority categories. Then it applies SMOTE to create new data. Area under the roc curve (AUC) and F1 scores were used to compare performance with existing methods. As a result, in most cases, the method combining HDBSCAN and synthetic minority oversampling technique (SMOTE) showed a high performance index, and it was found to be an excellent method for classifying unbalanced data.

주제어

표/그림 (9)

표 Table 1: SMOTE algorithm
표 Table 2: Confusion matrix
그림 Figure 1: AUC in ROC Curve.
표 Table 3: Explanation of diabetes dataset variable
그림 Figure 2: Performance comparison of preprocessing methods and classifiers in diabetes data.
표 Table 4: Data characteristics
표 Table 5: Diabetes data classification results
그림 Figure 3: Performance comparison of preprocessing methods and classifiers in Wisconsin data.
표 Table 6: Wisconsin data classification results

참고문헌 (6)

Chawla NV, Hall LO, Bowyer KW, and Kegelmeyer WP (2002). Smote: Synthetic minority oversampling technique, Journal of Artificial Intelligence Research, 16, 321-357.

상세보기
Choi YS (2018). Multivariate Data Analysis with R, Kyungmoon, Seoul.
Han H, Wang W, and Mao B (2005). Borderline smote: Anew over sampling method in imbalanced data sets learning. In Proceedings of International Conference on Intelligent Computing, 878-887.
He H, Bai Y, Garcia EA, and Li S (2008). ADASYN: Adaptive synthetic sampling approach for imbalanced learning. In Proceedings of International Joint Conference on Neural Networks, 1322-1328.
Ijaz M, Alfian G, Syafrudin M, and Rhee J (2018). Hybrid prediction model for type 2 diabetes and hypertension using DBSCAN-based outlier detection, synthetic minority over sampling technique (SMOTE), and Random Forest, Applied Sciences, 8, 1325.

상세보기
McInnes L and Healy J (2017). Accelerated hierarchical density based clustering, IEEE International Conference on Data Mining Workshops (ICDMW).

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

불균형자료를 위한 판별분석에서 HDBSCAN의 활용
Discriminant analysis for unbalanced data using HDBSCAN 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (9)

표/그림 (9)

참고문헌 (6)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

불균형자료를 위한 판별분석에서 HDBSCAN의 활용 Discriminant analysis for unbalanced data using HDBSCAN 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (9) 모든 표/그림 보기

표/그림 (9) 슬라이드로 보기

참고문헌 (6)

이 논문을 인용한 문헌

저자의 다른 논문 :

최용석 (34)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

불균형자료를 위한 판별분석에서 HDBSCAN의 활용
Discriminant analysis for unbalanced data using HDBSCAN 원문보기

초록
AI-Helper

표/그림 (9)

표/그림 (9)