[논문]SVM과 딥러닝에서 불완전한 데이터를 처리하기 위한 알고리즘

이종찬

doi:10.15207/jkcs.2020.11.3.001

초록
AI-Helper

본 논문은 불완전한 데이터를 처리하기 위해 2가지의 서로 다른 기법과 이를 학습하는 알고리즘을 소개한다. 첫째방법은 손실변수가 가질 수 있는 균등한 확률로 손실값을 할당하여 불완전한 데이터를 처리하고, SVM 알고리즘으로 이 데이터를 학습하는 것이다. 이 기법은 임의의 변수에 손실 값의 빈도가 높을수록 엔트로피가 높도록 하여 이 변수가 결정트리에서 선택되지 않도록 하는 것이다. 이 방법은 손실 변수에 남아있는 정보를 모두 무시하고 새로운 값을 할당한다는 특징이 있다. 이에 반해 새로운 방법은 손실 값을 제외하고 남아있는 정보로 엔트로피 확률을 구하고 이를 손실 변수의 추정 값으로 사용하는 것이다. 즉, 불완전한 학습데이터로부터 소실되지 않은 많은 정보들을 이용해 소실된 일부 정보를 복구하고 딥러닝을 이용해 학습한다. 이 2가지 방법은 학습데이터에서 차례로 변수 하나를 선택하고, 이 변수에 손실된 데이터의 비율을 달리하면서 서로 다른 측정값들의 결과들과 반복적으로 비교함으로써 성능을 측정한다.

Abstract ▼ AI-Helper

This paper introduces two different techniques for dealing with incomplete data and algorithms for learning this data. The first method is to process the incomplete data by assigning the missing value with equal probability that the missing variable can have, and learn this data with the SVM. This t...

This paper introduces two different techniques for dealing with incomplete data and algorithms for learning this data. The first method is to process the incomplete data by assigning the missing value with equal probability that the missing variable can have, and learn this data with the SVM. This technique ensures that the higher the frequency of missing for any variable, the higher the entropy so that it is not selected in the decision tree. This method is characterized by ignoring all remaining information in the missing variable and assigning a new value. On the other hand, the new method is to calculate the entropy probability from the remaining information except the missing value and use it as an estimate of the missing variable. In other words, using a lot of information that is not lost from incomplete learning data to recover some missing information and learn using deep learning. These two methods measure performance by selecting one variable in turn from the training data and iteratively comparing the results of different measurements with varying proportions of data lost in the variable.

주제어

표/그림 (5)

표 Table 1. Example of training data containing missing data
표 Table 2. The extended data expression of Table 1.
표 Table 3. Lookup table for missing variable in Table 2.
표 Table 4. The experiment results
그림 Fig. 1. Graph for the results in Table 4.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그러나 딥러닝과 같이 엔트로피를 기반으로 하지 않는 학습에서는 학습 데이터 자체가 가지고 있는 정보를 보전하는 새로운 확률값을 이용해 손실값을 보상하기 위한 방법이 보다 효율적일 것이다[14]. 따라서 본 논문은 정보이론을 바탕으로 학습 데이터에서 손실값을 위한 확률을 추출해 내는 것을 목적으로 한다.
특히 학습 데이터 중에 손실 레코드가 많이 포함될수록 정보의 손실로 인해 성능에 커다란 영향을 미치게 된다. 따라서 불완전한 학습데이터로부터 대부분의 손실되지 않은 데이터들을 이용해 손실된 일부 정보를 복구하여 학습 성능을 향상할 목적으로 2가지 방법을 제안하고 이들의 학습 성능을 비교한다. 2가지 제안 방안은 모두 데이터 확장 기법을 이용해 학습데이터를 변환한 다음 서로 다른 확률 값들을 구하여 손실 값들을 채운다.
본 논문에서는 데이터 중에 임의 레코드에서 변수 값에 손실이 발생할 경우를 위해 2가지 방법을 제안한다. 데이터에 손실이 발생할 경우 사용하는 일반적인 기법은 손실치가 포함된 레코드를 무시하고 처리하는 방법과 여러 알고리즘을 이용해 손실치를 채우고 처리하는 방법으로 나누어진다.

가설 설정

그리고 log를 사용하여 0과 1사이의 값으로 변환한다. (3)식은 이모든 경우에 대한 기댓값을 구한 것이다.

제안 방법

따라서 불완전한 학습데이터로부터 대부분의 손실되지 않은 데이터들을 이용해 손실된 일부 정보를 복구하여 학습 성능을 향상할 목적으로 2가지 방법을 제안하고 이들의 학습 성능을 비교한다. 2가지 제안 방안은 모두 데이터 확장 기법을 이용해 학습데이터를 변환한 다음 서로 다른 확률 값들을 구하여 손실 값들을 채운다. 그리고 서로 다른 알고리즘인 SVM(Support Vector Machine)과 딥러닝(Deep Learning)을 이용해 학습한 후 그 결과들을 비교해 본다.
2가지 제안 방안은 모두 데이터 확장 기법을 이용해 학습데이터를 변환한 다음 서로 다른 확률 값들을 구하여 손실 값들을 채운다. 그리고 서로 다른 알고리즘인 SVM(Support Vector Machine)과 딥러닝(Deep Learning)을 이용해 학습한 후 그 결과들을 비교해 본다.
성능 측정을 위해 10%는 테스터 데이터로 사용하는 10-fold cross validation을 사용하였다. 그리고 학습 데이터는 손실비율을 각각 달리하여 0%, 5%, 15%, 30%, 45% 비율만큼 임의로 데이터를 선택한 다음, 이 선택된 사건의 각 변수 마다 교대로 값을 손실시키며 결과를 알아보았다. 실험 결과는 이러한 방법대로 10번을 실행하여 각각의 결과의 평균을 산출하였다.
5 알고리즘에 확장된 데이터 표현을 더한 알고리즘으로 많은 손상된 데이터 실험을 하여 좋은 결과를 산출해오고 있다. 여기서 확장된 데이터 표현은 손실된 데이터에 대해 확률적으로 표현하는 방법을 사용하였고 각 사건(event)의 중요도를 달리할 수 있는 표현기법을 고려하였다. 이를 Table 1과 같은 학습데이터를 이용해 설명한다.
지금까지 손실 값을 포함하는 불완전한 데이터의 처리방법에 대해 2가지 방면으로 알아보았다. 첫 번째는 C4.
지금까지 손실 값을 포함하는 불완전한 데이터의 처리방법에 대해 2가지 방면으로 알아보았다. 첫 번째는 C4.5, UChoo와 같이 엔트로피를 기반으로 결정트리를 구성해가며 학습이 이루어지는 알고리즘에서의 처리방법이었다. 여기서는 학습 중에 손실값이 있는 경우 이 변수의 엔트로피가 가장 높도록 하는 방법을 사용하였다.
데이터 확장 기법을 실행한 후 소실된 변수들은 다음 과정을 통해 확률 값으로 변환된다. 첫째, 소실된 변수의 카디너리티(cardinality)를 이용해 균등한 확률 값을 구하고 이를 손실 변수에 채워 넣는다. 이렇게 손실 변수에 균등한 값을 할당하게 되면, 손실값이 많이 포함된 변수일수록 엔트로피가 증가하는 효과를 얻는다.

대상 데이터

그리고 인간의 뇌파를 기록한 데이터인 “Sleep stage scoring(SSS)”(799 사건, 11 변수, 6 부류)데이터를 사용하였다.
실험을 위해 UCI 기계 저장소[18]의 데이터 중에 “Balance & Scale(BS)”(625 사건, 3 변수, 3 부류)과 “Car evolution(CE)”(1728 사건, 6 변수, 4 부류)을 사용하였다.

데이터처리

그리고 학습 데이터는 손실비율을 각각 달리하여 0%, 5%, 15%, 30%, 45% 비율만큼 임의로 데이터를 선택한 다음, 이 선택된 사건의 각 변수 마다 교대로 값을 손실시키며 결과를 알아보았다. 실험 결과는 이러한 방법대로 10번을 실행하여 각각의 결과의 평균을 산출하였다. 그 결과가 변수와 손실률 별로 Table 4에 나타나있다.

이론/모형

(1)식을 최대로 하는 해를 구하기 위해 Cauchy Schwartz 부등식을 이용한다. 우선 α=V^1/2P라 놓으면 (1)식은 (α^TV^-1/2βV^-1/2α/(α^Tα)이 된다.
SVM 알고리즘의 초평면(P)을 구하기 위해 Fisher의 선형분리함수(Fisher’s Linear Discriminant Function (FLDF))를 이용하는데, 그 과정은 다음과 같다.
그리고 인간의 뇌파를 기록한 데이터인 “Sleep stage scoring(SSS)”(799 사건, 11 변수, 6 부류)데이터를 사용하였다. 성능 측정을 위해 10%는 테스터 데이터로 사용하는 10-fold cross validation을 사용하였다. 그리고 학습 데이터는 손실비율을 각각 달리하여 0%, 5%, 15%, 30%, 45% 비율만큼 임의로 데이터를 선택한 다음, 이 선택된 사건의 각 변수 마다 교대로 값을 손실시키며 결과를 알아보았다.

성능/효과

이에 따라 새로운 방법이 제안되었는데 이는 손실값이 존재할 때 손실되지 않은 정보들을 이용해 엔트로피 확률을 계산하고 이를 손실된 정보의 추정값으로 할당한다. 실험은 학습데이터에 대해 손실률을 달리해가며 결과를 측정하고, 데이터가 가지고 있는 변수를 변경해가며 실험을 하여 좋은 결과를 산출함을 보았다.

후속연구

앞으로 손실된 변수의 평균값으로 손실 값을 대치해가는 방법 등 다양한 방법이 개발되고 여러 분야에 적용해 보아 기법을 발전시킬 필요가 있다고 본다. 예를 들어 유비쿼터스 분야에서는 서로 다른 환경과 센서 기기들로부터 데이터가 수집되고, 원격지로부터 데이터들이 모아지는 관계로 불완전한 데이터가 수집되는 경우가 많으므로 본 논문에서 제안한 방법이 유용하게 쓰일 수 있기를 기대한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	정보함수가 지녀야 될 속성은 무엇인가?	정보 함수는 확률 실험에서 어떤 사건이 발생했을 때 이 사건에서 얻을 수 있는 정보의 양을 측정하는 척도이다. 정보함수가 지녀야 될 속성은 두 가지로 나누어지는데, 첫째는 사건이 일어날 확률과 정보의 양은 반비례한다는 것이고, 둘째는 독립된 사건을 동시에 관측했을 때 얻는 정보의 양과 각 사건을 따로 관측했을 때 얻는 정보의 양의 합은 같아야 한다는 것이다. 여러 학자들에 의해 이러한 속성을 만족하는 것은 로그 함수임이 밝혀졌다[16].
	UChoo란?	UChoo는 C4.5 알고리즘에 확장된 데이터 표현을 더한 알고리즘으로 많은 손상된 데이터 실험을 하여 좋은 결과를 산출해오고 있다. 여기서 확장된 데이터 표현은 손실된 데이터에 대해 확률적으로 표현하는 방법을 사용하였고 각 사건(event)의 중요도를 달리할 수 있는 표현기법을 고려하였다.
	UChoo가 다른 결정 트리를 이용하는 알고리즘에 비하여 손실 데이터를 처리하기에 유리한 이유는 무엇인가?	UChoo는 학습 중에 결정트리를 구성해 나가는데, 다른 결정 트리를 이용하는 알고리즘에 비하여 손실 데이터를 처리하기에 유리하다. 각각의 데이터 엔트리들이 0과 1사이의 확률로 표현되기 때문이다. 훈련 데이터 집합에 손실 값이 존재하는 경우 그 변수의 카디너리티로 모든 엔트리에 대해 동일한 확률 값을 할당한다.

참고문헌 (18)

J. Han, J. Pei & M. Kamber. (2011), Data Mining: Concepts and Techniques, Elsevier.
M. Kantardzic. (2002). Data Mining : Concepts, Models, Methods, and Algorithms, Wiley-IEEE Press.
T. Maszczyk & W. Duch. (2008). Comparison of Shannon, Renyi and Tsallis Entropy used in Decision Trees. Lecture Notes in Computer Science, 5097, 643-651.
M. Srednicki & Theoretical Physics Group.(1993) Entropy and Area. Physical Review letters. DOI : 10.1103/PhysRevLett.71.666

상세보기
R.M.Gray.(2011).Entropy and Information Theory. Springer 2ED. DOI : 10.1007/978-1-4419-7970-4
J. R. Quinlan. (1993). C4.5 : Program for Machine Learning. San Mateo : Morgan Kaufmann
P. E. Utgoff. (1989). Incremental Induction of Decision Trees. Machine Learning, 4(2), 161-186.

상세보기
R. Kohavi & J. R. Quinlan. (2002). Data mining tasks and methods: Classification: Decision-tree discovery, Handbook of data mining and knowledge discovery, Oxford University Press, 267-276.
H. Lee, S. Chung & E. Choi. (2016). A Case Study on Machine Learning Applications and Perfor- mance Improvement in Learning Algorithm, Journal of Digital Convergence, 14(2), 245-258.

원문보기 상세보기
Y. Jeong. (2019). Machine Learning Based Domain Classification for Korean Dialog System, Journal of Convergence for Information Technology, 9(8), 1-8.

원문보기 상세보기
J. C. Lee, D. H. Seo, C. H. Song & W. D. Lee. (2007). FLDF based Decision Tree using Extended Data Expression, The 6th Conference on Machine Learning & Cybernetics, 3478-3483.
J. C. Lee & W. D. Lee. (2010). Classifier handling incomplete data. Journal of the Korea Institute of Information and Communication Engineering, 14(1), 53-62.

원문보기 상세보기
D. Kim, D. Lee & W. D. Lee. (2006). Classifier using Extended Data Expression, IEEE Mountain Workshop on Adaptive and Learning Systems. DOI : 10.1109/SMCALS.2006.250708
T. Delavallade & T. H. Dang. (2007). Using Entropy to Impute Missing Data in a Classification Task. IEEE International Fuzzy Systems Conference. DOI : 10.1109/FUZZY.2007.4295430
A. McCallum, D. Freitag & F. Pereira. (2000). Maximum Entropy Markov Models for Information Extraction and Segmentation. Proc. Of 17th International Conference on Machine Learning, 591-598.
J. C. Lee. (2018). Application Examples Applying Extended Data Expression Technique to Classification Problems, Journal of the Korea Convergence Society, 9(12), 9-15. DOI : 10.15207/JKCS.2018.9.12.009

원문보기 상세보기
J. C. Lee. (2019). Deep Learning Model for Incomplete Data, Journal of the Korea Convergence Society, 10(2), 1-6. DOI : 10.15207/JKCS.2019.10.2.001

원문보기 상세보기
E. Keogh, C. Blake & C. J. Merz. (1998). UCI Repository of Machine Learning Databases, UCI Machine Learning Repository. http://www.ics .uci.edu/-mlearn/MLRepository.html

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

SVM과 딥러닝에서 불완전한 데이터를 처리하기 위한 알고리즘
Algorithms for Handling Incomplete Data in SVM and Deep Learning 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (5)

표/그림 (5)

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (18)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

SVM과 딥러닝에서 불완전한 데이터를 처리하기 위한 알고리즘 Algorithms for Handling Incomplete Data in SVM and Deep Learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (5) 모든 표/그림 보기

표/그림 (5) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (18)

이 논문을 인용한 문헌

저자의 다른 논문 :

이종찬 (13)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

SVM과 딥러닝에서 불완전한 데이터를 처리하기 위한 알고리즘
Algorithms for Handling Incomplete Data in SVM and Deep Learning 원문보기

초록
AI-Helper

표/그림 (5)

표/그림 (5)

AI 본문요약
AI-Helper