[논문]불완전한 데이터를 위한 딥러닝 모델

이종찬

doi:10.15207/jkcs.2019.10.2.001

초록
AI-Helper

제안 모델은 소실 데이터를 포함하는 불완전한 데이터에서 정보의 손실을 최소화할 수 있도록 개발되었다. 이를 위한 과정은 우선 데이터 확장기법을 이용하여 손실 정보를 보상하도록 학습 데이터를 변환한다. 이 변환 과정에서 데이터의 속성값은 원-핫 인코딩으로 이진 또는 확률값으로 채워진다. 다음 이 변환 데이터는 딥러닝 모델에 입력되는데, 이때 각 속성의 카디너리티에 따라 엔트리 수가 일정하지 않게 된다. 그리고 각 속성의 엔트리 값들을 각각의 입력 노드에 할당하고 학습을 진행한다. 이점이 기존 학습 모델과의 차이점으로, 임의의 속성값이 입력층에서 여러 개의 노드로 분산되는 특이한 구조를 가진다. 제안 모델의 학습 성능을 평가하기 위해, 소실 데이터를 대상으로 다양한 실험을 수행하여 성능 면에서 우수함을 보인다. 제안 모델은 유비쿼터스 환경에서 손실을 최소화하기 위한 알고리즘으로 유용하게 사용될 것으로 본다.

Abstract ▼ AI-Helper

The proposed model is developed to minimize the loss of information in incomplete data including missing data. The first step is to transform the learning data to compensate for the loss information using the data extension technique. In this conversion process, the attribute values of the data are ...

The proposed model is developed to minimize the loss of information in incomplete data including missing data. The first step is to transform the learning data to compensate for the loss information using the data extension technique. In this conversion process, the attribute values of the data are filled with binary or probability values in one-hot encoding. Next, this conversion data is input to the deep learning model, where the number of entries is not constant depending on the cardinality of each attribute. Then, the entry values of each attribute are assigned to the respective input nodes, and learning proceeds. This is different from existing learning models, and has an unusual structure in which arbitrary attribute values are distributedly input to multiple nodes in the input layer. In order to evaluate the learning performance of the proposed model, various experiments are performed on the missing data and it shows that it is superior in terms of performance. The proposed model will be useful as an algorithm to minimize the loss in the ubiquitous environment.

Keyword

표/그림 (6)

표 Table 1. The example of training data
표 Table 2. The attribute values in Table 1 are quantified
표 Table 3. The example of additional Training data
표 Table 4. The extended data representation.
그림 Fig. 1. Learning model for extended data representation
표 Table 5. Experimental results

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 일부 센서의 오작동이나 각 지역에서 수집된 데이터에서 센서의 수가 달라 속성의 수가 같지 않은 불완전한 데이터를 딥러닝으로 처리할 수 있는 방안에 대해 알아보았다. 이 처리 과정에서 데이터 확장 기법으로 학습데이터를 변환한 후 이진 또는 확률값을 입력층에 입력하고 학습을 진행하였다.

제안 방법

이는 딥러닝의 특징인 학습 데이터에 포함된 특성값을 학습 과정을 통해 추출해 내는 과정에서 정보의 집중과 분산이 일어나기 때문에 가능한 것으로 본다. 실험 과정에서 제안 알고리즘을 손실이 있는 데이터[10,11]에 적용하여 성능을 알아본다. 또한 데이터에 약간의 손상이 있다하더라도 성능에 많은 영향을 주지 않을 수 있음을 보인다.
이 전향단계에서 산출된 오차 값을 최소화하기 위해 (4)식과 같은 후향 단계가 수행된다. 여기서는 일반화된 델타룰을 사용하는데 가중치가 오차에 미치는 영향을 계산하고, 이 값에 비례해 가중치를 수정한다
Table 5의 (a)에서 사용한 “Balance & scale” 데이터는 4개의 속성과 2개의 부류, 그리고 625개의 사건으로 구성되어 있다. 결과는 각각 4개의 속성에 대해 5, 15, 30, 45%만큼을 손상 시킨 후, 10번의 실험을 하여 평균값을 측정하였다. 여기서 ”Average”는 임의의 속상 백분율에서 각 속성들 결과의 평균이다.
본 논문은 일부 센서의 오작동이나 각 지역에서 수집된 데이터에서 센서의 수가 달라 속성의 수가 같지 않은 불완전한 데이터를 딥러닝으로 처리할 수 있는 방안에 대해 알아보았다. 이 처리 과정에서 데이터 확장 기법으로 학습데이터를 변환한 후 이진 또는 확률값을 입력층에 입력하고 학습을 진행하였다. 이점이 기존 알고리즘과의 차이점으로 입력층의 노드 몇 개가 모여야 하나의 속성값을 만드는 구조를 가지고도 학습이 이루어진다는 것을 보였다.
그리고 미분 값을 바탕으로 하는 기울기 하강 기법에서 시그모이드 활성화 함수가 0과 1사이의 노드 값을 산출하는 것이 원인이 되어 여러 개의 층을 학습하는 경우 기울기 소실(vanishing gradient) 문제가 발생됨을 밝혀냈다. 이 문제를 해결하기 위해 EBP의 시그모이드나 tanh 활성화 함수를 ReLu, Softplus 등으로 대체하고, 컨볼루션(convolution), 맥스 플링(max pooling), 드롭 아웃(drop out), 플래튼(flatten) 기법을 추가하여 딥러닝 알고리즘으로 발전시켰다[2-4]. 그리고 영상이나 음성 인식 문제, 자연어 처리 문제 등에 적용하여 학습이 어려웠던 복잡한 문제를 해결하는 성과를 얻었다[5,6].

대상 데이터

실험에 사용된 데이터는 UCI 저장소에서 “Balance scale weight”와 “Car evolution”[15]을, 그리고 “Sleep stage scoring data”를 사용하였다.
실험 방법은 10-겹 교차 검증(10-fold cross validation)을 사용하였다. 즉 실험 데이터를 10개의 블록으로 나누고 9개의 블록은 학습 데이터로 사용하고 나머지 한 개의 블록은 테스트 데이터로 사용한다. 이 과정을 10번 반복하여 테스트 데이터의 결과를 평균해 성능 평가로 사용하였다.

데이터처리

즉 실험 데이터를 10개의 블록으로 나누고 9개의 블록은 학습 데이터로 사용하고 나머지 한 개의 블록은 테스트 데이터로 사용한다. 이 과정을 10번 반복하여 테스트 데이터의 결과를 평균해 성능 평가로 사용하였다. 그 결과가 Table 5에 나타나 있다.

이론/모형

이 문제에 대해 본 논문은 소실 데이터를 처리하기 위해 개발된 데이터 확장 기법[7-9]으로 손실 데이터를 변환한 다음 학습 데이터로 입력하는 방법을 사용한다. 이 변환법은 속성값이 가지는 카디너리티(cardinality)에 따라 일정하지 않은 개수의 이진값 또는 실수값을 가지게 된다.
예를 들어 속성 1이 2개, 속성 2가 3개, 속성 3이 2개의 카디너리티를 가지고, 각 속성의 값이 {2, 3, 1}라고 가정한다. 이때 데이터 확장 기법은 원-핫 인코딩(one-hot-encoding) 기법을 이용해 각 속성을 {{0, 1}, {0, 0, 1}, {1, 0}}와 같이 속성의 구분 없이 입력층의 7개 노드에 입력한다. 그리고 이렇게 입력된 학습 데이터가 학습 과정을 통해 안정된 가중치 값을 가지게 되어 좋은 성능을 보일 수 있다는 것이다.
실험에 사용된 데이터는 UCI 저장소에서 “Balance scale weight”와 “Car evolution”[15]을, 그리고 “Sleep stage scoring data”를 사용하였다. 실험 방법은 10-겹 교차 검증(10-fold cross validation)을 사용하였다. 즉 실험 데이터를 10개의 블록으로 나누고 9개의 블록은 학습 데이터로 사용하고 나머지 한 개의 블록은 테스트 데이터로 사용한다.

성능/효과

실험 과정에서 제안 알고리즘을 손실이 있는 데이터[10,11]에 적용하여 성능을 알아본다. 또한 데이터에 약간의 손상이 있다하더라도 성능에 많은 영향을 주지 않을 수 있음을 보인다.
”FLDF“는 기존 알고리즘과 성능 비교하기 위해 같은 데이터에 대해 Fisher’s Linear Discriminant Function을 이용한 분류 알고리즘[16]의 결과를 제시하였다. FLDF와의 비교는 0, 5, 15%의 경우 제안 시스템이, 30과 45%의 실험 결과는 FLDF가 약간 우수한 것으로 나타났다. 이들 실험 결과는 예상한 대로 손상이 더해질수록 결과는 저하되는 결과를 확인할 수 있었다.
FLDF와의 비교는 0, 5, 15%의 경우 제안 시스템이, 30과 45%의 실험 결과는 FLDF가 약간 우수한 것으로 나타났다. 이들 실험 결과는 예상한 대로 손상이 더해질수록 결과는 저하되는 결과를 확인할 수 있었다.
이 처리 과정에서 데이터 확장 기법으로 학습데이터를 변환한 후 이진 또는 확률값을 입력층에 입력하고 학습을 진행하였다. 이점이 기존 알고리즘과의 차이점으로 입력층의 노드 몇 개가 모여야 하나의 속성값을 만드는 구조를 가지고도 학습이 이루어진다는 것을 보였다. 그리고 여러 가지 소실률을 가지는 소실 데이터를 대상으로 하는 실험을 통해 속성의 수, 데이터의 규모 등에 따라 가소 차이가 있지만 전체 실험 데이터의 성능 면에서 우수함을 보였다.
이점이 기존 알고리즘과의 차이점으로 입력층의 노드 몇 개가 모여야 하나의 속성값을 만드는 구조를 가지고도 학습이 이루어진다는 것을 보였다. 그리고 여러 가지 소실률을 가지는 소실 데이터를 대상으로 하는 실험을 통해 속성의 수, 데이터의 규모 등에 따라 가소 차이가 있지만 전체 실험 데이터의 성능 면에서 우수함을 보였다.

후속연구

앞으로 소실 데이터에서 정보의 손실을 최소화 하려는 노력으로 확률값과 함께 Shannon의 엔트로피 함수를 이용하는 방안 등에 대해서도 연구가 뒤따라야 한다. 또한 제안 모델을 약한 분류자로 하는 Adaboost 알고리즘을 구현해 성능을 비교하는 것도 필요할 것으로 본다
앞으로 소실 데이터에서 정보의 손실을 최소화 하려는 노력으로 확률값과 함께 Shannon의 엔트로피 함수를 이용하는 방안 등에 대해서도 연구가 뒤따라야 한다. 또한 제안 모델을 약한 분류자로 하는 Adaboost 알고리즘을 구현해 성능을 비교하는 것도 필요할 것으로 본다

질의응답

핵심어	질문	논문에서 추출한 답변
	일반적인 딥러닝의 학습 모델은 어떻게 구성되어 있는가?	일반적인 딥러닝의 학습 모델은 Fig. 1과 같이 입력층, 여러 개의 은닉층, 출력층으로 구성된다. 그리고 알고리즘에서는 입력층에 입력된 학습 패턴에서 특성 값들을 추출하고, 이 특성 값들에 따라 가중치 값들을 반복적으로 조절해 나가는 과정이 반영된다.
	데이터 확장 기법이란?	여기서 Table 3의 (a)는 V3가 손상되었고, (b)는 부류가 손상되었다. 이와 같은 불완전 데이터가 포함된 학습 데이터를 처리하여 정보의 손실을 최소화 하려는 방법을 데이터 확장 기법이라고 한다. Table 4를 이용해 이 과정을 설명한다.
	딥러닝 학습 과정의 전향과 후향 단계는 어떻게 구분되는가?	딥러닝 학습 과정[12-14]은 크게 전향과 후향 단계로 구분된다. 전향 단계는 (1)식과 같이 하위 층의 출력 값과 하위층과 현재층과의 가중치 곱의 합으로 현 층의 노드 입력 값을 결정하고, 이 값을 시그모이드, ReLu, tanh, softplus 등의 활성화 함수로 입력하여 출력값을 산출해 간다. 또한 후향 단계는 기대 출력값과 실제 출력값 간의 오차를 구한 후, 이 차이만큼 층과 층 사이의 가중치를 수정한다. 이들 과정은 정해진 학습 횟수 또는 (3)식과 같이 오차의 합이 정해진 수치만큼 수렴될 때까지 계속 반복 실행한다.

참고문헌 (16)

D. E.Rumelhart, G. E.Hinton, & R. J.Williams. (1986). Learning Internal Representations by Error Propagation, PDP, I, 318-362
Y. L. Cun, Y. Bengio, & G. Hinton. (2015) Deep learning, Nature, 521(7553), 436-444. DOI : 10.1038/nature14539

상세보기
L. Deng, & D. Yu. (2014). Deep learning: methods and applications, Foundations and Trends in Signal Processing, 197-387.
J. Schmidhuber. (2015). Deep learning in neural networks : An overview, Elsevier.
D. Lee, W. Yu, & H. Lim. (2017). Bi-directional LSTM-CNN-CRF for Korean Named Entity Recognition System with Feature Augmentation, Journal of the Korea Convergence Society, 8(12), 55-62.
J. Lee. (2018). A Method of Eye and Lip Region Detection using Faster R-CNN in Face Image, Journal of the Korea Convergence Society, 9(8), 1-8.
D. Kim,D. Lee, & W. D. Lee. (2006). Classifier using Extended Data Expression, IEEE Mountain Workshop on Adaptive and Learning Systems., 154-159, DOI: 10.1109/SMCALS.2006.250708
D. Kim, D. Seo, Y. Li, & W. D. Lee. (2008). A classifier capable of rule refinement, International Conference on Service Operations and Logistics, and Informatics, 168-173
J. M. Kong, D. H. Seo, & W. D. Lee. (2007) Rule refinement with extended data expression, Sixth International Conference on Machine Learning and Applications, 310-315
J. Wu, Y. S. Kim, C. H. Song, & W.D.Lee. (2008) A new classifier to deal with incomplete data, International Conference on Software Engineering, Artificial Intelligence, Networking, 105-110
J. W. Grzymala-Busse. (2003). Rough set strategies to data with missing attribute values, Workshop on Foundations & New Directions in Data Mining, 19-22
Y. Jeong. (2017).Subnet Generation Scheme based on Deep Learing for Healthcare Information Gathering, Journal of Digital Convergence, 15(3), 221-228

원문보기 상세보기
M. Yang & S. Yoon. (2018). Production of agricultural weather information by Deep Learning, Journal of Digital Convergence, 16(12), 293-299
B. Ahn. (2018).Study for Drowsy Driving Detection & Prevention System, Journal of Convergence for Information Technology, 8(3), 193-198
E. Keogh, C. Blake, C. J. Merz. UCI Repository of Machine Learning Databases, http://www.ics.uci.edu/-mlearn/MLRepository.html
J. C. Lee, D. H. Seo, C. H. Song, & W. D. Lee.(2007). FLDF based Decision Tree using Extended Data Expression, Conference on Machine Learning & Cybernetics,HongKong, 3478-3483

이 논문을 인용한 문헌

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 불완전한 데이터를 위한 딥러닝 모델
Deep Learning Model for Incomplete Data 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

Keyword

표/그림 (6)

표/그림 (6)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (16)

이 논문을 인용한 문헌

저자의 다른 논문 :

활용도 분석정보

활용도 Top5 논문

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 불완전한 데이터를 위한 딥러닝 모델 Deep Learning Model for Incomplete Data 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

Keyword

표/그림 (6) 모든 표/그림 보기

표/그림 (6) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (16)

이 논문을 인용한 문헌

저자의 다른 논문 :

이종찬 (14)

활용도 분석정보

활용도 Top5 논문 더보기

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 불완전한 데이터를 위한 딥러닝 모델
Deep Learning Model for Incomplete Data 원문보기

초록
AI-Helper

표/그림 (6)

표/그림 (6)

AI 본문요약
AI-Helper

활용도 Top5 논문