[논문]AutoEncoder와 FCM을 이용한 불완전한 데이터의 군집화

박동철; 장병근

문제 정의

이러한 불완전한 데이터에서 손실된 데이터의 값을 추정하고 군집화 시키는 것에 대한 연구가 1962년부터 시작되었으며, Jainm과 Dub 瞬에 의해 정리되었다[1-3]. Hathaway와 Bezdeke Fuzzy C-Means (FCM) 의 변형된 형태인 Optimal Completion Strategy FCM (OCSFCM)을 제안하고 불완전한 데이터의 손실된 값들을 추정하는 방법에 대해 연구하였다[4]. 그러나, 이 OCSFCMe 완전한 원본 데이터에 대한 군집 중심값의 정보를 초기에 필요로 하기 때문에, 실제 원본 데이터를 알지 못한다면 불완전한 데이터를 군집화 시킬 수 없다.
그러나, 이 OCSFCMe 완전한 원본 데이터에 대한 군집 중심값의 정보를 초기에 필요로 하기 때문에, 실제 원본 데이터를 알지 못한다면 불완전한 데이터를 군집화 시킬 수 없다. 따라서, 본 논문에서는 원본 데이터를 모르는 상황에서 불완전한 데이터를 군집화 시키는 방법에 대해 제안한다. 본 논문에서 제안되는 알고리즘은 Autoencoder Neural Network (AENN) 을 사용하여 불완전한 데이터의 손실부분을 추정하고 그 결과를 Gradient-Based FCM (GBFCM) 에 인가하여 군집화를 수행한다.
본 논문에서는 GBFCM의 군집화 과정과 학습된 AENN를 이용한 손실된 데이터 추정/복원 과정을 조합하여 불완전한 데이터를 군집화 시키는 알고리즘을 제안한다. AENN의 학습된 가중치를 이용하여 손실된 데이터를 추정/복원한 후에 GBFCM의 군집화 과정을 통해 군집 중심값을 구하는데, 이것은 완전히 AENN의 추정/복원 과정이 종료된 후에만 데이터의 군집화를 수행할 수 있다.
이는 실제로 완전한 원본 데이터에 대한 군집 중심값의 정보를 알지 못하는 상황에서는 불가능하기 때문에, 본 논문에서는 AENN의 학습을 통해 손실된 데이터를 원본 데이터로 추정/복원시키는 방법을 제안한다[9].
않는다. 이러한 OCSFCM의 문제점을 해결하기 위하여, AENN 과 FCM 알고리즘을 이용하여, 불완전한 데이터의 군집화를 위한 알고리즘이 본 논문에서 제안되었다. 본 논문에서 제안된 OCAEFCMe AENN의 불완전한 데이터 복원 능력과 GBFCM의 군집화 능력을 적절히 이용하였다.

가설 설정

, "의 값을 최소화시키기 위한 조건에 손실된 특징값들을 변수로 하는 새로운 조건을 더하여 목적 함수 Jm을 최소화시킴으로서 최종적으로 손실된 부분을 원본의 값으로 추정/복원시킨다. 즉, OCSFCMe 먼저 전체 데이터가 손실된 데이터가 없다는 것을 가정하고 전체 데이터에 FCM을 사용하여 각 군집의 중심값을 구한다. 구해진 군집의 중심값을 이용하여, 불완전한 데이터의 손실된 특징값을 초기화시키고 반복적으로 FCM을 이용해 손실된 데이터 X 貞 j번째 특징값 X 航을 다음의 식으로 구하는 과정을 추가하여 손실된 데이터를 복원시키고 최적화된 데이터의 군집 중심값을 구하는 것이다{4].

제안 방법

불완전한 데이터를 군집화 시키는데 효과적인 OCSFCMe 기존의 FCM 목적 함수 7., "의 값을 최소화시키기 위한 조건에 손실된 특징값들을 변수로 하는 새로운 조건을 더하여 목적 함수 Jm을 최소화시킴으로서 최종적으로 손실된 부분을 원본의 값으로 추정/복원시킨다. 즉, OCSFCMe 먼저 전체 데이터가 손실된 데이터가 없다는 것을 가정하고 전체 데이터에 FCM을 사용하여 각 군집의 중심값을 구한다.
실험에서 사용된 표본 데이터들은 국내 한 금융 회사의 근래 가입자들 중 최근 3년 동안 한 번이라도 이용한 실적이 있는 표본 중에서 무작위로 3, 000명의 데이터 표본을 추출한 것이다. 개인의 신상 정보 중에서 신용 등급을 판정하는데 사용된 정보들은 생일, 성별, 주거현황, 주거 년 수, 세대주관계, 직장코드, 직위, 근속 년 수, 연소득, 배우자, 결제방법, 자가용유무, 자녀수(남), 자녀쉬(여)의 정보들로서 이들 정보들을 인위로 손실시킨 후 각 알고리즘 별로 손실된 데이터를 추정, 복원시켜 최종적으로 신용 등급을 판정하도록 하였다. 신용등급은 1 등급부터 20 등급으로 주어진다.
주어진 3, 000명의 데이터 표본 중에 무작위로 2, 700명의 데이터 패턴을 추출하여 완전한 원본 데이터 패턴으로 사용하였으며, 나머지 300명의 데이터 패턴에 대해서는 손실 대상에 해당되는 부분에 대해 무작위로 손실시켜 데이터로 사용하였다 무작위로 추출한 2, 700명의 완전한 원본 데이터 패턴은 오류 역전파 알고리즘 학습 과정을 수행하여 나머지 300명의 손실된 데이터 패턴의 신용등급을 판정하는데 사용되었다. 그리고 각 알고리즘들은 최종적으로 손실된 데이터 값을 추정/복원시켜 신용 등급을 판정하도록 하였다. 즉, 300명의 신상 정보 데이터가 손실이 되지 않았을 때, 가지고 있던 신용 등급 정보(목적값)와 손실된 후 신용 등급을 추정하여 어느 정도 목적 값에 근접하는지를 결과로 나타내었다.
따라서, 본 논문에서는 원본 데이터를 모르는 상황에서 불완전한 데이터를 군집화 시키는 방법에 대해 제안한다. 본 논문에서 제안되는 알고리즘은 Autoencoder Neural Network (AENN) 을 사용하여 불완전한 데이터의 손실부분을 추정하고 그 결과를 Gradient-Based FCM (GBFCM) 에 인가하여 군집화를 수행한다.
여기서 손실된 데이터의 패턴은 적어도 한개 이상의 손실된 특징값을 가지는 것으로 이러한 실험방법은 Bezdek의 OCSFCM에 이용된 것이대:4]. 본 논문에서는 IRIS 데이터를 무작위로 불완전한 데이터로 만든 후, 군집화 시키는 실험을 각 알고리즘 별로 수행하여 그 성능을 비교하였다. 실험은 총 50번에 걸쳐 수행을 하였고 한 번 수행 시 같은 형태의 불완전한 데이터를 이용해 각 알고리즘 별로 수행하여, 최종적으로 50번의 수행 결과에 대한 성능의 평균을 구했다 표 1은 각 알고리즘 별 평균 원본변형오차(Mean Prototype Error : MPE)를 보여준다[12].
특히, 의뢰자의 최초 거래 시에는 의뢰자의 실적이 없으므로 신용등급을 판정하는데 기준을 정하기가 어렵다. 본 논문에서는 실제로 개인의 신상 정보 중에서 누락되는 정보나, 의심되는 정보가 있는 상황에서도 개인의 신용 등급을 적절히 판정할 수 있도록 AENN을 이용해 손실된 값을 추정/복원한다. 실험에서 사용된 표본 데이터들은 국내 한 금융 회사의 근래 가입자들 중 최근 3년 동안 한 번이라도 이용한 실적이 있는 표본 중에서 무작위로 3, 000명의 데이터 표본을 추출한 것이다.
즉, 전체 데이터에서 완전한 데이터 패턴들만을 이용해 GBFCM 군집화 과정을 통해 완전한 데이터 패턴들의 군집 중심값을 구하고, AENN을 먼저 학습시킨다. 손실된 특징값을 [가지는 불완전한 데이터 패턴들에 대한 복원을 위해서 GBFCM 군집화 과정에서 생성된 군집 중심값을 이용하여 손실된 특징값을 초기화시킨 후 학습된 AENN을 이용해 손실된 특징값을 순차적으로 반복 추정한다
IRIS 데이터는 50개의 패턴 씩 총 3개의 군집으로 구성되어 있다. 인위적으로 IRIS 데이터의 특징값들을 무작위로 손실을 시켰으며, 이 때, 손실된 데이터 패턴의 비율과 완전한 데이터 패턴의 비율을 10%에서 60%까지로 하여 각각의 조건에 대하여 실험을 하였다. 여기서 손실된 데이터의 패턴은 적어도 한개 이상의 손실된 특징값을 가지는 것으로 이러한 실험방법은 Bezdek의 OCSFCM에 이용된 것이대:4].
본 논문에서는 이와 같은 AENN 의 성질을 이용해 불완전한 데이터를 추정/복원시키는데 그림 2와 같이 적용한다. 즉, 전체 데이터에서 완전한 데이터 패턴들만을 이용해 GBFCM 군집화 과정을 통해 완전한 데이터 패턴들의 군집 중심값을 구하고, AENN을 먼저 학습시킨다. 손실된 특징값을 [가지는 불완전한 데이터 패턴들에 대한 복원을 위해서 GBFCM 군집화 과정에서 생성된 군집 중심값을 이용하여 손실된 특징값을 초기화시킨 후 학습된 AENN을 이용해 손실된 특징값을 순차적으로 반복 추정한다

대상 데이터

IRIS 데이터는 50개의 패턴 씩 총 3개의 군집으로 구성되어 있다. 인위적으로 IRIS 데이터의 특징값들을 무작위로 손실을 시켰으며, 이 때, 손실된 데이터 패턴의 비율과 완전한 데이터 패턴의 비율을 10%에서 60%까지로 하여 각각의 조건에 대하여 실험을 하였다.
본 논문에서 제안된 OCAEFCMe AENN의 불완전한 데이터 복원 능력과 GBFCM의 군집화 능력을 적절히 이용하였다. OCAEFCM 의 성능평가를 위해 통계학과 패턴인식 분야에서 알고리즘의 성능검증을 위해 널리 사용되는 IRIS 데이터와 금융기관에서 취득한 실제 데이터를 사용하였다. 제안된 OCAEFCMe 기존의 OCSFCM에 비해 IRIS 데이터의 경우 약 20%의 성능향상이, 실제 금융 데이터의 복원과 신용등급판정에 응용한 결과에서는 15% 이상의 성능향상이 보여졌다.
본 논문에서는 150개의 패턴을 가지는 4차원(총 600개의 특징값)의 IRIS 데이테 11]에 대한 실험을 하였다. IRIS 데이터는 50개의 패턴 씩 총 3개의 군집으로 구성되어 있다.
본 논문에서는 실제로 개인의 신상 정보 중에서 누락되는 정보나, 의심되는 정보가 있는 상황에서도 개인의 신용 등급을 적절히 판정할 수 있도록 AENN을 이용해 손실된 값을 추정/복원한다. 실험에서 사용된 표본 데이터들은 국내 한 금융 회사의 근래 가입자들 중 최근 3년 동안 한 번이라도 이용한 실적이 있는 표본 중에서 무작위로 3, 000명의 데이터 표본을 추출한 것이다. 개인의 신상 정보 중에서 신용 등급을 판정하는데 사용된 정보들은 생일, 성별, 주거현황, 주거 년 수, 세대주관계, 직장코드, 직위, 근속 년 수, 연소득, 배우자, 결제방법, 자가용유무, 자녀수(남), 자녀쉬(여)의 정보들로서 이들 정보들을 인위로 손실시킨 후 각 알고리즘 별로 손실된 데이터를 추정, 복원시켜 최종적으로 신용 등급을 판정하도록 하였다.
실험은 무작위로 추출되는 50 쌍의 학습데이터/검증데이터에 대해 수행되었다. 그림 4는 각 알고리즘별 신용 둥급 판정 오차율을 보여주고 있다.
신용등급은 1 등급부터 20 등급으로 주어진다. 주어진 3, 000명의 데이터 표본 중에 무작위로 2, 700명의 데이터 패턴을 추출하여 완전한 원본 데이터 패턴으로 사용하였으며, 나머지 300명의 데이터 패턴에 대해서는 손실 대상에 해당되는 부분에 대해 무작위로 손실시켜 데이터로 사용하였다 무작위로 추출한 2, 700명의 완전한 원본 데이터 패턴은 오류 역전파 알고리즘 학습 과정을 수행하여 나머지 300명의 손실된 데이터 패턴의 신용등급을 판정하는데 사용되었다. 그리고 각 알고리즘들은 최종적으로 손실된 데이터 값을 추정/복원시켜 신용 등급을 판정하도록 하였다.

데이터처리

본 논문에서는 IRIS 데이터를 무작위로 불완전한 데이터로 만든 후, 군집화 시키는 실험을 각 알고리즘 별로 수행하여 그 성능을 비교하였다. 실험은 총 50번에 걸쳐 수행을 하였고 한 번 수행 시 같은 형태의 불완전한 데이터를 이용해 각 알고리즘 별로 수행하여, 최종적으로 50번의 수행 결과에 대한 성능의 평균을 구했다 표 1은 각 알고리즘 별 평균 원본변형오차(Mean Prototype Error : MPE)를 보여준다[12]. 표 1에서 보는 것과 같이 성능 비교기준의 하나인 MPE는 0CAEFCM이 OCSFCM에 비해 약 20%정도의 감소를 보여준다.

이론/모형

인위적으로 IRIS 데이터의 특징값들을 무작위로 손실을 시켰으며, 이 때, 손실된 데이터 패턴의 비율과 완전한 데이터 패턴의 비율을 10%에서 60%까지로 하여 각각의 조건에 대하여 실험을 하였다. 여기서 손실된 데이터의 패턴은 적어도 한개 이상의 손실된 특징값을 가지는 것으로 이러한 실험방법은 Bezdek의 OCSFCM에 이용된 것이대:4]. 본 논문에서는 IRIS 데이터를 무작위로 불완전한 데이터로 만든 후, 군집화 시키는 실험을 각 알고리즘 별로 수행하여 그 성능을 비교하였다.

성능/효과

그림 4에서 수평축은 사용한 알고리즘의 종류를 나타내며, 아래 값들은 신용 등급 판정 평균 오차율과 I표준편차 값을 나타낸다. 그림 4에서 보는 것과 같이 신용 등급 판정 오차율은 본 논문에서 제안하는 OCAEFCM 의 결과가 1.2 등급 정도로 OCSFCM의 1.47등급에 비해 약 18.37%의 성능 향상을 보인다
제안된 OCAEFCMe 기존의 OCSFCM에 비해 IRIS 데이터의 경우 약 20%의 성능향상이, 실제 금융 데이터의 복원과 신용등급판정에 응용한 결과에서는 15% 이상의 성능향상이 보여졌다. 따라서 본 논문에서 제안되는 OCAEFCMe 데이터 복원과 군집화에 효율적으로 적용될 수 있음을 알 수 있었다.
이러한 OCSFCM의 문제점을 해결하기 위하여, AENN 과 FCM 알고리즘을 이용하여, 불완전한 데이터의 군집화를 위한 알고리즘이 본 논문에서 제안되었다. 본 논문에서 제안된 OCAEFCMe AENN의 불완전한 데이터 복원 능력과 GBFCM의 군집화 능력을 적절히 이용하였다. OCAEFCM 의 성능평가를 위해 통계학과 패턴인식 분야에서 알고리즘의 성능검증을 위해 널리 사용되는 IRIS 데이터와 금융기관에서 취득한 실제 데이터를 사용하였다.
OCAEFCM 의 성능평가를 위해 통계학과 패턴인식 분야에서 알고리즘의 성능검증을 위해 널리 사용되는 IRIS 데이터와 금융기관에서 취득한 실제 데이터를 사용하였다. 제안된 OCAEFCMe 기존의 OCSFCM에 비해 IRIS 데이터의 경우 약 20%의 성능향상이, 실제 금융 데이터의 복원과 신용등급판정에 응용한 결과에서는 15% 이상의 성능향상이 보여졌다. 따라서 본 논문에서 제안되는 OCAEFCMe 데이터 복원과 군집화에 효율적으로 적용될 수 있음을 알 수 있었다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

AutoEncoder와 FCM을 이용한 불완전한 데이터의 군집화
Clustering of Incomplete Data Using Autoencoder and fuzzy c-Means Algorithm 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

AutoEncoder와 FCM을 이용한 불완전한 데이터의 군집화 Clustering of Incomplete Data Using Autoencoder and fuzzy c-Means Algorithm 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

이 논문을 인용한 문헌

저자의 다른 논문 :

박동철 (19)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

AutoEncoder와 FCM을 이용한 불완전한 데이터의 군집화
Clustering of Incomplete Data Using Autoencoder and fuzzy c-Means Algorithm 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper