[논문]불완전 시계열 데이터를 위한 이산 HMM 학습 알고리듬

신봉기

doi:10.9717/kmms.2016.19.1.022

불완전 시계열 데이터를 위한 이산 HMM 학습 알고리듬
Discrete HMM Training Algorithm for Incomplete Time Series Data 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.19 no.1, 2016년, pp.22 - 29

신봉기 (Dept. of IT Convergence and Applications Engineering, Pukyong National University)

Abstract ▼ AI-Helper

Hidden Markov Model is one of the most successful and popular tools for modeling real world sequential data. Real world signals come in a variety of shapes and variabilities, among which temporal and spectral ones are the prime targets that the HMM aims at. A new problem that is gaining increasing attention is characterizing missing observations in incomplete data sequences. They are incomplete in that there are holes or omitted measurements. The standard HMM algorithms have been developed for complete data with a measurements at each regular point in time. This paper presents a modified algorithm for a discrete HMM that allows substantial amount of omissions in the input sequence. Basically it is a variant of Baum-Welch which explicitly considers the case of isolated or a number of omissions in succession. The algorithm has been tested on online handwriting samples expressed in direction codes. An extensive set of experiments show that the HMM so modeled are highly flexible showing a consistent and robust performance regardless of the amount of omissions.

주제어

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 순차적 관측 데이터에 손상이 있거나 관측 자체가 불완전한 경우에도 HMM을 응용할 수 있는 추론 및 학습 알고리듬을 제시하였다. 실험결과 어떤 상황에서 훈련 하였든 완전 또는 불완전데이터를 평가할 수 있음을 보여 주었다.
있어야 할 변수가 없을 때 관심 변수를 추정 평가할 때 기대되는 확률의 정확성, 성능이 영향을 받을 뿐이다. 본 연구에서는 EM 기반의 표준의 학습 알고리듬을 최소한으로 수정하여 불완전 데이터에 대한 추론과 학습하는 알고리듬을 제시하고자 한다. 제안 방법의 E 단계는 전진 및 후진 확률 계산과 몇 가지의 사후확률 변수의 계산 공식를 변경함으로써 문제를 해결하였다.

가설 설정

표준 HMM의 이론은 모두 기본적으로 완전한 관측열을 중심으로 전개되어 있다[1]. 그러나 본 논문에서 제안하는 모형의 환경에서는 출력이 누락된 경우도 종종 있다고 가정한다. 출력이 없는 경우 공백기호 ϕ 로 두고 출력 과정을 다음과 같이 정의할 수 있다.

대상 데이터

2의 각의 데이터에서 90%로 훈련한 다음 나머지 10%로 평가한다. 각 데이터 별로 총 10 번의 검증 평가를 실시하였다. 모형은 일반적인 어고딕(ergodic) 모형과 선형적 순서를 표현하는 선형 사슬모양의 모형의 두 가지로 평가하였고 모두 상태수를 N = 7 로 하였다.
불완전 순차 데이터를 모형화하는 이산 HMM의 평가를 위하여 와콤 태블릿/전자펜 장치를 사용하였으며 총 216 표본의 숫자 필기를 수집하였다. 각 숫자별로 15∼25개의 표본을 획득하였다. 본 실험의 주목적은 다양한 비율로 손상된 시계열 데이터를 얼마나 잘 모형화 하며 성능의 변화가 어떤지를 살펴보는데 있다.
D(0)를 제외한 다른 손상 데이터는 학습 데이터와 시험 데이터를 별도로 생성하였다. 기본적으로 모두 D(0)에서 유래한 것이며 손상 비율도 같지만 손상 위치가 다른 모의 실험 데이터를 사용하였다.
불완전 순차 데이터를 모형화하는 이산 HMM의 평가를 위하여 와콤 태블릿/전자펜 장치를 사용하였으며 총 216 표본의 숫자 필기를 수집하였다. 각 숫자별로 15∼25개의 표본을 획득하였다.
필기 데이터는 펜의 궤적을 작은 단위 선분으로 나누고 각각의 진행 방향으로 16 종류의 코드로 표현하였다. 원 입력 데이터는 손상이 없으므로 D(0)로 부르기로 한다.

이론/모형

HMM은 시계열 패턴 인식으로 널리 활용된다. 숫자 필기 인식을 위하여 교차 검증법을 적용하기로 한다. Fig.

성능/효과

이때 성능의 저하가 크지 않다는 것을 확인할 수 있었다. 그성능 저하가 거의 데이터 손상 자체로 인한 영향이며 HMM의 모형화 능력은 상당한 손상 범위 내에서 살아있음을 확인할 수 있었다. 손상 외에 보편적으로 관측이 누락되는 현상은 오늘날의 다양한 빅 데이터에서 관찰된다.
본 논문에서는 순차적 관측 데이터에 손상이 있거나 관측 자체가 불완전한 경우에도 HMM을 응용할 수 있는 추론 및 학습 알고리듬을 제시하였다. 실험결과 어떤 상황에서 훈련 하였든 완전 또는 불완전데이터를 평가할 수 있음을 보여 주었다. 이때 성능의 저하가 크지 않다는 것을 확인할 수 있었다.
실험결과 어떤 상황에서 훈련 하였든 완전 또는 불완전데이터를 평가할 수 있음을 보여 주었다. 이때 성능의 저하가 크지 않다는 것을 확인할 수 있었다. 그성능 저하가 거의 데이터 손상 자체로 인한 영향이며 HMM의 모형화 능력은 상당한 손상 범위 내에서 살아있음을 확인할 수 있었다.

후속연구

손상 외에 보편적으로 관측이 누락되는 현상은 오늘날의 다양한 빅 데이터에서 관찰된다. 향후 본 연구의 결과는 이와 같은 실제 데이터에 널리 활용할 수 있을 것이다.

참고문헌 (10)

L. Rabiner, "A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition," Proceedings of the IEEE, Vol. 77, No. 2, pp. 257-286, 1989.

상세보기
B.-K. Sin, "Recognizing Hand Digit Gestures Using Stochastic Models," Journal of Korea Multimedia Society, Vol. 11, No. 6, pp. 807-815, 2008. 6.

원문보기 상세보기
B.-K. Sin and K.-R. Kwon, "Feature Space Analysis of Human Gait Dynamics in Single View Video," Journal of Korea Multimedia Society, Vol. 13, No. 12, pp. 1778-1785, 2010. 12.

원문보기 상세보기
F. Torre, D. Pitchford, P. Brown, and L. Terveen, "Matching GPS Traces to (Possibly) Incomplete Map Data: Bridging Map Building and Map Matching," Proceeding of ACM SIGSPATIAL GIS'12, pp. 546-549, 2012.
R. Little and D.B. Rubin, Statistical Analysis with Missing Data, John Wiley & Sons, Inc., NY, USA, p. 408, 1987.
M. Cooke, P. Green, and M. Crawford, "Handling Missing Data in Speech Recognition," Proceeding of International Conference on Spoken Language Processing, pp. 1555-1558, 1994.
A.C. Morris, M.P. Cooke, and P.D. Green, "Some Solution to the Missing Feature Problem in Data Classification, with Application to Noise Robust ASR," Proceeding of International Conference on Acoustics, Speech and Signal Processing, Vol. 2, pp. 737-740, 1998.
S. Parveen and P.D. Green, "Speech Recognition with Missing Data using Recurrent Neural Network," in Advances in Neural Information Processing Systems, 14, pp. 1189-1195, 2001.
L.E. Baum and J.A. Eagon, "An Inequality with Applications to Statistical Estimation for Probabilistic Functions of Markov Processes and to a Model for Ecology," Bulletin of the American Mathematical Society, Vol. 73, No. 3, pp. 360-363, 1967.

상세보기
A.P. Dempster, N.M. Rubin, and D.B. Rubin, "Maximum Likelihood from Incomplete Data via the EM Algorithm," Journal of the Royal Statistical Society, Series B, Vol. 39, No. 1, pp. 1-38, 1977.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

불완전 시계열 데이터를 위한 이산 HMM 학습 알고리듬
Discrete HMM Training Algorithm for Incomplete Time Series Data 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (10)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

불완전 시계열 데이터를 위한 이산 HMM 학습 알고리듬 Discrete HMM Training Algorithm for Incomplete Time Series Data 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (10)

이 논문을 인용한 문헌

저자의 다른 논문 :

신봉기 (18)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

불완전 시계열 데이터를 위한 이산 HMM 학습 알고리듬
Discrete HMM Training Algorithm for Incomplete Time Series Data 원문보기

AI 본문요약
AI-Helper