[논문]HMM을 이용한 제스처 인식 기반 한자 학습 콘텐츠

송대현; 김동민; 이칠우

doi:10.9717/kmms.2012.15.8.1067

HMM을 이용한 제스처 인식 기반 한자 학습 콘텐츠
The Chinese Characters Learning Contents Based on Gesture Recognition Using HMM Algorithm 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.15 no.8, 2012년, pp.1067 - 1074

송대현 (전남대학교 전자컴퓨터강학과) , 김동민 (전남대학교 전자컴퓨터공학부) , 이칠우 (전남대학교 전자컴퓨터공학부)

초록
AI-Helper

본 논문에서는 HMM을 이용한 제스처 인식을 입력 인터페이스로 사용한 한자 학습 콘텐츠에 대해 제안한다. 제안한 시스템의 입력정보는 TOF 카메라 영상으로부터 3차원 정보를 받으며, 제스처 인식 방법은 사용자의 포즈를 예측하는 부분과 연속된 포즈들로부터 제스처를 인식하는 부분으로 구성되어 있다. 사용자와 컴퓨터사이의 의사소통에서, 별도의 추가 장비를 사용하지 않고 사용자의 행동에 의한 조작을 통해 사용자가 쉽게 조작할 수 있도록 편리함을 제공하였다. 또한 대형 디스플레이와 다양한 멀티미디어 요소를 이용하여 몰입과 흥미를 유발시킬 수 있기 때문에 정보 전달을 극대화할 수 있다. 본 논문에서 제안한 에듀테인먼트 한자 학습 콘텐츠는 교육적 내용를 제공하고 사용자가 흥미를 느끼도록 하여 자연스레 한자를 습득할 수 있고, 제스처 인식을 기반으로 하므로 사용자에게 콘텐츠 체험을 통한 시너지 효과를 기대할 수 있다.

Abstract ▼ AI-Helper

In this paper, we proposed a contents of Chinese characters learning based on gesture recognition using HMM(hidden markov model) algorithm. Input image of the system is obtained in 3-dimensional information from the TOF camera, and the method of gesture recognition is consisted of part of forecasting user's posture in two infrared images and part of recognizing gestures from continuous poses. In the communication between human and computer, this system provided convenience that user can manipulate it easily by not using any further equipment but action. Because this system raise immersion and interest by using two large display and various multimedia factor, it can maximize information transmission. The edutainment Chinese character contents proposed in this paper provide educational effect that use can master Chinese character naturally with interest, and it can be expected a synergy effect via content experience because it is based on gesture recognition.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이러한 문제점을 보완하기 위하여, 본 논문에서 직접적인 체험과 경험을 통해 효과적으로 학습한다는 개념을 중심으로 사용자에게 공감각의 다양성과 즐거움을 제공할 뿐만 아니라 조작의 자유도를 높혀 사용자에게 편리함을 제공하였다. 또한 놀이를 통하여 자연스럽게 학습할 수 있도록 제스처 인식을 기반으로 하는 한자 학습 콘텐츠에 대하여 기술한다.
하지만 최신 인터페이스 및 콘텐츠들은 사용자에게 편리함보다는 기술력의 우월함을 보여주고, 정보제공 능력 보다는 화려함을 추구하였다. 이러한 문제점을 보완하기 위하여, 본 논문에서 직접적인 체험과 경험을 통해 효과적으로 학습한다는 개념을 중심으로 사용자에게 공감각의 다양성과 즐거움을 제공할 뿐만 아니라 조작의 자유도를 높혀 사용자에게 편리함을 제공하였다. 또한 놀이를 통하여 자연스럽게 학습할 수 있도록 제스처 인식을 기반으로 하는 한자 학습 콘텐츠에 대하여 기술한다.
최근 인터페이스 기술은 게임, 영화, 문화, 주거 등 다양한 분야에 적용되어지고 있다. 이러한 인터페이스 기술들 중에 대표적인 기술인 센서 기반 기술과 카메라 비전(Vision) 기반 기술에 대해 간단히 소개한다.

제안 방법

그리고 사용자가 콘텐츠를 체험함으로써 자발적 동기를 부여할 수 있기 때문에 사용자가 단순히 콘텐츠가 주는 정보를 제공받는 ‘관찰자’로 그치지 않고 적극적인 ‘참여자’로 유도하는 할뿐 아니라 기존의 센서기반의 인터페이스 시스템과 달리 비전기술과 센서기술 등 최신기술을 접목시켜 사용자에게 현실과 가상세계를 모호하게 만들어, 콘텐츠에 몰입할 수 있도록 하는 시스템이다[4]. TOF카메라로부터 깊이 이미지 정보를 얻어 전처리 과정을 거친 뒤 EOH와 SVM을 이용하여 포즈분석을 한다. 그리고 마지막으로 순차적 포즈들을 나열해서 HMM알고리즘을 이용하여 제스처를 인식한다.
Left-Right HMM 구조 모델은 포즈 사이에 잡음이 생겨도 미리 학습한 상태천이확률이 유효하므로 실시간 인터페이스로 사용하기에 무리가 없다. 그리고 학습이 끝난 후 제스처 인식 과정에서는 인식하고자 하는 제스처와 학습이 끝난 후 생성된 모든 HMM의 제스처 모델을 비교하여 확률 값이 가장 높은 제스처 모델을 해당 제스처와 유사하다고 판단하여 선택한다(그림 6).
본 논문에서 제안하는 제스처 인식 기반 시스템은 멀티모달 제스처 인식 기술로써, 사용자와 콘텐츠간의 제스처 인식을 이용한 상호작용을 통해 사용자에게 효율적으로 정보와 재미를 준다. 그리고 사용자가 콘텐츠를 체험함으로써 자발적 동기를 부여할 수 있기 때문에 사용자가 단순히 콘텐츠가 주는 정보를 제공받는 ‘관찰자’로 그치지 않고 적극적인 ‘참여자’로 유도하는 할뿐 아니라 기존의 센서기반의 인터페이스 시스템과 달리 비전기술과 센서기술 등 최신기술을 접목시켜 사용자에게 현실과 가상세계를 모호하게 만들어, 콘텐츠에 몰입할 수 있도록 하는 시스템이다[4].
하지만 이러한 협소한 환경속에서도 국내 에듀테인먼트 콘텐츠는 질적인 면에서 인정을 받고 있어 시장만 확대된다면 많은 발전이 예상되고 지금까지는 대상이 아동이 주류였다면, 지식사회로의 발전과 평생교육에 대한 수요증가로 인해 대상이 넓어질 것으로 예상된다. 본 논문에서 제안하는 한자 학습 콘텐츠는 제스처 인식 기반의 시스템 환경 안에서 게임을 즐기면서 학습효과를 올릴 수 있도록 제작되었다.
본 논문에서 제안한 콘텐츠는 기존의 단순한 입력체계에서 벗어나 제스처 인식을 기반으로 하여 사용자가 능동적으로 참여할 수 있도록 유도하고 사용자의 공감각을 자극하여 사용자의 흥미를 유발시킨다. 그리고 직관적인 제스처를 사용하여 제스처 학습과정 없이 시스템과 상호작용할 수 있다.
본 논문에서 한자 학습 콘텐츠는 시스템에서 조작하는 버전과 일반 컴퓨터에서 조작할 수 있는 버전으로 제작되어 실험하였다(그림 7). 실험 방법은 10명의 사용자가 컴퓨터 환경과 제스처 환경에서 콘텐츠를 조작한 뒤, 5개의 조항에 대하여 점수(1～5점)을 선택하도록 하였다.
본 논문에서는 ROI(Region of Interest)영상이 포함하고 있는 36개의 방향에 분포한 에지의 양을 표현하는 EOH 특징을 포즈 정보로 사용한다. EOH 특징은 총 36개의 차원으로 구성되며 총 36개의 에지방향을 가지고 있다(그림 5).
연습모드는 콘텐츠에서 사용될 제스처들을 미리 학습할 수 있도록 도와주는 것이다. 사용자는 발판을 중심으로 상, 하, 좌, 우 움직임으로 콘텐츠의 모드를 선택할 수 있고 이 중 한 가지 모드를 선택하면 게임 방법 설명과 아이템설명이 차례로 나오며 게임 스테이지로 넘어간다.
설문 내용은 콘텐츠에 대한 오락성(재미, 몰입),시스템 조작(편리성, 정확성)과 제스처 기반 인터페이스와 학습 콘텐츠의 결합으로 인한 학습효과에 내용이다. 설문 결과에 따르면 컴퓨터 환경에서 제스처를 사용했을 때보다 기존 입력장치(키보드, 마우스)를 이용하는 것이 편리하고 정확도가 높았다.
본 논문에서 한자 학습 콘텐츠는 시스템에서 조작하는 버전과 일반 컴퓨터에서 조작할 수 있는 버전으로 제작되어 실험하였다(그림 7). 실험 방법은 10명의 사용자가 컴퓨터 환경과 제스처 환경에서 콘텐츠를 조작한 뒤, 5개의 조항에 대하여 점수(1～5점)을 선택하도록 하였다.
생성된 HMM은 학습 데이터를 이용한 학습을 통해 적절한 제스처 모델을 구성한다. 인식과정에서는 인식하고자 하는 제스처와 학습이 끝난 후 생성된 모든 HMM의 제스처 모델을 비교한다. 그리하여, 가장 유사하다고 판단되는 제스처 모델을 선택하고 결과를 확률로 나타낸다.
하나의 포즈마다 36개의 특징을 통합하여 각 영상 ROI의 EOH 특징에 해당하는 각 픽셀 (i,j)의 에지크기 m_i,j를 각 방향성별로 모두 합산을 통해 추출한다.각각의 포즈의 대한 3차원 정보를 분류하고 난 뒤,연속적인 포즈들의 조합으로 제스처 모델을 만든다.
학습 과정은 각 제스처별로 이루어지며, 해당 제스처의 HMM 모델에 학습결과를 적용한다. HMM의 학습 과정은 각 숫자별로 상반신 포즈를 이용하여 은닉 마르코프 모델을 구성하는 과정으로, EM알고리즘의 하나인 Baum-Welch 알고리즘을 이용한다[7].

대상 데이터

본 논문에서 제안된 시스템의 하드웨어는 대형 디스플레이와 1대의 TOF 카메라, 진동 발판, LED로 구성된다(그림 3). TOF 카메라는 3차원 정보를 받아 사용자의 포즈 및 제스처 인식을 하는 영상 장치이며, LED는 다양한 효과를 내기 위해 사용된다.
실험방법은 총 9개 제스처를 사용자 10명이 10번씩 실행하였다. 생성된 9개의 제스처는 13개의 포즈중 3～6개의 포즈의 집합으로 구성되어 있으며 포즈개수에 따른 제스처의 인식률 결과를 보여주고 있다(표 2).

이론/모형

학습 과정은 각 제스처별로 이루어지며, 해당 제스처의 HMM 모델에 학습결과를 적용한다. HMM의 학습 과정은 각 숫자별로 상반신 포즈를 이용하여 은닉 마르코프 모델을 구성하는 과정으로, EM알고리즘의 하나인 Baum-Welch 알고리즘을 이용한다[7]. HMM의 인식 과정은 전처리 모듈을 통해 변환된 체인코드가 어느 숫자의 은닉 마르코프 모델에서 나타날 확률이 높은가를 판단하는 과정으로, 각각의 숫자 모델에 전향(Forward) 알고리즘을 적용하여 가장 높은 확률을 보이는 숫자 모델을 최종 인식 결과로 출력한다.
TOF카메라로부터 깊이 이미지 정보를 얻어 전처리 과정을 거친 뒤 EOH와 SVM을 이용하여 포즈분석을 한다. 그리고 마지막으로 순차적 포즈들을 나열해서 HMM알고리즘을 이용하여 제스처를 인식한다.
본 논문에서는 제스처 인식을 위해 HMM을 사용하였다[5]. HMM은 시간적으로 제약을 받는 정보의 구조를 모델링 하는데 뛰어난 모델이다.

성능/효과

많은 수의 포즈를 조합하면 정확한 제스처를 표현할 수 있지만 제스처를 구성하는 포즈의 수를 변경하며 실험한 결과, 제스처를 구성하는 포즈의 수가 많을수록 인식률이 저하되는 것을 알 수 있었다. 그 이유는 한 개의 제스처 구성에서, 사용자 개인마다 제스처를 실행하는 속도 및 정확한 포즈를 취하지 않는 경우가 발생한다.
설문 내용은 콘텐츠에 대한 오락성(재미, 몰입),시스템 조작(편리성, 정확성)과 제스처 기반 인터페이스와 학습 콘텐츠의 결합으로 인한 학습효과에 내용이다. 설문 결과에 따르면 컴퓨터 환경에서 제스처를 사용했을 때보다 기존 입력장치(키보드, 마우스)를 이용하는 것이 편리하고 정확도가 높았다. 하지만 제스처 환경에서 조작했을 때, 책상에 앉아 일반적인 콘텐츠를 조작하여 정보전달을 얻는 것보단 직접 움직이며 조작하는 것이 재미와 몰입감을 제공하였고, 그로 인해 학습효과가 더 뛰어난 것을 알 수 있었다.
그 이유는 한 개의 제스처 구성에서, 사용자 개인마다 제스처를 실행하는 속도 및 정확한 포즈를 취하지 않는 경우가 발생한다. 이런 문제점을 해결하기 위해 제스처를 구성하는 기본 포즈를 다양하게 정의하여 서로 다른 제스처를 구성하는 기본 포즈가 겹치는 것을 최소화해야만 한다는 것을 알 수 있었다.
설문 결과에 따르면 컴퓨터 환경에서 제스처를 사용했을 때보다 기존 입력장치(키보드, 마우스)를 이용하는 것이 편리하고 정확도가 높았다. 하지만 제스처 환경에서 조작했을 때, 책상에 앉아 일반적인 콘텐츠를 조작하여 정보전달을 얻는 것보단 직접 움직이며 조작하는 것이 재미와 몰입감을 제공하였고, 그로 인해 학습효과가 더 뛰어난 것을 알 수 있었다.

후속연구

향후 다수의 사용자가 사용할 수 있는 인터페이스를 개발하고 다양한 콘텐츠 개발을 통하여 시스템의 활용 가능성을 높일 것이다. 또한 제스처 인식의 오류율을 줄이기 위해 주위 환경에 강건한 입력 인터페이스 시스템을 개발할 것이다.
그리고 직관적인 제스처를 사용하여 제스처 학습과정 없이 시스템과 상호작용할 수 있다. 또한 제안된 콘텐츠를 구동하는 시스템은 다양한 상호작용 콘텐츠와 결합하여 교육, 문화, 전시 분야 등 다양한 분야에서 활용될 수 있다.
현재 시스템은 단일 사용자만을 인식하는 한계점과 주변 환경의 노이즈나 포즈 오인식에 의한 제스처인식이 잘못되는 경우가 발생한다. 향후 다수의 사용자가 사용할 수 있는 인터페이스를 개발하고 다양한 콘텐츠 개발을 통하여 시스템의 활용 가능성을 높일 것이다. 또한 제스처 인식의 오류율을 줄이기 위해 주위 환경에 강건한 입력 인터페이스 시스템을 개발할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Beat Mania는 어떤 장르의 게임인가?	버튼방식의 리듬 액션 게임인 Beat Mania(KO-NAMI, 1997) 그림 1(b)는 단순하며 직관적인 인터페이스로서, 사용자에게 즉각적인 피드백을 주었다. 하지만 제자리에 서서 플레이를 하는 점이 사용자에게 실감을 주지 못하였다.
	한자 학습 콘텐츠는 크게 무엇과 무엇으로 나뉘는가?	한자 학습 콘텐츠는 크게 도입부와 실행부로 나뉜다(그림 4). 도입부에서는 사용자가 시스템 안으로 접근하기 전까지 영상물을 반복하여 보여준다.
	HMM은 Simple Markov Model만으로 모델링하기 힘든 문제를 무엇으로 접근할 수 있게 하는가?	HMM은 시간적으로 제약을 받는 정보의 구조를 모델링 하는데 뛰어난 모델이다. Simple Markov Model만으로 모델링하기 힘든 실세계의 문제를 통계적 매개변수로 접근할 수 있게 해준다. 상태 전이 매개 변수는 순차적인 일련의 사건 발생을 모델링한다.

참고문헌 (7)

장상수, 박혜선, 김상호, 김항준 "HMM을 이용한 제스처 기반의 게임 인터페이스," 한국정보과학회 춘계학술발표 논문집(B), Vol. 31, No. 1, pp. 496-498, 2004.
백승국, "에듀테인먼트 콘텐츠와 미디어 문화교육," 한국 언론학회 2006년 춘계정기학술대회 논문집, pp.393-400, 2006.
여선민, 증강현실 기반 콘텐츠 활용 수업의 효과성 분석, 원광대학교 교육대학원 석사학위 논문, 2008.
김동민, 박재완, 이칠우 "제스처 인식을 이용한 실시간 상호작용 게임 시스템 구현," 제24회 신호처리합동 학술대회 논문집, Vol. 24, No. 1, pp. 74-77, 2011.
Lawrence R. Rabiner, "A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition," IEEE Signal Processing Letters, Vol.10, No.1, pp. 257-286, 2003.
W.T. Freeman and M. Roth, "Orientation Histograms for Hand Gesture Recognition," Intl. Workshop on Automatic Face-and Gesture- Recognition, IEEE Computer Society, pp 296-301, 1995.
정창욱, 강동중, "지능형 영상 감시 시스템에서 의 은닉 마르코프 모델을 이용한 특이 행동 인식 알고리즘," 멀티미디어학회논문지, 제11권, 제11호, pp. 1491-1500, 2008.

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

HMM을 이용한 제스처 인식 기반 한자 학습 콘텐츠
The Chinese Characters Learning Contents Based on Gesture Recognition Using HMM Algorithm 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (7)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

HMM을 이용한 제스처 인식 기반 한자 학습 콘텐츠 The Chinese Characters Learning Contents Based on Gesture Recognition Using HMM Algorithm 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (7)

이 논문을 인용한 문헌

저자의 다른 논문 :

송대현 (7) 김동민 (2) 이칠우 (58)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

HMM을 이용한 제스처 인식 기반 한자 학습 콘텐츠
The Chinese Characters Learning Contents Based on Gesture Recognition Using HMM Algorithm 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper