[논문]제스처 인식 대형 놀이 시스템 기반 한자 학습 콘텐츠

송대현; 박재완; 이칠우

doi:10.5392/jkca.2010.10.9.001

초록
AI-Helper

본 논문에서는 제스처 인식 대형 놀이 시스템을 기반으로한 한자 학습 콘텐츠에 대해 제안한다. 제안한 시스템은 두 대의 적외선 영상에서 사용자의 포즈를 예측하는 부분과 연속된 포즈들로부터 제스처를 인식하는 부분으로 구성되어 있다. 그리고 각각의 적외선 카메라에서 하나의 포즈에 대한 정면 포즈와 옆면 포즈로 나눠서 획득한 후 이를 사용하여 HMM의 모델을 이용하여 제스처를 분류하였다. 사용자와 컴퓨터간 의사소통에 있어서, 장치를 사용하지 않고 사용자의 행동에 의한 조작을 통해 사용자가 쉽게 조작할 수 있고 편리함을 제공하였다. 또한 두 개의 대형 디스플레이와 다양한 멀티미디어 요소를 이용하여 몰입과 흥미를 유발시킬 수 있기 때문에 정보 전달을 극대화할 수 있다. 단순한 주입식 교육 콘텐츠가 아닌 에듀테인먼트 콘텐츠인 한자 학습 콘텐츠는 게임과 교육을 동시에 제공하여 사용자에게 재미와 흥미를 주어 자연스레 한자를 습득할 수 있고 제스처 기반 대형 놀이 시스템과 결합하면서 사용자에게 놀면서 배울 수 있는 시너지 효과를 기대할 수 있다.

Abstract ▼ AI-Helper

In this paper, we propose a large scale entertainment system based on gesture recognition for learning Chinese character contents. The system is consisted of parts that forecast user's posture in two infrared images and part that recognize gestures from continuous poses. And we can divide and acquir...

In this paper, we propose a large scale entertainment system based on gesture recognition for learning Chinese character contents. The system is consisted of parts that forecast user's posture in two infrared images and part that recognize gestures from continuous poses. And we can divide and acquire in front side pose and side pose about one pose in each IR camera. This entertainment system is immersive in nature and convenient for its gestures based controlling system. Also, it can maximize information transmission because induce immersion and interest using two large size displays and various multimedia elements. The learning Chinese character contents can master Chinese character naturally because give interest to user and supply game and education at the same time. Therefore, it can expect synergy effect that can learn playing to user combining with large entertainment system based on gesture recognition.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서 제안된 한자 학습 콘텐츠는 7∼13세 초등 교육을 받는 어린이를 대상으로 하였고, 이용함에 있어서 누구나 쉽게 따라할 수 있고 조작할 수 있게 하여 한자를 자연스럽게 교육시키는 목적을 두고 있다.
이렇듯 컴퓨터 비전 기술과 다양한 센서 기술들의 결합으로 기존의 입력장치 없이 자유로운 인터페이스를 구성하는데, 앞에서 언급했던 Nintendo사의 Nintendo Wii나 Microsoft사의 Project Natal등이 가장 큰 예이다. 본 논문에서는 기존 인터페이스들과 다르게 센서를 사용하지 않고 오직 컴퓨터 비전 기술을 이용하여 기존의 인터페이스보다 정확성이 높고 반응속도가 빠른 인터페이스를 기대한다. 또한 제안한 시스템을 기반으로 하여 상호작용 콘텐츠를 조작하는 신개념 놀이 시스템에 대해 제안한다.
실제 현상과 유사한 상황을 제공하여 학습자가 간접 경험할 수 있는 기회를 제공한다. 이 유형은 실제로 경험하기에는 비용이나 시간이 너무 많이 들고, 위험한 경우에 또는 진행이 너무 빠르거나 복잡해서 그 과정을 천천히 보여줄 필요가 있는 경우에 효과적으로 활용될 수 있다.

제안 방법

하지만 제안한 제스처 인식 기반 대형 놀이 시스템을 적용한다면 단순한 입력 체계에서 벗어나, 사용자로부터 보다 활동적이고 적극적인 행동을 유도할 수 있다. 게다가 두 대의 대형 디스플레이를 통하여 3D 그래픽, 애니메이션, 스테레오 사운드 등 공감각을 자극하여 사용자에게 몰입감과 흥미 및 호기심을 유발시켰다.
본 논문에서는 기존 인터페이스들과 다르게 센서를 사용하지 않고 오직 컴퓨터 비전 기술을 이용하여 기존의 인터페이스보다 정확성이 높고 반응속도가 빠른 인터페이스를 기대한다. 또한 제안한 시스템을 기반으로 하여 상호작용 콘텐츠를 조작하는 신개념 놀이 시스템에 대해 제안한다.
본 논문에서 제안된 시스템은 2개의 디스플레이로 구성되어 있고 영상 획득 장치로는 적외선 카메라 2대로 구성되어 있고, 시스템 주변에 Led를 부착시켜 상황에 맞는 효과를 낼 수 있도록 구성하였다[그림 4]. 내부 소프트웨어 구성은 다음과 같이 두 부분으로 나누어진다.
본 논문에서 제안한 시스템은 직접적인 체험과 경험을 통해 효과적으로 학습한다는 개념을 중심으로 공감각의 다양성과 즐거움을 제공한다. 또한 교육적 체험을 할 수 있도록 “놀면서 배운다.
인식과정에서는 인식하고자 하는 제스처와 학습이 끝난 후 생성된 모든 HMM의 제스처 모델을 비교한다. 그리하여, 가장 유사하다고 판단되는 제스처 모델을 선택하고 결과를 확률로 나타낸다.
학습은 각 제스처별로 이루어지며, 해당 제스처의 HMM 모델에 학습결과를 적용한다. HMM의 학습 과정은 각 숫자별로 상반신 포즈를 이용하여 은닉 마르코프 모델을 구성하는 과정으로, EM알고리즘의 하나인 Baum-Welch 알고리즘[6]을 이용한다.

대상 데이터

시스템의 구조는 주요화면인 중안 디스플레이와 보조화면인 측면 디스플레이, 그리고 발판으로 구성되어 있다. 주요화면에서는 사용자를 대신하는 캐릭터와 몬스터가 나오고 시나리오를 진행하는 부분이고 보조화면에서는 사용자가 획득한 한자(공격, 방어, 기타)를 보여주고 선택할 수 있게 도와주는 부분이다[].

이론/모형

학습은 각 제스처별로 이루어지며, 해당 제스처의 HMM 모델에 학습결과를 적용한다. HMM의 학습 과정은 각 숫자별로 상반신 포즈를 이용하여 은닉 마르코프 모델을 구성하는 과정으로, EM알고리즘의 하나인 Baum-Welch 알고리즘[6]을 이용한다. HMM의 인식 과정은 전처리 모듈을 통해 변환된 체인코드가 어느 숫자의 은닉 마르코프 모델에서 나타날 확률이 높은가를 판단하는 과정으로, 각각의 숫자 모델에 전향(Forward) 알고리즘을 적용하여 가장 높은 확률을 보이는 숫자 모델을 최종 인식 결과로 출력한다.
즉, 평가, 해석, 그리고 학습에 있으며 이들은 각기 Forward-Backward[8] 알고리즘, Viterbi[9] 알고리즘 그리고 Baum-Welch알고리즘으로 해결된다. 본 논문에서는 [그림 5]와 같은 Left-Right HMM구조 모델을 사용한다.
제스처 인식 과정 단계에서는 인식된 포즈 영상들로부터 제스처를 인식한다. 본 논문에서는 제스처 인식을 위해 HMM(Hidden Markov model)[7]을 사용하였다. HMM은 시간적으로 제약을 받는 정보의 구조를 모델링 하는데 뛰어난 모델이다.

성능/효과

동일한 제스처라고 할지라도 제스처에 포함되는 포즈의 개수가 많을수록 인식률이 낮아지는 결과를 보였다. 그러므로 각 제스처에 필요한 적절한 포즈들을 이용하여 학습하는 과정이 필요하고, 가능하다면 구분이 가능한 포즈들을 되도록 많이 정의하여 포즈가 겹치지 않아야 한다는 것을 알 수 있었다.
동일한 제스처라고 할지라도 제스처에 포함되는 포즈의 개수가 많을수록 인식률이 낮아지는 결과를 보였다. 그러므로 각 제스처에 필요한 적절한 포즈들을 이용하여 학습하는 과정이 필요하고, 가능하다면 구분이 가능한 포즈들을 되도록 많이 정의하여 포즈가 겹치지 않아야 한다는 것을 알 수 있었다.

후속연구

그리고 문화콘텐츠를 유기적으로 복합하여 기획하고 제작한 것으로 교육적으로 활용될 수 있는 콘텐츠를 의미하기도 하는데 게임이나 놀이를 하면서 교육적인 효과를 얻을 수 있도록 제작된 콘텐츠라 한다. 또한 에듀테인먼트의 특성인 교육적이며 게임적 요소가 전자책의 주 사용자인 아동에게 단순한 전자책이 아닌 교육효과와 몰입을 증대 할 것으로 기대된다. 그리고 특정의 목적에 따라 그 쓰임새와 유형이 나뉘어지는데 아래와 같이 여러 형태로 분류할 수 있다.
앞으로는 다양한 방법의 콘텐츠를 개발하고 강건한 알고리즘을 통해 예외 상황에 대해 대처하고 다수 사용자에 대한 다양한 제스처인식이 가능하다면 향후 미래 지향적 시스템이 될 것이다.
또한 기존의 최신 기술 인터페이스는 대부분 센서에 의존하고 있기 때문에 정확한 위치 정보 및 다양한 정보를 수집할 수 있으나 사용자의 자유도를 제한하고 사용자가 센서 디바이스를 착용하거나 소유하고 있어야하는 단점이 존재한다. 하지만 제안한 제스처 인식 기반 대형 놀이 시스템을 적용한다면 단순한 입력 체계에서 벗어나, 사용자로부터 보다 활동적이고 적극적인 행동을 유도할 수 있다. 게다가 두 대의 대형 디스플레이를 통하여 3D 그래픽, 애니메이션, 스테레오 사운드 등 공감각을 자극하여 사용자에게 몰입감과 흥미 및 호기심을 유발시켰다.

질의응답

핵심어	질문	논문에서 추출한 답변
	카메라 비전 기술을 이용한 제스처 인식 기술이란 무엇인가?	카메라 비전 기술을 이용한 제스처 인식 기술은 카메라를 통해 사용자의 몸동작을 캡처하고 이때 얻어진 데이터를 활용하는 기술이다. 이 기술의 특징은 고정된 카메라와 디스플레이로 정해져 있고 단순한 구조를 가지고 있기 때문에 전시공간이나 가정에서 널리 활용될 수 있고 별도의 컨트롤러가 없이 조작할 수 있는 장점을 지닌다.
	교사와 학습자가 1:1로 수업을 진행하는 유형의 장단점은 무엇인가?	새로운 개념에 대한 설명이 제시되고 그 개념의 설명에 대한 학습자의 이해도를 측정하고 측정결과에 따라 적절한 후속 수업내용을 제공한다. 사실적인 정보나 간단한 식별력 원리, 원리의 적용 등을 가르치는 게 유용하고 학습자들의 능력에 따라 학습을 진행 할 수 있는 반면에 다양한 학습자를 고려해야 하기 때문에 제작에 시간이 많이 걸리고 개발하는데 어려움이 있다.
	에듀테인먼트란 무엇인가?	에듀테인먼트(Edutainment)란[5] 교육을 뜻하는 에듀케이션(Education)과 놀이를 뜻하는 엔터테인먼트(Entertainment)의 합성어이며 비슷한 말로는 즐김성 교육이라 칭한다. 그리고 문화콘텐츠를 유기적으로 복합하여 기획하고 제작한 것으로 교육적으로 활용될 수 있는 콘텐츠를 의미하기도 하는데 게임이나 놀이를 하면서 교육적인 효과를 얻을 수 있도록 제작된 콘텐츠라 한다.

참고문헌 (9)

댄S.어커프, 로버트H, 라이허, 키즈마케팅 불변의 법칙, 북폴리오, 2004.
여선민, 증강현실 기반 콘텐츠 활용 수업의 효과성 분석, 원광대학교 교육대학원 석사학위 논문 2008(2).
안성혜, 송수미, “디지털 에듀테인먼트 콘텐츠의 유형과 사례분석”, 한국콘텐츠학회논문지, 제6권, 제3호, pp.72-86, 2008(9).
장상수, 박혜선, 김상호, 김항준 “HMM을 이용한 제스처 기반의 게임 인터페이스”, 한국정보과학회 봄 학술발표논문집, Vol.31, No.1, pp.46-53, 2004.
백승국, “에듀테인먼트 콘텐츠와 미디어 문화교육”, 한국 언론학회 2006년 봄철정기학술대회, pp.393-400, 2006.
L. R. Welch. Hidden markov models and the baum-welch algorithm. IEEE Information Theory Society Newsletter, Vol.53, No.4, 2003.
Lawrence R. Rabiner, “A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition,” IEEE Signal Processing Letters, Vol.10, No.1, pp.257-286, 2003(1).

상세보기
G. D. Forney Jr., “The forward？backward algorithm,” in Proc. 34th Allerton Conf. Communications, Control and Computing, pp.432-446, 1996.
G. D. Forney, “The Viterbi algorithm,” Proc IEEE, Vol.61, pp.268-278, 1973(3).

상세보기

이 논문을 인용한 문헌

저자의 다른 논문 :

LOADING...

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

제스처 인식 대형 놀이 시스템 기반 한자 학습 콘텐츠
Large Scale Entertainment System based on Gesture Recognition for Learning Chinese Character Contents 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (9)

이 논문을 인용한 문헌

저자의 다른 논문 :

연구과제 타임라인

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

제스처 인식 대형 놀이 시스템 기반 한자 학습 콘텐츠 Large Scale Entertainment System based on Gesture Recognition for Learning Chinese Character Contents 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (9)

이 논문을 인용한 문헌

저자의 다른 논문 :

송대현 (7) 박재완 (11) 이칠우 (58)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

제스처 인식 대형 놀이 시스템 기반 한자 학습 콘텐츠
Large Scale Entertainment System based on Gesture Recognition for Learning Chinese Character Contents 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper