[논문]기울기와 위치 정보를 이용한 손동작기반 실시간 숫자 인식기 구현

김지호; 박양우; 한규필

doi:10.3745/ktsde.2013.2.3.199

기울기와 위치 정보를 이용한 손동작기반 실시간 숫자 인식기 구현
An Implementation of Real-Time Numeral Recognizer Based on Hand Gesture Using Both Gradient and Positional Information 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.2 no.3, 2013년, pp.199 - 204

김지호 ((주)JVM 연구소) , 박양우 (경운대학교 모바일공학과) , 한규필 (금오공과대학교 컴퓨터공학과)

초록
AI-Helper

본 논문에서는 다양한 정보단말기에 활용될 수 있는 손동작기반의 실시간 숫자 인식기 구현 기법을 제안한다. 제안한 알고리즘은 키넥트 센서를 활용하여 3차원 공간에서 손의 움직임을 획득한다. 획득한 손의 궤적은 잡음과 제스처의 크기 변화에 의한 궤적 변화를 최소화하고 일관성 있는 추적을 유지하기 위해 주성분 분석으로 단순화 된다. 또한, 기울기와 위치정보 특징을 동시에 고려한 새로운 특징 기반 은닉 마르코프 모델을 제시한다. 그 결과 제안한 기법은 손동작의 크기와 움직임 속도에 강인한 실시간 인식기를 구현하였다. 실험을 통하여 기존의 기울기 정보만을 사용하였을 때 보다 30% 이상의 높은 인식률을 보였으며, 98%의 높은 숫자 인식률을 나타내었다.

Abstract ▼ AI-Helper

An implementation method of real-time numeral recognizer based on gesture is presented in this paper for various information devices. The proposed algorithm steadily captures the motion of a hand on 3D open space with the Kinect sensor. The captured hand motion is simplified with PCA, in order to preserve the trace consistency and to minimize the trace variations due to noises and size changes. In addition, we also propose a new HMM using both the gradient and the positional features of the simplified hand stroke. As the result, the proposed algorithm has robust characteristics to the variations of the size and speed of hand motion. The recognition rate is increased up to 30%, because of this combined model. Experimental results showed that the proposed algorithm gives a high recognition rate about 98%.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

두 번째 방법은 영상 기반 방법으로 카메라만을 사용하기 때문에 가격이 비교적 저렴하고 간단한 장치로 구현할 수 있지만, 배경에서 물체를 구분하기 어렵고 조명에 영향을 많이 받기 때문에 손동작 분석이 어렵다는 문제를 가지고 있다[4,5]. 그러므로 본 논문에서는 비전 시스템을 기반으로 하는 동작 인식 인터페이스 시스템을 개선하기 위해 적외선 깊이 카메라를 이용한 동작 인식 방법을 제안하려고 한다.
또한, 같은 움직임의 제스처임에도 사용자의 움직임 속도, 제스처의 크기 등에 따라 특징코드가 다르게 된다. 따라서 본 논문에서는 3차원 공간에서의 손의 움직임 정보를 단순화하여 대표적인 방향 정보 특징을 추출하고, HMM에 적용하였을 때 높은 인식 정확률과 계산 시간을 감소시키는 방법을 제시한다.
본 논문에서는 키넥트 센서를 이용하여 적외선 깊이 영상을 획득하고 손의 궤적을 추적하여 숫자 인식을 하는 실시간 숫자 입력기법을 제안하였다. 기존의 모션센서를 이용하는 방식과는 달리 센서를 소지하지 않아도 되며, 영상기반의 방식에서의 깊이 또는 손 검출 과정의 속도와 성능저하를 키넥트 채택으로 개선하였다.

제안 방법

기존의 모션센서를 이용하는 방식과는 달리 센서를 소지하지 않아도 되며, 영상기반의 방식에서의 깊이 또는 손 검출 과정의 속도와 성능저하를 키넥트 채택으로 개선하였다. 또한 검출된 손의 궤적을 단순화하여 손 궤적의 크기 변화 및 잡음에 대응하였다. 마지막으로 궤적의 이동 방향 정보인 기울기성분뿐만 아니라 정규화된 공간에서 손의 위치정보를 동시에 고려하여 인식률을 높였다.
본 연구에서는 모델링에 있어서 단순하고 인식분야에 많이 사용되는 Left-Right HMM구조를 채택하였고, 최종적으로 Fig. 12와 같이 기울기기반 및 위치기반 HMM을 각각 생성하고 이를 가중치 결합한 인식기를 제시한다. 최종적인 인식확률값(P_F)은 아래와 같다.
따라서 비슷한 방향성을 가지고 있는 시퀀스는 하나의 직선으로 표현해 주는 것이 가장 좋다. 이러한 문제를 제거 또는 완화하기 위해서 제안한 알고리즘에서는 PCA를 이용하여 대표적인 직선으로 단순화한다. PCA는 전체 영상 데이터를 잘 표현하는 몇 개의 주성분들의 축(axis)에 데이터를 선형 투영(linear projection) 시키며[12] 데이터의 차원을 감소시키고 잡음을 제거하는 효과가 있다[13].
인식을 수행하기 위해서는 제스처 궤적에서 특징을 추출해야 한다. 제안한 기법에서는 두 가지 특징을 생성하게 되는데, 첫 번째 특징은 Fig. 8과 같이 360도 기울기를 8방향으로 균일하게 나누어 궤적 직선의 기울기 정보를 생성한다. 두 번째로는 Fig.
제안한 방식에서 손의 궤적을 획득할 때, 1/3초 동안 손의 움직임이 발생되지 않으면 무의미한 구간으로 구분하였고 간단한 전처리 과정을 거친다. 의미있는 구간으로 판단되어 획득된 손의 위치들에서 중심점을 계산한 후, 이 중심 점에서 최대 거리의 10%를 문턱치로 설정하여 인접한 손의 움직임이 동일 직선상에 있고 이동거리가 문턱치 이하면 가장 가까운 점으로 병합시킨다.
제안한 알고리즘은 Fig. 3에서와 같이 키넥트와 NITE를 사용하여 손의 위치를 입력받고 PCA를 이용한 궤적 단순화, 기울기 및 위치 코드를 검출하는 특징 추출, 그리고 HMM을 이용한 손동작 인식 3단계로 나누어진다.
13은 손의 움직임을 추적하여 궤적을 표시한 영상이다. 학습과 테스트 제스처는 각각 100개씩 사용하였고 무작위로 선택한 10명에게 특별한 정보를 제공하지 않고 0-9까지의 수를 2번씩 입력하도록 하여 학습과 테스트 제스처로 각각 사용하였다. Table 2에 각 숫자별 인식률을 나타내었으며, 제안한 방법은 평균 98.

대상 데이터

제안한 인식 시스템을 0-9까지 손동작 필기체 숫자에 대해 적용하였고 실험에 사용된 컴퓨터는 Intel(R) Core(TM)2 Quad CPU 2.40GHz이며 영상 입력장치로는 키넥트 센서를 사용하였다. 카메라를 통해 입력된 영상의 해상도는 640×480 화소이며 frame rate는 18fps를 사용하였다.

성능/효과

Table 3은 HMM외에 인식에 많이 활용되는 DTW(Dynamic Time Warping)[17]와 DBN(Deep Boltzmann Machine)[18]을 사용한 결과이다. DTW는 원과 같이 점진적 으로 변화되는 방향성을 포함하는 숫자에 대해서 높은 인식률을 보였으며, DBN은 평균적으로 고른 인식률을 보였다.
본 논문에서는 키넥트 센서를 이용하여 적외선 깊이 영상을 획득하고 손의 궤적을 추적하여 숫자 인식을 하는 실시간 숫자 입력기법을 제안하였다. 기존의 모션센서를 이용하는 방식과는 달리 센서를 소지하지 않아도 되며, 영상기반의 방식에서의 깊이 또는 손 검출 과정의 속도와 성능저하를 키넥트 채택으로 개선하였다. 또한 검출된 손의 궤적을 단순화하여 손 궤적의 크기 변화 및 잡음에 대응하였다.
또한 검출된 손의 궤적을 단순화하여 손 궤적의 크기 변화 및 잡음에 대응하였다. 마지막으로 궤적의 이동 방향 정보인 기울기성분뿐만 아니라 정규화된 공간에서 손의 위치정보를 동시에 고려하여 인식률을 높였다. 제안된 제스처 기반의 인식 인터페이스는 기존의 입력방식에 비하여 편리하고 직관적이기 때문에 사용자와 컴퓨터의 상호작용에 있어서 앞으로 다양한 환경에서 사용될 것으로 예상된다.
14의 (a)처럼 0을 입력할 때 마지막 궤적이 시작점보다 아래에서 종료되면 6을 입력한 것과 유사하고 (b)처럼 4를 입력할 때, 마지막 직선 궤적이 오른쪽으로 치우치면 9와 매우 유사한 형태가 된다. 이는 blind testing을 하였기 때문에 나타난 결과이며, 실험자에게 Fig. 14와 같이 혼돈되기 쉬운 방향의 숫자에 대한 정보를 제공하여 시작점에서부터 끝점까지 유사한 방향성과 위치가 보장된다면 상당히 높은 인식률을 얻을 수 있다는 것을 실험을 통해 알 수 있었다. Table 3은 HMM외에 인식에 많이 활용되는 DTW(Dynamic Time Warping)[17]와 DBN(Deep Boltzmann Machine)[18]을 사용한 결과이다.

후속연구

마지막으로 궤적의 이동 방향 정보인 기울기성분뿐만 아니라 정규화된 공간에서 손의 위치정보를 동시에 고려하여 인식률을 높였다. 제안된 제스처 기반의 인식 인터페이스는 기존의 입력방식에 비하여 편리하고 직관적이기 때문에 사용자와 컴퓨터의 상호작용에 있어서 앞으로 다양한 환경에서 사용될 것으로 예상된다. 향후 과제로는 필기체 영문자 인식에 적용하여 제스처기반 영문 입력기를 완성할 계획이다.
제안된 제스처 기반의 인식 인터페이스는 기존의 입력방식에 비하여 편리하고 직관적이기 때문에 사용자와 컴퓨터의 상호작용에 있어서 앞으로 다양한 환경에서 사용될 것으로 예상된다. 향후 과제로는 필기체 영문자 인식에 적용하여 제스처기반 영문 입력기를 완성할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	HMM은 어디에 널리 사용되고 있는가?	HMM(Hidden Markov Model)은 동적인 신호 및 이벤트를 모델화하는데 유용하기 때문에 음성인식과 필기체인식 및 제스처인식 등에 가장 널리 사용되고 있다[9]. HMM을 인식에 활용하기 위해서는 먼저 제스처 궤적으로부터 특징을 추출해야 한다.
	손동작에 관한 연구는 접근방법에 따라 어떻게 나뉘며 각각 어떠한 문제가 있는가?	손동작에 관한 연구는 접근 방법에 따라 크게 두 가지로 나뉜다. 첫 번째는 글러브 데이터 기반 방법으로 손과 손가락에 부착된 센서를 사용하여 손의 움직임을 쉽게 파악한다[3]. 그러나 이 장치는 가격이 비싸고 센서 장치를 입어야 하는 번거로움이 있다. 두 번째 방법은 영상 기반 방법으로 카메라만을 사용하기 때문에 가격이 비교적 저렴하고 간단한 장치로 구현할 수 있지만, 배경에서 물체를 구분하기 어렵고 조명에 영향을 많이 받기 때문에 손동작 분석이 어렵다는 문제를 가지고 있다[4,5]. 그러므로 본 논문에서는 비전 시스템을 기반으로 하는 동작 인식 인터페이스 시스템을 개선하기 위해 적외선 깊이 카메라를 이용한 동작 인식 방법을 제안하려고 한다.
	손을 이용한 제스처는 어떻게 나눌 수 있는가?	손을 이용한 제스처는 공간적인 정보만을 사용하는 정적(static) 제스처와 시간적인 정보를 사용하는 동적(dynamic) 제스처로 나눌 수 있다. 정적 제스처를 사용하는 경우, 정의하는 제스처의 수가 많아질수록 구분할 수 있는 형태의 차이가 작아지므로 각 제스처를 분류해내기가 어렵다.

참고문헌 (18)

D. Hong, W. Woo, "Recent Research Trend of Gesture-based User Interfaces," Telecommunications Review, Vol.18, No.3, pp.403-413, 2008.
A. Sears, J. Feng, K. Oseitutu, and C.-M. Karat, "Hands-Free, Speech-Based Navigation During Dictation: Difficulties, Consequences, and Solutions," Human-Computer Interaction Journal, Vol.18, No.3, pp.229-257, 2003.

상세보기
D. J. Sturman and D. Zeltzer, "A Survey of Glove-based Input," IEEE Computer Graphics and Applications, Vol.14, No.1, pp.30-39, 1994.

상세보기
T. B. Moeslund and E. Granum, "A Survey of Computer Vision-Based Human Motion Capture," Computer Vision and Image Understanding, Vol.81, No.3, pp.231-268, 2001.

상세보기
J. Yun, C. Lee, "Design of Computer Vision Interface by Recognizing Hand Motion," Journal of IEEK, Vol.47, No.3, pp.256-265, 2010.
http://www.xbox.com/ko-KR/Kinect
http://www.openni.org/
Y. Jang, J. Park, "A Development on Gesture Recognition Interface System and Non-Contact Mouse Device Using a Stereo Camera," Journal of KIIT, Vol.7 No.3, pp.244-252, 2009.
L. R. Rabiner, "A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition," Proceedings of the IEEE, Vol.77, No.2, pp.257-286, Feb., 1989.

상세보기
M. Elmezain, A. Al-Hamadi, B. Michaelis, "Hand Trajectory-based Gesture Spotting and Recognition Using HMM," IESK Conference, pp.3577-3580, 2009.
H. Yoon, J. Soh, B. Min, "Alphabetical Gesture Recognition using HMM," KIISE, Vol.25, No.2, pp.384-386, 1998.
A. Weingessel and K. Hornik, "Local PCA Algorithms," IEEE Transactions on Neural Networks, Vol.11, No.6, pp.1242-1250, Nov., 2000.

상세보기
A. M. Martinez and A. C. Kak, "PCA versus LDA", IEEE Trans. on PAMI, Vol.23, No.2, pp.228-233, Feb., 2001.

상세보기
H. Lee, J. Kim, "An HMM-based threshold model approach for gesture recognition," IEEE Trans. on PAMI, Vol.21, pp.961-973, 1999.

상세보기
D. Kim, J. Song, and D. Kim, "Simultaneous Gesture Segmentation and Recognition Based on Forward Spotting Accumlative HMMs," Pattern Recognition, Vol.40, pp.3012-3026, 2007.

상세보기
T. Wakahara and H. Murase, "On-Line Handwriting Recognition," Proceedings of the IEEE, Vol.80, No.7, pp.1181-1194, July, 1992.

상세보기
http://web.mit.edu/-rsalakhu/www/DBM.html, Matlab source code provided by Ruslan Salakhutdinov
http://www.ee.columbia.edu/-dpwe/resources/matlab/dtw/, Matlab source code provided by Dan Ellis

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증