[논문]실시간 핸드 제스처 추적 및 인식

하정요; 김계영; 최형일

문제 정의

최근에는 YCbCr 컬러공간이 RGB 컬러공간에 비해 유용한 에너지 압축을 지원한다는 사실에 기반을 두어 영상 데이터를 처리하거나 압축하는데 휘도-채도 기반컬러공간(luminace-chromonance-based colorspace)을 주로 사용한다. 본 논문에서는 YCbCr 컬러모델을 이용하여 피부색상을 검출하였다. RGB 컬러모델에서 YCbCr 컬러 모델로의 변환은 식(1)과 같은 연산과정을 통해 얻을 수 있다.

제안 방법

(그림 3)은 피부색 검출을 통하여 함께 추출된 얼굴영역을 제거하고, 손 영역을 분할시킨 후 노이즈의 제거를 위하여 영상으로부터 모폴로지 연산(Closing)을 추가로 수행하였다.
RGB 컬러모델을 YCbCr 컬러모델로 변환 후에 스킨컬러를 추출하여 손 영역만을 분리해낸다. 두 번째 단계인 손 영역 추적단계에서는 손 영역의 무게중심을 추출하고 칼만 필터를 이용하여 추적한다. 그리고 마지막으로 손 영역 인식단계에서는 추출한 손을 HMM방법을 이용하여 학습시킨 뒤 최종적으로 손동작을 인식한다.
본 논문에서 제안한 방법을 통하여 실시간으로 사용자의 손모양 추적 및 인식을 보였다. 본 실험에서는 단순한 배경에서 실험을 하여 높은 인식률을 보였으나 향후실험에는 더욱 복잡한 배경에서도 손 모양을 인식할수 있는 연구가 필요하며, 손 영역을 더욱 빠르고 안정적으로 추출하기위한 연구와, 제스처의 다양한 특성을 고려한 벡터의 추출, 학습 및 인식에서 제스처와의 상관관계의 고려에 의해 이루어 질 수 있는 알고리즘 연구가 수행되어야한다.
사람의 시각이 물체를 구분할 수 있는 여러 특징 중 색상과 모양이 있다. 본 논문에서는 색상정보를 사용하여 손 영역을 획득한다. 최근에는 YCbCr 컬러공간이 RGB 컬러공간에 비해 유용한 에너지 압축을 지원한다는 사실에 기반을 두어 영상 데이터를 처리하거나 압축하는데 휘도-채도 기반컬러공간(luminace-chromonance-based colorspace)을 주로 사용한다.
이를 위해 음성과 시각 정보에 기반을 둔 사용자 접속 인터페이스에 관한 시스템들이 현재 활발하게 개발되어 이미 상용화되고 있으며, 이에 따라 제스처 또한 사용자 접속의 한 파트로서 활발히 연구가 진행되고 있다. 본 논문에서는 카메라를 이용하여 실시간으로 손의 제스처를 인식하는 시스템을 기술하며 논문의 구성은 크게 3단계로 구성하였다. 먼저첫 번째 단계인 손 영역 추출단계에서는 후속 단계인 특징 추출을 위해 입력받은 영상으로부터 기본적인 전처리과정을 수행한다.
손 영역 추출 후에 손의 무게중심을 구하기 위하여 수평·수직 프로젝션을 수행하였다.
실험을 위해 연구실에 있는 10명의 학생을 대상으로 6가지 손모양을 각 10번씩 총 100번씩 실험을 하여 제안한 손 모양 방법을 실험하였다.
손 영역 추출 후에 손의 무게중심을 구하기 위하여 수평·수직 프로젝션을 수행하였다. 이진 영상을 수평방향으로 검색하여 흰색의 픽셀 값의 개수를 카운트하여 수평히스토그램을 만들고, 수직 방향으로 검색하여 흰색인 픽셀 값의 개수를 카운트하여 수직히스토그램을 만든다. 손 영역 바깥 부분에 노이즈는 임계값 g를 주어 잡음을 제거하였다.
본 논문에서는 먼저 각 state의 관측벡터에 대한 모델 파라미터의 초기 값을 결정하고, 다음 학습화 단계에서는 Baum-Welch 알고리즘[5]을 사용하여 데이터베이스의 각 개인의 손이미지에 대한 학습화 모델을 생성하며 인식단계에서 Forward 알고리즘[5]을 이용하여 주어진 손이미지의 학습화 모델에서 관측확률이 최대인 것을 손 동작인식을 한다. 즉 손 영역 이미지로부터 관측벡터를 추출한 후에 HMM 모델의 관측시퀀스 확률모델을 계산, 가장 높은 Likelihood 확률을 갖는 모델을 선택하고 이 모델이 인식된 손이 된다. HMM의 변수계산을 보면 먼저 측정되는 관측(Observation)에 대한 심볼(symbol)들을 정의, bj(k)의 계산 수행 후 이를 이용하여 나머지 변수 a_ij와 π_i를 구해야 한다.

대상 데이터

2Ghz CPU 와, 2GByte 의 메모리를 탑재한 Desktop PC를 사용하였고, OS는 Microsoft의 Windows XP professional을 사용하였으며, Visual Studio 2008 사용하여 시스템을 제작하였다. 본 논문에서는 영상의 크기를 편의를 위해 320 x 240의 크기로 하였다.
본 논문의 실험을 위하여 구성된 컴퓨터는 Intel Pentium 듀얼 코어 2.2Ghz CPU 와, 2GByte 의 메모리를 탑재한 Desktop PC를 사용하였고, OS는 Microsoft의 Windows XP professional을 사용하였으며, Visual Studio 2008 사용하여 시스템을 제작하였다. 본 논문에서는 영상의 크기를 편의를 위해 320 x 240의 크기로 하였다.

이론/모형

두 번째 단계인 손 영역 추적단계에서는 손 영역의 무게중심을 추출하고 칼만 필터를 이용하여 추적한다. 그리고 마지막으로 손 영역 인식단계에서는 추출한 손을 HMM방법을 이용하여 학습시킨 뒤 최종적으로 손동작을 인식한다. (그림 1)은 본 논문에서 제안하는 제스처 인식과정을 보여준다.
인식단계에서는 HMM(Hidden Markov Model)를 이용한다[4]. 본 논문에서는 먼저 각 state의 관측벡터에 대한 모델 파라미터의 초기 값을 결정하고, 다음 학습화 단계에서는 Baum-Welch 알고리즘[5]을 사용하여 데이터베이스의 각 개인의 손이미지에 대한 학습화 모델을 생성하며 인식단계에서 Forward 알고리즘[5]을 이용하여 주어진 손이미지의 학습화 모델에서 관측확률이 최대인 것을 손 동작인식을 한다. 즉 손 영역 이미지로부터 관측벡터를 추출한 후에 HMM 모델의 관측시퀀스 확률모델을 계산, 가장 높은 Likelihood 확률을 갖는 모델을 선택하고 이 모델이 인식된 손이 된다.
손 색상 모델을 이용한 영역 분리를 수행하여 추출된 후보 손 영역들 중에서 전 시점의 손 영역으로 이전 프레임에서 찾아진 위치에 기반을 두어 한 이미지 프레임에서 손의 위치를 예측하기 위해 칼만 필터를 사용한다[2][3]. 칼만 필터는 가우시안 잡음을 가진 선형 동적 시스템에 대한 최적의 예측 방법을 제공하므로 동작 예측 분야에서 가장 널리 알려진 기법 중 하나로 이전 프레임에서 얻은 영상의 위치와 정보를 분석하여 현재 프레임에서의 위치를 결정하고, 다음 프레임에 움직일 위치를 예측하는 방식이다.
피부색을 추출하는 과정에 손 영역과 함께 추출된 얼굴영역을 제거하기위한 방법으로 에이다부스트(Adaboost)를 이용한 얼굴 검출 알고리즘을 사용하였다. 에이다부스트 알고리즘은 많은 특징 집합으로부터 약한 분류기(Weak classifier)를 구성하고 이를 선택적으로 조합하여 복잡한 패턴을 분류할 수 있는 강한 분류기 (Strong classifier)를 학습하는 방법으로 학습된 강한 분류기를 단계적으로 배열하여 얼굴 분류를 하였다.

후속연구

본 논문에서 제안한 방법을 통하여 실시간으로 사용자의 손모양 추적 및 인식을 보였다. 본 실험에서는 단순한 배경에서 실험을 하여 높은 인식률을 보였으나 향후실험에는 더욱 복잡한 배경에서도 손 모양을 인식할수 있는 연구가 필요하며, 손 영역을 더욱 빠르고 안정적으로 추출하기위한 연구와, 제스처의 다양한 특성을 고려한 벡터의 추출, 학습 및 인식에서 제스처와의 상관관계의 고려에 의해 이루어 질 수 있는 알고리즘 연구가 수행되어야한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

실시간 핸드 제스처 추적 및 인식
Real-Time Hand Gesture Tracking & Recognition 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

실시간 핸드 제스처 추적 및 인식 Real-Time Hand Gesture Tracking & Recognition 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

실시간 핸드 제스처 추적 및 인식
Real-Time Hand Gesture Tracking & Recognition 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper