[논문]가상 놀이 공간 인터페이스를 위한 HMM 기반 상반신 제스처 인식

박재완; 오치민; 이칠우

doi:10.5392/jkca.2010.10.8.011

가상 놀이 공간 인터페이스를 위한 HMM 기반 상반신 제스처 인식
HMM-based Upper-body Gesture Recognition for Virtual Playing Ground Interface 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.10 no.8, 2010년, pp.11 - 17

박재완 (전남대학교 전자컴퓨터공학과) , 오치민 (전남대학교 전자컴퓨터공학과) , 이칠우 (전남대학교 전자컴퓨터공학과)

초록
AI-Helper

본 논문은 HMM기반의 상반신 제스처 인식에 대하여 연구하였다. 공간상의 제스처를 인식하기 위해서는 일단 제스처를 구성하고 있는 포즈에 대한 구분이 우선되어야 한다. 인터페이스에 사용되는 포즈를 구분하기 위해서 정면과 옆면에 설치한 적외선 카메라 두 대를 실험에 사용하였다. 그리고 각각의 적외선 카메라에서 하나의 포즈에 대한 정면 포즈와 옆면 포즈로 나눠서 획득한다. 획득한 적외선 포즈 영상은 SVM의 비선형 RBF 커널 함수를 이용하여 구분하였다. RBF 커널을 사용하면 비선형적 분류 포즈들간의 오분류 현상을 구분할 수 있다. 이렇게 구분된 포즈들의 연속은 HMM의 상태천이행렬을 이용하여 제스처로 인식된다. 인식된 제스처는 OS Value에 매핑하여 기존의 Application에 적용할 수 있다.

Abstract ▼ AI-Helper

In this paper, we propose HMM-based upper-body gesture. First, to recognize gesture of space, division about pose that is composing gesture once should be put priority. In order to divide poses which using interface, we used two IR cameras established on front side and side. So we can divide and acquire in front side pose and side pose about one pose in each IR camera. We divided the acquired IR pose image using SVM's non-linear RBF kernel function. If we use RBF kernel, we can divide misclassification between non-linear classification poses. Like this, sequences of divided poses is recognized by gesture using HMM's state transition matrix. The recognized gesture can apply to existent application to do mapping to OS Value.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 HMM 기반의 상반신 제스처 인식에 대하여 기술하였다.
본 논문은 HMM 기반의 상반신 제스처 인식에 대하여 연구하였다. 어떠한 행동을 표현하는 인간의 제스처는 많은 포즈로 구성되어 있다.

제안 방법

그러므로 본 논문에서 정의한 제스처는 양 손의 움직임을 토대로 한 직관적인 포즈 동작으로 구성하였다.
실루엣은 이용하는 방법은 2차원 평면 공간에서는 직관적인 형태를 얻을 수 있지만 3차원 입체 공간에서의 정보를 알기 힘든 단점이 있다. 그러므로 본 논문에서는 두 대의 카메라를 이용하여 정면과 옆면의 영상을 획득하고 x,y,z좌표 정보를 결합하여 포즈를 추출한다.
본 논문에서는 빠른 인식속도, 자유로운 해상도와 인식거리를 위해 일반 CCD 카메라에 적외선 필터를 장착하여 사용하였다. 적외선을 사용하는 방법은 적외선 광원과 적외선 카메라를 이용하므로 구조물에 크게 구애받지 않는 한, 손쉽게 영상을 얻을 수 있는 장점이 있다.
본 논문에서는 전경과 배경을 분리할 때, 적외선 영상을 사용하고 전경(상반신 포즈)의 실루엣 영상에서 EOH와 SVM을 이용하여 포즈 영상의 특징을 추출하고 포즈 영상을 구분한다.
본 논문에서는 총 7개의 제스처를 정의하였고 제스처에 필요한 포즈의 개수는 노이즈로 인식되는 포즈를 포함하여 제스처마다 3～6개로 정의하였다.
본 논문에서는 포즈 영상들의 ROI를 정규화하였지만 선형분리가 불가능하므로 RBF(Radial Basis Function) 커널함수를 사용하여 포즈들을 분리하였다.
사람마다 신체 부위의 크기가 다르므로 카메라를 통해 입력되는 각각의 포즈영상을 정규화하는 작업을 진행하였고, 정규화된 포즈영상을 SVM을 이용하여 분류하였다. 분류된 포즈영상은 HMM을 이용하여 제스처로 인식하였다. 인식된 제스처는 OSValue에 매핑하여 기존의 Application에 적용할 수 있었다.
본 논문에서는 HMM 기반의 상반신 제스처 인식에 대하여 기술하였다. 사람마다 신체 부위의 크기가 다르므로 카메라를 통해 입력되는 각각의 포즈영상을 정규화하는 작업을 진행하였고, 정규화된 포즈영상을 SVM을 이용하여 분류하였다. 분류된 포즈영상은 HMM을 이용하여 제스처로 인식하였다.
인식과정에서는 인식하고자 하는 제스처와 학습이 끝난 후 생성된 모든 HMM의 제스처 모델을 비교한다.
하나의 포즈당 두 영상을 얻으므로 총 72개의 특징을 통합하여 각 영상 ROI의 EOH 특징에 해당하는 각 픽셀 (i,j)의 에지크기 mi,j를 각 방향성별로 모두 합산을 통해 추출한다.
학습은 각 제스처별로 이루어지며, 해당 제스처의 HMM 모델에 학습결과를 적용한다.

대상 데이터

본 논문에서 제안한 시스템은 각 포즈에 대하여 정면과 옆면의 학습데이터를 50개씩 학습하였다.
본 논문에서는 ROI(Region of Interest)영상이 포함하고 있는 36개의 방향에 분포한 에지의 양을 표현하는 EOH 특징을 포즈 정보로 사용한다.

이론/모형

HMM의 학습 과정은 각 숫자별로 상반신 포즈를 이용하여 은닉 마르코프 모델을 구성하는 과정으로, EM알고리즘의 하나인 Baum-Welch 알고리즘을 이용한다.
다중 카메라를 이용하여 획득한 영상에서 Haarlets[5]를 이용하여 포즈를 인식하는 방법은 포즈로 추정되는 전경의 실루엣 영상을 LDA[6]와 ANMM[4]을 이용하여 포즈로 구분한다.
즉, 평가, 해석, 그리고 학습에 있으며 이들은 각기 Forward-Backward 알고리즘, Viterbi 알고리즘 그리고 Baum-Welch 알고리즘으로 해결된다. 본 논문에서는 [그림 4]와 같은 Left-Right HMM구조 모델을 사용한다.
본 논문에서는 제스처 인식을 위해 HMM을 사용하였다.

성능/효과

그러므로 각 제스처에 필요한 적절한 포즈들을 이용하여 학습하는 과정이 필요하고, 가능하다면 구분이 가능한 포즈들을 되도록 많이 정의하여 포즈가 겹치지 않아야 한다는 것을 알 수 있었다.
동일한 제스처라고 할지라도 제스처에 포함되는 포즈의 개수가 많을수록 인식률이 낮아지는 결과를 보였다. 그러므로 각 제스처에 필요한 적절한 포즈들을 이용하여 학습하는 과정이 필요하고, 가능하다면 구분이 가능한 포즈들을 되도록 많이 정의하여 포즈가 겹치지 않아야 한다는 것을 알 수 있었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Haarlets를 이용하여 포즈를 인식하는 방법은 전경의 실루엣 영상을 구분할 때 어떠한 것을 이용하는가?	다중 카메라를 이용하여 획득한 영상에서 Haarlets[5]를 이용하여 포즈를 인식하는 방법은 포즈로 추정되는 전경의 실루엣 영상을 LDA[6]와 ANMM[4]을 이용하여 포즈로 구분한다. 하지만 ANMM은 속도가 느리기 때문에 Haarlets을 기반으로 하는 integral image를 ANMM의 component로 사용한다[3].
	영상에서 신체의 완전한 3차원적 구조를 인식하기 위해서는 어떠한 정보를 이용해야 하는가?	피부색과 유사한 배경 또는 객체가 존재할 수 있고 조명의 변화 또한 큰 영향을 끼치기 때문이다. 그리고 영상으로부터 신체의 완전한 3차원적 구조를 인식하기 위해서는 x,y축 이외의 z축의 정보를 이용해야 한다.
	particle filter를 이용해 포즈를 인식하는 방법에서 적절한 파티클 개수를 설정하는 것이 중요한 이유는?	신체의 포즈를 인식하기 위하여 주로 미리 정의한 구조적 포즈 모델을 이용하는 방법을 사용하는 방법은 particle filter를 이용하여 신체의 포즈를 인식하고 추적하고 있다. 파티클의 개수가 증가함에 따라 인식률의 성능은 높아지지만 그에 반해 시스템의 속도에 영향을 주기 때문에 적절한 파티클의 개수를 설정하는 것이 중요하다[1].

참고문헌 (8)

오치민, 정문호, 유범재, 이칠우, "개선된 챔퍼매칭 우도 기반 2차원 평면 객체 추적", 정보처리학회논문지 B, 제17-B권, 제1호, pp.37-46, 2010.
M. Dimitrijevic, V. Lepetit, and P. Fua, "Human Body Pose Detection Using Bayesian Spatio-Temporal Templates," Computer Vision and Image Understanding, Vol.104, No.2/3, pp.127-139, 2006.

상세보기
M. Van den Bergh, E. Koller-Meier, and L. Van Gool, "Real-Time Body Pose Recognition Using 2D or 3D Haarlets," International journal of computer vision, Vol.83, No.1, pp.72-84, 2009.

상세보기
F. Wang and C. Zhang, "Feature extraction by maximizing the average neighborhood margin," In IEEE computer society conference on computer vision and pattern recognition, Vol.1-8, pp.1173-1180, 2007.
P. Viola and M. Jones, "Rapid object detection using a boosted cascade of simple features," In IEEE computer society conference on computer vision and pattern recognition, Vol.1, pp.511-518, 2001.
M. Van den Bergh, E. Koller-Meier, and L. Van Gool, "Fast body posture estimation using volumetric features," In IEEE visual motion computing, Jan, 2008,
박아연, 이성환, “이산 은닉 마르코프 모델에 기반 한 3차원 전신 제스처 인식”, 한국정보과학회 컴퓨터 비젼 및 패턴인식연구회 추계 워크샵 발표논문집, pp.154-156, 2004.
H. Kang, C. W. Lee, K. Jung, “Recognitionbased gesture spotting in video games,” Pattern Recognition Letters, Vol.25, pp.1701-1714, 2004.

상세보기

저자의 다른 논문 :

LOADING...

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증