[논문]제스쳐 클리핑 영역 비율과 크기 변화를 이용한 손-동작 인터페이스 구현

최창열; 이우범

doi:10.7236/jiibc.2013.13.1.121

제스쳐 클리핑 영역 비율과 크기 변화를 이용한 손-동작 인터페이스 구현
Implement of Hand Gesture Interface using Ratio and Size Variation of Gesture Clipping Region 원문보기

한국인터넷방송통신학회 논문지 = The journal of the Institute of Internet Broadcasting and Communication, v.13 no.1, 2013년, pp.121 - 127

최창열 (상지대학교 컴퓨터정보공학부) , 이우범 (상지대학교 컴퓨터정보공학부)

초록
AI-Helper

본 논문에서는 UI 시스템에서 포인팅 장비를 대신할 수 있는 컴퓨터 비전 기반의 제스쳐 형상의 영역 비율과 크기 변화 특징을 이용한 손-동작 인터페이스를 제안한다. 제안한 방법은 효과적인 손 영역 검출을 위해서 HSI 컬러 모델을 기반으로 손 영역의 피부 색상(Hue)과 채도(Saturation) 값을 혼합하여 적용함으로서 제스쳐 인식에 있어서 손 영역 이외의 피부색 영역을 제거할 수 있으며, 빛에 의한 잡음 영향을 줄이는데 효과적이다. 또한 제시되는 제스쳐의 정적인 포즈 인식이 아닌 실시간으로 변화하는 제스쳐 클리핑 영역에서의 손 영역 화소 비율과 크기 변화를 검출함으로써 계산량을 줄일 수 있으며, 보다 빠른 응답 속도를 보장한다. 제안한 컴퓨터 비전 기반의 포인팅 인터페이스는 우리가 이전 연구에서 구현한 자가 시력 측정 시스템에서 독립적인 포인팅 인터페이스로 적용한 결과, 평균적으로 86%의 제스쳐 인식률과 87%의 좌표이동 인식률을 보여 포인팅 인터페이스로의 활용도를 보였다.

Abstract ▼ AI-Helper

A vision based hand-gesture interface method for substituting a pointing device is proposed in this paper, which is used the ratio and size variation of Gesture Region. Proposed method uses the skin hue&saturation of the hand region from the HSI color model to extract the hand region effectively. This method can remove the non-hand region, and reduces the noise effect by the light source. Also, as the computation quantity is reduced by detecting not the static hand-shape recognition, but the ratio and size variation of hand-moving from the clipped hand region in real time, more response speed is guaranteed. In order to evaluate the performance of the our proposed method, after applying to the computerized self visual acuity testing system as a pointing device. As a result, the proposed method showed the average 86% gesture recognition ratio and 87% coordinate moving recognition ratio.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서 구현하는 사용자 인터페이스는 포인팅 입력 장치의 클릭 및 드래그 앤 드롭(Drag&Drop) 에 의한 방향성 검출 기능을 목적으로 하고 있다.
획득된 손-동작을 포함하는 최소 근접 사각형 영역을 분류 인식하기 위해서는 먼저 인식되는 대상들 간의 분류 특징을 최대화하기 위하여 최소 근접 사각형에 대해서 클리핑(clipping) 작업을 수행한다. 본 논문에서 수행하는 클리핑 작업은 손-동작의 특징을 손-동작 영역의 크기와 영역 내에서의 손-동작 영역의 화소 비율을 특징으로 정의하기 위한 전처리 작업으로서 수행된다.
본 논문에서는 포인팅 장치의 대체를 위한 손 동작 인식 기반의 UI 시스템을 제안했다. 제안한 방법은 별도의 포인팅 장비나 입력 도구를 요구하지 않고 응용 프로그램과 별도의 독립적인 형태로 실행된다.

가설 설정

여기서, υ는 식 (1)에 의해서 계산된 r, g, b 값을 의미하고, m은 변형 상수이다. HSI 컬러모델로 변환된 영상은 그림 2의 (b), (c), (d) 영상과 같이 색상, 채도, 밝기의 3가지 채널로 분리 된다. 색상 채널은 빨강, 녹색, 파랑의 색상 정보를 가진 영역이고, 채도 채널은 색의 선명도를 나타내는 채널로 동일색상에서의 선명도를 구별하는데 유용하며, 밝기 채널은 밝기 정보를 가진 영역으로 명암에 따른 객체 검출에 유용하다.
전처리 클리핑 작업은 손-동작 영역의 최소 근접 사각형의 넓이 값을 사각형의 수직방향으로 적용하여 정사각형 영역으로 클리핑하여 손-동작 영역을 재설정 한다. 그림 3의 (e), (f), (g), (h) 영상은 실영상에서 획득한 클리핑 영역의 예이다.

제안 방법

따라서 본 논문에서 제안한 방법은 실제 우리가 개발한 자가 시력 측정 시스템^[3]에서의 입력 장치를 위한 포인팅 인터페이스 장치로 적용함으로써 그 유효성을 보인다.
따라서 본 논문에서는 손 영역의 추출을 위해서 HSV 칼라모델로부터 색상(Hue) 채널과 채도(Saturation) 채널의 멀티 채널 정보를 이용하여 피부색과 유사한 정보 잠음에 대한 간섭을 최소화한다. 또한 손 동작의 인식에 있어서도 정적이 손 모양의 인식이 아니라 실시간 시스템에 효과적으로 적용하기 위해서 실시간으로 변화하는 손 영역의 화소 비율과 크기를 검출하여 분류 인식한다.
따라서 본 논문에서는 손 영역의 추출을 위해서 HSV 칼라모델로부터 색상(Hue) 채널과 채도(Saturation) 채널의 멀티 채널 정보를 이용하여 피부색과 유사한 정보 잠음에 대한 간섭을 최소화한다. 또한 손 동작의 인식에 있어서도 정적이 손 모양의 인식이 아니라 실시간 시스템에 효과적으로 적용하기 위해서 실시간으로 변화하는 손 영역의 화소 비율과 크기를 검출하여 분류 인식한다.
본 논문에서 제안한 제스쳐 포인팅 인터페이스 시스템은 윈도우 7 환경에서 Intel社의 컴퓨터비전 라이브러리인 OpenCV 1.0^[7]과 마이크로소프트社의 MFC 라이브러리를 기반으로 C++ 언어를 이용하여 구현하였다.
본 논문에서는 전처리 과정으로서 손 영역을 검출하기 위해서 색상과 채도 채널의 융합 정보를 이용한다. 색상 채널로부터 피부색과 일치하는 영역을 검출하고, 채도 채널에서는 저채도 영역을 검출한다.
본 논문에서는 전처리 과정으로서 손 영역을 검출하기 위해서 색상과 채도 채널의 융합 정보를 이용한다. 색상 채널로부터 피부색과 일치하는 영역을 검출하고, 채도 채널에서는 저채도 영역을 검출한다. 즉 피부색과 유사한 색상 영역이면서 채도가 낮은 영역들을 손 영역으로 정의하여 검출한다.
본 논문에서는 포인팅 장치의 대체를 위한 손 동작 인식 기반의 UI 시스템을 제안했다. 제안한 방법은 별도의 포인팅 장비나 입력 도구를 요구하지 않고 응용 프로그램과 별도의 독립적인 형태로 실행된다. 또한 손 동작의 인식에 있어서도 정적이 손 모양의 인식이 아니라 실시간으로 변화하는 손 영역의 화소 비율과 크기를 검출하여 분류 인식하기 때문에 실시간 적용에 효과적이다.
포인팅 인터페이스의 성능 평가를 위해서는 우리가 이전에 연구했던 자가 시력 측정 시스템^[3]에 포인팅 장비의 대체 입력기로 적용하여 각 제스쳐에 대한 인식률을 측정한다.
인식률의 측정 방법은 측정을 수행할 동안 별도의 콘솔 화면을 생성해 인식된 제스쳐 유형과 해당하는 포인팅 좌표 값을 표시한다. 화면에 나타나는 메시지는 제스쳐 유형에 따라 초기(Init), 클릭 업(up), 클릭 다운(down), 다음(Next)의 4가지 유형 가운데 하나로 제시되며, 좌표 인식은 클릭-업과 클릭-다운 상태일 때, 제스쳐 이동에 의한 실제 좌표가 실시간으로 정확히 변화하는지를 확인한다.

이론/모형

따라서 본 논문에서는 손 영역의 밝기에 의한 영향을 줄이기 위하여 HSI 컬러모델을 사용한다. HSI 컬러모델은 인간이 색을 인지하는 방식과 유사한 컬러모델^[4]로서 인간이 색을 인지하는 척도인 색상(Hue), 채도(Saturation), 밝기(Intensity)정보를 이용하여 색상을 표현한다^[4][5].
실시간으로 입력된 영상으로부터 검출된 손 후보 영역을 분류하기 위해서는 인식의 대상이 되는 관심 영역의 획득이 필요하다. 본 논문에서의 인식 대상이 되는 관심 영역은 검출된 손바닥 영역의 최소 근접 사각형(MBR : Minimum Bounding Rectangle)을 의미하며, 검출된 최소 근접 사각형을 고립 영역으로 설정하기 위해서 라벨링(Labeling) 알고리즘을 사용한다^[6]. 이 때 손-영역 이외의 노이즈 고립 영역이 발생하기도 하는데, 이러 경우에는 라벨링 알고리즘에 의해 고립 영역으로 지정되는 영역들 중 가장 큰 고립 영역을 손 영역으로 선택하여 검출한다.

성능/효과

표 2는 제스쳐 유형과 좌표 인식률에 대한 시뮬레이션 결과이다. 평균 제스쳐 인식률은 86%이고 실시간 좌표 이동 인식률은 87%로서 포인팅 인터페이스로의 활용성을 보였다. 그러나 시뮬레이션에서 클릭-다운이 다른 제스쳐에 비해 상대적으로 인식률이 적게 나타난다.

후속연구

따라서 이러한 제한점을 해결하여 지원 가능한 제스쳐 유형을 증가하고, 타 시스템으로의 변경 적용을 위해서 수행되는 명령을 변경할 수 있는 옵션을 추가한다면, 본 논문에서 시뮬레이션 한 의료용 측정 기기의 입력 대체 장비로서의 효율성이 크다고 할 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	제스쳐 인식의 방법을 위해 어떤 방법들을 융합적으로 적용하여 사용하는가?	또한 제스쳐 인식에 있어서도 승리 표시나, 엄지 손가락 올림 등의 정적 움직임(static movement)인 포즈 인식과 손을 흔드는 인사와 같은 동적 움직임(dynamic movement)인 제스쳐 인식으로 구분할 수 있다. 여기서 제스쳐 인식의 방법으로는 PCA, HMM, 영상처리, 패턴인식, 신경회로망 등의 방법들이 융합적으로 적용되어 사용된다. 그러나 이러한 방법들은 동일한 제스쳐일 경우에도 사람에 따라서 움직임 형태의 가변성이 크며, 빛 상태와 같은 촬영 조건의 제약 때문에 확실한 해법을 제시하지 못 하는 실정이다[1][2].
	손-동작 기반의 제스쳐 인식 분야는 어떤 방식으로 나누어지는가?	기존의 손-동작 기반의 제스쳐 인식 분야는 크게 칼라 및 텍스쳐 정보 등을 제스쳐 분석에 사용하는 비전 기반 방식과 별도의 부가적인 입력 장치를 요구하는 데이터-장갑(Data-Glove) 기반 방식으로 나누어진다[1][2].
	본 논문에서 손 영역 검출을 위해 RGB 컬러모델대신 HSI 컬러모델을 사용한 이유는 무엇인가?	HSI 컬러모델은 인간이 색을 인지하는 방식과 유사한 컬러모델[4]로서 인간이 색을 인지하는 척도인 색상(Hue), 채도(Saturation), 밝기(Intensity)정보를 이용하여 색상을 표현한다[4][5]. 특히, HSI 모델은 RGB 컬러모델과는 다르게 색상 정보와 밝기 정보를 분리하는 것이 가능하기 때문에 손 영역 검출에 있어서 빛의 영향을 최대한 줄여주는 것이 가능하다.

참고문헌 (11)

R. Z. Khan and N. A. Ibraheem, "Survey on Gesture Recognition for Hand Image Posture", Computer and Information Science Vol. 5(3), pp. 110-121, 2012.
S. Mitra and T. Acharya, "Gesture Recognition: A Survey", IEEE Trans. on SMC Vol. 37(3), pp. 311-324, 2007.
Changyur Choi and Woobeom Lee, "A Self Visual-Acuity Testing System based on the Hand-Gesture Recognition by the KS Standard Optotype", Journal of The Institute of Signal Processing and Systems, Vol. 11(4), pp. 303-309, 2010.
A.R. Smith, "Color Gamut Transform Pairs", SIGGRAPH 78, pp. 12-19, 1978.
Gary R. Bradski and Santa Clara, "Computer Vision Face Tracking For Use in a Perceptual User Interface", Intel Technology Journal Q2, pp. 1-15, 1998.
Fu Chang, Chun-Jen Chen, Chi-Jen Lu, "A Linear-Time Component-Labeling Algorithm Using Contour Tracing Technique", Computer Vision and Image Understanding, Vol. 93(2), pp. 206-220, 2004.

상세보기
Intel. Open source computer vision library: Reference manual. 2001.
P. Garg, N. Aggarwal, S. Sofat, "Vision Based Hand Gesture Recognition", World Academy of Science, Engineering and Technology 49, 2009.
G. R. S. Murthy and R. S. Jadon, "A Review of Vision based Hand Gestures Recognition", International Journal of Info. Tech. and Knowl. Mang. Vol. 2(2), pp. 405-410, 2009.
X. Shen, etc., "Dynamic hand gesture recognition: An exemplar-based approach from motion divergence fields", Image and Vision Computing 30, pp. 227-235, 2012.

상세보기
V. A. Prisacariu and I. Reid, "3D hand tracking for human computer interaction", Image and Vision Computing 30, pp. 236-250, 2012.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증