[논문]단일 형상의 이동 방향 인식에 의한 손 동작 리모트 컨트롤러 구현

장명수; 이우범

doi:10.7236/jiibc.2013.13.4.91

단일 형상의 이동 방향 인식에 의한 손 동작 리모트 컨트롤러 구현
Implement of Finger-Gesture Remote Controller using the Moving Direction Recognition of Single 원문보기

한국인터넷방송통신학회 논문지 = The journal of the Institute of Internet Broadcasting and Communication, v.13 no.4, 2013년, pp.91 - 97

장명수 (상지대학교 컴퓨터정보공학부) , 이우범 (상지대학교 컴퓨터정보공학부)

초록
AI-Helper

본 논문에서는 단일 카메라를 사용하여 사용자 제스쳐 명령을 사용자의 손가락 개수 및 이동 방향을 기반으로 인식하는 손동작 리모트 컨트롤러 인터페이스를 구현한다. 구현한 손동작 리모트 컨트롤러 인터페이스는 손 영역의 추출을 위해서 RGB 컬러모델로부터 YCbCr 컬러모델로의 색 변환에 의한 색차정보를 이용하고, 추출된 손 영역의 중심에서 이중 원형 추적(Double Circle Tracing)에 의한 교차정보를 이용하여 손가락 개수 및 위치 정보를 계산한다. 특히, 제안하는 방법에서 지속적 사용자 명령은 제스쳐 단일 형상의 방향 이동에 의해서 반복 수행이 가능하고, 손가락 위치 정보는 사용자 경험(UX: User eXperience)에 기반 하여 사용자 명령을 증폭 수행한다. 또한 Intel사(社)의 OpenCV 라이브러리를 기반으로 C++언어를 사용하여 구현된 손동작 컨트롤러 인터페이스의 성능 평가를 위해서는 상용 비디오 플레이어 프로그램에 적용하여 각 컨트롤 모드별 인식률을 측정한 결과 평균 89%의 인식률을 보였다.

Abstract ▼ AI-Helper

A finger-gesture remote controller using the single camera is implemented in this paper, which is base on the recognition of finger number and finger moving direction. Proposed method uses the transformed YCbCr color-difference information to extract the hand region effectively. The number and position of finger are computer by using a double circle tracing method. Specially, a user continuous-command can be performed repeatedly by recognizing the finger-gesture direction of single shape. The position information of finger enables a user command to amplify a same command in the User eXperience. Also, all processing tasks are implemented by using the Intel OpenCV library and C++ language. In order to evaluate the performance of the our proposed method, after applying to the commercial video player software as a remote controller. As a result, the proposed method showed the average 89% recognition ratio by the user command-mode.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 논문에서는 카메라의 성능에 대한 영향을 줄이기 위해 형상 변화에 의한 특징정보를 추출하는 방법이 아닌 단일 손가락 제스쳐 형상의 이동 방향을 인식하는 리모트 컨트롤러를 구현한다.
본 논문에서는 단일 형상의 이동 방향 인식을 이용하여 구현이 단순하고 직관적인 손동작 리모트 컨트롤러를 구현하였다. 구현된 손동작 리모트 컨트롤러 인터페이스는 사용자의 편의성뿐만 아니라, 저비용 구현이 가능하며 인식 성능이 높다.

제안 방법

정규화 과정 후에 손가락 인식을 위해서는 원형 추적법을 이용한다. 그러나 단일 원과의 교차정보 만을 추출하게 되면 잡음과 원이 교차되는 의도하지 않은 상황이 발생할 수 있기 때문에 본 논문에서는 반지름의 길이가 다른 두 개의 원을 사용한다.
그리고 이중 원형 추적을 위한 원형 반경은 각각 150 화소와 170 화소의 원을 이용하였으며, 검지 채택 각도와 엄지 채택 각도는 각각 95°∼120°와 150°∼255°로 설정하였다.
단일 형상의 손가락 위치 및 이동 방향 인식을 위해서 YCbCr 컬러모델로부터 색차정보를 이용하여 손 영역을 추출한다. 그리고 추출된 손 영역에서 중심점을 계산하여 정규화한 후 반지름이 다른 두 개의 원과의 교차정보를 이용하는 이중 원형 추적법을 이용하여, 엄지와 검지의 유무 및 위치 정보를 검출하고 검지의 이동 방향을 인식하여 리모트 컨트롤러의 기능과 연동한다.
단일 형상의 손가락 위치 및 이동 방향 인식을 위해서 YCbCr 컬러모델로부터 색차정보를 이용하여 손 영역을 추출한다. 그리고 추출된 손 영역에서 중심점을 계산하여 정규화한 후 반지름이 다른 두 개의 원과의 교차정보를 이용하는 이중 원형 추적법을 이용하여, 엄지와 검지의 유무 및 위치 정보를 검출하고 검지의 이동 방향을 인식하여 리모트 컨트롤러의 기능과 연동한다.
따라서 본 논문에서는 손동작 인식을 위한 전처리 과정으로서 손 영역 추출을 위하여 원 영상을 YCbCr 컬러 모델로 변환하여 사용한다. YCbCr 컬러모델로의 변환을 위해서는 아래 식 (1)을 이용한다^[4][5].
본 논문에서 구현한 실시간 리모트 컨트롤러 인터페이스의 성능평가를 위해서 Intel社의 컴퓨터비전 라이브러리인 OpenCV^[9]를 기반으로 MS Windows 7 환경 하에서 C++ 언어를 사용하여 각 처리 단계를 구현하였다. 손동작 입력 장치로는 일반적으로 사용되는 저가의 웹캠을 사용하였다.
추출된 손 영역으로부터 사용자 제스처를 인식하기 위해서는 먼저 본 논문에서 특징으로 정의한 손가락 개수의 분석이 선행되어야 한다. 본 논문에서 손가락 개수의 인식은 손 영역의 중심에서 정해진 반지름을 갖는 원과의 교차정보를 통해 이루어지며 이를 하기 위해서는 먼저 손 영역의 중심 C(x,y)를 구한다.
본 논문에서 제안하는 이중 원형 추적법(Double Circle Tracing)은 두 원 사이의 손가락에 해당하는 영역을 모두 추출하여 임계값 이하의 영역들은 제거함으로써 잡음에 의한 오 검출 되는 경우를 없앨 수 있다. 그림 4의 (a)와 (b)는 반지름의 길이가 다른 두 개의 원(각각 반지름이 r, r′인 원)을 이용한 이중 원형 추적에 의해서 손가락 단서(Clue) 영역을 추출한 예이다.
성능평가 방법으로는 상용 미디어 플레이어 프로그램에 구현한 실시간 리모트 컨트롤러 모듈을 적용하여 비디오 플레이어 컨트롤을 위한 각 인식 제스쳐 모드의 인식률을 분석하였다. 그 결과 표 3와 같이 평균 89%의 인식률로 성공적인 인터페이스 기능을 보였다.
그림 3과 4에서 손 내부의 빨간색 점은 식 (4)에 의해 손 영역으로부터 구해진 손 영역 중심을 나타낸다. 손 영역의 중심 값을 구한 다음에는 손가락 추출에 필요한 동일한 추적 원의 반지름 설정을 위하여 손 영역의 크기에 의한 정규화를 수행한다.

대상 데이터

를 기반으로 MS Windows 7 환경 하에서 C++ 언어를 사용하여 각 처리 단계를 구현하였다. 손동작 입력 장치로는 일반적으로 사용되는 저가의 웹캠을 사용하였다. 실험에 상용된 입력 영상은 640x480 화소(pixel)이며 정규화에 사용된 d값은 80 화소이다.
손동작 입력 장치로는 일반적으로 사용되는 저가의 웹캠을 사용하였다. 실험에 상용된 입력 영상은 640x480 화소(pixel)이며 정규화에 사용된 d값은 80 화소이다. 그리고 이중 원형 추적을 위한 원형 반경은 각각 150 화소와 170 화소의 원을 이용하였으며, 검지 채택 각도와 엄지 채택 각도는 각각 95°∼120°와 150°∼255°로 설정하였다.

이론/모형

추출한 손 영역 영상으로부터 잡음을 줄이기 위해서는 영상 모폴로지 변환(morphological transformation)을 사용한다. 모폴로지 변환의 팽창(dilation)과 침식(erosion) 연산은 영상 내의 잡음 제거 또는 구성 요소들의 결합 또는 분리 등을 위하여 많이 사용된다^[6][7].

성능/효과

구현된 손동작 리모트 컨트롤러 인터페이스는 사용자의 편의성뿐만 아니라, 저비용 구현이 가능하며 인식 성능이 높다. 또한 5가지 손가락 제스쳐에 대해서 제안된 명령만을 실행하도록 설계하였으나, 단일 형상의 이동 방향 인식을 적용하여 12가지로 기능 확장이 가능하다. 특히 지속적인 명령의 반복 수행과 손가락 개수의 변화에 따른 UX적 명령 증폭이 가능하다.
본 논문에서 구현하는 실시간 리모트 컨트롤러는 비교적 단순하고 저비용의 구현 가능하고, 특히 사용자 경험(UX: User eXperience) 기반의 기능을 포함하기 때문에 직관적인 인터페이스의 구현이 가능하다. 그리고 구현된 리모트 컨트롤러는 상용 미디어 플레이어에 적용하여 그 성능의 효율성을 보인다.
그림 3은 식 (5)에 의해 손 영역에 대한 확대 및 축소 정규화 과정의 예이다. 이상의 정규화 과정은 단일 카메라에서 거리에 의한 손 영역의 크기 영향을 효과적으로 감소시킬 수 있다.

후속연구

향후 가변적 환경에서의 인식 성능을 개선하고 제스쳐 동작 위치 제한 등의 문제가 해결된다면, 스마트 홈 환경에서 한 대의 카메라를 이용하여 다수의 가전제품을 컨트롤할 수 있는 컨트롤러로 다양한 활용이 가능할 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	RGB 컬러모델에서의 영상처리가 정보 처리량이 많고, 비효율적인 이유는?	RGB 컬러모델에서의 영상처리는 R, G, B 컬러요소 값을 각각 처리해야 하기 때문에 정보 처리량이 많고, 밝기 변화에 민감하여 비효율적이다. 반면에 YCbCr 컬러 모델은 밝기(Y: Luminance)와 색차신호(Cb: 푸른색의 강도, Cr : 붉은색의 강도)에 기반을 두는 색 표현 방식으로 색차 신호만으로 영상처리를 하기 때문에 정보 처리량도 감소하고 밝기 변화에 의한 영향을 효과적으로 감소시킬 수 있다[4][5].
	비착용형 방식의 제스쳐 인식 방법은 어떠한 단점이 있는가?	이러한 연구 가운데에서 비착용형 방식의 제스쳐 인식 방법은 카메라의 성능에 영향을 많이 받는 단점에도 불구하고, 추가적인 장치 없이 인식이 가능하며 구현에도 추가적인 비용이 발생하지 않기 때문에 활발히 연구되고 있다[1][3][8].
	본 논문에서 제안한 손동작 리모트 컨트롤러의 문제점은 무엇인가?	특히 지속적인 명령의 반복 수행과 손가락 개수의 변화에 따른 UX적 명령 증폭이 가능하다. 그러나 가변적 환경에서의 인식 성능이 떨어지는 문제점이 있었다.

참고문헌 (12)

R. Z. Khan and N. A. Ibraheem, "Survey on Gesture Recognition for Hand Image Posture", Computer and Information Science Vol. 5(3), pp. 110-121, 2012.
Freeman, W. T., Weissman, C. D., "Television control by hand gestures", IEEE International. Workshop on Automatic Face and Gesture Recognition, pp.179-183, 1995.
Hasan, M. M., Mishra, P. K. "Brightness factor matching for gesture recognition system using scaled normalization", International Journal of Computer Science & Information Technology (IJCSIT), Vol. 3(2), pp.35-46, 2011.
Neelamani, R., Queiroz, R. de., Fan, Z., et al. "JPEG Compression History Estimation for Color Images". IEEE Trans. Image Process.,Vol. 15(6), pp. 1365-1378, 2006.

상세보기
Guangxin Li, Image Fusion Based on Color Transfer Technique, Image Fusion and Its Applications, Dr. Yufeng Zheng (Ed.), InTech, 2011.
R. M. Haralick, et al, "Image analysis using mathematical morphology", IEEE Transactions on Pattern Analysis and Machine Intelligence 9(4), pp. 532-550, 1987.
G. Bradski and A. Kaehler, Learning OpenCV, O'REILLY, pp.176-180, 2008.
S. Mitra and T. Acharya, "Gesture Recognition: A Survey", IEEE Trans. on SMC Vol. 37(3), pp. 311-324, 2007.
Intel. Open source computer vision library: Reference manual. 2001.
M. S. Jang, W. B. Lee, "Implement of the Video Remote Controller By using the Finger Gesture Interface", KISPS Fall Conference Proceedings. Vol. 13(2), pp. 215-217, 2012.
C. Y. Choi, W. B. Lee, "Implement of Hand Gesture Interface using Ratio and Size Variation of Gesture Clipping Region", The Journal of The IIBC, Vol. 13(1), pp. 121-127, Feb. 2013.

원문보기 상세보기
X. Shen, etc., "Dynamic hand gesture recognition: An exemplar-based approach from motion divergence fields", Image and Vision Computing 30, pp. 227-235, 2012.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증