[논문]다양한 손 제스처 인식을 위한 곡률 분석 기반의 손 특징 추출 알고리즘

윤홍찬; 조진수

doi:10.9708/jksci.2015.20.5.013

다양한 손 제스처 인식을 위한 곡률 분석 기반의 손 특징 추출 알고리즘
Hand Feature Extraction Algorithm Using Curvature Analysis For Recognition of Various Hand Gestures 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.20 no.5, 2015년, pp.13 - 20

윤홍찬 (가천대학교 일반대학원 IT융합공학과) , 조진수 (가천대학교 IT대학 컴퓨터공학과)

초록
AI-Helper

본 논문에서는 손 제스처 인식에 필요한 특징 추출을 위하여 손가락의 개수뿐만 아니라 붙어있는 손가락 판별까지 인식할 수 있는 알고리즘을 제안한다. 제안하는 알고리즘은 컬러모델 기반의 피부색 범위 필터와 레이블링을 통하여 입력 영상에서 손 영역을 검출하고, 외곽선 및 특징점과 이들로부터 추출한 곡률 정보를 이용해 펴진 손가락의 개수 및 붙어있는 손가락 판별을 통한 특징을 추출하여 다양한 손 제스쳐를 인식한다. 실험결과 인식률과 처리 가능 프레임 레이트(frame rate)는 기존 알고리즘과 유사하였지만, 추출된 특징을 가지고 정의할 수 있는 제스처의 경우의 수는 기존 알고리즘보다 약 4배 정도 많아 훨씬 더 다양한 제스처를 인식할 수 있음을 알 수 있었다.

Abstract ▼ AI-Helper

In this paper, we propose an algorithm that can recognize not only the number of stretched fingers but also determination of attached fingers for extracting features required for hand gesture recognition. The proposed algorithm detects the hand area in the input image by the skin color range filter based on a color model and labeling, and then recognizes various hand gestures by extracting the number of stretched fingers and determination of attached fingers using curvature information extracted from outlines and feature points. Experiment results show that the recognition rate and the frame rate are similar to those of the conventional algorithm, but the number of gesture cases that can be defined by the extracted characteristics is about four times higher than the conventional algorithm, so that the proposed algorithm can recognize more various gestures.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이렇게 추출된 다양하지 못한 특징들은 목적 행위로 분류하는 제스처 인식단계에서 컴퓨터와의 상호작용에 요구되는 다양한 목적 행위들을 지원하기에는 어려움이 따른다. 따라서 본 논문에서는 기존의 펴진 손가락의 개수와 함께 손가락 간의 붙어있는 상태를 추가적으로 검출하여, 손 제스처의 다양성을 향상시킬 수 있는 알고리즘을 제안한다.
본 연구에서는 붙어있는 손가락을 판별하지 못하는 기존 알고리즘의 문제점을 해결하여 좀 더 다양한 손 제스처를 분류할 수 있는 알고리즘을 설계 및 구현하였다.
이러한 문제점을 극복하기 위해 본 논문에서는 손가락의 끝점에 일정 영역을 잡아 붙어 있을 때의 곡률 정보를 통해 추출되는 손가락 사이 경계점의 유무 및 개수를 통하여 붙어 있는 손가락을 판별하려 한다.

가설 설정

영상에서 추출된 손 영역에서 붙어있는 손가락이 존재하지 않는 경우(그림 9) 펴진 손가락의 개수 추출에서는 기존 알고리즘과 제안하는 알고리즘은 똑같은 개수를 추출한다. 하지만 붙어있는 손가락이 존재하는 경우(그림 10) 기존 알고리즘은 붙어있는 손가락을 하나의 손가락으로 판별하여 붙어있는 손가락에 대한 정보를 손실한 상태로 펴진 손가락의 개수를 추출하여 부정확한 손가락의 개수를 추출하게 된다.

제안 방법

손의 후보군 추출의 첫 번째 과정은 영상에서 움직이는 손이 포함되는 물체를 추출하기 위하여 현재 입력 영상에서 초기 입력 영상에 차 영상[6]을 통하여 얻는다(그림 3). 두 번째 과정에서 움직이는 물체 중 피부색의 손 후보군을 뽑아내기 위해 이전 처리된 차 영상에 YCbCr컬러모델의 휘도 성분인 Y를 제외한 Cb, Cr를 기반으로 한 피부색 범위 필터[7]를 통하여 손 후보군 이진화 영상을 추출한다.
그리고 손목선 영역이라 판단되는 선의 양 끝점의 중점을 손목의 중심점이라 판단하고 이를 곡률 판단에 사용되는 곡률 중심점으로 지정한다. 세 번째로 추출된 곡률의 중심점과 손의 외곽선을 이용하여 손의 곡률 정보를 추출한다. 손의 외곽선을 구성하는 점들 중 K(임계 값) 간격에 3개의 점을 순차적으로 추출 하여 식 (1) 조건을 통해 곡률의 오목을 판단한다.
손의 외곽 특징 정보를 단순한 정보로 얻기 위해 이전 단계에서 구해진 외곽선 정보를 이용하여 외곽선 특징점을 추출 한다. 외곽선 특징점 추출에는 외곽 근사화 알고리즘인 더글 라스 페커 (Douglas-Peucker) 알고리즘[10]을 적용하였다 (그림 5).
알고리즘에 대한 비교평가를 위해 기존 알고리즘과 본 논문에서 제안하는 알고리즘에서 추출된 특징을 기반으로 제스처 인식 단계에서 정의할 수 있는 경우의 수, 프레임 레이트 (frame rate), 및 식 (3)에 따른 인식률을 평가하였다(표 1, 표 2, 표 3).
손은 피부색에 대한 필터 범위에 들어가기 때문에 영상에서 커다란 영역을 차지하고 있다. 이에 영상 내에서 객체 검출 효과가 있는 연결성분 레이블링(Connected Component Labeling) 알고리즘[8]을 이용 하여 픽셀이 연결된 각 집단을 추출한 후 최대 크기를 가진 집단을 남김으로써 불필요한 잡음을 없애고 손 영역만 가지고 있는 이진화 영상을 추출하였다.
제안한 알고리즘은 컬러모델 기반의 피부색 범위 필터와 레이블링을 통하여 입력 영상에서 손영역을 검출하고, 외곽선 및 특징점과 이를 기반으로 추출한 곡률정보를 이용하여 펴진 손가락의 개수 및 붙여진 손가락의 판별한 특징 정보를 추출 하여 손 제스쳐를 인식한다. 제안한 알고리즘은 인식률 및 프레임 레이트가 기존 알고리즘과 유사하지만, 제스처 분류 시기존 알고리즘 보다 약 4배 많은 경우의 수를 추출할 수 있어 기존보다 훨씬 더 다양한 제스처를 인식할 수 있다는 장점을 가진다.
본 논문에서 제안하는 알고리즘의 전체과정(그림 2)은 두가지 과정으로 나눌 수 있다. 첫 번째로 손의 특징 추출에 필요한 손 영상을 추출하는 전처리 단계, 두 번째로 손 영상을 이용하여 펴진 손가락 개수 및 손가락이 붙어 있는 상태를 가진 특징 정보를 추출하는 특징추출 단계로 구성되어있다. 본 장에서는 전처리 단계와 특징 추출 단계를 상세히 기술한다.
추출된 손 영역의 무게중심과 외곽선을 통하여 1차 특징점을 추출한다. 추출된 1차 특징점을 볼록껍질 기법을 적용하여 최종적인 손 영역의 특징점을 추출한다. 이러한 기존 알고리즘 들은 일반 카메라를 활용하여 소형 임베디드 장비에서도 이용할 수 있을만큼 빠른 연산을 하는 프로세스를 지녔다.
특징 추출 단계는 손의 영상에서 손의 특징을 추출하는 단계로 손 외곽선, 손가락 사이 경계점, 외곽선 특징점, 손의 중심점을 추출하고 이를 기반으로 손가락의 펴진 개수, 손가락끼리의 붙어있는 상태의 특징 정보를 추출한다.

데이터처리

제안하는 알고리즘에 대한 구현 및 기존 알고리즘과의 비교 평가는 Inter(R) Core(TM) i5 @2.60GHz CPU, 4GBytes memory, Windows 7 64bit, Visual C++ 언어, 및 로지텍 웹캠 C905 환경에서 진행하였고, 카메라 영상을 이용하여 펴진 손가락 개수를 추출하는 기존 알고리즘[4] 과 펴진 손가락 개수 추출 및 붙어 있는 손가락 판별의 기능을 가진 본 알고리즘을 비교하였다.

이론/모형

손의 외곽 특징 정보를 단순한 정보로 얻기 위해 이전 단계에서 구해진 외곽선 정보를 이용하여 외곽선 특징점을 추출 한다. 외곽선 특징점 추출에는 외곽 근사화 알고리즘인 더글 라스 페커 (Douglas-Peucker) 알고리즘[10]을 적용하였다 (그림 5). 더글라스 페커 알고리즘은 연속된 점으로 추정된 곡선에서 점의 수를 감소시켜 직선으로 근사화한다.
먼저, 손 외곽 곡률 정보를 추출하기 위해서는 곡률 판단에 사용되는 곡률 중심점과 곡률을 이루는 선을 추출하여야 한다. 첫 번째로 손 형태를 표현해주는 외곽선을 얻기 위하여 손의 이진화 영상에 스네이크(Active Contour Model) 알고리즘[9]을 적용하여 손의 바깥 외곽선을 얻는다. 두 번째로 손의 형태 중 일반적으로 직선의 성향을 가장 많이 포함한 부분은 손가락 사이 경계선이지만 손가락 관절로 인해 사실상직선의 길이는 그리 길지 않다.
추출된 점들 중 손 외곽에 위치한 손가락 끝점 및 손 외곽점 그룹과 손가락 사이 점을 분류하기 위해 볼록껍질(Convex Hull) 알고리즘[11]을 적용하였다. 이 알고리즘은 여러 점들의 최외곽의 점들을 연결하는 다각형을 추출할 수 있다.

성능/효과

하지만 본 논문에서 제안하는 알고리즘을 이용한 경우 붙어있는 손가락지점에서 곡률 정보를 통하여 기존 알고리즘에서 손실된 붙어 있는 손가락에 대한 정보를 추출할 수 있다. 그러므로 손가락의 붙어있는 상태 및 펴진 손가락의 개수를 정확하게 추출할 수 있게 되어 본 논문에서 제안하는 알고리즘을 이용할 시 기존 알고리즘이 가지는 제스처 분류에서의 다양성 문제를 해결할 수 있다.
첫 번째로 손 형태를 표현해주는 외곽선을 얻기 위하여 손의 이진화 영상에 스네이크(Active Contour Model) 알고리즘[9]을 적용하여 손의 바깥 외곽선을 얻는다. 두 번째로 손의 형태 중 일반적으로 직선의 성향을 가장 많이 포함한 부분은 손가락 사이 경계선이지만 손가락 관절로 인해 사실상직선의 길이는 그리 길지 않다. 이러한 손이 가지는 특징을 기반으로 영상에서 손의 외곽선 중 굴곡의 변화가 없으면서 가장 길이가 외곽선을 손목선 영역이라 인지한다.
제안하는 알고리즘을 이용하였을 때에는 펴진 손가락의 개수만 추출하였던 기존 알고리즘과는 다르게 펴진 손가락의 개수 및 붙어 있는 손가락을 판별 할 수 있기 때문에 펴진 손가락의 개수가 증가할수록 붙임 상태 또한 증가하여 정의할 수 있는 경우의 수도 기존 알고리즘보다 증가하였다. 이에 따라 펴진 손가락과 붙어 있는 손가락 을 판별 할 수 있는 본 알고리즘을 이용하였을 시제스처 분류에 사용될 수 있는 경우의 수는 총 18가지가 될 수 있음을 확인하였다.
하지만 기존 알고리즘은 단순 펴진 손가락의 개수만을 판단하기 때문에 펴진 손가락의 개수가 총 경우의 수가 되어 총 5가지의 경우의 수로만 분류되었다. 제안하는 알고리즘을 이용하였을 때에는 펴진 손가락의 개수만 추출하였던 기존 알고리즘과는 다르게 펴진 손가락의 개수 및 붙어 있는 손가락을 판별 할 수 있기 때문에 펴진 손가락의 개수가 증가할수록 붙임 상태 또한 증가하여 정의할 수 있는 경우의 수도 기존 알고리즘보다 증가하였다. 이에 따라 펴진 손가락과 붙어 있는 손가락 을 판별 할 수 있는 본 알고리즘을 이용하였을 시제스처 분류에 사용될 수 있는 경우의 수는 총 18가지가 될 수 있음을 확인하였다.
제안한 알고리즘은 컬러모델 기반의 피부색 범위 필터와 레이블링을 통하여 입력 영상에서 손영역을 검출하고, 외곽선 및 특징점과 이를 기반으로 추출한 곡률정보를 이용하여 펴진 손가락의 개수 및 붙여진 손가락의 판별한 특징 정보를 추출 하여 손 제스쳐를 인식한다. 제안한 알고리즘은 인식률 및 프레임 레이트가 기존 알고리즘과 유사하지만, 제스처 분류 시기존 알고리즘 보다 약 4배 많은 경우의 수를 추출할 수 있어 기존보다 훨씬 더 다양한 제스처를 인식할 수 있다는 장점을 가진다.
하지만 붙어있는 손가락이 존재하는 경우(그림 10) 기존 알고리즘은 붙어있는 손가락을 하나의 손가락으로 판별하여 붙어있는 손가락에 대한 정보를 손실한 상태로 펴진 손가락의 개수를 추출하여 부정확한 손가락의 개수를 추출하게 된다. 하지만 본 논문에서 제안하는 알고리즘을 이용한 경우 붙어있는 손가락지점에서 곡률 정보를 통하여 기존 알고리즘에서 손실된 붙어 있는 손가락에 대한 정보를 추출할 수 있다. 그러므로 손가락의 붙어있는 상태 및 펴진 손가락의 개수를 정확하게 추출할 수 있게 되어 본 논문에서 제안하는 알고리즘을 이용할 시 기존 알고리즘이 가지는 제스처 분류에서의 다양성 문제를 해결할 수 있다.
기존 알고리즘은 펴진 손가락을 인식할 때 외곽선의 기울기가 크게 변하는 지점에 대해서만 손가락 정보를 얻기 때문에 펴진 손가락 끝점은 외곽선의 기울기가 크므로 추출되지만 붙어있는 손가락의 끝점은 기울기의 변화하는 크기가 감소하므로 붙어있는 손가락들 중 하나의 손가락의 끝점만 추출 된다. 하지만 제안하는 알고리즘은 펴진 손가락의 끝점을 추출하면서도 외곽선에 대한 곡률 정보를 통하여 붙어있는 손가락에 대한 정보를 추출하여 기존 알고리즘이 가지는 문제점을 보완하여 손가락이 붙어있는 여러 가지 손동작에서도 붙어 있는 상태를 판별하여 특징을 추출할 수 있다는 것을 확인하였다(그림 11).

후속연구

본 알고리즘에 대한 보강 연구 방향으로는 본 알고리즘에서 펴진 손가락의 개수 및 붙여 있는 손가락의 판별에서 더 나아가 추출되어 있는손가락 끝점이 몇 번째 손가락의 끝점인지를 판별할 수 있는 위치 정보까지 추가적으로 검출하여 더욱 다양한 경우의 수를 추출할 수 있는 알고리즘에 대한 연구를 진행할 예정이다.
본 알고리즘은 기존 알고리즘이 가지는 빠른 연산력을 기반으로 소형시스템에 활용 및 일반카메라에 적용할 수 있다는 장점을 가지고 있으며서도 기존보다 약 4배 많은 제스처를 정의할 수 있으므로 스마트 TV와 같은 카메라를 가진 스마트디바이스 분야에서 폭 넓게 활용될 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	특징 추출 단계의 첫 번째 과정은 무엇인가?	특징 추출 단계의 첫 번째 과정에서는 손가락이 붙어있을시 나타나는 특징을 이용하여 붙어 있는 손가락을 판단 하는데 핵심적인 역할을 하는 손가락 사이 경계점 추출하는 과정 이다. 손가락 사이 경계점을 얻기 위해서는 손 외곽 곡률 정보를 추출하고 이를 기반으로 검출한다.
	손 제스처 인식 과정은 어떤 단계로 구성되는가?	이러한 제스처 인식 기술 중 손 제스처 인식 과정은 크게 두 단계로 나뉘어 손가락, 손바닥, 그리고 손의 중심 등과 같은 손의 특징을 추출하는 단계와 추출한 특징을 추적 및 분석 하여 목적 행위로 분류하는 제스처 인식 단계로 구성된다. 이때, 손의 특징을 추출하는 단계에서의 추출되는 특징은 이후 과정인 제스처 인식 단계에서 제스처의 분류 기준이 됨과 함께 제스처의 다양성을 결정하는 핵심적인 역할을 한다.
	손이 가지는 색, 손의 중심 및 손의 외곽정보를 이용하여 손의 특징을 추출하는 방식의 장점은 무엇인가?	영상을 이용하여 손의 특징을 추출하는 기존 연구들의 알고리즘들은 손이 가지는 색, 손의 중심 및 손의 외곽정보를 이용하여 손의 특징을 추출한다[2-5]. 이러한 방식은 빠른 연산을 처리하여 일반 시스템뿐만 아니라 모바일과 같은 소형시스템에도 적용될 수 있다. 그러나 이러한 기존 알고리즘들을 통해 추출되는 특징은 펴진 상태의 손가락 개수에 치중되어 있다.

참고문헌 (12)

S. Mitra and T. Acharya, "Gesture Recognition: A Survey," IEEE Trans. on Systems, Man, and Cybernetics, vol.37, no.3, pp.311-324, May 2007

상세보기
M. Y Na, H. J You and T. Y Kim, "A Vision-based Real-time Hand Pose and Gesture Recognition Method for Smart Device Control", THE JOURNAL OF KOREAN INSTITUTE OF NEXT GENERATION COMPUTING, Vol. 8, No. 4, pp. 27-34, August 2012
H. D Seo, H. R Kim and Y. H Joo, "Feature Extraction of Hand Region Using Center of Gravity", Proceedings of KIIS Fall Conference, Vol. 21, No. 2, pp. 163-164, Korea, November 2011
H. S Jeong and Y. H Joo, "Feature Point Extraction of Hand Region Using Vision", The Transactions of the Korean Institute of Electrical Engineers, Vol. 58, No. 10, pp.2041-2046, October 2009
I. K Choi and J. S Yoo "Hand shape recognition based on geometric feature using the convex-hull", Journal of the Korea Institute of Information and Communication Engineering, Vol. 18, No. 8, pp. 1931-1940, August 2014

원문보기 상세보기
J. H Lee, J. M Kim, S. W Cho, "Information Fusion for Object Detection and Tracking", Proceedings of the IEEK Conference II, pp. 707-708, Korea, November 2007.
M. C Kim and J. H Oh, "Skin Tone Enhancement Based on Human Favorite Skin Color", Proceedings of the IEEK Conference, Vol. 25 No.1, pp. 5-8, Korea, June 2002.
B. R Lee, G. Y Kim, K. K Park and B. E Min, "Comparative Study on Connected Component Labeling",IEIE WorkShop Vol. 9, pp. 86-91, 1997
M. Kass, A. Witkin, D. Terzopoulos, "Snakes: Active contour models", International Journal of Computer Vision, Vol. 1, pp. 321-331, January 1988.

상세보기
D. Douglas, T. Peucker, "Algorithms for the reduction of the number of points required to represent a digitized line or it caricature", Canada. Cartographer, Vol. 10, pp. 111-122, 1973.
S. G. Aki and G. T. Toussaint, "Efficient convex hull algorithms for pattern recognition applications", Int'l Joint Conf. on Pattern Recognition, pp. 483-487, 1978.
G. Borgefors, "Distance transformations in digital images," Computer Vision, Graphics and Image Processing, Vol. 34, pp. 344-371, 1986.

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증