[논문]Convex-hull을 이용한 기하학적 특징 기반의 손 모양 인식 기법

최인규; 유지상

doi:10.6109/jkiice.2014.18.8.1931

Convex-hull을 이용한 기하학적 특징 기반의 손 모양 인식 기법
Hand shape recognition based on geometric feature using the convex-hull 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.18 no.8, 2014년, pp.1931 - 1940

최인규 (Department of Electronic Engineering, Kwangwoon University) , 유지상 (Department of Electronic Engineering, Kwangwoon University)

초록
AI-Helper

x본 논문에서는 키넥트(Kinect) 시스템에서 획득한 깊이 영상으로부터 convex-hull을 이용한 기하학적 특징 기반의 손 모양 인식 기법을 제안한다. 키넥트 시스템은 깊이 영상과 사용자의 골격 정보를 제공하는 카메라로 손 영역 검출에 유용하게 활용할 수 있다. 제안하는 기법에서는 키넥트로 획득한 깊이 영상에서 손 영역을 검출하고, 이 손 영역의 convex-hull을 구한다. 손 모양에 따라서 변하는 convex-hull에서 잡음으로 생긴 경계점 및 인식에 불필요한 경계점을 일련의 기법을 통해 제거한다. 추려진 경계점을 통해 재구성된 convex-hull을 특정 다각형으로 판단하고, 이 다각형의 내각의 합을 이용하여 손 모양을 인식하게 된다. 실험을 통해 제안하는 기법이 인식하고자 하는 모델에 대하여 높은 인식률을 보여준다는 것을 확인하였고, 단순히 특정 방향으로 고정된 손 모양뿐만 아니라 같은 모양이나 방향이 틀어진 손 모양에 대해서도 우수한 인식 성능을 확인하였다.

Abstract ▼ AI-Helper

In this paper, we propose a new hand shape recognition algorithm based on the geometric features using the convex-hull from the depth image acquired by Kinect system. Kinect is a camera providing a depth image and user's skeleton information and used for detecting hand region. In the proposed algorithm, hand region is detected in a depth image acquired by Kinect and convex-hull of the region is found. Boundary points caused by noise and unnecessary points for recognition are eliminated in the convex-hull that changes depending on hand shape. Hand shape is recognized by the sum of internal angle of a polygon that is matched with convex-hull reconstructed with selected boundary points. Through experiments, we confirm that proposed algorithm shows high recognition rate not only for five models but also those cases rotated.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 컬러 영상의 불안정성을 해결하기 위해 깊이 영상을 이용하고 convex-hull을 이용하여 손 모양의 기하학적 특징에 따른 내각의 합을 통하여 손 모양을 구분 및 인식하는 기법을 제안한다. 깊이 영상을 획득하기 위한 카메라로 저가이면서도 비교적 양질의 깊이 영상을 제공하는 키넥트(Kinect)를 사용한다.
본 논문에서는 키넥트(Kinect)에서 획득한 깊이 영상에서 검출한 손 영역에 대해 convex-hull이란 수학적 개념을 사용하여 손 모양을 인식하는 기법을 제안하였다. 컬러 영상에 비해 잡음에 덜 민감한 깊이 영상을 이용하여 주변 환경에 구애받지 않을 수 있었으며[7] 손 모양 그 자체가 나타내는 형태를 특정 다각형에 대응시키고 일정한 내각의 합이라는 다각형 성질을 이용하여 축이 틀어진 손 모양에 대해서도 인식이 가능함을 확인할 수 있었다.

제안 방법

펼친 손가락 수에 따라 1~5번 모델로 정의하고 이에 맞게 손 모양을 취한 손 영역의 convex-hull이 그림 5(b)이다. 각 모델마다 convex-hull의 모양이 다르기 때문에 이를 활용하여 손 모양을 구분하고 인식하고자 한다.
검출한 손 영역의 경계점을 구하기 위해서 손 영역의 convex-hull을 구한다. 어떤 객체 O가 convex하다는 것은 객체 O에 속하는 임의의 두 점을 잇는 선분상의 모든 점들이 객체 내에 포함되어 있는 것을 말한다.
실시간 스트림의 해상도 640x480의 깊이 영상을 사용하고 손 영역 검출을 위한 손 위치는 키넥트에서 80~100(cm) 떨어진 거리로 하였다. 다섯 명의 인원으로 평범한 연구실 환경에서 실험을 실시하였고 각각의 인원은 모델 당 100 프레임, 즉 개인별 500프레임의 영상에서 손 모양 인식을 측정하였고 좌, 우로 축을 틀어가면서 진행하였다. 또한 3.
또한 3.2절에서 불필요한 convex-hull 경계점을 제거하기 위한 임계값 lth와 θth을 두었는데 실험데이터를 통하여 80~100(cm) 거리에서는 lth - 20, θth - 160의 값이 적합한 조건임을 찾고 실험을 진행하였다.
컬러 영상에 비해 잡음에 덜 민감한 깊이 영상을 이용하여 주변 환경에 구애받지 않을 수 있었으며[7] 손 모양 그 자체가 나타내는 형태를 특정 다각형에 대응시키고 일정한 내각의 합이라는 다각형 성질을 이용하여 축이 틀어진 손 모양에 대해서도 인식이 가능함을 확인할 수 있었다. 또한 제안하는 기법은 실시간으로 손 모양 인식이 가능하다.
기존 기법 1은 컬러 영상 기반의 손 모양 인식 방법이고[5] 기존 기법 2는 손 모양의 기하학적 특징을 이용하고 더불어 손가락 끝에서의 기울기 특성으로 손 모양을 인식한다[6]. 여기서는 본 논문에서 인식하고자 하는 모델과 동일하거나 거의 비슷한 convex-hull을 나타내는 손 모델과 비교하였다. 기존 기법 3은 피부색을 이용하여 손 영역을 검출하고 무게중심을 원점으로 하는 원을 그려 원에 걸치는 손가락 개수를 세어 손 모양을 인식하는 방법이다[1].
제안하는 기법은 깊이 영상에서 검출한 손 영역의 convex-hull을 구하고 손 모양에 따라 달라지는 convexhull에서 제안하는 기법을 통해 각 모델별 최적의 경계점을 구한 뒤 이를 꼭지점으로 하는 다각형의 내각의 합을 통해 손 모양을 인식한다. 기존 기법들과 비교했을 때 인식률이 떨어지는 모델도 있지만 전체적인 인식률을 보았을 때 제안하는 기법의 성능이 더 뛰어나다는 것을 알 수 있다.
손의 축이 앞, 뒤로 꺾어지는 여부에 대해서는 깊이 영상에서 손 영역을 검출하게 되면 모델과 매우 상이한 형태를 지니기 때문에 고려하지 않았다. 제안하는 기법이 convex-hull을 이용하여 내각의 합을 통해 손 모델들을 구분하는 방법인데 convex-hull과 내각의 크기가 손의 방향에 영향을 받지 않는 요소이기 때문에 비슷한 결과를 가질 것을 예상할 수 있다.

대상 데이터

키넥트(Kinect)는 구조광(Structured light)인 적외선이 입체 표면에 조사될 때 입체의 굴곡에 따라 일그러지는 모양을 보고 깊이를 산출하는 방법을 이용하여 깊이 영상을 제공한다. 그리고 인간의 골격을 뼈대와 이를 잇는 관절로 이루어진 형태로 받아들이고 20개의 관절에 해당하는 위치 정보 또한 제공한다. 깊이 정보와 손 중심에 해당하는 점의 2차원 좌표를 이용하면 손 영역을 간단히 검출할 수 있다.
본 논문에서는 3장에서 제시된 1~5번 모델의 손 모양 인식 방법의 성능을 비교, 분석하기 위하여 키넥트(Kinect) 시스템에서 제공하는 깊이 영상을 실험 영상으로 사용한다. 또한 보다 수월한 손 영역 검출을 위하여 Kinect for Windows SDK v1.

이론/모형

본 논문에서는 컬러 영상의 불안정성을 해결하기 위해 깊이 영상을 이용하고 convex-hull을 이용하여 손 모양의 기하학적 특징에 따른 내각의 합을 통하여 손 모양을 구분 및 인식하는 기법을 제안한다. 깊이 영상을 획득하기 위한 카메라로 저가이면서도 비교적 양질의 깊이 영상을 제공하는 키넥트(Kinect)를 사용한다. 키넥트는 컬러 영상도 함께 제공하므로 하이브리드 기법에 적용되는 카메라이기도 하다.
깊이 영상은 적외선이 입체 표면에 조사될 때 입체의 굴곡에 따라 일그러지는 모양을 보고 깊이를 산출한 결과로써 컬러 영상에 비해 주변 환경에 강인하기 때문에 손 영역 검출에 유리하다. 본 논문에서는 손 모양 인식을 위해 convex-hull이라는 수학적 개념을 이용한다. Convex-hull은 객체의 외곽점의 집합인데 깊이 영상의 흔들림 효과로 인해 생긴 외곽점과 불필요한 외곽점을 일련의 기법을 거쳐 제거하고 추려진 외곽점을 직선으로 이어 그리면 임의의 다각형이 된다.

성능/효과

그리고 평균 프레임당 처리시간이 31ms로 실시간 동작이 가능함을 알 수 있다.
제안하는 기법은 깊이 영상에서 검출한 손 영역의 convex-hull을 구하고 손 모양에 따라 달라지는 convexhull에서 제안하는 기법을 통해 각 모델별 최적의 경계점을 구한 뒤 이를 꼭지점으로 하는 다각형의 내각의 합을 통해 손 모양을 인식한다. 기존 기법들과 비교했을 때 인식률이 떨어지는 모델도 있지만 전체적인 인식률을 보았을 때 제안하는 기법의 성능이 더 뛰어나다는 것을 알 수 있다. 특히 기존 기법 3과 비교하면 깊이 영상을 이용해서 잡음에 더 강인하고 손의 축이 좌, 우로 틀어지는 경우에도 인식이 가능하기 때문에 환경이나 손 모양 상태에 제한 없이 좀 더 안정적인 결과를 얻을 수 있음을 알 수 있다.
예상했던 것처럼 1번 모델의 경우 최상단의 내각이 60º 미만이고 2번 모델의 경우 80º ~ 100º 사이이며 3~5번 모델의 경우 110º와 140º 사이의 둔각이 되는 것을 확인할 수 있다.
본 논문에서는 키넥트(Kinect)에서 획득한 깊이 영상에서 검출한 손 영역에 대해 convex-hull이란 수학적 개념을 사용하여 손 모양을 인식하는 기법을 제안하였다. 컬러 영상에 비해 잡음에 덜 민감한 깊이 영상을 이용하여 주변 환경에 구애받지 않을 수 있었으며[7] 손 모양 그 자체가 나타내는 형태를 특정 다각형에 대응시키고 일정한 내각의 합이라는 다각형 성질을 이용하여 축이 틀어진 손 모양에 대해서도 인식이 가능함을 확인할 수 있었다. 또한 제안하는 기법은 실시간으로 손 모양 인식이 가능하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	컴퓨터와 인간의 상호작용 중 다양한 손동작 및 손모양 인식 기술들에는 무엇이 있는가?	피부색을 이용하여 손 영역을 검출하고 무게중심을 원점으로 하는 원을 그려 원에 걸치는 손가락 개수를 세어 손 모양을 인식하기도 하고[1], 손 모양에 관한 영상의 데이터베이스를 만들어 두고 템플릿 매칭을 이용하거나 주성분 분석 방법을 통하여 손 모양을 인식하기도 하며[2, 3], HOG(Histogram of oriented gradient)를 활용하여 팔과 손의 방향 각도를 추정하여 손을 검출하기도 한다[4]. 그러나 기존 방법들은 컬러 영상을 많이 활용하기 때문에 조명 등 주변 환경에 영향을 많이 받아 손 모양 인식을 위한 안정된 조건을 갖추는데 많은 제약이 따른다.
	키넥트 시스템은 어디에 활용되는가?	x본 논문에서는 키넥트(Kinect) 시스템에서 획득한 깊이 영상으로부터 convex-hull을 이용한 기하학적 특징 기반의 손 모양 인식 기법을 제안한다. 키넥트 시스템은 깊이 영상과 사용자의 골격 정보를 제공하는 카메라로 손 영역 검출에 유용하게 활용할 수 있다. 제안하는 기법에서는 키넥트로 획득한 깊이 영상에서 손 영역을 검출하고, 이 손 영역의 convex-hull을 구한다.
	손은 어떤 기관인가?	손은 인간이 실생활에서 가장 많이 사용하는 기관이다. 물건을 집거나 키보드를 치는 등 물리적인 수단으로만 사용하는 것이 아니라 인사를 할 때 흔드는 것 같은 의미적인 수단으로도 쓰인다.

참고문헌 (7)

M. G. Hwang, H. R. Kim, S. B. Kang and T. K. Yang, "Vision Based Real-time Hand Shape Recognition Using Fuzzy Inference", Journal of Korean Institute of Information Technology, vol. 6, no. 2, pp. 53-59, April 2008.
H. C. Kim, M. S. Park, J. M. Park and S. R. Oh, "Hand Gesture Recognition System with Kinect Camera", 2012 Conference on Information and Control Systems, pp. 165-166, April 2012.
E. Yoruk, E. Konukoglu, B. Sankur, and J. Darbon, "Shape-Based Hand Recognition", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 15, no. 7, pp. 1803-1815, July 2006.

상세보기
J. B. Baek, J. S. Kim, C. Y. Yoon, D. Y. Kim and E. T. Kim, "Part-based Hand Detection Using HOG", Journal of Korean Institute of Intelligent Systems, vol. 23, no. 6, pp. 551-557, Dec. 2013.

원문보기 상세보기
H. H. Park, J. Y. Choi, J. I. Park, andK. S. Moon, "A study on Hand Region Detection for Kinect-Based Hand Shape Recognition", The Korean Society of Broadcast Engineers, vol. 18, no. 3, pp. 393-400, May 2013.

원문보기 상세보기
Yi Li, "Hand gesture recognition using kinect," software Engineering and Service Science (ICSESS), 2012 IEEE 3rd International Conference on, pp. 196-199, June 2012.
I. K. Choi and J. S. Yoo, "Hand shape recognition using the convex-hull of depth image", 2014 Conference on The Korean Institute of Communications and Information Sciences, pp. 385-386, Jan. 2014.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증