[논문]키넥트를 이용한 손 영역 검출의 정확도 개선

김희애; 이창우

doi:10.6109/jkiice.2014.18.11.2727

키넥트를 이용한 손 영역 검출의 정확도 개선
Detection Accuracy Improvement of Hang Region using Kinect 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.18 no.11, 2014년, pp.2727 - 2732

김희애 (Department of Computer Information Engineering, Kunsan National University) , 이창우 (Department of Computer Information Engineering, Kunsan National University)

초록
AI-Helper

최근 마이크로소프트사의 키넥트(Kinect)를 이용하여 객체를 추적하거나 인식하는 기술에 관한 연구가 활발히 진행되고 있다. 이와 같은 환경에서 손을 검출하고 추적하는 기술은 휴먼-인터페이스 개발의 가장 기본적인 기술이다. 본 논문에서는 키넥트를 이용하여 단색으로 제한되지 않은 환경에서 검출된 손의 경계를 개선하는 방법을 제안한다. 제안된 방법은 키넥트 센서의 깊이영상(Depth Image)에서 추출된 손의 영역과 칼라영상에서 피부색(Skin Color)의 검출 결과를 결합하여 손 영역의 정확도를 개선한다. 제안된 방법으로 손 영역의 검출을 수행한 결과 깊이영상만 사용한 방법 보다 손 영역을 검출하는 정확도를 높일 수 있음을 보였다. 제안된 방법이 수화나 제스처 인식 시스템에 적용된다면 정확도 개선에 많은 기여를 하리라 기대한다.

Abstract ▼ AI-Helper

Recently, the researches of object tracking and recognition using Microsoft's Kinect are being actively studied. In this environment human hand detection and tracking is the most basic technique for human computer interaction. This paper proposes a method of improving the accuracy of the detected hand region's boundary in the cluttered background. To do this, we combine the hand detection results using the skin color with the extracted depth image from Kinect. From the experimental results, we show that the proposed method increase the accuracy of the hand region detection than the method of detecting a hand region with a depth image only. If the proposed method is applied to the sign language or gesture recognition system it is expected to contribute much to accuracy improvement.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서 키넥트의 깊이 센서로 인식한 손의 정확도를 피부색 정보를 결합하여 향상시킬 수 있는 방법을 제안하였다. 깊이영상의 부족한 정보를 컬러영상에서 보충하고, 손 영역의 정확도를 높이기 위한 영역 확장 방법을 제시하였다. 제안된 방법의 다양한 실험 결과는 단순한 배경에서 94.
본 논문에서 키넥트의 깊이 센서로 인식한 손의 정확도를 피부색 정보를 결합하여 향상시킬 수 있는 방법을 제안하였다. 깊이영상의 부족한 정보를 컬러영상에서 보충하고, 손 영역의 정확도를 높이기 위한 영역 확장 방법을 제시하였다.
마이크로소프트사의 키넥트는 깊이정보를 획득하기 위해 레이저 광선을 방출하는 IR 프로젝터와 물체에 반사되어 돌아오는 레이저 광선을 획득하는 IR 센서, 그리고 칼라영상을 획득하기 위한 RGB센서로 구성되어 있다[6]. 본 논문에서는 그림 1에서 보는 바와 같이 키넥트 센서의 입력을 이용하여 손 영역을 검출하고, 보다 정확한 손 영역을 검출하기 위한 영역 확장 방법을 제안한다.
후보 영역 영상은 단순히 깊이영상과 피부색영상을 중첩한 영상이므로 피부색 영역임에도 포함되지 않는 부분이 존재할 수 있다. 본 논문에서는 손 영역 검출의 정확도를 높이기 위하여 깊이영상 또는 피부색영상의 데이터가 유효한 영역의 모든 픽셀을 대상으로 수행한다. 대상 픽셀의 주변 5*5 영역에서 피부색 픽셀이 하나 이상 존재하고, 이 영역의 색 평균이 피부색 모델의 범위 이내라면 해당 픽셀이 피부색일 가능성이 높다고 판단한다.
본 논문에서는 키넥트 센서의 깊이영상과 컬러영상의 피부색 정보를 결합하여 검출된 손 영역의 정확한 경계 도출을 위한 방법을 제안한다. 제안된 논문의 구성은 다음과 같다.

가설 설정

제안된 방법은 먼저 키넥트 장치로부터 칼라영상과 깊이정보를 포함한 깊이영상을 획득한다. 획득된 깊이 영상에서 손 영역의 후보영역을 검출하기 위해 센서에 근접한 최대 영역이 손이라는 가정으로 깊이영상을 이진화한다. 또한 칼라영상으로부터 피부색 모델을 이용하여 손 영역의 후보영역을 검출한다.

제안 방법

키넥트 센서의 근거리모드(Near mode) 를 사용하고 깊이 영상에서는 미리 설정한 반경 이내의 객체를 검출하였다. 검출된 결과는 RGB 카메라와 깊이 센서의 위상 차이에 의해 서로 어긋나 있으므로, OpenNI 라이브러리를 이용하여 보정 과정을 거쳤다. 피부색 모델의 색상 범위는 조명과 주변의 영향을 많이 받기 때문에 그 범위를 동적으로 변경할 수 있도록 하였다.
기준 영상에서 손 영역의 픽셀 수와 제안된 방법에 의한 손 영역에서 검출된 픽셀 수를 구한 후 이 둘의 비율을 계산하였다. 결과는 중첩되는 비율과 중첩되지 않는 범위의 비율로 나뉘는데, 정확하게 검출된 픽셀의 수를 참 긍정(True Positive, TP)이라하고, 중첩되지 않는 영역에서 기준영상의 손 영역임에도 불구하고 실험결과에서 손 영역으로 검출되지 못한 영역의 픽셀 수를 거짓 부정(False Negative, FN)의 결과를 계산하였다. 이와 동시에 기준영상에서 손 영역이 아닌데도 불구하고 실험결과에서 손 영역으로 검출된 영역의 픽셀 수인 거짓 긍정(False Positive, FP)을 계산하였다.
본 실험의 정확도를 판별하기 위하여, 기준영상(Ground Truth Image)을 수작업으로 준비하였다. 기준 영상에서 손 영역의 픽셀 수와 제안된 방법에 의한 손 영역에서 검출된 픽셀 수를 구한 후 이 둘의 비율을 계산하였다. 결과는 중첩되는 비율과 중첩되지 않는 범위의 비율로 나뉘는데, 정확하게 검출된 픽셀의 수를 참 긍정(True Positive, TP)이라하고, 중첩되지 않는 영역에서 기준영상의 손 영역임에도 불구하고 실험결과에서 손 영역으로 검출되지 못한 영역의 픽셀 수를 거짓 부정(False Negative, FN)의 결과를 계산하였다.
표 1에서는 제안된 방법이 다양한 환경에서 실험한 결과를 도시한다. 깊이 정보만을 사용한 경우, 피부색만을 이용한 경우와 제안된 방법에 의한 손 영역 검출의 정확도를 비교한 것이다. 표 1에서 보는 바와 같이 참긍정의 비율은 깊이영상에서 제일 높게 나왔다.
획득된 깊이 영상에서 손 영역의 후보영역을 검출하기 위해 센서에 근접한 최대 영역이 손이라는 가정으로 깊이영상을 이진화한다. 또한 칼라영상으로부터 피부색 모델을 이용하여 손 영역의 후보영역을 검출한다. 이렇게 형성된 두 개의 초기 손 후보 영상을 정합하여 손 영역을 검출한다.
이와 동시에 기준영상에서 손 영역이 아닌데도 불구하고 실험결과에서 손 영역으로 검출된 영역의 픽셀 수인 거짓 긍정(False Positive, FP)을 계산하였다. 또한, 기준영상에서 손영역이 아닌 영역에 대해 실험 결과 영상에서도 손 영역이 아니라고 검출된 참 부정(True Negative, TN)의 값을 계산하였다. 이 수치들을 이용하여 제안된 방법의 검출의 정확도를 계산하기 위해 수식 (1)과 (2)에서와 같이 정확률(Precision Rate)과 재현율(Recall Rate)을 계산하였다.
결과는 중첩되는 비율과 중첩되지 않는 범위의 비율로 나뉘는데, 정확하게 검출된 픽셀의 수를 참 긍정(True Positive, TP)이라하고, 중첩되지 않는 영역에서 기준영상의 손 영역임에도 불구하고 실험결과에서 손 영역으로 검출되지 못한 영역의 픽셀 수를 거짓 부정(False Negative, FN)의 결과를 계산하였다. 이와 동시에 기준영상에서 손 영역이 아닌데도 불구하고 실험결과에서 손 영역으로 검출된 영역의 픽셀 수인 거짓 긍정(False Positive, FP)을 계산하였다. 또한, 기준영상에서 손영역이 아닌 영역에 대해 실험 결과 영상에서도 손 영역이 아니라고 검출된 참 부정(True Negative, TN)의 값을 계산하였다.
제안된 방법은 먼저 키넥트 장치로부터 칼라영상과 깊이정보를 포함한 깊이영상을 획득한다. 획득된 깊이 영상에서 손 영역의 후보영역을 검출하기 위해 센서에 근접한 최대 영역이 손이라는 가정으로 깊이영상을 이진화한다.
9버전의 라이브러리[15]를 이용하였다. 키넥트 센서의 근거리모드(Near mode) 를 사용하고 깊이 영상에서는 미리 설정한 반경 이내의 객체를 검출하였다. 검출된 결과는 RGB 카메라와 깊이 센서의 위상 차이에 의해 서로 어긋나 있으므로, OpenNI 라이브러리를 이용하여 보정 과정을 거쳤다.
검출된 결과는 RGB 카메라와 깊이 센서의 위상 차이에 의해 서로 어긋나 있으므로, OpenNI 라이브러리를 이용하여 보정 과정을 거쳤다. 피부색 모델의 색상 범위는 조명과 주변의 영향을 많이 받기 때문에 그 범위를 동적으로 변경할 수 있도록 하였다.

대상 데이터

1 운영체제와 Visual C++ 2012 컴파일러 환경에서 실험하였다. 마이크로소프트사의 PC버전 키넥트 장치를 이용하여 영상을 획득하였으며 OpenCV 2.4.9버전의 라이브러리[15]를 이용하였다. 키넥트 센서의 근거리모드(Near mode) 를 사용하고 깊이 영상에서는 미리 설정한 반경 이내의 객체를 검출하였다.
본 실험의 정확도를 판별하기 위하여, 기준영상(Ground Truth Image)을 수작업으로 준비하였다. 기준 영상에서 손 영역의 픽셀 수와 제안된 방법에 의한 손 영역에서 검출된 픽셀 수를 구한 후 이 둘의 비율을 계산하였다.
실험을 위해 사용된 시스템은 Intel Core i7 3.4GHz, 16G RAM을 사용하였고, Windows 8.1 운영체제와 Visual C++ 2012 컴파일러 환경에서 실험하였다. 마이크로소프트사의 PC버전 키넥트 장치를 이용하여 영상을 획득하였으며 OpenCV 2.
제안된 방법의 일반성을 확보하기 위해 단순한 배경에서 획득한 영상 250장과 복잡한 배경에서 획득한 실험영상 250장을 대상으로 정확률과 재현율을 측정하였다. 표 1에서는 제안된 방법이 다양한 환경에서 실험한 결과를 도시한다.

데이터처리

또한, 기준영상에서 손영역이 아닌 영역에 대해 실험 결과 영상에서도 손 영역이 아니라고 검출된 참 부정(True Negative, TN)의 값을 계산하였다. 이 수치들을 이용하여 제안된 방법의 검출의 정확도를 계산하기 위해 수식 (1)과 (2)에서와 같이 정확률(Precision Rate)과 재현율(Recall Rate)을 계산하였다.

성능/효과

따라서 깊이영상과 칼라영상 각각에서 손영역을 검출하는 방법은 많은 제약과 오류를 유발시켰다. 그러나 제안된 방법은 그림 7에서 보는 바와 같이 깊이 영상과 칼라영상을 결합하여 참 긍정이 90.2%, 거짓 긍정이 6%만 검출되었다. 그림 8은 다양한 배경환경에서 제안된 방법의 실험결과를 도시하였다.
깊이영상의 부족한 정보를 컬러영상에서 보충하고, 손 영역의 정확도를 높이기 위한 영역 확장 방법을 제시하였다. 제안된 방법의 다양한 실험 결과는 단순한 배경에서 94.1%, 복잡한 배경에서 95.1%의 정확률을 보였다. 제안된 연구의 결과를 수화인식시스템이나 손가락의 모양이 필요한 제스처 인식시스템에 적용한다면 해당 시스템의 성능을 크게 향상시킬 수 있다.
그러나 손이 아닌 영역을 검출한 거짓 긍정률이 상대적으로 높다는 사실을 인지한다면 좋은 결과라 할 수 없다. 제안된 방법이 정확률면에서 많은 향상을 보였다.

후속연구

1%의 정확률을 보였다. 제안된 연구의 결과를 수화인식시스템이나 손가락의 모양이 필요한 제스처 인식시스템에 적용한다면 해당 시스템의 성능을 크게 향상시킬 수 있다. 향후과제로 에지 정보를 결합하여 에지 방향으로 에지의 경계영역까지 손 영역을 확장하는 방법을 고안할 계획이다.
제안된 연구의 결과를 수화인식시스템이나 손가락의 모양이 필요한 제스처 인식시스템에 적용한다면 해당 시스템의 성능을 크게 향상시킬 수 있다. 향후과제로 에지 정보를 결합하여 에지 방향으로 에지의 경계영역까지 손 영역을 확장하는 방법을 고안할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	키넥트에서 활발히 진행되고 있는 연구는 무엇인가?	키넥트는 2010년 마이크로소프트사에서 Xbox 360의 입력장치로 시장에 출시한 제품으로 깊이 맵(Depth Map)을 획득하기 위한 IR 프로젝터와 센서, 그리고, 컬러영상 획득을 위한 RGB 센서로 구성되어있다[6,11,13]. 키넥트는 게임 인터페이스로서의 사용보다 컴퓨터 비전 분야의 수단으로 연구가 활발하게 진행되었으며, 특히 센서의 보정(Calibration)에 관한 연구[7], 모션인식에 관한 연구[8], 삼차원 복원에 관한 연구[9] 등이 활발히 진행되고 있다.
	키넥트는 무엇인가?	키넥트는 2010년 마이크로소프트사에서 Xbox 360의 입력장치로 시장에 출시한 제품으로 깊이 맵(Depth Map)을 획득하기 위한 IR 프로젝터와 센서, 그리고, 컬러영상 획득을 위한 RGB 센서로 구성되어있다[6,11,13]. 키넥트는 게임 인터페이스로서의 사용보다 컴퓨터 비전 분야의 수단으로 연구가 활발하게 진행되었으며, 특히 센서의 보정(Calibration)에 관한 연구[7], 모션인식에 관한 연구[8], 삼차원 복원에 관한 연구[9] 등이 활발히 진행되고 있다.
	인간과 컴퓨터의 하드웨어적 수단으로 제안된 손 영역의 검출과 인식에 관한 연구는 무엇이 있는가?	입력영상으로부터 손 영역의 추출을 위한 소프트웨어적인 수단으로 피부색모델을 이용한 검출 방법[3]이나, 2차원, 혹은 3차원 가상모델[4], 그리고 특징검출에 의한 손 영역 검출방법[5]이 제안되었다. 또한 하드웨어적 수단으로는 마이크로소프트사의 키넥트 센서[6-9]나, 스테레오카메라를 이용한 검출 방법[10-12], 등이 제안되었다.

참고문헌 (15)

H. Park, J. Choi, J. Park, K. Moon, "A Study on Hand Region Detection for Kinect-Based Hand Shape Recognition," Journal of Broadcasting Engineering, vol. 18, no. 3, pp. 393-400, May 2013.

원문보기 상세보기
J. Y. Chang, M. W. Ryu, S. C. Park, "Technology Trends of Range Image Based Gesture Recognition," Electronics and Telecommunications Trends, vol. 29, no. 1, pp. 11-55, Feb. 2014.
S. Bilal, R. Akmeliawati, M. J. E. Salami, A. A. Shafie, and E. M. Bouhabba, "A hybrid method using haar-like and skin-color algorithm for hand posture detection, recognition and tracking," in Proceeding of the International Conference on Mechatronics and Automation, pp. 934-939, 2010.
S. Park, S. Yu, J. Kim, S. Kim, and S. Lee, "3D hand tracking using Kalman filter in depth space," EURASIP Journal on Advances in Signal Processing, vol. 36, pp. 1- 18, 2012.
J. Kim, J. Baek, E. Kim, "A part-based rotational invariant hand detection," in Proceeding of the 2013 International Conference on Fuzzy Theory and Its Applications, pp. 127-129, 2013.
Wikipedia Onlind Documentation [Internet]. Available: http://en.wikipedia.org/wike/Kinect.
K. Berger, K. Ruhl, C. Brummer, Y. Schroder, A. Scholz, and M. Magnor, "Markerless motion capture using multiple color-depth sensors," In Proceding of the Vision, Modeling and Visualization(VMV) 2001, pp. 317-324, 2011.
T. Dutta, "Evaluation of the Kinect sensor for 3-d kinematic measurement in the workplace," Applied Ergonomics, 2011.
T. Stoyanov, A. Louloudi, H. Andreasson, and A. J. Lilienthal, "Comparative evaluation of range sensor accuracy in indoor environments," Proceedings of the European Conference on Mobile Robots (ECMR), Sweden, pp. 7-9, September 2011.
J. P. Wachs, M. Ko？lsch, H. Stern, and Y. Edan, "Visionbased hand-gesture applications," Communications of the ACM, vol. 54, pp. 60-71, 2011.

상세보기
A. Conci, E. Nunes, J. J. Pantrigo, A. Sanchez, "Comparing color and texture-based algorithms for human skin detection", Computer Interaction, vol. 5, pp. 168-173, 2008.
V. A. Oliveira, A. Conci, "Skin Detection using HSV color space," In: Sibgrapi, No. 12, 2009.
K. Khoshelhan and S. O. Elberink, "Accuracy and resolution of kinect depth data for indoor mapping applications, " Sensor, vol. 12, no. 2, pp. 1437-1454, Feb. 2012.

상세보기
OpenNI Online Documentation [Internet]. Available: http://www.openni.org/
OpenCV Online Documentation [Internet]. Available: http://opencv.org/

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증