본 논문에서는 깊이 영상만을 이용하여 손 영역 추적 및 손 끝점 검출 방법을 제안한다. 조명 조건의 영향을 제거하고 빠르고 안정적인 정보 획득을 위해 깊이 정보만을 이용하는 추적 방법을 제안하고, 영역 확장 방법을 통해 추적 과정 중에 발생할 수 있는 오류에 대한 판단 방법과 다양한 제스처 인식에 응용이 가능한 손 끝점 검출 방법을 제안한다. 먼저 추적점을 찾기 위해 중심점 전이 과정을 통해 최근접점을 찾고 그 점으로부터 영역 확장을 통해 손 영역과 경계선을 검출한다. 그리고 영역 확장을 통해 획득한 무효경계선의 비율을 이용하여 추적영역에 대한 신뢰도를 계산함으로써 정상 추적 여부를 판단한다. 정상적인 추적인 경우, 검출된 손 영역으로부터 윤곽선을 추출하고 곡률 및 RANSAC, 컨벡스 헐(Convex-Hull)을 이용하여 손 끝점을 검출한다. 마지막으로 성능 검증을 위해 다양한 상황에 따른 정량적, 정성적 분석을 통해 제안하는 추적 및 손 끝점 검출 알고리즘의 효율성을 입증한다.
본 논문에서는 깊이 영상만을 이용하여 손 영역 추적 및 손 끝점 검출 방법을 제안한다. 조명 조건의 영향을 제거하고 빠르고 안정적인 정보 획득을 위해 깊이 정보만을 이용하는 추적 방법을 제안하고, 영역 확장 방법을 통해 추적 과정 중에 발생할 수 있는 오류에 대한 판단 방법과 다양한 제스처 인식에 응용이 가능한 손 끝점 검출 방법을 제안한다. 먼저 추적점을 찾기 위해 중심점 전이 과정을 통해 최근접점을 찾고 그 점으로부터 영역 확장을 통해 손 영역과 경계선을 검출한다. 그리고 영역 확장을 통해 획득한 무효경계선의 비율을 이용하여 추적영역에 대한 신뢰도를 계산함으로써 정상 추적 여부를 판단한다. 정상적인 추적인 경우, 검출된 손 영역으로부터 윤곽선을 추출하고 곡률 및 RANSAC, 컨벡스 헐(Convex-Hull)을 이용하여 손 끝점을 검출한다. 마지막으로 성능 검증을 위해 다양한 상황에 따른 정량적, 정성적 분석을 통해 제안하는 추적 및 손 끝점 검출 알고리즘의 효율성을 입증한다.
This paper proposes a method of tracking the hand region and detecting the fingertip using only depth images. In order to eliminate the influence of lighting conditions and obtain information quickly and stably, this paper proposes a tracking method that relies only on depth information, as well as ...
This paper proposes a method of tracking the hand region and detecting the fingertip using only depth images. In order to eliminate the influence of lighting conditions and obtain information quickly and stably, this paper proposes a tracking method that relies only on depth information, as well as a method of using region growing to identify errors that can occur during the tracking process and a method of detecting the fingertip that can be applied for the recognition of various gestures. First, the closest point of approach is identified through the process of transferring the center point in order to locate the tracking point, and the region is grown from that point to detect the hand region and boundary line. Next, the ratio of the invalid boundary, obtained by means of region growing, is used to calculate the validity of the tracking region and thereby judge whether the tracking is normal. If tracking is normal, the contour line is extracted from the detected hand region and the curvature and RANSAC and Convex-Hull are used to detect the fingertip. Lastly, quantitative and qualitative analyses are performed to verify the performance in various situations and prove the efficiency of the proposed algorithm for tracking and detecting the fingertip.
This paper proposes a method of tracking the hand region and detecting the fingertip using only depth images. In order to eliminate the influence of lighting conditions and obtain information quickly and stably, this paper proposes a tracking method that relies only on depth information, as well as a method of using region growing to identify errors that can occur during the tracking process and a method of detecting the fingertip that can be applied for the recognition of various gestures. First, the closest point of approach is identified through the process of transferring the center point in order to locate the tracking point, and the region is grown from that point to detect the hand region and boundary line. Next, the ratio of the invalid boundary, obtained by means of region growing, is used to calculate the validity of the tracking region and thereby judge whether the tracking is normal. If tracking is normal, the contour line is extracted from the detected hand region and the curvature and RANSAC and Convex-Hull are used to detect the fingertip. Lastly, quantitative and qualitative analyses are performed to verify the performance in various situations and prove the efficiency of the proposed algorithm for tracking and detecting the fingertip.
DAM-Shift는 평균이동기법(Mean-Shift)과 유사하나 깊이 값에 따라 커널 크기를 적응적으로 변화시켜 개선한 알고리즘이다. DAM-Shift를 수행하기 위해서는 초기 위치와 조건이 필요하다.
DAM-Shift의 커널 크기는 무엇을 학습하여 사용하는가?
초기 위치는 이전 단계에서 구한 최근접점이 되며, 입력 경계선은 영역 확장 과정에서 획득한 유효경계 선만을 이용한다. 또한 커널 크기는 사전에 깊이에 따른 커널크기를 2차 선형 모델로 학습하여 사용한다. [그림 4]는 DAM-Shift 수행 결과를 보여준다.
제스처 인식의 종류는 어떻게 분류할 수 있는가?
그리고 궤적은 시간정보에 따른 이동 좌표의 나열이므로 추적과정 또한 필수적으로 필요하다. 또한 제스처 인식의 종류는 크게 정적 제스처(Static Pose), 동적 제스처(Dynamic Gesture)로 분류할 수 있다. 정적 제스처의 경우에는 손의 모양, 형태 정보를 이용하여 사용자와 인터렉션을 하는 방법이며, 정적 제스처는 손의 움직임에 따른 궤적 정보의 조합을 통해 인터렉션하는 방법이다.
참고문헌 (10)
D.H Lee and S.G Lee, "Vision-Based Finger Action Recognition by Angle Detection and Contour Analysis", ETRI Journal, vol 33, no 3, pp. 415-422, June 2011.
A. Ramamoorthy, N. Vaswani, S. Chaudhury and S. Banerjee, "Recongition of dynamic hand gestures", Pattern Recognition, vol. 36, no. 9, pp. 2069-2081, September 2003.
B.M. Kim, J.W. Kim, K.H. Lee, "An Application of Adaboost Learning Algorithm and Kalman Filter to Hand Detection and Tracking", The journal of KSCI, vol 10, no 4, pp. 47-56, September 2005.
M. Van den Bergh, and L. Van Gool,"Combining RGB and ToF Cameras for Real-time 3D Hand Gesture Interaction", 2011 IEEE Workshop on Application of Computer Vision (WACV), pp. 66-72, January 2011.
P. Trindade, J. Lobo and J. P. Barreto, "Hand gesture recognition using color and depth images enhanced with hand angular pose data", IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI), pp. 71-76, September 2012.
P. Suryanarayan, A. Subramanian, and D. Mandalapu, "Dynamic Hand Pose Recognition using Depth Data", In 2010 International Conference on Pattern Recognition, pp. 3105-3108, August 2010.
X. Liu and K. Fujimura, "Hand gesture recognition using depth data", Proc. 6th.International Conf. on Automatic Face and Gesture Recognition, pp. 529 - 534, May 2004.
M. A. Fischler, R. C. Bolles. "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography". Comm. of the ACM, Vol 24, pp 381-395, March 1980.
S.I Joo, S.H Weon, H.I Choi, "Real-time Hand Region Detection and Tracking using Depth Information", KIPS Transactions on Software and Data Engineering, vol 1, no 3, pp. 177-186, December 2012.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.