본 논문에서는 사용자의 손가락 제스쳐를 인식하여 증강현실(Augmented Reality) 환경에서 3D 객체를 조작하기 위한 핸드-제스쳐 인터페이스를 구현한다. 구현된 핸드-제스쳐 인터페이스는 입력된 실 영상으로부터 손 영역을 추출하고, 사용자의 핸드 제스쳐에 의한 핸드 마커에 의해서 증강 객체를 생성한다. 그리고 사용자 제스쳐에 상응하는 3D 객체 조작은 손 영역의 면적 비율, 손가락 개수, 손 영역 중심점의 변화 등의 상관 관계를 분석하여 수행한다. 구현된 증강현실 3D 객체 조작 인터페이스의 성능 평가를 위해서는 OpenGL로 3D 객체를 제작하고, OpenCV 라이브러리를 기반으로 C++언어를 사용하여 핸드 마커 및 제스쳐 인식의 모든 처리 과정을 구현하였다. 그 결과, 각 사용자 핸드-제스쳐 명령-모드별 평균 인식률이 90%이상으로 성공적인 인터페이스 기능을 보였다.
본 논문에서는 사용자의 손가락 제스쳐를 인식하여 증강현실(Augmented Reality) 환경에서 3D 객체를 조작하기 위한 핸드-제스쳐 인터페이스를 구현한다. 구현된 핸드-제스쳐 인터페이스는 입력된 실 영상으로부터 손 영역을 추출하고, 사용자의 핸드 제스쳐에 의한 핸드 마커에 의해서 증강 객체를 생성한다. 그리고 사용자 제스쳐에 상응하는 3D 객체 조작은 손 영역의 면적 비율, 손가락 개수, 손 영역 중심점의 변화 등의 상관 관계를 분석하여 수행한다. 구현된 증강현실 3D 객체 조작 인터페이스의 성능 평가를 위해서는 OpenGL로 3D 객체를 제작하고, OpenCV 라이브러리를 기반으로 C++언어를 사용하여 핸드 마커 및 제스쳐 인식의 모든 처리 과정을 구현하였다. 그 결과, 각 사용자 핸드-제스쳐 명령-모드별 평균 인식률이 90%이상으로 성공적인 인터페이스 기능을 보였다.
A hand-gesture interface to manipulate a 3D object of augmented reality is implemented by recognizing the user hand-gesture in this paper. Proposed method extracts the hand region from real image, and creates augmented object by hand marker recognized user hand-gesture. Also, 3D object manipulation ...
A hand-gesture interface to manipulate a 3D object of augmented reality is implemented by recognizing the user hand-gesture in this paper. Proposed method extracts the hand region from real image, and creates augmented object by hand marker recognized user hand-gesture. Also, 3D object manipulation corresponding to user hand-gesture is performed by analyzing a hand region ratio, a numbet of finger and a variation ratio of hand region center. In order to evaluate the performance of the our proposed method, after making a 3D object by using the OpenGL library, all processing tasks are implemented by using the Intel OpenCV library and C++ language. As a result, the proposed method showed the average 90% recognition ratio by the user command-modes successfully.
A hand-gesture interface to manipulate a 3D object of augmented reality is implemented by recognizing the user hand-gesture in this paper. Proposed method extracts the hand region from real image, and creates augmented object by hand marker recognized user hand-gesture. Also, 3D object manipulation corresponding to user hand-gesture is performed by analyzing a hand region ratio, a numbet of finger and a variation ratio of hand region center. In order to evaluate the performance of the our proposed method, after making a 3D object by using the OpenGL library, all processing tasks are implemented by using the Intel OpenCV library and C++ language. As a result, the proposed method showed the average 90% recognition ratio by the user command-modes successfully.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그러나 지금까지의 증강현실은 단순히 마커를 인식하여 해당하는 증강된 가상의 객체를 가시화하여 보여주는 것이 대부분으로 사용자와의 인터페이스에 관한 연구는 미흡한 실정이다. 따라서 본 논문에서는 사용자의 핸드-제스쳐를 인식하여 증강현실 환경에서 3D 객체를 생성하고 조작하는 인터페이스를 구현한다.
그러나 YCbCr 컬러모델로부터의 영상은 손 영역의 축소와 함께 주변의 많은 영역에서의 잡음 감소의 효과를 보이고 있다. 따라서 본 논문에서는 손 영역 전체보다는 단서 영역의 획득만을 목적으로 YCbCr 컬러모델의 결과를 이용하여 손 영역 이외의 잡음 제거를 수행한다.
본 논문에서는 증강현실 환경에서 3D 객체 조작을 위한 핸드-제스쳐 인터페이스를 구현하였다. 구현된 핸드-제스쳐 인터페이스는 핸드 마커를 이용하여 별도의 마커 인식 과정이 불필요하며, 실시간으로 변화하는 사용자 제스쳐의 위치, 크기, 실제 손 영역 점유 비율 변화과 손가락 개수를 인식 특징으로 사용하였다.
가설 설정
그림 4는 핸드-제스쳐 형태에 따른 실제 손 영역 비율 HAR( · )의 차이를 나타내는 그림으로서 본 논문에서 사용되는 사용자 명령어인 손가락을 다 오므린 주먹모양(a)와 손가락을 전부 핀 모양 (b)의 손 영역 비율이 다름을 예상할 수 있다.
는 3D 객체가 생성되어진 상태에서 3D 객체가 손 중심의 위쪽을 따라 이동하는 상태로서 손가락의 개수가 한 개일 때의 상태를 나타내며 (c)에서 (d)까지 객체가 이동한다. 또한 손가락의 개수가 한 개가 아니라면 3D객체는 그 자리에 멈추며 사용자의 명령을 기다린다.
제안 방법
본 논문에서는 증강현실 환경에서 3D 객체 조작을 위한 핸드-제스쳐 인터페이스를 구현하였다. 구현된 핸드-제스쳐 인터페이스는 핸드 마커를 이용하여 별도의 마커 인식 과정이 불필요하며, 실시간으로 변화하는 사용자 제스쳐의 위치, 크기, 실제 손 영역 점유 비율 변화과 손가락 개수를 인식 특징으로 사용하였다.
구현하는 핸드-제스쳐 기반의 인터페이스는 핸드 마커를 사용하며, 사용자 핸드-제스쳐 변화에 따른 이동, 크기, 모양 등의 변화 정도를 상관 분석하여 사용자 명령에 따라서 3D 가상 객체를 움직이는 인터페이스를 구현한다. 그리고 구현된 핸드-제스쳐 인터페이스는 증강 현실 환경에서 시뮬레이션하여 그 적용의 유효성과 효율성을 보인다.
손 영역이 추출된 후에는 분할된 손 영역의 위치, 크기, MBR 대비 실제 손 영역 점유 비율 변화와 손가락 개수 등의 특징을 분석하여 사용자 핸드-제스쳐를 분류한다. 그리고 본 논문에서 사용자 인터페스로 사용되는 핸드-제스쳐 명령은 핸드 마커를 포함하여 다섯 가지로 분류되어 사용된다.
를 기반으로 MS Windows 환경 하에서 C++ 언어를 사용하여 각 처리 단계를 구현하였다. 그리고 증강현실을 위한 3D 객체는 OpenGL을 이용하여 제작하였다.
본 논문에서 구현하는 핸드-제스쳐 인터페이스는 손영역 추출과 제스쳐 분류를 위한 핸드-제스쳐 특징 추출 및 인식의 두 과정으로 구성된다.
본 논문에서 구현한 증강현실 3D 객체 조작을 위한 핸드-제스쳐 인터페이스의 성능평가를 위해서 Intel社의 컴퓨터비전 라이브러리인 OpenCV[5]를 기반으로 MS Windows 환경 하에서 C++ 언어를 사용하여 각 처리 단계를 구현하였다. 그리고 증강현실을 위한 3D 객체는 OpenGL을 이용하여 제작하였다.
성능평가 방법으로는 그림 8과 같은 테스트 프로그램을 제작하여 각 핸드-제스쳐 명령 형태에 따른 인식률을 측정하였다. 그 결과 표 1과 같이 사용자 명령의 형태에 따라서 차이는 보이고 있으나, 평균 90%의 인식률을 나타냄으로써 3D 객체 조작 인터페이스로서 성공적인 기능을 보였다
손 영역 분할을 위해서는 RGB 칼라모델의 입력 영상으로부터 주의 밝기의 영향을 감소시킬 수 있는 YCbCr 컬러모델로 변환하여 적용한다.
손 영역이 추출된 후에는 분할된 손 영역의 위치, 크기, MBR 대비 실제 손 영역 점유 비율 변화와 손가락 개수 등의 특징을 분석하여 사용자 핸드-제스쳐를 분류한다. 그리고 본 논문에서 사용자 인터페스로 사용되는 핸드-제스쳐 명령은 핸드 마커를 포함하여 다섯 가지로 분류되어 사용된다.
대상 데이터
핸드-제스쳐 입력 장치로는 일반적으로 사용되는 저가의 웹캠으로 영상의 크기는 640x480 화소이다. 실험에서 실제 사용된 임계값으로 3D 객체를 생성하기 위한 기준 손 영역 크기는 100x100 화소이고, 3D 객체를 생성, 확대, 축소, 숨기기 위한 기준 손 영역 비율은 55%로 설정하였다. 그리고 3D 객체를 회전 조작하기 위한 기준 변화도는 250 화소이며 차영상 화소 값의 기준 값은 1000화소이다.
성능/효과
성능평가 방법으로는 그림 8과 같은 테스트 프로그램을 제작하여 각 핸드-제스쳐 명령 형태에 따른 인식률을 측정하였다. 그 결과 표 1과 같이 사용자 명령의 형태에 따라서 차이는 보이고 있으나, 평균 90%의 인식률을 나타냄으로써 3D 객체 조작 인터페이스로서 성공적인 기능을 보였다
후속연구
향후 영상의 가변적 입력 환경에 대한 문제점 개선과 적용되는 시스템의 사용자, 사용처, 지원하는 핸드-제스쳐 형태에 따른 최적화 설계 솔루션이 제공된다면, 현재 시작되고 있는 5G 이동통신 시대에서 실시간으로 현실에 가까운 실감 환경을 제공하는 AR, VR 서비스에 다양한 활용이 가능할 것으로 기대된다.
참고문헌 (11)
M. S. Jang and W. B. Lee, "Implementation of Hand-Gesture Interface for the Character Manipulation in the Augmented Reality", Proceedings of the Institute of Signal Processing and Systems Summer Conference, Vol. 14(1), pp. 73-74, 2013.
M. H. Kim, et al. "Trends on 5G Communications", Information and communications magazine, Vol. 32(09-1), pp. 46-54, 2015.
M. S. Jang and W. B. Lee, "Implement of Finger-Gesture Remote Controller using the Moving Direction Recognition of Single Shape", The Journal of The IIBC, Vol. 13(4), pp. 91-97, Aug. 2013.
R. M. Haralick, et al, "Image analysis using mathematical morphology", IEEE Transactions on Pattern Analysis and Machine Intelligence 9(4), pp. 532-550, 1987.
Intel. Open source computer vision library: Reference manual.
R. Z. Khan and N. A. Ibraheem, "Survey on Gesture Recognition for Hand Image Posture", Computer and Information Science Vol. 5(3), pp. 110-121, 2012.
S. Mitra and T. Acharya, "Gesture Recognition: A Survey", IEEE Trans. on SMC Vol. 37(3), pp. 311-324, 2007.
Hasan, M. M., Mishra, P. K. "Brightness factor matching for gesture recognition system using scaled normalization", International Journal of Computer Science & Information Technology (IJCSIT), pp.35-46, 2011.
G. Bradski and A. Kaehler, "Learning OpenCV", O'REILLY, pp.176-180, 2008.
G. R. S. Murthy and R. S. Jadon, "A Review of Vision based Hand Gestures Recognition", International Journal of Info. Tech. and Knowl. Mang. Vol. 2(2), pp. 405-410, 2009.
X. Shen, etc., "Dynamic hand gesture recognition: An exemplar-based approach from motion divergence fields", Image and Vision Computing 30, pp. 227-235, 2012.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.