[논문]HRI 시스템에서 제스처 인식을 위한 Moving Mean-Shift 기반 사용자 손 위치 보정 알고리즘

김태완; 권순량; 이동명

doi:10.7840/kics.2015.40.5.863

HRI 시스템에서 제스처 인식을 위한 Moving Mean-Shift 기반 사용자 손 위치 보정 알고리즘
A Compensation Algorithm for the Position of User Hands Based on Moving Mean-Shift for Gesture Recognition in HRI System 원문보기

한국통신학회논문지 = The Journal of Korean Institute of Communications and Information Sciences, v.40 no.5, 2015년, pp.863 - 870

김태완 (Tongmyong University, Department of Computer Engineering) , 권순량 (Tongmyong University, Department of Electronic Engineering) , 이동명 (Tongmyong University, Department of Computer Engineering)

초록
AI-Helper

본 논문은 키넥트 센서 (Kinect sensor)를 탑재한 Human Robot Interface (HRI) 시스템에서 손 위치 데이터를 측정하여 제스처 인식 및 처리성능을 높이기 위하여 Moving Mean-Shift 기반 사용자 손 위치 보정 알고리즘($CAPUH_{MMS}$)을 제안하였다. 또한, $CAPUH_{MMS}$의 성능을 자체 개발한 실시간 성능 시뮬레이터로 이동궤적에 대한 평균 오차 성능개선 비율을 다른 보정 기법인 $CA_{KF}$ (Kalman-Filter 기반 보정 알고리즘) 및 $CA_{LSM}$ (Least-Squares Method 기반 보정 알고리즘)의 성능과 비교하였다. 실험결과, $CAPUH_{MMS}$의 이동궤적에 대한 평균 오차 성능개선 비율은 양손 상하 운동에서 평균 19.35%으로, 이는 $CA_{KF}$ 및 $CA_{LSM}$ 보다 각각 13.88%, 16.68% 더 높은 평균 오차 성능 개선 비율을, 그리고 양손 좌우 운동에서 평균 28.54%으로 $CA_{KF}$ 및 $CA_{LSM}$ 보다 각각 9.51%, 17.31% 더 높은 평균 오차 성능 개선 비율을 나타낸 것이다.

Abstract ▼ AI-Helper

A Compensation Algorithm for The Position of the User Hands based on the Moving Mean-Shift ($CAPUH_{MMS}$) in Human Robot Interface (HRI) System running the Kinect sensor is proposed in order to improve the performance of the gesture recognition is proposed in this paper. The average error improvement ratio of the trajectories ($AEIR_{TJ}$) in left-right movements of hands for the $CAPUH_{MMS}$ is compared with other compensation algorithms such as the Compensation Algorithm based on the Compensation Algorithm based on the Kalman Filter ($CA_{KF}$) and the Compensation Algorithm based on Least-Squares Method ($CA_{LSM}$) by the developed realtime performance simulator. As a result, the $AEIR_{TJ}$ in up-down movements of hands of the $CAPUH_{MMS}$ is measured as 19.35%, it is higher value compared with that of the $CA_{KF}$ and the $CA_{LSM}$ as 13.88% and 16.68%, respectively.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

(Trajectory Error))는 식 (8)과 같이 구해진다. 따라서 제안한 CAPUH_MMS의 상하 및 좌우 운동에 대한 평균 이동궤적 오차성능을 Kalman Filter based Algorithm (CA_KF) 및 LSM based Algorithm (CA_LSM)의 성능과 서로 비교하고자 한다.
본 논문은 양 손의 상하 운동과 좌우 운동의 2가지 시나리오에 대해 제안하는 CAPUH _MMS의 성능을 분석하였다. 그러나 손 위치 데이터의 측정에 있어서 양손의 제스처가 직선 형태로 이루어지더라도 정확하게 직선이 되지 않는 문제점이 발생하기 때문에, 상하 운동의 경우 양쪽 봉을 잡고 55cm 구역 내에서 상하로, 그리고 좌우 운동의 경우 양쪽 봉에 연결된 끈을 잡고 55cm 구역 내에서 좌우로 각각 반복적으로 실험을 실시하였다.
본 논문은 키넥트 센서를 장착한 HRI 시스템에서 기존의 사용자 위치정보 인식 성능을 향상시키기 위하여 Moving Mean-Shift 기반 사용자 손 위치보정 알고리즘 (Compensation Algorithm for the Position of User Hands based on Moving Mean-shift, CAPUH_MMS)을 제안하고, 실제 HRI 시스템에서 측정된 손 인식위치 데이터와 자체 개발한 실시간 성능분석용 시뮬레이터를 사용하여 제안한 알고리즘의 성능을 분석하였다.
본 논문은 키넥트 센서를 장착한 HRI 시스템에서 기존의 사용자 위치정보 인식 성능을 향상하기 위하여 Moving Mean-Shift 기반 사용자 손 위치보정 알고리즘인 CAPUH_MMS를 제안하였다.

제안 방법

의 성능을 분석하였다. 그러나 손 위치 데이터의 측정에 있어서 양손의 제스처가 직선 형태로 이루어지더라도 정확하게 직선이 되지 않는 문제점이 발생하기 때문에, 상하 운동의 경우 양쪽 봉을 잡고 55cm 구역 내에서 상하로, 그리고 좌우 운동의 경우 양쪽 봉에 연결된 끈을 잡고 55cm 구역 내에서 좌우로 각각 반복적으로 실험을 실시하였다.
그래서 실시간적으로 변화하는 손 위치의 보정에 그대로 적용하기에 문제가 있기 때문에 이를 해결하기 위한 방안이 필요하다. 따라서 본 논문에서는 위와 같은 문제를 제안하는 CAPUH_MMS를 이용하여 해결하였다.
제안한 CAPUH_MMS의 성능은 자체 개발한 성능 시뮬레이터를 이용하여 분석되었다. 성능 시뮬레이터에서 양 손 제스처의 상하 및 좌우 운동에 대한 평균 이동궤적은 그림 5 및 그림 6과 같으며, 그림의 x축, y 축은 각각 손의 (x, y) 위치좌표이다.
모바일 로봇의 자연스러운 손동작 제어에서 중요한 점은 인위적인 손동작이 아닌 실제 생활환경에서의 자연스러운 손동작으로 로봇을 제어하는 것이다. 키넥트 센서를 이용해서 위와 같은 제어를 할 경우, 그림 1과 같이 깊이(Depth) 데이터로 손의 위치를 추적하고 사람의 손인지 아닌지를 검증하기 위하여 YCbCr 컬러 모델의 특정 컬러를 이용하여 손 영역을 추출한다.

데이터처리

먼저 양손의 상하 및 좌우 운동에 대해 2,000개의 실제 좌표 데이터를 측정 한 후, 그 다음 제안한 알고리즘인 CAPUH_MMS의 성능을 자체 개발한 실시간 성능 시뮬레이터로 다른 보정 기법인 CA_KF 및 CA_LSM의 성능과 비교분석하였다.
성능분석을 위해 양손의 상하 및 좌우 운동에 대해 2,000개의 실제 좌표 데이터를 측정 한 후, 제안한 CAPUH_MMS의 이동궤적 오차율 성능을 자체 개발한 실시간 성능 시뮬레이터로 실험하여 다른 보정 기법인 CA_KF 및 CA_LSM와 비교하였다.

이론/모형

그리고 손동작의 속도, 손을 움직이는 거리, 그리고 다수의 손동작을 Mamdani 퍼지 이론으로 이동속도를 결정하여 모바일 로봇에 적용하였다.

성능/효과

CAPUH_MMS는 양손 상하 운동에서 왼손의 경우 20.52%으로 CA_KF 및 CA_LSM 보다 각각 18.76%, 21.07% 더 높은 평균 오차 개선 비율을, 오른손의 경우 18.17%으로 CA_KF 및 CA_LSM보다 각각 8.99%, 12.29% 더 높은 평균 오차 개선 비율을 각각 제시하 였다. 또한 CAPUH_MMS는 양손 좌우 운동에서 왼손의 경우 35.
에 의한 결과는 갈색으로 각각 구분되었다. 그리고 오른손의 패턴 4개 (아래쪽 패턴) 중 실제 측정 데이터는 하늘색, CA_KF에 의한 결과는 초록색, CA_LSM에 의한 결과는 파란색, 그리고 CAPUH_MMS에 의한 결과는 분홍색으로 각각 구분되었다.
왼손의 패턴 4개 (오른쪽 패턴) 중 실제 측정 데이터는 회색, CA_KF에 의한 결과는 노란색, CA_LSM에 의한 결과는 하늘색, 그리고 CAPUH_MMS에 의한 결과는 갈색으로 각각 구분되었다. 그리고 오른손의 패턴 4개 (왼쪽 패턴) 중 실제 측정 데이터는 하늘색, CA_KF에 의한 결과는 초록색, CA_LSM에 의한 결과는 파란색, 그리고 CAPUH_MMS에 의한 결과는 분홍색으로 각각 구분되었다.
52%의 평균 오차 개선 비율을 보였다는 점이다. 두 번째, 양손의 좌우 운동이 상하 운동에 비해 전반적 으로 CA_KF, CA_LSM 및 제안한 CAPUH_MMS의 평균 오차 개선 비율이 더 높게 나왔다는 점이다. 그 이유는 실험 에서 양손의 좌우 움직임이 상하 움직임에 비해 다소 불안정했기 때문에 나온 것로 추정된다.
29% 더 높은 평균 오차 개선 비율을 각각 제시하 였다. 또한 CAPUH_MMS는 양손 좌우 운동에서 왼손의 경우 35.27%으로 CA_KF 및 CA_LSM 보다 각각 8.76%, 21.77% 더 높은 평균 오차 개선 비율을, 오른손의 경우 21.80%으로 CA_KF 및 CA_LSM 보다 각각 10.25%, 12.85% 더 높은 평균 오차 개선 비율을 각각 나타낸 것을 알 수 있다.
양손의 좌우운동에 대한 이동궤적 오차율은 그림 10에서 보는 바와 같이 제안한 CAPUH_MMS이 CA_KF 또는 CA_LSM 보다 더 낮음을 확인하였다. 이 결과는 양손 상하운동에 대한 실험 결과와 매우 유사하다.
왼손 및 오른손에 대해 CAKF는 각각 1.76%, 9.18%의 오차 개선율을 나 타냈으나 CALSM은 각각 –0.55%, 5.88%으로 왼손의 경우 오히려 보정 효과가 감소한 것을 확인할 수 있었다.
양손 좌우 운동의 이동궤적에 대한 평균 오차 성능 개선 비율 비교는 그림 12와 같다. 왼손 및 오른손에 대해 CA_KF는 각각 26.51%, 11.55%의 오차 개선율을, CA_LSM은 각각 13.50%, 8.95%의 오차 개선율을 나타낸다. 제안한 CAPUH_MMS는 왼손의 경우 35.
왼손 및 오른손의 상하운동에 대한 이동 궤적의 오차율은 그림 7에서 보는 바와 같이 제안한 CAPUH_MMS가 CA_KF 또는 CA_LSM 보다 더 낮음을 확인할 수 있다.
그림에서 2개의 패턴 중 왼쪽의 패턴은 오른손에 대한 보정 결과를, 오른쪽의 패턴은 왼손에 대한 보정 결과를 각각 나타낸 것이다. 왼손의 패턴 4개 (오른쪽 패턴) 중 실제 측정 데이터는 회색, CA_KF에 의한 결과는 노란색, CA_LSM에 의한 결과는 하늘색, 그리고 CAPUH_MMS에 의한 결과는 갈색으로 각각 구분되었다. 그리고 오른손의 패턴 4개 (왼쪽 패턴) 중 실제 측정 데이터는 하늘색, CA_KF에 의한 결과는 초록색, CA_LSM에 의한 결과는 파란색, 그리고 CAPUH_MMS에 의한 결과는 분홍색으로 각각 구분되었다.
왼손의 패턴 4개 (위쪽 패턴) 중 실제 측정 데이터는 회색, CA_KF에 의한 결과는 노란색, CA_LSM에 의한 결과는 하늘색, 그리고 CAPUH_MMS에 의한 결과는 갈색으로 각각 구분되었다. 그리고 오른손의 패턴 4개 (아래쪽 패턴) 중 실제 측정 데이터는 하늘색, CA_KF에 의한 결과는 초록색, CA_LSM에 의한 결과는 파란색, 그리고 CAPUH_MMS에 의한 결과는 분홍색으로 각각 구분되었다.
이번 실험에서의 특징은 첫째, 왼손의 상하운동의 경우, CA_LSM은 오히려 실제 측정 데이터 보다 0.55% 오차가 증가하는 경우가 발생하였지만, 제안한 CAPUH_MMS는 20.52%의 평균 오차 개선 비율을 보였다는 점이다. 두 번째, 양손의 좌우 운동이 상하 운동에 비해 전반적 으로 CA_KF, CA_LSM 및 제안한 CAPUH_MMS의 평균 오차 개선 비율이 더 높게 나왔다는 점이다.
95%의 오차 개선율을 나타낸다. 제안한 CAPUH_MMS는 왼손의 경우 35.27%으로 CA_KF 및 CA_LSM 보다 각각 8.76%, 21.77% 더 높은 오차 개선 비율을, 오른손의 경우 21.80%으로 CA_KF 및 CA_LSM 보다 각각 10.25%, 12.85% 더 높은 평균 오차 성능개선 비율을 각각 나타낸 것을 알 수 있다.
제안한 CAPUHMMS은 왼손의 경우 20.52%으로 CAKF 및 CALSM 보다 각각 18.76%, 21.07% 더 높은 평균 오차 개선율을, 오른손의 경우 18.17%으로 CAKF 및 CALSM 보다 각각 8.99%, 12.29% 더 높은 오차 개선율을 나타낸 것을 알 수 있다.

후속연구

제안한 CAPUH_MMS는 제스처 인식 및 처리의 성능 향상에 많은 도움을 줄 것으로 예상하고 있다. 향후 제안한 CAPUH_MMS를 HRI 시제품에 실제 적용 한 후다양한 손의 제스처의 패턴을 통해 보다 정밀한 손 위치를 보정 할 수 있는 알고리즘을 제시 할 예정이다.
는 제스처 인식 및 처리의 성능 향상에 많은 도움을 줄 것으로 예상하고 있다. 향후 제안한 CAPUH_MMS를 HRI 시제품에 실제 적용 한 후다양한 손의 제스처의 패턴을 통해 보다 정밀한 손 위치를 보정 할 수 있는 알고리즘을 제시 할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Mean-Shift는 무엇인가?	Mean-Shift는 흩어진 데이터 분포의 중심이나 무게 중심을 찾아가는 알고리즘이다. 주로 컴퓨터 비전 분야에서 특히 영상의 객체 추적, 분할, 스무딩 (Smoothing), 필터링, 엣지 검출 (Edge detection) 등에 사용되는 기법 중의 하나이다.
	모바일 로봇의 자연스러운 손동작 제어에서 중요한 점은 무엇인가?	모바일 로봇의 자연스러운 손동작 제어에서 중요한 점은 인위적인 손동작이 아닌 실제 생활환경에서의 자연스러운 손동작으로 로봇을 제어하는 것이다. 키넥트 센서를 이용해서 위와 같은 제어를 할 경우, 그림 1과 같이 깊이(Depth) 데이터로 손의 위치를 추적하고 사람의 손인지 아닌지를 검증하기 위하여 YCbCr 컬러 모델의 특정 컬러를 이용하여 손 영역을 추출한다.
	제스처 인식 및 처리 방법은 크게 3가지 방법으로 분류되는데 무엇인가?	손동작의 특징을 통한 제스처 인식 및 처리 방법은 크게 3가지 방법으로 분류된다. 첫 번째는 손의 위치 정보를 통하여 사용자가 취하고 있는 정보를 추정하는 방법, 두 번째는 획득된 사용자의 영상을 토대로 손의 위치를 모델링하는 영상처리 기반의 방법, 그리고 세 번째는 손의 위치나 움직임의 특징을 기반으로 하는 방법이다. 키넥트 센서 (Kinect sensor)를 이용한 사용자 제스처 인식 및 처리 방법은 위의 세 번째 방법 중 하나로, 주로 사용자의 위치정보를 기반으로 연구 개발되고 있다.

참고문헌 (14)

S. C. Kim and I. C. Park, "A study on the ubiquitous home network interface system by application of user's gesture recognition method," J. Korean of The Science of Emotion & Sensibility (KJSOS), vol 8. no 3, pp. 265-276, Sep. 2005.
F. K. H. Quek, "Unencumbered gestural interaction," IEEE Multimedia, vol. 3, pp. 36-47, Dec. 1996.

상세보기
S. Mitra and T. Acharya, "Gesture recognition: A survey," IEEE Trans. Systems, Man, and Cybernetics, Part C: Applications and Reviews, vol. 37, no. 3, pp. 311-324, 2007.

상세보기
G.R.S. Murthy and R.S. Jadon, "A review of vision based hand gestures recognition," J. Int'l Information Technol. and Knowledge Management (IJITKM), vol. 2, no. 2, pp. 405-410, July-December 2009.
H. J. Kim, Kinect for windows 1: Implement of the innovative user interfaces of embedded devices (2012), Retrieved Feb. 1, 2015, from http://www.mdstec.com/bbs/press_room/upload/Kinect for Windows_4.pdf
P. Doliotis, et al., "Comparing gesture recognition accuracy using color and depth information," in Proc. 4th Int. Conf. Pervasive Technol. Related to Assistive Environments (PETRA'11), no. 20, pp. 1-7, USA, May 2011.
M. Yang, N. Ahuja, and M. Tabb, "Extraction of 2D motion trajectories and its application to hand gesture recognition," IEEE Trans. Pattern Anal. Machine Intell., vol. 24, no. 8, pp. 1061-1074, Aug. 2002.

상세보기
E. J. Holden, G. Lee, and R. Owens, "Australian sign language recognition," J. Machine Vision and Appl., vol. 16, no. 5, pp. 312-320, 2005.

상세보기
S. Y. Cho, et al., "Hand gesture recognition from kinect sensor data," J. Korea Broadcast Eng. (KJBE), vol. 17. no 3, pp. 447-458, May 2012.

원문보기 상세보기
A. R. Kim and S. Y. Rhee, "Motion control of a mobile robot using natural hand gesture," J. The Korean Inst. Intell. Syst. (KJIIS), vol. 24, no 1, pp. 64-70, Feb. 2014.

원문보기 상세보기
G. Welch and G. Bishop, An Introduction to the Kalman Filter (2006), http://www.cs.unc.edu/-welch/media/pdf/kalman_intro.pdf/
T. W. Kim, "A study on the localization compensation algorithm using Mean kShift/ Kalman Filter in random walk/waypoint mobility model environment," Master's Thesis, The Graduate School of Tongmyong University, Feb. 2014.
Konstantinos G. Derpanis, Mean shift clustering, Computer Vision Notes (2005), http://www.cse.yorku.ca/-kosta/CompVis_Notes/mean_shift.pdf/
M. K. Jung and D. M. Lee, "Performance analysis of the localization compensation algorithm for moving objects using the least-squares method," J. KICS, vol. 39C, no. 1, pp. 9-16, Jan. 2014.

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증