[논문]원격 카메라 로봇 제어를 위한 동적 제스처 인식

이주원; 이병로

[국내논문] 원격 카메라 로봇 제어를 위한 동적 제스처 인식
Dynamic Gesture Recognition for the Remote Camera Robot Control 원문보기

한국해양정보통신학회논문지 = The journal of the Korea Institute of Maritime Information & Communication Sciences, v.8 no.7, 2004년, pp.1480 - 1487

이주원 (경상대학교 공학연구원 자동차 컴퓨터연구센터) , 이병로 (진주산업대학교 전자공학과)

초록
AI-Helper

본 연구에서는 원격 카메라 로봇 제어를 위한 새로운 제스처 인식 방법을 제안하였다. 제스처 인식의 전처리 단계인 동적 제스처의 세그먼테이션이며, 이를 위한 기존의 방법은 인식 대상에 대한 많은 칼라정보를 필요로 하고, 인식단계에서는 각각 제스처에 대한 많은 특징벡터들을 요구하는 단점이 있다. 이러한 단점을 개선하기 위해, 본 연구에서는 동적 제스처의 세그먼테이션을 위한 새로운 Max-Min 탐색법과 제스처 특징 추출을 위한 평균 공간 사상법과 무게중심법, 그리고 인식을 위한 다층 퍼셉트론 신경망의 구조 둥을 제안하였다 실험에서 제안된 기법의 인식율이 90%이상으로 나타났으며, 이 결과는 원격 로봇 제어를 위한 휴먼컴퓨터 인터페이스(HCI : Human Compute. Interface)장치로 사용 가능함을 보였다.

Abstract ▼ AI-Helper

This study is proposed the novel gesture recognition method for the remote camera robot control. To recognize the dynamics gesture, the preprocessing step is the image segmentation. The conventional methods for the effectively object segmentation has need a lot of the cole. information about the object(hand) image. And these methods in the recognition step have need a lot of the features with the each object. To improve the problems of the conventional methods, this study proposed the novel method to recognize the dynamic hand gesture such as the MMS(Max-Min Search) method to segment the object image, MSM(Mean Space Mapping) method and COG(Conte. Of Gravity) method to extract the features of image, and the structure of recognition MLPNN(Multi Layer Perceptron Neural Network) to recognize the dynamic gestures. In the results of experiment, the recognition rate of the proposed method appeared more than 90[%], and this result is shown that is available by HCI(Human Computer Interface) device for .emote robot control.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그리고 찬(Chan)이 제안한 영상 세그먼테이션 기법은 손(hand)의 제스처 영상을 인식하기 위한 기법으로 손에 관한 적색 영상과 녹색 영상의 분산과 평균을 얻기 위해 수백 개 이상의 영상이 필요하다는 단점이 있다[4]. 따라서 본 연구에서는.이러한 문제점들을 해결하기위해 새로운 제스처 영상 인식 기법을 제안하였다.
따라서 본 연구에서는.이러한 문제점들을 해결하기위해 새로운 제스처 영상 인식 기법을 제안하였다. 제안된 영상 인식기법은 손의 제스처 영상을 인식하는 기법으로서 크게 세단계로 구성되어 있다.
그리고 그 특징을 기반으로 하여 자세 영상 패턴을 분류하고 분류된 패턴 클러스터에 따라 로봇의 명령 코드를 생성하여 이더넷(ethernet)을 통해 원격의 로봇을 제어하도록 구성되어 있다. 이러한 원격 로봇제어에 있어 가장 중요한 입력 인터페이스는 제스처 영상 인식이며 본 연구의 목표이다. 그리고 본 연구에서는 일반적인 320x240의 8bit 해상도를 가지는 칼라 웹(web) 카메라를 이용하여 원격지의 카메라 로봇의 자세를 제어하기위한 그림 2와 같이 5가지 제스처 영상을 인식하는 새로운 알고리즘을 제안하고 구현하였다.
특징 추출이 요구된다. 따라서 본 연구에서는그림 4의 영상 특징 추출기법을 제안한다. 이 특징 추출기법은 5단계로 구성되어 있으며, 단계 1과 2 의 단계는 세그먼테이션한 영상 S(n, m, t)의 크기가 손의 자세와 카메라 렌즈간의 거리에 따라 일정하지 않기 때문에 일정한 영상크기를 얻기 위한 특정크기(QX7?)의 셀(cell)들로 분할하고 그 셀의 평균 사상 공간(mapping space) M_y(q, τ, t)을 두어 일정한 크기(QxR)의 영상을 만드는 단계이다.
본 연구에서는 원격 로봇제어에 있어 기존의 동적 영상 인식 기법의 문제점들을 개선하기 위한 새로운 영상 세그먼테이션, 특징 추출 및 제스처 인식 기법을 제안하고 그 성능평가를 위해 실험하였다. 그 결과 실험에서 영상추적과 세그먼테이션에 있어 DP기법 보다 19%이상의 성능개선을 보였고, 특징 추출 기법은 기존의 방법보다 적은 특징벡터를 이용하여 90%이상의 인식 성능을 얻었다.

제안 방법

이러한 문제점들을 해결하기위해 새로운 제스처 영상 인식 기법을 제안하였다. 제안된 영상 인식기법은 손의 제스처 영상을 인식하는 기법으로서 크게 세단계로 구성되어 있다. 첫 번째 단계에서는 동적인 손의 영상을 최대-최소 탐색법(Max-Min Search Method)을 이용하여 손의 영역을 세그먼테이션하는 단계이고, 두 번째 단계는 세그먼테이션된 손의 제스처 영상을 평균 공간(Mean Space)으로 사상(Mapping) 하고 사상된 영상 행렬의 가로축과 세로축 방향으로 공간 투영 (projection)하여 각 축을 기점으로 관측된 영상 에너지 벡터의 중심을 무게 중심법(COG : Center Of Gravity)으로 추정하는 특징 추출법이다.
그리고 추출된 특징 벡터를 다층 신경망에 의하여 동적 제스처를 인식하는 단계로 구성되어 있다. 제안된 기법의 성능을 평가하기 위해 원격 카메라 로봇 제어를 위한 5가지 손의 제스처에 대하여 실험하고, 그 인식 성능을 분석하였다.
그림 1은 웹 카메라로부터 제스처 영상을 입력 받아 손의 영역을 세그먼테이션(추출)한 후, 추출된 영상으로부터 손의 자세에 따른 특징을 추출한다. 그리고 그 특징을 기반으로 하여 자세 영상 패턴을 분류하고 분류된 패턴 클러스터에 따라 로봇의 명령 코드를 생성하여 이더넷(ethernet)을 통해 원격의 로봇을 제어하도록 구성되어 있다. 이러한 원격 로봇제어에 있어 가장 중요한 입력 인터페이스는 제스처 영상 인식이며 본 연구의 목표이다.
이러한 원격 로봇제어에 있어 가장 중요한 입력 인터페이스는 제스처 영상 인식이며 본 연구의 목표이다. 그리고 본 연구에서는 일반적인 320x240의 8bit 해상도를 가지는 칼라 웹(web) 카메라를 이용하여 원격지의 카메라 로봇의 자세를 제어하기위한 그림 2와 같이 5가지 제스처 영상을 인식하는 새로운 알고리즘을 제안하고 구현하였다. 제안된 제스처 영상 인식 알고리즘 3절에서 자세히 다루었다.
따라서 움직임이 발생하는 영역의 영상을 이진화하고 추출하여야 한다. 본 연구에서는 움직임이 발생한 영상 I_A(x,y,t)에서 식(2)와 같이 영상의 윤곽선(edge)을 추출하여 이진화 하였다. 여기서 윤가선 추출에 사용된 마스크 필터는 수평, 수직 방향의 윤곽선 추출 성능이 우수한 프리윗(prewitt) 마스크 M_p₍_i,j)(식 (3))를 사용하였다.
MATLAB에서 영상을 캡쳐하기 위해 Kazuyuki Kobayashi가 개발한 영상 캡쳐함수인 VCAPG2[7]를 사용하였다. 제안된 기법에 대하여 평가는 제스처 영상 추적율과 제스처 인식률에 대하여 2가지의 항목으로 평가하였다. 제스처 영상을 추적율 평가하기 5가지의 손동작을 100회 취했으며, 이때 제스처 영역을 추적, 세그먼테이션, 윤곽선을 추출한 결과를 그림 7에 나타내었다.
본 연구에서 제스처 인식을 위해 사용한 MLP신경망의 구조는 입력 뉴런을 40개, 은닉층 뉴런을 20개, 출력충 뉴런을 10개로 구성한 3충 구조이며, 각 뉴런의 활성화 함수는 선형함수를 사용하였다. 그리고 학습에 있어 100개의 제스처 특징벡터들을 2000회 학습하였고, 학습의 수렴 상수 η₁, η₂는 각각 0.
01 로 설정하였다. 학습된 신경망의 가중치 정보들을 이용하여 5가지 제스처를 무작위로 총 100번을 입력하였으며, 인식 결과는 표 2와 같이 나타났다. 표2의 결과에서 "Down" 자세와 "Right" 자세 그리고 "Stop" 자세의 인식결과가 다른 자세보다 많은 에러를 보였는데, 그 이유는 이들 세 가지 자세의 특징벡터들이 중심에 많이 위치하기 때문이라 사료된다.

대상 데이터

사용된 영상카메라는 영상크기가 가로세로 320x240이고 칼라 해상도는 8bit인 초당 30프레임을 가지는 VAST WEB 카메라를 사용하였다. MATLAB에서 영상을 캡쳐하기 위해 Kazuyuki Kobayashi가 개발한 영상 캡쳐함수인 VCAPG2[7]를 사용하였다.

이론/모형

본 연구에서는 제스처 특징 벡터의 함수적인 인식을 위해 함수 근사화에 우수한 성능을 보이는 MLP(Multi-Layer Perceptron Neural Network) 신경망[6]을 사용하였으며, 제스처 인식을 위한 신경망의 구조는 그림 6과 같다. 그림 6의 구조는 특징벡터의 크기에 따른 Q개의 입력 뉴런과 J개의 은닉 뉴런, K개의 출력 뉴런을 가지며, 신경망의 입력은 제스처 특징벡터로서 식(22)와 같이 구성하여 입력된다.
그리고 제스처 인식을 위한 학습에 있어 학습 방법은 감독학습을 토대로 신경망의 출력이 원하는 제스처 출력 값과의 오차 E(식(26))를 최소화가 되도록 최적의 가중치 Wtj, W_jk를 오류역전파 알고리즘[6]을 사용하여 구하였다. 이 학습 알고리즘에 대한 가중치의 변화량 ΔW_ij, ΔW_jk는 식 (29), (30)과 같이 구할 수 있다.
연구에서 제안한 제스처 인식 기법의 성능을 평가하기 Mathwork사의 MATLAB을 이용하여 구현하였다. 사용된 영상카메라는 영상크기가 가로세로 320x240이고 칼라 해상도는 8bit인 초당 30프레임을 가지는 VAST WEB 카메라를 사용하였다.
사용된 영상카메라는 영상크기가 가로세로 320x240이고 칼라 해상도는 8bit인 초당 30프레임을 가지는 VAST WEB 카메라를 사용하였다. MATLAB에서 영상을 캡쳐하기 위해 Kazuyuki Kobayashi가 개발한 영상 캡쳐함수인 VCAPG2[7]를 사용하였다. 제안된 기법에 대하여 평가는 제스처 영상 추적율과 제스처 인식률에 대하여 2가지의 항목으로 평가하였다.

성능/효과

표 1의 결과와 같이 제안된 기법이 COG기법보다 우수한 성능을 보였다. 그리고 그림 7의 제스처에 따른 평균 공간 사상의 영상과 그 특징 벡터는 그림 8과 같이 나타났으며, 이 결과는 제스처의 방향성과 제스처 형태를 육안으로도 판단 가능함을 보였다.
그 결과 실험에서 영상추적과 세그먼테이션에 있어 DP기법 보다 19%이상의 성능개선을 보였고, 특징 추출 기법은 기존의 방법보다 적은 특징벡터를 이용하여 90%이상의 인식 성능을 얻었다. 이와 같이 본 연구에서 제안한 제스처 인식 기법은 제스처 인식 시스템의 구현에 있어 많은 손의 영상을필요로 한 기존의 제스처 추적 및 세그먼테이션 기법보다 구현이 용이할 것으로 사료된다.
그 결과 실험에서 영상추적과 세그먼테이션에 있어 DP기법 보다 19%이상의 성능개선을 보였고, 특징 추출 기법은 기존의 방법보다 적은 특징벡터를 이용하여 90%이상의 인식 성능을 얻었다. 이와 같이 본 연구에서 제안한 제스처 인식 기법은 제스처 인식 시스템의 구현에 있어 많은 손의 영상을필요로 한 기존의 제스처 추적 및 세그먼테이션 기법보다 구현이 용이할 것으로 사료된다. 그리고 제스처 인식에 있어 상당수의 특징벡터들이 요구된 기존의 방법보다 적은 양의 특징벡터로 인식이 가능하기 때문에 인식 속도향상이 기대된다.

후속연구

그리고 제스처 인식에 있어 상당수의 특징벡터들이 요구된 기존의 방법보다 적은 양의 특징벡터로 인식이 가능하기 때문에 인식 속도향상이 기대된다. 향후 제안된 제스처 인식 기법을 원격 카메라 로봇 제어에 적용하여 그 성능 분석이 요구될 것으로 사료된다.

참고문헌 (7)

N. Takeshi, S. Haruyama, T. Kobayashi,HMM-base Human Gesture Recognition,Technical Report of IEICE, pp. 53-59, 1996
T. Yamasaki, Y. Kataoka, K. Maeyama, K.Nakano, Neural Networkss Menorizing Sequemtial Patterns, Technical Repork of IEICE, pp. 109-116, 1998
Noriko Yoshiike, Yoshiyasu Takefuji, ObjectSegmentation using maximum neuralnetworks for the gesture recognition system,Neurocomputing Vol. 51, pp. 213-224, 2003

상세보기
Chan Wah Ng, Surendra Ranganath,Real-Time Gesture Recognition System andApplication, Image and Vision Computing,Vol. 20, pp. 993-1007, 2002

상세보기
Rafael C. Gonzalez, Richard E. Woods,Digital Image Processing, Addison WesleyLongman, pp. 192-249, 418-427, 1992
Chin Teng Lin, George Lee, Neural FuzzySystem, Prentice Hall, 1996
Kazuyuki Kobayashi, http://www.ikko.k.hosei.ac.jP/-matlab/matkatuyo/, Web site

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증