[논문]인간-로봇 상호작용을 위한 제스처 인식 기술

김계경; 김혜진; 조수현; 이재연

doi:10.22648/etri.2005.j.200202

문제 정의

제스처를 인식하는 방법에 있어서는 기존에 많이 적용되었던 HMM, 신경망 및 특징기반 통계적 방법들은 특정 제스처 모델을 미리 가정하여 인식하는 방법들이므로 동작자에 제한을 두지 않은 환경에서 다양한 제스처를 인식하지 못하는 문제점이 있다. 따라서, HMM이나 신경망을 컨텍스트 정보와 함께 사용하는 복합 제스처 인식기를 사용함으로써 기존 제스처 인식의 문제점을 해결하려고 하였다.
본 고에서는 인간-로봇의 상호 작용을 위한 제스처 인식 방법에 대해서 살펴보았다. 카메라 영상 기반 제스처 인식 방법, 3D 기반 제스처 인식 방법 및 로봇을 제어하기 위한 카메라 영상 기반 제스처 인식 방법에 대하여 고찰하였다.

가설 설정

이때 좌표의 변화값이 일정 임계치 이상이 되면 제스처 시작 프레임으로 간주하고 그 다음의 영상 프레임에서 계속 얼굴 및 손의 좌표값을 추적하도록 한다. 연속된 프레임 간의 좌표 변화값이 일정 임계치 이하가 되면 제스처가 끝났다고 가정하고 제스처가 시작된 프레임부터 끝난 프레임까지를 의미있는 한 동작의 제스처 구간으로 간주한다. 제스처가 시작된 손의 좌표값 및 제스처가 끝난 손의 좌표값을 비교하여 더 정확한 제스처 영역이 추출될 수 있도록 한다.

제안 방법

(1)에 의해 구해진 피부색 영역들에 대한 블럽들에 대하여 블럽의 크기, 위치 및 형태 정보를 해석하여 얼굴 영역을 추출하도록 한다. B; 를 /번째 프레임 영상에서의, 번째 블럽이라고 할 때 이 블럽의 가로대 세로의 비 AR와 블럽의 크기 및 위치에 대한 조건이 (2)를 만족하면 얼굴 영역 블럽으로 간주한다.
단일 동작의 제스처 데이터를 학습시킨 다음 연속 동작의 제스처 프레임으로부터 한 동작의 제스처를 분리한 다음 학습시킨 신경망을 이용하여 인식 성능을 평가하도록 하였다. (그림 5)는 여섯 가지 종류의 제스礼 즉 인사”, “악수”, “오른쪽”, , , 왼쪽, , , “o”, “X”를 각각 나타낸 것이다.
또한, 영상 특징 정보 및 모션 정보를 이용하여 제스처를 검출하고 의미 있는 제스처 좌표를 추적한 다음 제스처 프레임 길이에 무관한 특징 벡터를 추출한 다음 여섯 종류의 제스처를 신경망을 이용하여 인식한 다음 로봇의 동작제어를 위하여 사용하였다[9].
또한, 제스처 인식 성능을 테스트하기 위하여 신경망 학습에 관여하지 않은 5명의 사람을 대상으로 얼굴 및 오른손 X, y 좌표값을 추출하여 실험하도록 하였다.
로봇 동작 제어를 위한 카메라 영상 기반 제스처 인식 방법에 대한 성능 평가는 손의 위치를 추적하여 의미있는 제스처를 분리하여 추적하는 것과 여섯 가지 종류의 제스처에 대한 인식 성능을 평가하는 것으로 나누어서 행해졌다.
로봇의 동작을 제어하기 위하여 제안된 카메라 영상 기반 방법에서는 영상 시퀀스를 이용하여 동적 패턴 정합, 통계적 방법, 신경망 및 HMM을 이용하여 다섯 종류의 제스처를 인식하였다[7]-[9]. 또한, 영상 특징 정보 및 모션 정보를 이용하여 제스처를 검출하고 의미 있는 제스처 좌표를 추적한 다음 제스처 프레임 길이에 무관한 특징 벡터를 추출한 다음 여섯 종류의 제스처를 신경망을 이용하여 인식한 다음 로봇의 동작제어를 위하여 사용하였다[9].
사용된 알고리듬에서는 P개의 입력 패턴과 N개의 출력 뉴런 사이에서 목적값과 실제 출력값 사이의 오차 누적값을 계산하고 전체 오차값이 미리 정의된 임계치보다 작은 값을 가질 때까지 가중치를 계속 갱신하도록 하는 방법을 사용하였다.
연속된 동작으로부터 제스처의 시작점과 끝점을 찾아내기 위하여 동작자 제스처의 위치값을 계속 추적하면서 의미 있는 제스처를 추출하였다. 시간 변화에 따른 제스처의 위치 값 및 각도 등을 이용하여 제스처 인식을 위한 특징 벡터를 추출한 다음 HMM이나 신경망 등을 이용하여 제스처를 인식하도록 하였다. 제스처 인식에 대한 성능 평가는 연속 동작 제스처에서 의미있는 제스처를 분할한 다음 인식하는 방법 및 단일 동작 제스처를 인식하는 방법으로 행해졌다.
여섯 가지 유형의 제스처를 인식하기 위해 한 개의 은닉층을 가지는 MLP를 이용하였으며 개선된 backpropagation 알고리듬[13]으로 구현하였다. 사용된 알고리듬에서는 P개의 입력 패턴과 N개의 출력 뉴런 사이에서 목적값과 실제 출력값 사이의 오차 누적값을 계산하고 전체 오차값이 미리 정의된 임계치보다 작은 값을 가질 때까지 가중치를 계속 갱신하도록 하는 방법을 사용하였다.
연속 동작 제스처 프레임에서 의미있는 제스처 영역을 분리하기 위하여 연속된 프레임간의 얼굴 및손 좌표 변화값을 계산한다. 이때 좌표의 변화값이 일정 임계치 이상이 되면 제스처 시작 프레임으로 간주하고 그 다음의 영상 프레임에서 계속 얼굴 및 손의 좌표값을 추적하도록 한다.
연속 영상 프레임으로부터 추출된 얼굴 좌표값으로부터 얼굴의 중심점을 계산하여 얼굴을 기준으로 하여 상대적으로 움직인 손의 위치값을 계산하는데 사용한다. 제스처 인식을 위한 특징 벡터는 얼굴을 중심으로 움직인 손의 상대 위치 값 및 손의 궤적 값으로부터 추출하도록 한다.
데 이용하였다. 연속된 동작으로부터 제스처의 시작점과 끝점을 찾아내기 위하여 동작자 제스처의 위치값을 계속 추적하면서 의미 있는 제스처를 추출하였다. 시간 변화에 따른 제스처의 위치 값 및 각도 등을 이용하여 제스처 인식을 위한 특징 벡터를 추출한 다음 HMM이나 신경망 등을 이용하여 제스처를 인식하도록 하였다.
연속된 영상 프레임에서 사람의 피부색 정보를 이용하여 사람의 얼굴 영역과 손 영역을 추출하도록 한다. 사람의 얼굴 영역과 손 영역 이외의 다른 영역에서도 피부색에 해당되는 후보 영역들이 추출된다.
제스처 인식 성능을 평가하기 위하여 (그림 5)에서 나타낸 여섯 가지 종류의 제스처에 대해 인식 실험하였다. 단일 동작의 제스처 데이터를 학습시킨 다음 연속 동작의 제스처 프레임으로부터 한 동작의 제스처를 분리한 다음 학습시킨 신경망을 이용하여 인식 성능을 평가하도록 하였다.
제스처 추적에 대한 실험에서는 영상 특징정보와 모션 정보를 이용하여 얼굴과 손의 위치를 추출한 다음 의미 있는 제스처를 분리하도록 하였다. 실험 결과 84% 정도의 제스처 추적률을 나타내었다.
연속된 프레임 간의 좌표 변화값이 일정 임계치 이하가 되면 제스처가 끝났다고 가정하고 제스처가 시작된 프레임부터 끝난 프레임까지를 의미있는 한 동작의 제스처 구간으로 간주한다. 제스처가 시작된 손의 좌표값 및 제스처가 끝난 손의 좌표값을 비교하여 더 정확한 제스처 영역이 추출될 수 있도록 한다. (그림 3)은 연속 동작 제스처 프레임에서 한 동작의 제스처를 분리한 것을 나타낸 것이다.
인식 방법에 대해서 살펴보았다. 카메라 영상 기반 제스처 인식 방법, 3D 기반 제스처 인식 방법 및 로봇을 제어하기 위한 카메라 영상 기반 제스처 인식 방법에 대하여 고찰하였다. 시 .

대상 데이터

제스처 학습 데이터베이스는 9명의 사람으로부터 얼굴 및 오른손의 X, y 좌표값을 추출하여 구현하였으며 이 데이터는 제스처 인식기를 학습하는데 사용되었다. 또한, 제스처 인식 성능을 테스트하기 위하여 신경망 학습에 관여하지 않은 5명의 사람을 대상으로 얼굴 및 오른손 X, y 좌표값을 추출하여 실험하도록 하였다.

성능/효과

실험 결과 84% 정도의 제스처 추적률을 나타내었다. 제스처를 추적하는데 있어서 입력 영상에서 피부색과 비슷한 영역이 영상 전반에 나타난 경우 다른 영역을 손의 영역으로 잘못 추출하는 경우가 발생하였다.
<표 1>과<2>의 결과로부터 “오른쪽”, “왼쪽” 제스처가 “악수” 제스처로 오인식되는 경우가 발생하였다. 오인식된 제스처 데이터를 분석해 본 결과 사람에 따라 “악수”와 “오른쪽” 또는 “악수”와 “왼쪽”에 대한 제스처 패턴이 유사한 경우가 흔히 발생함을 확인할 수 있었다. 이러한 유사 제스처 패턴에 대한 오인식률을 줄이기 위한 방안으로 새로운 특징 벡터 추출 및 인식 방법이 모색되어야 할 것이다.

후속연구

사용하여야 한다. 또한, posture 정보를 같이 활용하면 보다 나은 인식 성능을 보장할 수 있을 것이다. 인간-로봇간의 자연스러운 상호작용을 위한 제스처 인식 기술의 개발은 기계적이고 인위적인 컴퓨터 인터페이스 환경을 자연스러운 컴퓨팅 환경으로 대체할 수 있다는 데 그 중요성을 가지게 될 것이다.
카메라 영상 기반 제스처 인식 방법을 사용하여 로봇의 동작을 제어할 수 있는 제스처를 인식할 경우에는 인식 대상 제스처는 고정된 카메라 시점에서 확연히 구별이 가능하여야 한다. 또한, 다양한 제스처 프레임 길이에 따른 오인식 및 제한되지 않은 동작자의 제스처를 연속 동작 프레임으로부터 추출할 때 발생한 오류를 개선하기 위하여 정규화된 특징 벡터 추출 방법, 구조적, 통계적인 복합 특징 벡터 추출 방법 및 HMM, 신경망과 같은 이종 인식기 및 컨텍스트 정보의 결합을 통한 복합제스처 인식기 구현 등에 대한 연구가 계속 진행되어야 한다.
오인식된 제스처 데이터를 분석해 본 결과 사람에 따라 “악수”와 “오른쪽” 또는 “악수”와 “왼쪽”에 대한 제스처 패턴이 유사한 경우가 흔히 발생함을 확인할 수 있었다. 이러한 유사 제스처 패턴에 대한 오인식률을 줄이기 위한 방안으로 새로운 특징 벡터 추출 및 인식 방법이 모색되어야 할 것이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 인간-로봇 상호작용을 위한 제스처 인식 기술
Gesture Recognition for Natural Human-Robot Interaction 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 인간-로봇 상호작용을 위한 제스처 인식 기술 Gesture Recognition for Natural Human-Robot Interaction 원문보기

초록 AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 인간-로봇 상호작용을 위한 제스처 인식 기술
Gesture Recognition for Natural Human-Robot Interaction 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper