[논문]효율적인 손동작 인식을 이용한 증강현실 인터페이스

최준영; 박한훈; 박종일

효율적인 손동작 인식을 이용한 증강현실 인터페이스
Augmented Reality Interface Using Efficient Hand Gesture Recognition 원문보기

최준영 (한양대학교 전자컴퓨터통신공학과) , 박한훈 (한양대학교 전자컴퓨터통신공학과) , 박종일 (한양대학교 전자컴퓨터통신공학과)

증강현실(Augmented Reality)을 위한 효과적인 비전 기반 인터페이스 개발은 꾸준히 진행되어 왔으나, 대부분 환경적 제약을 받거나, 특수한 장비 혹은 복잡한 모델을 요구한다. 예를 들어, 마커를 이용하면 구현 상의 편의성과 정확성을 보장하지만, 일반적으로 마커는 환경과 대비되는 모양을 가지기 때문에, 사용자에게 거부감을 줄 수 있으며 무엇보다 복잡한 인터랙션에는 적용되기 힘들다. 한편, 손동작을 이용할 경우, 자연스럽고 다양한 인터랙션을 수행할 수 있지만, 색을 이용한 손동작 인식은 복잡한 환경에서 인식률이 크게 저하되고, 3 차원 모델 기반의 손동작 인식은 많은 연산량을 필요로 한다는 문제점을 가진다. 이로 인해 지금까지 제안된 방법을 증강현실 시스템에 적용하는 데는 한계가 있다. 본 논문에서는 기본적으로 손동작을 이용한 인터페이스를 제안하는데, 손동작 인식을 위한 알고리즘을 효율적으로 개선함으로써, 복잡한 환경에서 적은 연산량으로 자연스러운 인터랙션을 제공하고자 한다. 제안방법은 손목에 컬러 밴드를 착용하고, 색 정보를 이용하여 손을 포함하는 최소 영역을 용이하게 검출함으로써, 손 동작 인식률이 좋아지도록 하였다. 제안된 인터페이스는 손의 자연스러운 움직임을 감지해서 손의 모양과 동작에 따라서 가상의 물체를 자연스럽게 제어할 수 있도록 해 준다. 예를 들어, 손이 지정한 위치에 가상의 물체를 나타내고, 가상의 물체를 잡고 다양한 조작을 하는 등의 제어를 할 수 있다. 다양한 환경에서의 실험 및 사용자 평가를 통해 제안된 인터페이스의 유용성을 검증하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 간단하며 사용자가 쉽게 사용할 수 있는 증강현실을 위한 비전 기반 인터페이스를 제안했다. 이 방법을 사용한다면 사용자의 거부감을 최소한으로 하고실시간으로 자연스러운 상호작용이 가능하므로 다양한어플리케이션에 적용될 것으로 기대된다.
이 논문은 효율적인 손 동작 인식 방법과 이를 이용한 자연스러운 증강현실 인터페이스를 제안한다. 제안한 방법은 사용자가 손목에 컬러 밴드를 착용함으로써, 손영역을 안정적으로 빠르게 검출할 수 있다.

제안 방법

검색의 편의를 위하여 본 논문에서는 파란색 컬러 밴드를 이용하였다. 영상에서 파란색 영역을 찾기 위하여 RGB 색상 체계에서 다음의 공식을 이용해서 문턱값 처리하였다.
예를 들어, 3차원 모델을 이용하는 방법의 경우 실시간으로 동작하기 힘이 들고, 피부의 색 정보를 이용하거나 컬러 밴드를 이용하는 방법은 복잡한 배경에서 약하다는 단점을 가지고 있다. 따라서 이 논문에서는 피부색과 컬러 밴드의 정보를 결합하여 이용한다.
이 장에서는 본 논문에서 사용한 방법의 인식률을 분석한다. 또한, 사용자 평가를 통해 본 논문에서 제안하는 손 동작을 이용한 인터페이스의 유용성을 검증한다.
(그림 3). 변환된 손 영상은 손 동작 분류하는데 방해를 하는 배경을 포함하기 때문어〕, 본 논문에서는 피부색 정보를 이용해서 배경을 제거 했다 . [14] RGB 색상 체계에서 피부색은 다음과 같이 정의될 수 있다.
본 논문에서 만든 증강현실 인터페이스는 3 종류의 손동작에 의해 작동한다. (그림 5).
나타낸다. 본 논문에서는 벡터 Q를 신경망회로의 입력으로 사용한다. 신경망회로는 벡터 Q 가 어떤 손 동작인지 분류한다.
본 논문에서는 찾아낸 손 영역을 고정된 크기의 정사각형 영상으로 변환한다. (그림 3).
신경망회로는 벡터 Q 가 어떤 손 동작인지 분류한다. 본 논문에서는 하나의 은닉층을 가지는 3-층 퍼셉트론 (3-layer perceptron) 신경망회로를 사용한다,
본 논문은 3가지 손 동작으로 증강현실 인터페이스가 동작하도록 구성하였고(그림 5), 각 동작들의 역할은 표 1과 같다.
크기 그리고 각도를 정할 수 있다. 사용자는 타원의 위치, 크기 그리고 각도를 정함으로써 자유롭게 가상객체의 위치, 크기 그리고 각도를 정한다. 그림 7 에서 보는 것처럼, 사용자는 가리키기 자세로 타원을 그린다 (첫 번째 그림).
이처럼 색 정보를 이용해 서손을 검색하면 배경이나 다른 피부에 의해서 결과가 달라지거나, 잘못된 결과가 나온다. 이런 문제를 본 논문에서는 컬러 밴드를 이용해서 간단하게 해결했다. 그림 13 을 보면, 그림 12 와 동일한 환경에서도 정확히 손영역만 검출하는 것을 알 수가 있다.
제안한 방법은 사용자가 손목에 컬러 밴드를 착용함으로써, 손영역을 안정적으로 빠르게 검출할 수 있다. 따라서, 적은 연산량으로 다양한 손동작에 대해 높은 인식률을 보장하면서 사용자에게 가상 객체와의 자연스러운 상호작용을 제공할 수 있다.

대상 데이터

주성분분석법의 훈련을 위해 쓰인 영상의 수는 각 동작당 100 개이다. 영상의 크기는 320x240 이고, 신경망 회로에 쓰인 eta 값은 0.27, 입력층은 39, 은닉층은 39, 출력층은 3 개의 뉴런을 가지도록 하였다. 그림 11 은 인식률 측정에 쓰인 두 가지 배경 영상을 보여준다.
식 (2)에서 파란색 화소를 분류하는 문턱값은 60-70 으로하고 변환된 손 영상의 해상도는 100x50 으로 하였다. 주성분분석법의 훈련을 위해 쓰인 영상의 수는 각 동작당 100 개이다. 영상의 크기는 320x240 이고, 신경망 회로에 쓰인 eta 값은 0.
참여 인원은 10 명, 마커기반 인터페이스는 ARToolKit 에서 제공하는 Examples 중 SimpleTest.c 소스 파일을 사용했다. 평가를 위해서, 그림 11 에서 소개한 두 가지 배경에서 사용자는 가상 객체를 생성하고, 이동시키며, 없애는 행동을 했다.

이론/모형

본 논문에서는 손 동작 인식을 위해 주성분 분석법과 신경망 회로를 사용하였다.

성능/효과

물론 복잡한 알고리즘을 사용한다면, 컬러밴드의 착용 없이 복잡한 환경에서 손을 검출 할 수 있을 것이다. 그러나 이러한 복잡한 알고리즘은 증강현실 인터페이스가 실시간으로 작동하는 것을 방해하는 요소가 될 수 있기에, 본 논문에서는 최대한 간단하면서도 효과적인 방법으로 손을 검출한다.
또한 융합식 방법은 사용자의 자연스러운 상호작용을 방해하기도 한다. 이러한 기존의 방법과 달리, 본 논문에서 제안하는 방법은 3차원 모델이나 도형 정보, 센서 장비 등을 필요로 하지 않고, 손 동작을 추적, 인식함으로써 , 사용자에게 친숙하고 자연스러운 인터페이스를 제공해 줄 수 있다.
표 5 에 보이는 것처럼, 본 논문에서 제안한 인터페이스가 전통적인 인터페이스인 마커 기반 증강현실 인터페이스보다 사용자들에게 자연스럽고 편리하며 선호된다는 것을 보여준다.

후속연구

본 논문에서는 가리키기, 잡기 등과 같은 기본적인 상호작용의 예를 보여줬지만 앞으로는 보다 다양하고 세부적인 손동작 인식을 통해 사용자가 가상의 물체를 마치 현실의 물체를 다루듯이 자연스러운 상호작용이 가능하도록 발전되어야 할 것이다.
이 방법을 사용한다면 사용자의 거부감을 최소한으로 하고실시간으로 자연스러운 상호작용이 가능하므로 다양한어플리케이션에 적용될 것으로 기대된다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

효율적인 손동작 인식을 이용한 증강현실 인터페이스
Augmented Reality Interface Using Efficient Hand Gesture Recognition 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

효율적인 손동작 인식을 이용한 증강현실 인터페이스 Augmented Reality Interface Using Efficient Hand Gesture Recognition 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

효율적인 손동작 인식을 이용한 증강현실 인터페이스
Augmented Reality Interface Using Efficient Hand Gesture Recognition 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper