[논문]가상현실 3D 오브젝트와 상호작용을 위한 MCSVM 기반 손 제스처 인식

김윤제; 고택균; 윤민호; 김태영

문제 정의

본 논문은 가상현실 3D 오브젝트와의 상호작용을 위한 MCSVM 기반 손 제스처 인식 방법을 제한하였다. 립모션을 통해 얻은 손 데이터를 전처리 과정을 통해 이상치를 제거하고 이진 결정 트리로 분류한 후 MCSVM을 통하여 학습한 정보를 이용해 다양한 손 제스처 인식이 가능한 인터페이스를 지원함으로써 다양한 가상현실 응용에 확장이 가능함을 보여주었다.
본 논문은 기존 연구보다 더 다양한 손 제스처를 인식하여 가상현실 3D 오브젝트와 상호작용이 가능한 인터페이스를 제안한다. 본 논문의 손 제스처 인식 방법은 립모션을 통해 입력 받아 전처리한 손 데이터를 이진 결정 트리로 1차분류를 하고 분류된 손 데이터를 리샘플링 후 체인코드를 생성하고 히스토그램으로 특징 데이터를 구성한다.
립모션을 통해 얻은 손 데이터를 전처리 과정을 통해 이상치를 제거하고 이진 결정 트리로 분류한 후 MCSVM을 통하여 학습한 정보를 이용해 다양한 손 제스처 인식이 가능한 인터페이스를 지원함으로써 다양한 가상현실 응용에 확장이 가능함을 보여주었다. 향후 립모션 자체의 인식 한계를 해결하고자 딥러닝(Deep Learning)과 같은 인공지능 기술을 적용해 보고자 한다.

제안 방법

학습 단계에서는 립모션에 입력된 손 데이터를 전처리를 통해 오인식 된 값들을 제거한 후 이진 결정 트리로 1차 분류한다. 그 후 특징 데이터를 구성하고 MCSVM[10]을 통해 학습데이터를 생성한다. 그리고 인식 단계에서는 손 제스처의 특징 데이터를 학습된 MCSVM을 통해 손 제스처를 인식한다.
본 논문의 손 제스처 인식 방법은 립모션을 통해 입력 받아 전처리한 손 데이터를 이진 결정 트리로 1차분류를 하고 분류된 손 데이터를 리샘플링 후 체인코드를 생성하고 히스토그램으로 특징 데이터를 구성한다. 그리고 난 후 MCSVM(MultiClass Support Vector Machine) 학습을 통해 2차 분류를 수행하여 최종적으로 제스처를 인식한다. 본 논문의 검증을 위하여 이를 적용한 응용프로그램을 개발하고 손 제스처의 인식률을 실험하는 정량적 분석과 기존 인터페이스와 비교하는 정성적 분석으로 나누어 실험한다.
분류해야할 제스처에 대하여 1차 이진부류의 4가지 제스처 종류(양손/한손, 정적/동적)에 따라 MCSVM을 각각 학습한다. 그리고 난 후 입력한 손 제스처의 특징 데이터를 4개의 학습된 MCSVM들 중 해당하는 MCSVM을 통해 가장 높은 유사도를 갖는 제스처 레이블로 2차 분류한다.
실험에서 먼저 3명의 실험자가 각 명령 제스처를 90번씩 학습시킨다. 그리고 실험자 별로 각 명령마다 90번씩 반복 실험한다. <표 1>은 실험에 사용한 16종류의 제스처와 각각의 인식률을 나타낸다.
본 논문에서는 크게 학습 단계와 인식 단계로 나누어 손 제스처를 인식한다(그림 3). 학습 단계에서는 립모션에 입력된 손 데이터를 전처리를 통해 오인식 된 값들을 제거한 후 이진 결정 트리로 1차 분류한다.
그리고 난 후 MCSVM(MultiClass Support Vector Machine) 학습을 통해 2차 분류를 수행하여 최종적으로 제스처를 인식한다. 본 논문의 검증을 위하여 이를 적용한 응용프로그램을 개발하고 손 제스처의 인식률을 실험하는 정량적 분석과 기존 인터페이스와 비교하는 정성적 분석으로 나누어 실험한다.
본 논문은 기존 연구보다 더 다양한 손 제스처를 인식하여 가상현실 3D 오브젝트와 상호작용이 가능한 인터페이스를 제안한다. 본 논문의 손 제스처 인식 방법은 립모션을 통해 입력 받아 전처리한 손 데이터를 이진 결정 트리로 1차분류를 하고 분류된 손 데이터를 리샘플링 후 체인코드를 생성하고 히스토그램으로 특징 데이터를 구성한다. 그리고 난 후 MCSVM(MultiClass Support Vector Machine) 학습을 통해 2차 분류를 수행하여 최종적으로 제스처를 인식한다.
본 방법을 검증하기 위해 여러 가지의 블록을 제어 할 수 잇는 Virtual Block이라는 응용프로그램을 개발하였다(그림 5). 사용자는 가상환경에서 손으로 원, 네모, 별 모양을 그려 3차원 객체를 생성하고 잡기, 쌓기, 던지기 등 블록을 조작할 수 있다.
이외에도 중력을 반전시켜 블록을 공중에 띄우고 내리거나 블로의 색상을 변경하는 등 3D 물체와 상호작용이 용이하다. 본 실험은 Virtual Block에서 정의된 손 제스처 중 16가지 제스처의 인식률에 대해 정량적 평가를 하였고 기존의 마우스를 이용한 인터페이스와 비교하는 정성적 평가를 하였다.
다수의 제스처를 분류하기 위해 SVM에서 확장된 MCSVM 방식 중 각각의 클래스마다 경계선을 찾는 방법인 일대다(one vs rest) 방법을 사용한다. 분류해야할 제스처에 대하여 1차 이진부류의 4가지 제스처 종류(양손/한손, 정적/동적)에 따라 MCSVM을 각각 학습한다. 그리고 난 후 입력한 손 제스처의 특징 데이터를 4개의 학습된 MCSVM들 중 해당하는 MCSVM을 통해 가장 높은 유사도를 갖는 제스처 레이블로 2차 분류한다.
실험에서 먼저 3명의 실험자가 각 명령 제스처를 90번씩 학습시킨다. 그리고 실험자 별로 각 명령마다 90번씩 반복 실험한다.
정성적 평가를 하기 위하여 20의 학생 10명에게 사용자 입력 인터페이스(마우스, 립모션을 이용한 손 제스처)를 달리하여 Virtual Block을 체험한 후 의 기준에 따라 설문을 실시하였다.
특징 데이터 구성 방법은 입력 받은 손 제스처 궤적의 구간을 일정하게 나누는 리샘플링을 하고 손 제스처 궤적을 방향에 따라 27 체인코드를 생성한 후 이에 대한 각 구간의 히스토그램으로 특징 데이터를 구성한다(그림 4).

이론/모형

본 방법은 Intel Core I5 7500 프로세서, GTX1060 그래픽 카드, Visual Studio 2017 환경에서 개발되었다. 게임 개발을 위하여 유니티 2017 엔진을 사용하였고 손 인식을 위하여 립모션을 사용하며 MCSVM은 Accord-Framework 3.7의 라이브러리를 사용하였다.
다수의 제스처를 분류하기 위해 SVM에서 확장된 MCSVM 방식 중 각각의 클래스마다 경계선을 찾는 방법인 일대다(one vs rest) 방법을 사용한다. 분류해야할 제스처에 대하여 1차 이진부류의 4가지 제스처 종류(양손/한손, 정적/동적)에 따라 MCSVM을 각각 학습한다.

성능/효과

실험을 하면서 실시간으로 인식하는 도중에 실험자의 의도하지 않은 동작들이 명령 제스처와 유사할 경우 명령이 실행되는 오작동이 일어남을 확인할 수 있었다.
본 논문은 가상현실 3D 오브젝트와의 상호작용을 위한 MCSVM 기반 손 제스처 인식 방법을 제한하였다. 립모션을 통해 얻은 손 데이터를 전처리 과정을 통해 이상치를 제거하고 이진 결정 트리로 분류한 후 MCSVM을 통하여 학습한 정보를 이용해 다양한 손 제스처 인식이 가능한 인터페이스를 지원함으로써 다양한 가상현실 응용에 확장이 가능함을 보여주었다. 향후 립모션 자체의 인식 한계를 해결하고자 딥러닝(Deep Learning)과 같은 인공지능 기술을 적용해 보고자 한다.
(그림 6)은 <표 3>의 기준에 따라 실험한 결과를 그래프로 나타낸 것이다. 설물 결과 직관성, 몰입도, 자연스러움 부분에서 제스처 인터페이스가 보다 더 높은 점수를 보였다. 마우스로 버튼을 클릭하여 명령을 실행하는 방식과 달리 제스처 인터페이스는 제스처에서 사용하고자 하는 명령의 의미가 연상되기 때문에 직관성과 자연스러움에서 많은 차이를 보였다.
실험 결과를 보면 전반적으로 95% 이상으로 높은 인식률을 보였다. 특히 양손 제스처는 두 가지의 제스처끼리만 비교하기 때문에 100%의 결과를 보였으며 블록 생성의 경우 두 제스처의 모션이 흡사하기 때문에 서로 오인식을 하는 경우가 발행하였다.
<표 2>의 유사 제스처를 인식시키면 명령 제스처 중에 가장 비슷한 제스처로 인식된다. 이를 방지하기 위해 유사 제스처들을 학습시켜서 명령 제스처와 유사 제스처의 분류가 가능하도록 하였고 그 결과 약 15% 이상 인식률이 향상되는 것을 확인할 수 있었다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

가상현실 3D 오브젝트와 상호작용을 위한 MCSVM 기반 손 제스처 인식
Hand Gesture Recognition Method based on the MCSVM for Interaction with 3D Objects in Virtual Reality 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

가상현실 3D 오브젝트와 상호작용을 위한 MCSVM 기반 손 제스처 인식 Hand Gesture Recognition Method based on the MCSVM for Interaction with 3D Objects in Virtual Reality 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

가상현실 3D 오브젝트와 상호작용을 위한 MCSVM 기반 손 제스처 인식
Hand Gesture Recognition Method based on the MCSVM for Interaction with 3D Objects in Virtual Reality 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper