[논문]음성 및 손동작 결합 인터페이스를 통한 가상객체의 생성

김창섭; 남현길; 박종일

[국내논문] 음성 및 손동작 결합 인터페이스를 통한 가상객체의 생성
Virtual Object Generation Technique Using Multimodal Interface With Speech and Hand Gesture 원문보기

김창섭 (한양대학교) , 남현길 (한양대학교) , 박종일 (한양대학교)

가상현실 기술의 발전으로 보다 많은 사람이 가상현실 콘텐츠를 즐길 수 있게 되었다. PC나 스마트폰과 같은 이전의 콘텐츠 플랫폼과 달리 가상현실에서는 3차원 정보를 전달할 수 있는 인터페이스가 요구된다. 2차원에서 3차원으로의 변화는 보다 높은 자유도를 가지는 반면, 사용자는 새로운 인터페이스에 적응해야 하는 불편함 또한 존재한다. 이러한 불편함을 해소하기 위하여 본 논문에서는 가상현실상에서 음성과 손동작을 결합한 인터페이스를 제안한다. 제안하는 인터페이스는 음성과 손동작은 현실 세계에서의 의사소통을 모방하여 구현하였다. 현실 세계의 의사소통을 모방하였기 때문에 사용자는 추가적인 학습이 없이 가상현실 플랫폼에 보다 쉽게 적응할 수 있다. 또한, 본 논문에서는 가상객체를 생성하는 예제를 통하여 기존의 3차원 입력장치를 대신할 수 있음을 보인다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이러한 추가적인 학습을 줄이기 위하여 NUI (Natural User Interface)에 관하여 많은 연구가 진행되었다[1, 2]. NUI의 일환으로 본 논문에서는 인간의 의사소통을 모방한 인터페이스를 제안한다. 제안하는 인터페이스는 음성과 손동작이 결합된 형태이며, 가상객체를 생성하는 예시를 통하여 인터페이스의 효용성에 관한 연구를 진행하였다.
본 논문에서는 가상객체의 생성을 통하여 음성과 손동작이 합쳐진 인터페이스를 제안하고 효용성에 대하여 논의하였다. 이는 인간의 의사소통방식을 모방하였으며, 이를 통하여 사용자가 새로운 플랫폼에 보다 용이하게 적응할 수 있을 것으로 기대된다.

제안 방법

또한 앞서 언급한 바와 같이, 인간의 의사 소통 방식을 모방하였기 때문에 음성 명령은 일상적인 대화에서 사용하는 단어들인 ‘like’와 ‘this’로 구성하였다.
이러한 입력장치는 사용자의 의도를 분석하기 위하여 3차원 정보를 해석할 수 있어야 한다. 가상현실 이전의 플랫폼의 경우 일반적인 컴퓨터의 마우스나, 스마트폰의 터치 인터페이스를 통하여 사용자의 의도를 해석하였다. 새로운 입력 장치는 사용자로 하여금 입력 장치에 대한 학습을 필요로 한다.
NUI의 일환으로 본 논문에서는 인간의 의사소통을 모방한 인터페이스를 제안한다. 제안하는 인터페이스는 음성과 손동작이 결합된 형태이며, 가상객체를 생성하는 예시를 통하여 인터페이스의 효용성에 관한 연구를 진행하였다. 가상객체 생성에 있어 사용자의 손동작을 분석할 필요가 있다.
가상객체 생성에 있어 사용자의 손동작을 분석할 필요가 있다. 또한 사용자가 의도한 시점에서만의 분석이 필요하고, 음성을 이용하여 이러한 분석 시점을 결정하였다.
이전의 손동작 연구에서는 손의 움직임 중 유의미한 부분만을 추출하기 위하여 다양한 방법들을 적용했다. 반복되는 손동작의 패턴을 분석하거나, 수화와 같은 손의 모양으로 해석 시점을 결정하는 방법들을 사용하였다[3, 4]. 본 논문에서는 손의 움직임 중 유의미한 움직임을 결정하기 위하여 음성을 사용하였다.
반복되는 손동작의 패턴을 분석하거나, 수화와 같은 손의 모양으로 해석 시점을 결정하는 방법들을 사용하였다[3, 4]. 본 논문에서는 손의 움직임 중 유의미한 움직임을 결정하기 위하여 음성을 사용하였다. 또한 앞서 언급한 바와 같이, 인간의 의사 소통 방식을 모방하였기 때문에 음성 명령은 일상적인 대화에서 사용하는 단어들인 ‘like’와 ‘this’로 구성하였다.
센서로부터 출력되는 손동작 인식 결과는 손의 모양 손의 3차원 위치로 이루어져 있다. 본 논문의 방법에서는 손의 3차원 위치를 사용하여 회전체의 형태를 정한다. 회전체 계산의 간편함 때문에 3차원 경로를 2차원 평면에 투영시켜 평면을 회전하여 회전체를 생성한다.
본 논문에서는 센서로부터 출력되는 손의 3차원 위치를 단위시간 (약 0.5초)마다 샘플링하여 사용한다. 이는 출력값의 떨림(jittering)에 보다 강인해지는 반면 손의 경로가 부자연스러워지는 단점이 있다.

이론/모형

본 논문에서는 손동작 인식을 위하여 LeapMotion을 사용하였으며 음성 인식의 경우 단어를 등록하여 사용하였다. 다시 말해, 사용자의 음성 중에 목표 단어(keyword)가 있을 경우 명령이 수행된다.

후속연구

다시 말해, 사용자의 음성 중에 목표 단어(keyword)가 있을 경우 명령이 수행된다. 본 논문에서 사용하는 예제는 회전체(body of revolution)의 생성이나 제안하는 인터페이스는 회전체뿐만 아니라 박스나 원통형 등 다양한 기초적인 3차원 도형 생성에 적용 될 수 있다. 그림 2는 이러한 가상객체 생성의 과정을 나타낸다.
본 논문에서는 가상객체의 생성을 통하여 음성과 손동작이 합쳐진 인터페이스를 제안하고 효용성에 대하여 논의하였다. 이는 인간의 의사소통방식을 모방하였으며, 이를 통하여 사용자가 새로운 플랫폼에 보다 용이하게 적응할 수 있을 것으로 기대된다. 또한 본 논문에서는 가상객체의 생성에 그쳤으나 보다 자유로운 상호작용이 가능할 것으로 예상된다.
이는 인간의 의사소통방식을 모방하였으며, 이를 통하여 사용자가 새로운 플랫폼에 보다 용이하게 적응할 수 있을 것으로 기대된다. 또한 본 논문에서는 가상객체의 생성에 그쳤으나 보다 자유로운 상호작용이 가능할 것으로 예상된다. 추후에 음성인식에 NLP(Natural Language Processing)를 합친다면 의사소통 외에도 보다 많은 분야에 적용될 수 있을 것이다.
또한 본 논문에서는 가상객체의 생성에 그쳤으나 보다 자유로운 상호작용이 가능할 것으로 예상된다. 추후에 음성인식에 NLP(Natural Language Processing)를 합친다면 의사소통 외에도 보다 많은 분야에 적용될 수 있을 것이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 음성 및 손동작 결합 인터페이스를 통한 가상객체의 생성
Virtual Object Generation Technique Using Multimodal Interface With Speech and Hand Gesture 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 음성 및 손동작 결합 인터페이스를 통한 가상객체의 생성 Virtual Object Generation Technique Using Multimodal Interface With Speech and Hand Gesture 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 음성 및 손동작 결합 인터페이스를 통한 가상객체의 생성
Virtual Object Generation Technique Using Multimodal Interface With Speech and Hand Gesture 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper