사용자 인터페이스 기술은 CLI(Command Line Interfaces), GUI(Graphical User Interfaces)를 거쳐 NUI(Natural User Interfaces)로 발전하고 있다. NUI는 멀티터치, 모션 트래킹, 음성, 스타일러스 등 다양한 입력형식을 사용한다. 기존 GUI 어플리케이션에 NUI를 적용하기 위해서는 이러한 장치관련 라이브러리 추가, 관련 코드 수정, 디버그 등의 과정이 필요하다. 본 논문에서는 기존 이벤트 기반 GUI 어플리케이션의 수정 없이 제스처 기반 인터페이스를 적용할 수 있는 모델을 제안한다. 또한 제안한 모델을 명세하기 위한 XML스키마를 제시하고, 3D 제스처와 마우스 제스처 프로토타입 개발을 통해 제안모델의 활용방안을 보인다.
사용자 인터페이스 기술은 CLI(Command Line Interfaces), GUI(Graphical User Interfaces)를 거쳐 NUI(Natural User Interfaces)로 발전하고 있다. NUI는 멀티터치, 모션 트래킹, 음성, 스타일러스 등 다양한 입력형식을 사용한다. 기존 GUI 어플리케이션에 NUI를 적용하기 위해서는 이러한 장치관련 라이브러리 추가, 관련 코드 수정, 디버그 등의 과정이 필요하다. 본 논문에서는 기존 이벤트 기반 GUI 어플리케이션의 수정 없이 제스처 기반 인터페이스를 적용할 수 있는 모델을 제안한다. 또한 제안한 모델을 명세하기 위한 XML 스키마를 제시하고, 3D 제스처와 마우스 제스처 프로토타입 개발을 통해 제안모델의 활용방안을 보인다.
NUI(Natural User Interfaces) has been developed through CLI(Command Line Interfaces) and GUI(Graphical User Interfaces). NUI uses many different input modalities, including multi-touch, motion tracking, voice and stylus. In order to adopt NUI to legacy GUI applications, he/she must add device librar...
NUI(Natural User Interfaces) has been developed through CLI(Command Line Interfaces) and GUI(Graphical User Interfaces). NUI uses many different input modalities, including multi-touch, motion tracking, voice and stylus. In order to adopt NUI to legacy GUI applications, he/she must add device libraries, modify relevant source code and debug it. In this paper, we propose a gesture-based interface model that can be applied without modification of the existing event-based GUI applications and also present the XML schema for the specification of the model proposed. This paper shows a method of using the proposed model through a prototype.
NUI(Natural User Interfaces) has been developed through CLI(Command Line Interfaces) and GUI(Graphical User Interfaces). NUI uses many different input modalities, including multi-touch, motion tracking, voice and stylus. In order to adopt NUI to legacy GUI applications, he/she must add device libraries, modify relevant source code and debug it. In this paper, we propose a gesture-based interface model that can be applied without modification of the existing event-based GUI applications and also present the XML schema for the specification of the model proposed. This paper shows a method of using the proposed model through a prototype.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이러한 GUI 어플리케이션에 제스처 기반의 NUI를 적용하여 인터페이스를 개선하기 위해서는 제스처 인식 장치 추가에 따른 장치드라이버 로드, 장치 관련 코드의 추가, 이벤트 코드의 수정, 디버그 등의 과정을 거쳐서 어플리케이션을 개발해야 하므로 이에 따른 시간과 비용을 발생시킨다. 본 논문에서는 이미 개발된 GUI 어플리케이션에 제스처 기반의 NUI를 적용하기 위한 제스처 모델을 제안한다.
본 논문에서는 이벤트 기반의 GUI 어플리케이션을 제어할 수 있는 JUHA 모델을 제안하였다. 또한 시스템이 인식 가능한 XML 명세를 제시하였으며, 프로토타입 개발을 통해 사용자의 손 움직임 및 마우스 움직임을 통해 웹 브라우저를 제어하는 테스트를 수행하였다.
제안 방법
JUHA 모델을 이용한 제스처인식을 테스트하기 위한 프로토타입을 구현하였다. 프로토타입은 3D 제스처와 마우스 제스처를 지원하는 2개의 어플리케이션으로 구성되어 있다.
현재 웹 브라우저에서 마우스 제스처를 지원하는 다양한 플러그인이 개발되어 사용되고 있다. 기존 솔루션에서 웹 브라우저를 제어하기 위한 마우스 제스처 명령[17]을 [표 2] 와 같이 JUHA 모델로 맵핑하여 테스트 하였다.
본 논문에서는 이벤트 기반의 GUI 어플리케이션을 제어할 수 있는 JUHA 모델을 제안하였다. 또한 시스템이 인식 가능한 XML 명세를 제시하였으며, 프로토타입 개발을 통해 사용자의 손 움직임 및 마우스 움직임을 통해 웹 브라우저를 제어하는 테스트를 수행하였다. 제안한 모델은 구분 가능한 방향지향적인 제스처를 표현할 수 있으며, 이를 통해 GUI어플리케이션을 제어할수 있다.
본 논문에서 제안한 JUHA 모델을 시스템이 인식가능한 형태로 표현하기 위해서 XML기반의 명세언어를 설계한다. 명세대상 항목은 각 제스처를 구성하는 한쌍의 SIDE와 어플리케이션 제어를 위한 마우스 또는 키보드 이벤트에 대한 세부 정보가 포함된다.
제스처를 이용하여 GUI 어플리케이션을 제어하기 위한 제스처 인식 모델로 정다각형을 이용한 JUHA(Just Ui for Human Activity)모델을 제안한다.
이론/모형
영상 출력부분은 Kinect 센서를 통해 발생한 영상에 제스처 판별을 위한 정팔각형 영역을 합성하여 표시한다. 사용자의 오른손 위치를 제스처 핸들러로 활용하여 JUHA 모델을 테스트 할 수 있다.
성능/효과
FAAST 툴킷은 사용자가 직접 3D 제스처를 정의하여 기존 어플리케이션에 적용할 수 있는 장점이 있지만 MS Kinect 센서에 종속적인 한계가 있다. 제안한 JUHA 모델은 정다각형에 종속적인 2D 기반의 제스처를 정의할 수 있으며, 3D, 마우스, 터치 제스처 등 다양한 환경에 적용이 가능한 장점이 있다.
또한 시스템이 인식 가능한 XML 명세를 제시하였으며, 프로토타입 개발을 통해 사용자의 손 움직임 및 마우스 움직임을 통해 웹 브라우저를 제어하는 테스트를 수행하였다. 제안한 모델은 구분 가능한 방향지향적인 제스처를 표현할 수 있으며, 이를 통해 GUI어플리케이션을 제어할수 있다. 향후, 터치제스처를 포함하여 다양한 제스처 환경에서 제안모델의 활용방안과 이에 따른 명세언어의 정제 및 확장에 따른 연구가 필요하다.
후속연구
제안한 모델은 구분 가능한 방향지향적인 제스처를 표현할 수 있으며, 이를 통해 GUI어플리케이션을 제어할수 있다. 향후, 터치제스처를 포함하여 다양한 제스처 환경에서 제안모델의 활용방안과 이에 따른 명세언어의 정제 및 확장에 따른 연구가 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
NUI를 이용한 연구 및 제품은 무엇인가?
NUI는 명령어 기반의 CLI(Command Line Interface), 그래픽 기반의 GUI(Graphic User Interface)를 거쳐 발전된 기술로 여기에는 센싱 기술, 음성인식기술, 동작인식기술등 요소기술이 포함된다[1][2]. NUI를 이용한 연구 및 제품으로는 Kinect[3], EyeToy[4], PixelSense[5], 3D Immersive Touch[6], Dragon Naturally Speaking[7], Perceptive Pixel[8]등이 있으며, 이를 활용한 게임, 교육용 콘텐츠에 대한 연구도 활발하다[9][10]. NUI 관련 기술 중 사람의 제스처를 활용한 제스처 기반 사용자 인터페이스는 제스처의 입력 장치에 따라 마우스 제스처, 터치 제스처, 3D 제스처로 구분할 수 있다.
NUI의 제스처 기반 사용자 인터페이스 중 3D 제스처는 주로 어디에 활용되는가?
마우스 제스처는 구글의 크롬, MS의 인터넷 익스플로러와 같은 웹 브라우저에서 메뉴나 단축키를 대신하여 특정명령을 실행할 수 있는 Plug-in 형태로 개발되어 활용되고 있다. 터치 제스처는 스마트 폰, 태블릿 PC, Digital Signage 시스템에서 마우스, 키보드 등의 인터페이스 장치를 대체하여 활용 되고 있으며, 3D 제스처는 게임 콘솔에서 3차원 게임및 가상현실 콘텐츠에 주로 활용되고 있다.
GUI 어플리케이션에 제스처 기반의 NUI를 적용하여 인터페이스를 개선한 어플리케이션을 개발하려면 어떤 과정을 거쳐야 하는가?
한편, GUI 어플리케이션은 WIMP(Windows, Icon, Menu, Pointer)기반의 그래픽 요소를 이용하여 사용자로 부터 발생하는 키보드, 마우스 등 입력디바이스로부터 발생하는 이벤트(Event)를 감지하고, 이벤트에 적합한 메시지(Message)를 발생시킴으로써 상호작용을 지원한다. 이러한 GUI 어플리케이션에 제스처 기반의 NUI를 적용하여 인터페이스를 개선하기 위해서는 제스처 인식 장치 추가에 따른 장치드라이버 로드, 장치 관련 코드의 추가, 이벤트 코드의 수정, 디버그 등의 과정을 거쳐서 어플리케이션을 개발해야 하므로 이에 따른 시간과 비용을 발생시킨다. 본 논문에서는 이미 개발된 GUI 어플리케이션에 제스처 기반의 NUI를 적용 하기 위한 제스처 모델을 제안한다.
참고문헌 (17)
A. Valli, "Notes on Natural Interaction," http://www.citeulike.org/user/eckel/article/432 4923
W. Liu, "Natural User Interface-Next Mainstream Product User Interface," IEEE, CAIDCD, 2010.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.