내츄럴 유저 인터페이스는 마우스, 키보드, 펜과 마커를 이용하지 않는 신체를 이용한 자연스런 모션 인터페이스이다. 지금까지 대표적인 동작 인식 방법은 마커를 이용하는 방식이었고 그 인식 방법은 각 마커의 좌표를 상대적인 데이터로 입력 받아 데이터베이스에 각 좌표 값을 저장하는 것이었다. 그러나 정확한 동작을 인식하기 위해서는 더 많은 마커들이 필요하고 그 마커들을 붙이는 것과 데이터들을 처리하는 데에 상당한 시간이 걸린다. 또, NUI/NUX 프레임워크를 개발하면서, 가장 중요한 직관성을 배제한 개발로 사용상에 문제가 생겼고 계속해서 사용자에게 암기만을 강요하고 있다. 이 문제를 보완하기 위해, 본 논문에서는 마커를 이용하지 않았고 남녀노소 누구나 다룰 수 있도록 구현했다. 또, 목소리, 신체 동작, 얼굴 표정 등을 동시에 인식하는 멀티모달 NUI/NUX 프레임 워크를 설계했고, 직관적인 손동작을 인식하는 것과 모니터에 그것을 매핑하기 위해 새로운 마우스 이벤트 알고리즘을 제안했다. 우리는 사용자들이 쉽고 직관적으로 핸드마우스 이벤트를 다루도록 구현했다.
내츄럴 유저 인터페이스는 마우스, 키보드, 펜과 마커를 이용하지 않는 신체를 이용한 자연스런 모션 인터페이스이다. 지금까지 대표적인 동작 인식 방법은 마커를 이용하는 방식이었고 그 인식 방법은 각 마커의 좌표를 상대적인 데이터로 입력 받아 데이터베이스에 각 좌표 값을 저장하는 것이었다. 그러나 정확한 동작을 인식하기 위해서는 더 많은 마커들이 필요하고 그 마커들을 붙이는 것과 데이터들을 처리하는 데에 상당한 시간이 걸린다. 또, NUI/NUX 프레임워크를 개발하면서, 가장 중요한 직관성을 배제한 개발로 사용상에 문제가 생겼고 계속해서 사용자에게 암기만을 강요하고 있다. 이 문제를 보완하기 위해, 본 논문에서는 마커를 이용하지 않았고 남녀노소 누구나 다룰 수 있도록 구현했다. 또, 목소리, 신체 동작, 얼굴 표정 등을 동시에 인식하는 멀티모달 NUI/NUX 프레임 워크를 설계했고, 직관적인 손동작을 인식하는 것과 모니터에 그것을 매핑하기 위해 새로운 마우스 이벤트 알고리즘을 제안했다. 우리는 사용자들이 쉽고 직관적으로 핸드마우스 이벤트를 다루도록 구현했다.
The natural user interface/experience (NUI/NUX) is used for the natural motion interface without using device or tool such as mice, keyboards, pens and markers. Up to now, typical motion recognition methods used markers to receive coordinate input values of each marker as relative data and to store ...
The natural user interface/experience (NUI/NUX) is used for the natural motion interface without using device or tool such as mice, keyboards, pens and markers. Up to now, typical motion recognition methods used markers to receive coordinate input values of each marker as relative data and to store each coordinate value into the database. But, to recognize accurate motion, more markers are needed and much time is taken in attaching makers and processing the data. Also, as NUI/NUX framework being developed except for the most important intuition, problems for use arise and are forced for users to learn many NUI/NUX framework usages. To compensate for this problem in this paper, we didn't use markers and implemented for anyone to handle it. Also, we designed multi-modal NUI/NUX framework controlling voice, body motion, and facial expression simultaneously, and proposed a new algorithm of mouse operation by recognizing intuitive hand gesture and mapping it on the monitor. We implement it for user to handle the "hand mouse" operation easily and intuitively.
The natural user interface/experience (NUI/NUX) is used for the natural motion interface without using device or tool such as mice, keyboards, pens and markers. Up to now, typical motion recognition methods used markers to receive coordinate input values of each marker as relative data and to store each coordinate value into the database. But, to recognize accurate motion, more markers are needed and much time is taken in attaching makers and processing the data. Also, as NUI/NUX framework being developed except for the most important intuition, problems for use arise and are forced for users to learn many NUI/NUX framework usages. To compensate for this problem in this paper, we didn't use markers and implemented for anyone to handle it. Also, we designed multi-modal NUI/NUX framework controlling voice, body motion, and facial expression simultaneously, and proposed a new algorithm of mouse operation by recognizing intuitive hand gesture and mapping it on the monitor. We implement it for user to handle the "hand mouse" operation easily and intuitively.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서 제안하는 핸드마우스는 사용하기에 어려움이 없도록 직관적인 핸드마우스를 구현하는 것이다.
본 논문에서는 NUI/NUX를 구현하는 데에 번거로운 마커를 사용하지 않고 단지 카메라만 이용하여 사람의 동작을 인식하는 방법을 연구한다.
본 논문에서는 이런 점에 착안하여 음성과 몸동작, 얼굴 표정을 동시에 제어하고 다양한 디바이스에서 인식하는 멀티모달 NUI/NUX프레임워크를 제안하고 구현하였다.
본 논문은 Kinect Camera를 이용하여 직관적인 손동작을 인식하는 것과 인식된 손동작을 모니터 상에 매핑하는 방법, 성인과 어린이로 실험하여 남녀노소 누구나 쉽게 활용할 수 있도록 구현하는 것이 목표이다.
제안 방법
1초 만에 다시 클릭하는 것을 전제로 하고 있기 때문에 Window7운영체제에서 더블 클릭 인식 시간을 바꾸지 않는 이상, 우리가 구현한 NUI/NUX 플랫폼에서 시간을 바꾸면서 결정해야했다. 0.1초로 클릭을 두 번 했을 때와 0.2초이상의 시간대들과 비교했을 때, 전자가 좋다는 결론을 내릴 수 있었고 따라서 클릭 후 0.1초 만에 클릭하여 더블 클릭 이벤트를 구현했다.
이 특징점들은 데이터베이스에 자동으로 저장된다. 3D 모델링과정에서는 카메라로 찍은 영상에서 배경은 고정되어 있고 사람은 움직이므로 영상처리 기술의 차영상을 이용하여 사람과 배경을 분리하고 사람의 관절 동선을 파악하여 어떤 명령어인지 분석한다. 그 후에 Lucas-Kanade method를 이용하여 몸동작 영역을 추적하고 이 과정을 반복하여 정확한 데이터를 산출해 내어 사용자의 동작을 잘 인식된 결과를 도출한다.
프레임워크의 오른 쪽 첫 번째 큰 숫자는 카메라로부터 가슴까지의 거리를 표시한 것이며 (알고리즘에서 BCZ), 아래 숫자는 카메라로부터 손까지의 거리를 나타낸 것이다 (알고리즘에서 HMZ). 가슴과 손 사이의 거리에 따라, 클릭 이벤트가 발생하도록 구현했다.
3D 모델링과정에서는 카메라로 찍은 영상에서 배경은 고정되어 있고 사람은 움직이므로 영상처리 기술의 차영상을 이용하여 사람과 배경을 분리하고 사람의 관절 동선을 파악하여 어떤 명령어인지 분석한다. 그 후에 Lucas-Kanade method를 이용하여 몸동작 영역을 추적하고 이 과정을 반복하여 정확한 데이터를 산출해 내어 사용자의 동작을 잘 인식된 결과를 도출한다. Lucas-Kanade method는 사람을 트래킹하는 대표적인 알고리즘이다.
그림 7에서 보는 바와 같이, 핸드 마우스는 모든 사람이 쉽게 이용할 수 있어야 하므로 모니터 화면에 매핑하기 위해 각 사람의 키에 조정 인수(본 논문에서는 9/8)를 곱한 값에서 사람의 키를 뺀 거리를 δ라 하고 수평적으로 양 어깨에서 δ를 더한 데까지, 수직적으로 엉치뼈에서 δ를 더한 값을 각각 이어 핸드 마우스 조작 영역을 제안하고 그림 8에서와 같이 그레이 스케일(gray scale)로 표시한다.
기존에는 모니터 안에 있는 창을 이동시키려면 마우스를 이용했지만, 본 논문에서 제안하는 방법은 그림 5와 같이 직관적인 손동작 NUI/NUX로 마우스 기능을 구현하는 것이다. 이것을 본 논문에서는 핸드마우스라 명명한다.
기존에는 자연스러운 동작 인식을 연구하기 위해서 퀄리티를 높이는 방법으로 마커를 이용하였다. 이것은 NUI/NUX동작인식의 한 예이며 영화 아바타, 게임 철권 시리즈의 3D모델링을 이 마커를 사용하여 사람들에게 큰 각광을 받아왔다.
따라서, 불편함을 없애고자 양손으로도 NUI/NUX 프레임워크를 움직일 수 있도록 양손 핸드마우스도 제안한다. 양손 핸드마우스는 왼손에 마우스의 x,y 좌표를 매핑하여 마우스의 이동을, 오른손에 z좌표를 매핑하여 마우스의 클릭이벤트를 제안한다.
또한, 마우스 이벤트가 구현한 NUI/NUX 프레임워크 내부인 클라이언트 영역에서 발생하는 것과 외부인 비클라이언트 영역 모두에서 발생해야 하므로, 윈도우 운영체제의 커널Win32에서 마우스 이벤트 라이브러리를 임포트 시켜 모니터 내 어디서든지 작동할 수 있도록 구현하였다. 이것으로 그림12와 같이 누구나 NUI/NUX 프레임워크를 쉽게 이용할 수 있다.
따라서, 불편함을 없애고자 양손으로도 NUI/NUX 프레임워크를 움직일 수 있도록 양손 핸드마우스도 제안한다. 양손 핸드마우스는 왼손에 마우스의 x,y 좌표를 매핑하여 마우스의 이동을, 오른손에 z좌표를 매핑하여 마우스의 클릭이벤트를 제안한다. 그리하여 한 손으로 구현했을 때보다 뚜렷하게 정확한 결과를 나타낼 것이다.
위에 표들은 성인과 어린이에게 각각 NUI/NUX프레임워크에 대한 사용방법을 알려주고 3초 간격으로 측정하였다. 표1,2는 구현한 핸드마우스 프레임워크의 클릭, 드래그 이벤트들에 대한 성인과 어린이의 성공확률이고 표3은 더블클릭에 관한 성공확률로, 클릭 후 다시 클릭하기까지의 대기시간을 0.
이론/모형
핸드 마우스를 위한 몸동작 인식은 키넥트 카메라를 이용한다. 키넥트 카메라는 RGB렌즈와 뎁스렌즈가 있기 때문에, 내장된 프로그램을 통해서 사람의 각관절을 이용할 수 있다.
성능/효과
그러므로 본 논문에서 구현하는 직관적인 NUI/NUX 프레임워크는 정형화돼 있지 않은 NUI보다 현재 직관적으로 사용하는 마우스 포인터를 이용하는 것이 가까운 미래에 가장 직관적인 통합인터페이스가 될 것이라 생각하여 직관적인 NUI/NUX로써, 마우스 포인터와 손을 매핑하여 핸드 마우스를 구현한다.
남녀노소 구분 없이 정상인이라면 마우스를 다뤄왔던 것처럼 핸드마우스를 다룰 수 있어야 한다. 따라서 그림11에서와 같이, 제안한 알고리즘을 통해 핸드마우스의 조작 영역을 만들었고 이로써, 남녀노소 누구나 NUI/NUX를 쉽게 다룰 수 있도록 토대를 마련하였다. 그림에서는 성인 보다 어린이의 마우스 조작 영역이 작은 것을 알 수 있다.
후속연구
또한, 의사들이 장갑을 끼고 벗는 일 없이 NUI//NUX를 이용하여 나노 로봇 수술을 빠르게 진행할 수 있는 장점이 있어 가까운 미래에 의료 기관에도 탁월하게 활용할 수 있을 것이라 기대한다. 군 기관에서는 명령하달을 음성과 동작으로 인식해 모바일폰, 아이패드 등을 이용하여 작전을 하달 받을 수 있을 것이다.
군 기관에서는 명령하달을 음성과 동작으로 인식해 모바일폰, 아이패드 등을 이용하여 작전을 하달 받을 수 있을 것이다. 시가지 전투에서도 NUI/NUX로 전투로봇을 카메라를 통해 행동하므로 인명피해가 없어 더욱 전술적인 작전을 펼칠 수 있을 것이다.
향후 연구로는, 더욱 섬세하고 풍부한 컴퓨터와 사람간의 상호작용을 위하여 음성과 얼굴표정을 입력으로 하여 멀티 모달 NUI/NUX를 설계하는 것이다. 키넥트는 다른 카메라들과 달리 목이 있어 지정한 목표를 따라 목의 각도를 자동으로 돌릴 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
모션 캡쳐의 핵심은 무엇인가?
영화 아바타에서는 등장 인물들의 얼굴에만 40개, 각 관절 부위에 6~8개의 마커를 붙여 사람의 동작을 완벽하게 인식할 수 있었다. 이것을 모션 캡쳐라 하며 신체 여러 부분에 센서(마커)를 부착한 뒤, 센서의 위치 값을 통해 가상캐릭터가 같은 동작으로 움직이게 하는 것이 이 기술의 핵심이다. 4년이 지난 지금 이모션 캡쳐 기술도 발전하여 게임, 비욘드 투 소울즈에서는 100여개의 마커를 붙여 얼굴인식뿐 아니라 잔주름까지도 표현할 수 있게 되었다.
내츄럴 유저 인터페이스란 무엇인가?
내츄럴 유저 인터페이스는 마우스, 키보드, 펜과 마커를 이용하지 않는 신체를 이용한 자연스런 모션 인터페이스이다. 지금까지 대표적인 동작 인식 방법은 마커를 이용하는 방식이었고 그 인식 방법은 각 마커의 좌표를 상대적인 데이터로 입력 받아 데이터베이스에 각 좌표 값을 저장하는 것이었다.
내츄럴 유저 인터페이스는 어떤 단점이 있는가?
이 NUI는 마우스와 키보드, 펜 등을 이용하지 않고 자연스러운 동작을 인터페이스로 활용하여 Natural이라는 용어를 사용한다. 그러나 GUI와 같이, 눈으로 볼 수 있는 인터페이스는 가시적이고 명확한 환경을 제공하는 반면, NUI는 눈으로 명확하게 확인하기 어려우며 인터페이스를 이용하려면 추가적인 학습에 대한 문제점이 따르게 된다[4]. 또한, 개발 소프트웨어의 시스템 성능면에서 제스처셋과 인식률의 확장성을 염두하고 디자인해야 한다[5].
참고문헌 (14)
I-Tsun Chaing, Jong-chang Tsai, "Using Xbox360 Kinect Games on Enhancing Visual Performance Skills on Institutionalized Older Adults with Wheelchairs", Fourth IEEE Int'l Conference On Digital Game And Intelligent Toy Enhanced Learning, pp.263-267, 2012.
Mohd Fairuz Shiratuddinm Kok Wai Won, "Non-Contact Multi-Hand Gestures Interaction Techniques for Architectural Design in a virtual Environment", the International Conference on IT & Multimedia at UNITEN (ICIMU 2011), Malaysia, Nov 2011.
J.Ohya and Y.Kitamura, etc, "Real-Time Reproduction of 3D Human Images in Virtual Space Teleconferencing" in Proc. Of'93 IEEE Virtual Reality Annual Int. Symp. pp. 408-414, 1993
O.Bau and W.E.Mackay, "OctoPocus: A Dynamic Guide for Learning Gesture-Based Command Sets", UIST 2008.
C. Henrique and Q.Forster, "Design of Gesture Vocabularies through Analysis of Recognizer Performance in Gesture Space", Intelligent Systems Design and Applications, pp.641-646, 2007.
Rick Kjeldsen, John Kender, "Toward the Use of Gesture in Traditional User Interfaces", Automatic Face and Gesture Recognition, 1996., Proceedings of the Second International Conference on 14-16 Oct 1996, pp.151-156.
In-Bae Jeon, Boo-Hee Nam, "Implementation of Hand Mouse Based on Depth Sensor of the Kinect", Proceeding of the KIEEME Annual Summer Conference, 2012. 7. 18-20.
Jae-Sun Lee, Jae-Hwan Lee, Yon-Ho Myeong, Hyeon-Kyeong Seong, "Development of Motion Recognition Hand-Mouse Using OpenCV", a graduation thesis, 2010.
Elena Sanchez-Nielsen, Luis Anton-Canalis, and Cayetano Guerra-Artal, "An Autonomous and User-Independent hand Posture Recognition System for Vision-Based Interface Tasks", CAEPIA'05 Proceedings of the 11th Spanish association conference on Current Pages 113-122.
A. Bolt Richard, "Put-That-There: Voice and Gesture at the Graphics Interface", International Conference on Computer Graphics and Interactive Techniques, Association for Computer Machinery, pp. 262-270, 1980.
Virpi Roto, Effie Law, Arnold Vermeeren, Jettie Hoonhout, "USER EXPERIENCE WHITE PAPER", Bringing clarity to the concept of user experience, Result from Dagstuhl Seminar on Demarcating User Experience, Feburary 11, 2011.
JinOk Kim, "Impact Analysis of nonverbal multimodals for recognition of emotion expressed virtual humans", Journal of Korean Society for Internet Information 2012. Oct: 13(5): 9-19.
Hoyoung Hwang, Hyo-Joong Suh, "A Design and Implementation of Efficient Portable Braille Point System for the Visually Impaired Presons", Journal of Korean Society for Internet Information 2008. Oct:9(5).
Jae-Young Choi, Taeg-Keun Whangbo, Nak-Bin Kim, "A Study on Improvement of Face Recognition Rate with Tranforamtion of Various Facial Poses and Expressions", Journal of Korean Society for Internet Information 2004. Dec: 5(6): 79-91.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.