본 논문에서는 사용자들이 손쉽게 마커기반과 제스처 상호작용 방법들을 적용한 증강현실콘텐츠를 제작할 수 있는 증강현실 저작도구 시스템을 제안한다. 기존의 증강현실 저작도구들은 가상의 객체를 증강하는데 초점이 맞춰져 있었고, 이러한 증강현실 콘텐츠와 상호작용을 하기 위해서는 사용자가 마커나 센서를 이용하는 방법을 사용하였다. 우리는 이러한 제한적인 상호작용 방법의 문제점을 마커기반 상호작용 방법과 깊이 인식 카메라인 Kinect를 사용한 제스처 상호작용 방법을 적용시킴으로써 해결하고자 한다. 제안하는 시스템에서는 사용자가 인터페이스를 통하여 간단한 형태의 마커기반 증강현실 콘텐츠를 쉽게 제작할 수 있다. 또한, 능동적으로 사용자가 증강현실 콘텐츠와 상호작용할 수 있는 방법들을 제공하고 있다. 본 연구에서 제공하는 상호작용 방법으로는 마커기반의 상호작용 방법으로 2개의 마커를 이용한 방법과 마커의 가림현상(Occlusion)을 이용한 방법이 있다. 그리고 사용자의 맨손을 인식, 추적하여 객체의 확대 축소, 이동, 회전이 가능한 제스처 상호작용 방법을 제공한다. 저작도구 시스템에 대한 사용성 평가와 마커 및 제스처 상호작용에 대한 사용성을 비교평가하여, 본 연구의 긍정적 결과를 확인하였다.
본 논문에서는 사용자들이 손쉽게 마커기반과 제스처 상호작용 방법들을 적용한 증강현실 콘텐츠를 제작할 수 있는 증강현실 저작도구 시스템을 제안한다. 기존의 증강현실 저작도구들은 가상의 객체를 증강하는데 초점이 맞춰져 있었고, 이러한 증강현실 콘텐츠와 상호작용을 하기 위해서는 사용자가 마커나 센서를 이용하는 방법을 사용하였다. 우리는 이러한 제한적인 상호작용 방법의 문제점을 마커기반 상호작용 방법과 깊이 인식 카메라인 Kinect를 사용한 제스처 상호작용 방법을 적용시킴으로써 해결하고자 한다. 제안하는 시스템에서는 사용자가 인터페이스를 통하여 간단한 형태의 마커기반 증강현실 콘텐츠를 쉽게 제작할 수 있다. 또한, 능동적으로 사용자가 증강현실 콘텐츠와 상호작용할 수 있는 방법들을 제공하고 있다. 본 연구에서 제공하는 상호작용 방법으로는 마커기반의 상호작용 방법으로 2개의 마커를 이용한 방법과 마커의 가림현상(Occlusion)을 이용한 방법이 있다. 그리고 사용자의 맨손을 인식, 추적하여 객체의 확대 축소, 이동, 회전이 가능한 제스처 상호작용 방법을 제공한다. 저작도구 시스템에 대한 사용성 평가와 마커 및 제스처 상호작용에 대한 사용성을 비교평가하여, 본 연구의 긍정적 결과를 확인하였다.
In this paper, we suggest an augmented reality authoring tool system that users can easily make augmented reality contents using hand gesture and marker-based interaction methods. The previous augmented reality authoring tools are focused on augmenting a virtual object and to interact with this kind...
In this paper, we suggest an augmented reality authoring tool system that users can easily make augmented reality contents using hand gesture and marker-based interaction methods. The previous augmented reality authoring tools are focused on augmenting a virtual object and to interact with this kind of augmented reality contents, user used the method utilizing marker or sensor. We want to solve this limited interaction method problem by applying marker based interaction method and gesture interaction method using depth sensing camera, Kinect. In this suggested system, user can easily develop simple form of marker based augmented reality contents through interface. Also, not just providing fragmentary contents, this system provides methods that user can actively interact with augmented reality contents. This research provides two interaction methods, one is marker based method using two markers and the other is utilizing marker occlusion. In addition, by recognizing and tracking user's bare hand, this system provides gesture interaction method which can zoom-in, zoom-out, move and rotate object. From heuristic evaluation about authoring tool and compared usability about marker and gesture interaction, this study confirmed a positive result.
In this paper, we suggest an augmented reality authoring tool system that users can easily make augmented reality contents using hand gesture and marker-based interaction methods. The previous augmented reality authoring tools are focused on augmenting a virtual object and to interact with this kind of augmented reality contents, user used the method utilizing marker or sensor. We want to solve this limited interaction method problem by applying marker based interaction method and gesture interaction method using depth sensing camera, Kinect. In this suggested system, user can easily develop simple form of marker based augmented reality contents through interface. Also, not just providing fragmentary contents, this system provides methods that user can actively interact with augmented reality contents. This research provides two interaction methods, one is marker based method using two markers and the other is utilizing marker occlusion. In addition, by recognizing and tracking user's bare hand, this system provides gesture interaction method which can zoom-in, zoom-out, move and rotate object. From heuristic evaluation about authoring tool and compared usability about marker and gesture interaction, this study confirmed a positive result.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서 우리가 제안하는 시스템은 증강현실 콘텐츠에 마커기반과 제스처 상호작용을 적용시킬 수 있는 저작도구이다. 이에 저작도구 시스템 및 상호작용 방법에 대한 사용성 평가와 성능적 측면에서의 제스처 인식률에 대한 실험을 수행하였다.
본 논문에서는 사용자들이 직접 증강현실 콘텐츠를 제작하고 여기에 마커기반과 제스처 상호작용이 가능하도록 해주는 증강현실 저작도구를 제안하였다. 이를 위해 증강현실 엔진에 인터페이스를 결합하여 사용자가 손쉽게 증강현실 콘텐츠를 제작할 수 있게 하였다.
손의 관심 영역에 대한 포스처 인식 알고리즘으로 K-Curvature 알고리즘을 사용하여 사용자의 포스처를 인식하고 이를 통해 제스처 상호작용이 가능하도록 개발하였다. 이러한 연구를 통해 사용자들에게 손쉽게 증강현실 콘텐츠를 제작할 수 있는 환경을 제공하고자 하였고, Natural User Interaction 기능들을 추가하여 사용자들이 부가적인 노력 없이도 쉽게 상호작용을 할 수 있도록 하였다. 사용성 평가 결과에서 보여주듯이 본 논문에서 제안하는 시스템의 마커기반 및 제스처 상호작용 방법은 자신이 의도한 대로 상호작용이 가능케 해 흥미를 유발할 수 있는 장점을 가지고 있다.
본 논문에서 우리가 제안하는 시스템은 증강현실 콘텐츠에 마커기반과 제스처 상호작용을 적용시킬 수 있는 저작도구이다. 이에 저작도구 시스템 및 상호작용 방법에 대한 사용성 평가와 성능적 측면에서의 제스처 인식률에 대한 실험을 수행하였다. 사용성 평가 방식은 사용자의 만족도 관련 설문과 인터뷰 방식을 활용한 Nielsen의 사용성 평가(Heuristic Evaluation)[24] 방법을 사용하였다.
여러 저작도구들 중 특히, Construct 3D[12,25]는 증강현실을 이용한 교육 시스템을 제안하였다. 학습자들이 3차원 가상 환경에서 스스로 실험을 할 수 있어 물리학 교육을 받을 수 있는 교육방법을 제시하였다. HMD(Head-Mounted Display), PIP(Personal Interaction Panel)을 이용하여 구성되었으며, PIP는 가상의 객체와 상호작용하는데 사용된다.
제안 방법
이 평가는 실험자들이 마커기반의 상호작용과 제스처 상호작용을 수행한 후 그에 관한 설문조사를 실시하였다. Nielsen의 사용성 평가에 대한 10가지 원칙들 중 해당 시스템에 부합하는 내용들을 채택하여 설문을 작성하였고, 각각의 설문에 대한 대답은 총 5단계로 점수를 나누었다. 평가를 위한 설문 내용은 다음과 같다.
이 평가는 실험자들이 본 논문에서 제안하는 시스템으로 간단한 마커 등록, 가상 객체 지정, 상호 작용 방법 설정을 수행한 후 그에 관한 설문조사를 실시하였다. Nielsen의 사용성 평가에 대한 10가지 원칙을 해당 시스템에 부합하는 내용들을 채택하였고, 각각의 설문에 대한 대답은 총 5단계로 점수를 나누었다. 평가를 위한 설문 내용은 다음과 같다.
이렇게 찾아진 Curve에 대하여 수식(2)를 통해 2차원 좌표를 3차원 좌표로 변형을 시키고 z값을 0로 설정을 하여 벡터의 외적 계산을 수행한다. z값이 양수(Positive)이면 Peak로 음수(Negative)이면 Valley로 판단을 하여 Peak로 판별된 좌표를 통해 손의 끝점으로 찾았다. 이렇게 찾아진 손의 끝점을 통해 사용자가 몇 개의 손가락을 폈는지 인식하게 되고 이를 통해 사용자의 포스처를 인식하게 된다.
(a)에서 보여주듯이 사용자가 두 손의 각 한 개의 손가락을 이용하여 증강된 가상의 객체를 확대 혹은 축소를 시킬 수 있게 하였다. 두 개의 손가락 좌표간의 유클리드 거리(Euclidean distance)를 구하여 제스처 시작 시 거리를 기준으로 사용자가 두 손 끝을 늘리고 줄이는 동작 후의 거리와 비교하여 가상의 객체를 Scale 변환 하였다.
마지막으로 가상의 객체와의 상호작용 과정을 멈추기 위해서 우리는 하나의 제스처를 추가 하였다. 보통의 증강현실 콘텐츠에서는 마커가 사라졌을 경우 증강되는 객체가 사라지거나 프로세스 과정이 끝이 나지만, 우리의 시스템에서는 사용자가 제스처를 통해 가상의 객체를 마커 위에서 다른 좌표로 이동을 시킬 수도 있고, 마커의 Occlusion을 이용한 상호작용도 제공되기 때문에 초기화를 하기 위한 부가적인 제스처를 추가하였다.
분리된 손의 관심 영역에서 찾아진 외곽점들에 대하여 k범위만큼의 점들의 cosine 각도를 수식(1)을 통하여 구한다. 시스템에서 정한 일정한 각도 이하이면 Curvature라고 인식을 한다.
설문조사를 통해 본 논문에서 제안하는 MSL ARToolKit 저작도구에 대한 사용성 평가를 수행하였다. 이 평가는 실험자들이 본 논문에서 제안하는 시스템으로 간단한 마커 등록, 가상 객체 지정, 상호 작용 방법 설정을 수행한 후 그에 관한 설문조사를 실시하였다.
또한, 깊이 인식 카메라를 사용하여 손 분리 과정을 수행함으로써 손쉽게 손의 관심 영역을 추출할 수 있었다. 손의 관심 영역에 대한 포스처 인식 알고리즘으로 K-Curvature 알고리즘을 사용하여 사용자의 포스처를 인식하고 이를 통해 제스처 상호작용이 가능하도록 개발하였다. 이러한 연구를 통해 사용자들에게 손쉽게 증강현실 콘텐츠를 제작할 수 있는 환경을 제공하고자 하였고, Natural User Interaction 기능들을 추가하여 사용자들이 부가적인 노력 없이도 쉽게 상호작용을 할 수 있도록 하였다.
Miss-Recognition은 제스처를 취하는 도중에 손의 영역을 놓쳐 인식이 되지 않았던 것을 의미하며 True-Positive는 정확하게 인식 되었음을 의미한다. 실험은 위에 언급한 실험자를 대상으로 정의된 4개의 제스처에 대해 일정시간씩 3회 수행을 하게 하여 측정하였다. 제스처에 대한 인식률을 실험한 결과 평균 92%정도의 인식률을 보였다.
우리가 제안하는 시스템은 사용자가 손쉽게 마커에 가상의 객체를 지정할 수 있고, 가상의 객체에 대한 마커기반의 상호작용과 제스처 상호작용을 적용시킬 수 있는 증강현실 저작도구 시스템이다. 사용자는 마커나 제스처를 사용해 생성된 증강현실 콘텐츠와 능동적으로 상호작용할 수 있다.
이를 위해서 사용자가 손가락을 모두편 상태일 경우 가상의 객체가 사용자의 손바닥을 중심점으로 하여 사용자의 손 움직임에 따라 가상의 객체도 함께 움직이는 방식을 선택을 하였다. 우리는 깊이 인식 카메라를 이용하기 때문에 별도의 Calibration 과정 없이도 깊이 정보를 이용하여 가상의 객체를 3차원 공간 안에서 움직일 수 있게 하였다.
제안하는 시스템에서 제공하는 상호작용 방법들에 대해 설문조사를 통해 사용성 평가를 수행하였다. 이 평가는 실험자들이 마커기반의 상호작용과 제스처 상호작용을 수행한 후 그에 관한 설문조사를 실시하였다. Nielsen의 사용성 평가에 대한 10가지 원칙들 중 해당 시스템에 부합하는 내용들을 채택하여 설문을 작성하였고, 각각의 설문에 대한 대답은 총 5단계로 점수를 나누었다.
설문조사를 통해 본 논문에서 제안하는 MSL ARToolKit 저작도구에 대한 사용성 평가를 수행하였다. 이 평가는 실험자들이 본 논문에서 제안하는 시스템으로 간단한 마커 등록, 가상 객체 지정, 상호 작용 방법 설정을 수행한 후 그에 관한 설문조사를 실시하였다. Nielsen의 사용성 평가에 대한 10가지 원칙을 해당 시스템에 부합하는 내용들을 채택하였고, 각각의 설문에 대한 대답은 총 5단계로 점수를 나누었다.
기존의 마커기반 증강현실에서는 상호작용 중에 발생할 수 있는 문제점은 마커가 가려짐으로써 증강되던 가상 객체가 사라지는 것이다. 이러한 문제점을 해결하고, 가려짐 현상을 상호작용 방법으로 사용하기 위해 특징점 추적 방식을 적용하여, 증강되던 마커가 가림 현상에 의하여 인식 실패하는 경우에도 마커를 추적할 수 있는 기술로 적용하였다. 이를 위하여 2단계의 인식 단계를 두고 일반적으로 마커가 인식이 성공되는 경우에는 일반적인 증강현실 시스템의 프로세스를 따르지만, 인식이 실패하는 경우에는 KLT Feature Tracker[21]를 이용하여 기존 인식된 마커의 특징점을 추적하여 증강을 이어가도록 설계되었다.
이러한 문제점을 해결하고, 가려짐 현상을 상호작용 방법으로 사용하기 위해 특징점 추적 방식을 적용하여, 증강되던 마커가 가림 현상에 의하여 인식 실패하는 경우에도 마커를 추적할 수 있는 기술로 적용하였다. 이를 위하여 2단계의 인식 단계를 두고 일반적으로 마커가 인식이 성공되는 경우에는 일반적인 증강현실 시스템의 프로세스를 따르지만, 인식이 실패하는 경우에는 KLT Feature Tracker[21]를 이용하여 기존 인식된 마커의 특징점을 추적하여 증강을 이어가도록 설계되었다.
본 논문에서는 사용자들이 직접 증강현실 콘텐츠를 제작하고 여기에 마커기반과 제스처 상호작용이 가능하도록 해주는 증강현실 저작도구를 제안하였다. 이를 위해 증강현실 엔진에 인터페이스를 결합하여 사용자가 손쉽게 증강현실 콘텐츠를 제작할 수 있게 하였다. 또한, 깊이 인식 카메라를 사용하여 손 분리 과정을 수행함으로써 손쉽게 손의 관심 영역을 추출할 수 있었다.
첫 번째, 제스처 상호작용 방법은 그림 11은 손바닥 위에 가상의 객체를 두고 이동시키는 상호작용을 보여주고 있다. 이를 위해서 사용자가 손가락을 모두편 상태일 경우 가상의 객체가 사용자의 손바닥을 중심점으로 하여 사용자의 손 움직임에 따라 가상의 객체도 함께 움직이는 방식을 선택을 하였다. 우리는 깊이 인식 카메라를 이용하기 때문에 별도의 Calibration 과정 없이도 깊이 정보를 이용하여 가상의 객체를 3차원 공간 안에서 움직일 수 있게 하였다.
증강된 가상의 객체에 대해 깊이인식 카메라를 통하여 사용자의 맨손을 인식, 추적하여 확대, 축소, 이동, 회전이 가능한 상호작용을 제시한다. 이에 대한 실험으로 저작도구 시스템에 대한 사용성 평가, 각 상호작용 방법에 대한 사용성 평가, 제스처의 인식률에 대한 실험을 수행하였다.
제안하는 시스템에서 제공하는 상호작용 방법들에 대해 설문조사를 통해 사용성 평가를 수행하였다. 이 평가는 실험자들이 마커기반의 상호작용과 제스처 상호작용을 수행한 후 그에 관한 설문조사를 실시하였다.
깊이 인식 카메라를 통해 인식된 마커에 사용자가 지정한 가상의 객체가 증강되며, 세 번째 단계에서는 사용자가 증강현실 콘텐츠와 상호작용하는 것을 보여주고 있다. 제안하는 시스템에서 제공하는 상호작용 방법에는 마커기반 방법과 제스처를 이용한 방법이 있다.
이를 이용하여 증강현실 콘텐츠에 대해서도 이와 같은 상호작용 방법을 적용시켰다. 제안하는 시스템에서는 그림 13.(a)에서 보여주듯이 사용자가 두 손의 각 한 개의 손가락을 이용하여 증강된 가상의 객체를 확대 혹은 축소를 시킬 수 있게 하였다. 두 개의 손가락 좌표간의 유클리드 거리(Euclidean distance)를 구하여 제스처 시작 시 거리를 기준으로 사용자가 두 손 끝을 늘리고 줄이는 동작 후의 거리와 비교하여 가상의 객체를 Scale 변환 하였다.
제안하는 시스템은 2가지의 마커기반 상호작용을 사용자에게 제공한다. 이 저작도구의 인터페이스를 통해 제작된 증강현실 콘텐츠가 실행되었을 경우, 마커기반의 상호작용이 어떻게 수행되는지 그림 5의 마커기반 상호작용 순서도를 통해 간략히 보여주고 있다.
제안하는 시스템은 증강현실 콘텐츠에 대한 마커 기반 상호작용 방법 외에 사용자의 제스처를 통한 상호작용도 추가로 제공한다. 그림 8에서 상호작용을 위해 손동작 인식에 대한 순서도를 보여주고 있다.
본 논문에서 제안하는 시스템과 기존 증강현실 저작도구와의 차이점은 사용자가 인터페이스를 통해 능동적으로 마커와 가상의 객체간의 관계를 지정할 수 있게 하였고, 증강현실 콘텐츠에 여러 상호작용 방법들을 적용할 수 있다는 점이다. 증강된 가상의 객체에 대해 깊이인식 카메라를 통하여 사용자의 맨손을 인식, 추적하여 확대, 축소, 이동, 회전이 가능한 상호작용을 제시한다. 이에 대한 실험으로 저작도구 시스템에 대한 사용성 평가, 각 상호작용 방법에 대한 사용성 평가, 제스처의 인식률에 대한 실험을 수행하였다.
대상 데이터
평가 대상은 본 연구의 전문가 집단으로 증강현실 기술에 대해 연구하는 그룹(A)과 제스처 인식에 대해 연구하는 그룹(B)으로 구성되었다. 그룹A는 증강현실 관련 연구를 하고 있는 컴퓨터전공의 석/박사 대학원생으로 구성되었고, 그룹B 역시 컴퓨터전공의 제스처 관련 연구를 하고 있는 석/박사 대학원생으로 구성되었다. 이 두 그룹의 평가 인원은 동일하게 4명으로 구성하였다.
시스템에서 정한 일정한 각도 이하이면 Curvature라고 인식을 한다. 우리는 이를 위하여 45도 이하인 Curve들을 손 끝점으로 인식을 하였다. 이렇게 찾아진 Curve에 대하여 수식(2)를 통해 2차원 좌표를 3차원 좌표로 변형을 시키고 z값을 0로 설정을 하여 벡터의 외적 계산을 수행한다.
그룹A는 증강현실 관련 연구를 하고 있는 컴퓨터전공의 석/박사 대학원생으로 구성되었고, 그룹B 역시 컴퓨터전공의 제스처 관련 연구를 하고 있는 석/박사 대학원생으로 구성되었다. 이 두 그룹의 평가 인원은 동일하게 4명으로 구성하였다.
사용성 평가 방식은 사용자의 만족도 관련 설문과 인터뷰 방식을 활용한 Nielsen의 사용성 평가(Heuristic Evaluation)[24] 방법을 사용하였다. 평가 대상은 본 연구의 전문가 집단으로 증강현실 기술에 대해 연구하는 그룹(A)과 제스처 인식에 대해 연구하는 그룹(B)으로 구성되었다. 그룹A는 증강현실 관련 연구를 하고 있는 컴퓨터전공의 석/박사 대학원생으로 구성되었고, 그룹B 역시 컴퓨터전공의 제스처 관련 연구를 하고 있는 석/박사 대학원생으로 구성되었다.
이론/모형
(a)와 같은 입력 영상에서 손 영역을 찾기 위해서 그림 9.(b)에서 보이듯이 Adaptive Skin-Color 알고리즘을 적용하였다. Adaptive Skin-Color 알고리즘은 조명 변화에서도 강인하게 손을 찾기 위해 적용되었다.
(b)에서 보이듯이 Adaptive Skin-Color 알고리즘을 적용하였다. Adaptive Skin-Color 알고리즘은 조명 변화에서도 강인하게 손을 찾기 위해 적용되었다. 사용자의 손을 인식하여 상호작용을 하는 경우에 피부 색상 영역을 찾는 것은 매우 중요한 역할을 한다.
학습자들이 3차원 가상 환경에서 스스로 실험을 할 수 있어 물리학 교육을 받을 수 있는 교육방법을 제시하였다. HMD(Head-Mounted Display), PIP(Personal Interaction Panel)을 이용하여 구성되었으며, PIP는 가상의 객체와 상호작용하는데 사용된다. 이와 같은 증강현실 저작도구뿐만 아니라 ComposAR[13], 이미지의 특징점을 추적(Natural Image Feature Tracking: NFT)하는 Qualcomm AR SDK[14], PTAM등 다양한 저작도구들이 연구되었다.
이에 저작도구 시스템 및 상호작용 방법에 대한 사용성 평가와 성능적 측면에서의 제스처 인식률에 대한 실험을 수행하였다. 사용성 평가 방식은 사용자의 만족도 관련 설문과 인터뷰 방식을 활용한 Nielsen의 사용성 평가(Heuristic Evaluation)[24] 방법을 사용하였다. 평가 대상은 본 연구의 전문가 집단으로 증강현실 기술에 대해 연구하는 그룹(A)과 제스처 인식에 대해 연구하는 그룹(B)으로 구성되었다.
손 영역 분리 단계를 통해 찾아진 손의 관심 영역의 blob내 사용자의 포스처가 무엇인지를 판단하기 위해서 손 인식(Hand Recognition)과정을 거치게 된다. 사용자의 포스처를 인식하기 위해서, 제안하는 시스템에서는 K-Curvature 알고리즘[23]을 사용하여 포스처를 판단한다. K-Curvature 알고리즘은 찾아진 손의 관심 영역의 blob에서 외곽(Contour) 점들에 대하여 Curve점들을 찾는 방식으로 진행이 된다.
이러한 피부 색상은 배경이나 조명 환경에 민감하기 때문에 Static Skin-Color segmentation1)을 이용하는 경우에는 환경에 따라 손 영역을 판별하는데 어려움이 있다. 이러한 환경을 극복하기 위하여 제안하는 시스템에서는 Adaptive Skin-Color Segmentation[22]을 사용하였다. Adaptive Skin-Color 알고리즘은 입력 영상에서 이전 프레임과 현재 프레임의 모션과 피부 색상 영역이라고 판단되는 부분에 대하여 AND 연산을 수행을 한 후에 적응적으로 다시 피부 색상 영역 공간을 설정 하는 방식으로 진행이 된다.
성능/효과
그림 3.(d) Configure Setting은 현재 지정된 마커의 ID를 보여주며, 상호작용이 적용될 상대 마커의 ID를 입력할 수 있다. 끝으로, 그림 3.
두 번째 제스처 상호작용 방법은 그림 12처럼 한 개의 손가락이 인식이 된 경우에 가상의 객체를 회전시킬 수 있다. 가상의 객체가 증강된 좌표를 기준으로 사용자의 손 끝점의 좌표가 가상의 객체의 왼쪽에 위치하면 시계 방향으로 반대인 경우 반시계 방향으로 가상의 객체가 회전한다.
상호작용을 위한 2개의 마커가 인식되어 서로 가까이 있을 경우, Merge 상호작용을 통해 증강될 각 마커에 지정된 가상 객체가 아닌 새로운 가상의 객체가 증강된다. 두 번째로 Occlusion 상호작용인 경우에는 마커가 인식되었을 때, 마커 영역이 가려져 있지 않을 경우와 가려졌을 경우 각 2가지 상황에 따라 가상 객체를 달리 증강시킬 수 있다.
이를 위해 증강현실 엔진에 인터페이스를 결합하여 사용자가 손쉽게 증강현실 콘텐츠를 제작할 수 있게 하였다. 또한, 깊이 인식 카메라를 사용하여 손 분리 과정을 수행함으로써 손쉽게 손의 관심 영역을 추출할 수 있었다. 손의 관심 영역에 대한 포스처 인식 알고리즘으로 K-Curvature 알고리즘을 사용하여 사용자의 포스처를 인식하고 이를 통해 제스처 상호작용이 가능하도록 개발하였다.
그림 16는 6가지 평가 항목별 상호작용 기능들에 대한 사용성 평가 결과를 보여준다. 마커기반과 제스처 상호작용을 수행함에 있어 전반적으로 4점 이상의 결과가 나왔다. 마커기반과 제스처 상호작용 기능의 Q1 항목에서는 두 방법 모두 높은 점수를 받았다.
본 논문에서 제안하는 시스템과 기존 증강현실 저작도구와의 차이점은 사용자가 인터페이스를 통해 능동적으로 마커와 가상의 객체간의 관계를 지정할 수 있게 하였고, 증강현실 콘텐츠에 여러 상호작용 방법들을 적용할 수 있다는 점이다. 증강된 가상의 객체에 대해 깊이인식 카메라를 통하여 사용자의 맨손을 인식, 추적하여 확대, 축소, 이동, 회전이 가능한 상호작용을 제시한다.
이러한 연구를 통해 사용자들에게 손쉽게 증강현실 콘텐츠를 제작할 수 있는 환경을 제공하고자 하였고, Natural User Interaction 기능들을 추가하여 사용자들이 부가적인 노력 없이도 쉽게 상호작용을 할 수 있도록 하였다. 사용성 평가 결과에서 보여주듯이 본 논문에서 제안하는 시스템의 마커기반 및 제스처 상호작용 방법은 자신이 의도한 대로 상호작용이 가능케 해 흥미를 유발할 수 있는 장점을 가지고 있다.
증강현실 기술을 통해, 미래의 환경에서는 인식하기 어려운 상황에 대해 가상의 정보를 제공함으로써 복잡한 순서 또는 위험한 실험 과정에 대한 이해를 돕는 가이드라인을 제시할 수 있다. 사용자들은 추상적인 원리와 이론이 아닌 직접 콘텐츠를 통해 경험하게 됨으로써 기존의 수동적으로 콘텐츠들을 받아들이는 단방향성 서비스가 아닌 상호작용이 가능한 능동적인 콘텐츠를 제공받을 수 있게 되었다. 이러한 증강현실 기술을 표현하기 위해 사용되는 대부분의 저작도구들은 컴퓨터 비전 기술을 이용하고, 특히 마커나 자연 이미지의 특징점을 이용한 마커리스 기반[5,6]으로 동작한다.
이전 연구로 우리는 사용자들이 간단하게 증강현실 콘텐츠에 직접 상호작용 기능을 포함할 수 있는 비전 기술기반의 증강현실 저작도구인 MSL ARToolKit 시스템을 구현하였다[20]. 이 연구에서는 사용자가 직접 마커의 ID를 정할 수 있고, 지정된 마커에 가상 객체를 증강시킬 수 있었다. 하지만, 이 저작도구를 사용하기 위해선 기본적으로 프로그래밍 능력이 있어야 했다.
그림 15는 10가지 평가 항목별 제안하는 시스템에 대한 평가 결과를 보여준다. 저작도구를 사용함에 있어 문제 발생 시 문제 해결에 대한 사용성 평가 결과가 평균 2.5점으로 낮게 나왔지만, 인터페이스나 사용성 측면에서는 전반적으로 4점(보통) 이상의 결과를 보였다. Q1과 Q8항목이 4.
실험은 위에 언급한 실험자를 대상으로 정의된 4개의 제스처에 대해 일정시간씩 3회 수행을 하게 하여 측정하였다. 제스처에 대한 인식률을 실험한 결과 평균 92%정도의 인식률을 보였다. 인식을 실패할 확률은 평균적으로 7%정도로 이는 주변 환경의 요인으로 인하여 손의 영역을 놓치거나 포스처를 제대로 인식하지 못하는 경우 발생하였다.
후속연구
이를 극복하고 일반 사용자들이 상호작용이 가능한 증강현실 콘텐츠를 손쉽게 제작하기 위해서는 IT 분야뿐만 아닌 인문학 분야와의 학제적 연구가 필요하다. 본 논문에서 제안하는 저작도구를 통해 제작한 증강현실 콘텐츠는 교육뿐만 아니라 게임, 의료 등 다양한 분야에 다양한 상호작용이 가능한 증강현실 기술을 접목할 수 있는 기회를 제공할 것이다.
최근에 기존의 여러 증강현실 저작도구들이 다양한 상호작용 방법들을 접목하는 연구들이 꾸준히 계속되고 있다. 이러한 연구들을 통해 앞으로는 사용자들이 능동적인 활용과 참여를 유도해 낼 수 있는 높은 레벨의 상호작용이 가능한 증강현실 콘텐츠들이 제공될 것이다. 추후 연구에서는 저작 도구의 인터페이스에 대해 사용자의 편의와 사용성을 위한 연구가 추가적으로 요구되며, 사용자가 이해하고 적용하기 쉬운 증강현실 콘텐츠를 위해 추가적인 제스처 상호 작용 기술 연구가 필요하다.
추가적으로 사용자가 제스처(Gesture)를 이용하여 증강현실 콘텐츠와 상호작용을 할 수 있도록 제공해 준다면, 증강현실 콘텐츠에 대한 몰입감과 집중도를 향상시킬 수 있을 것이다. 제스처뿐만 아니라 사용자가 직관적으로 사용할 수 있는 여러 상호작용 방법들에 대해 연구되고 있다.
이러한 연구들을 통해 앞으로는 사용자들이 능동적인 활용과 참여를 유도해 낼 수 있는 높은 레벨의 상호작용이 가능한 증강현실 콘텐츠들이 제공될 것이다. 추후 연구에서는 저작 도구의 인터페이스에 대해 사용자의 편의와 사용성을 위한 연구가 추가적으로 요구되며, 사용자가 이해하고 적용하기 쉬운 증강현실 콘텐츠를 위해 추가적인 제스처 상호 작용 기술 연구가 필요하다. 제스처 인식 연구 분야 뿐만 아니라 여러 상호작용 연구에서의 한계점은 각 연구들마다 상호작용에 대한 비교 데이터들이 통일화되어 있지 않기 때문에 각 접근방식에 대한 비교가 힘들다.
질의응답
핵심어
질문
논문에서 추출한 답변
교육 분야에서의 증강현실 기술이 많은 관심을 받는 이유는 무엇인가?
이러한 특징으로 증강현실 기술은 의료, 게임, 전시, 예술 등 다양한 분야에 접목되고 있는데, 그 중 한 분야가 교육 분야에서의 활용이다. 교육 분야에서의 증강현실 기술은 학습자가 직접 관찰할 수 없는 내용을 가상의 객체를 통하여 정보를 얻고, 가상의 객체를 직접 상호작용을 통해 조작해 봄으로써 학습 내용의 원리를 이해하는데 도움을 주기 때문에 많은 관심을 받고 있다[2]. 이러한 증강현실 콘텐츠를 사용한 학습자들의 학습능력을 평가해 본 결과 교과서를 통하여 교육을 받은 학습자들보다 능동적으로 학습에 임하였고, 더 많은 정보를 기억하였다[3,4].
증강현실은 어떤 기술인가?
증강현실(Augmented Reality)은 가상현실(Virtual Reality)과 달리 현실세계에 가상의 객체를 이음새 없이 실시간으로 정합하여 보여줌으로써 사용자가 현실세계에서 가상의 객체를 통하여 여러 가지 부가적인 정보를 얻을 수 있는 기술이다[1,25]. 이러한 특징으로 증강현실 기술은 의료, 게임, 전시, 예술 등 다양한 분야에 접목되고 있는데, 그 중 한 분야가 교육 분야에서의 활용이다.
기존 증강현실 응용프로그램의 사용자가 마커를 움직임에 따라 콘텐츠들도 함께 움직이는 상호작용 방법에서 발생한 한계점은 무엇인가?
이와 같은 기존의 증강현실 응용프로그램들은 마커나 마커리스의 자연 이미지를 인식하여 증강현실 콘텐츠를 보여 주며, 사용자는 마커를 움직임에 따라 콘텐츠들도 함께 움직이는 방법으로 상호작용을 하였다. 이러한 상호작용 방법은 유용할 수 있으나 대부분의 AR 책(AR Book)과 같은 증강현실 콘텐츠에서는 인식되는 마커가 책에 부착되어 있는 경우가 많아 증강현실 콘텐츠에 대한 상호작용 시 책 자체를 움직여야하는 한계점이 발생하였고, 이 때문에 학습자의 집중도를 떨어뜨릴 수 있는 가능성이 제기되었다[15].
참고문헌 (26)
R.T. Azuma, "A Survey of Augmented Reality," Teleoperators and Virtual Environments, Vol. 6, No. 4, pp. 355-385, 1997.
H. Kaufmann, "Collaborative Augmented Reality in Education," Position paper for keynote speech at Imagina 2003 Conference, 2003.
A. Dunser, "Supporting Low Ability Readers With Interactive Augmented Reality," Annual Review of CyberTherapy and Telemedicine: Changing the Face of Healthcare, Interactive Media Institute, Vol. 6, pp. 41-48, 2008.
R. Moreno, R.E. Mayer, H.A. Spires, and J.C. Lester, "The Case for Social Agency in Computer-Based Teaching: Do Students Learn More Deeply When they Interact with Animated Pedagogical Agents?," Cognition and Instruction, Vol. 19, No. 2, pp. 177-213, 2001.
D. Wagner, D. Schmalstieg, and H. Bischof, "Multiple Target Detection and Tracking with Guaranteed Framerates on Mobile Phones," Proc. of the 8th IEEE/ACM Int. Symposium on Mixed and Augmented Reality (ISMAR '09), pp. 57-64, 2009.
K. Kim, V. Lepetit, and W. Woo, "Scalable Real-Time Planar Targets Tracking for Digilog Books," The Visual Computer, Vol. 26, No. 6-8, pp. 1145-1154, 2010.
Y. Wang, T. Langlotz, M. Billinghurst, and T. Bell, "An Authoring Tool for Mobile Phone AR Environments," Proc. of the New Zealand Computer Science Research Student Conference 09, pp. 1-4, 2009.
R. Grasset, J. Looser, and M. Billibghurst, "OSGARToolKit: Tangible+Transitional 3D Collaborative Mixed Reality Framework," 15th Int. Conf. on Artificial Reality and Telexistence (ICAT 2005), pp. 5-8, 2005.
B. Maclntyre, M. Gandy, S. Dow, and J.D. Bolter, "DART: A Toolkit for Rapid Design Exploration of Augmented Reality Experiences," Proc. of the 17th Annual ACM Symposium on User Interface Software and Technology, pp. 197-206, 2004.
H. Kaufmann and D. Schmalstieg, "Mathematics and Geometry Education with Collaborative Augmented Reality," Computer & Graphics, Vol. 27, No. 3, pp. 339-345, 2003.
H. Seichter, J. Looser, and M. Billinghurst, "ComposAR: An Intuitive Tool for Authoring AR Applications," Proc. of the 7th IEEE/ACM Int. Symposium on Mixed and Augmented Reality, pp. 177-178, 2008.
Qualcomm AR SDK, https://ar.qualcomm.at/qdevnet/, 2011
S.C. Yuen, G. Yaiyuneyoung, and E. Johson, "Augmented Reality: An Overview and Five Directions for AR in Education," Journal of Educational Technology Development and Exchange, Vol. 4, No. 1, pp. 119-140, 2011.
H. Kato, M. Billinghurst, I. Poupyev, K. Inamoto, and K. Tachibana, "Virtual Object Manipulation on a Table-top AR Environment," Proc. of the IEEE/ACM Int. Symposium on Augmented Reality, pp. 111-119, 2000.
B.H. Thomas and W. Piekarski, "Glove Based User Interaction Techniques for Augmented Reality in an Outdoor Environment," Virtual Reality: Research, Development, and Application, Vol. 6, No. 3, pp. 167-180, 2002.
K. Dorfmuller-Ulhaas and D. Schmalstieg, "Finger Tracking for Interaction in Augmented Environments," Proc. of the IEEE/ACM Int. Symposium on Augmented Reality, pp. 55-64, 2001.
T. Lee and T. Hollerer, "Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking," 2007 11th Int. Symposium on Wearable Computers, pp. 83-90, 2007.
J. Shim, J. Seo, and T.D. Han, "MSL_ARToolKit: AR Authoring tool with Interactive features," Virtual and Mixed Reality-New Trends, Lecture Notes in Computer Science, Vol. 6773, pp. 105-112, 2011.
P. Tissainayagam and D. Suter, "Assessing the Performance of Coner Detectors for Point Feature Tracking Applications," Image and Vision Computing, Vol. 22, No. 8, pp. 663-679, 2004.
F. Dadgostar and A. Sarrafzadeh, "An Adaptive Real-time Skin Detector based on Hue Thresholding: A Comparison on two motion tracking methods," Pattern Recognition Letters, Vol. 27, No. 12, pp. 1342-1352, 2006.
J. Segen and S. Kumar, "Human-Computer Interaction using Gesture Recognition and 3D Hand Tracking," Int. Conf. on Image Processing, Vol. 3, pp. 188-192, 1998.
J. Nilsen and R. Molich, "Heuristic Evaluation of User Interfaces," Proc. of the Conf. on Human Factors in Computing Systems, pp. 249-256, 1990.
최광운, 정다운, 이석한, 최종수, "손동작을 이용한 상호작용 증강현실 시스템," 멀티미디어학회 논문지, 제15권, 제4호, pp. 425-438, 2012.
P. Garg, N. Aggarwal, and S. Sofat, "Vision Based Hand Gesture Recognition," World Academy of Science, Engineering and Technology, Vol. 49, pp. 972-977, 2009.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.