[국내논문]3차원 공간에서 손가락 제스쳐 인터랙션을 이용한 간접제어의 사용성에 관한 실험연구 An Experimental Research on the Usability of Indirect Control using Finger Gesture Interaction in Three Dimensional Space원문보기
자연스러운 컴퓨터 인터랙션(Natural computer interaction)을 위 신기술의 출현은 기업에게 제품 혁신이라는 새로운 기회를 안겨다 줄 수 있다. 본 연구는 인간이 갖는 소통의 방식 중에서 손가락 제스처 인터랙션에 관심을 갖는다. 그간 십 수 년간 걸친 기술 발전에 힘입어 상용화 수준의 기술이 마련됨에 따라 이를 활용한 제품이나 서비스가 곧 대중화 될 것이라는 생각이 현재는 지배적이다. 이 시점에서 저자는 이 제스처 인터랙션이 과연 쓸 만 할까라는 생각을 가지고 손가락 제스처 인터랙션이 사용자들에게 끼치는 인지적인 영향을 알아보고자 실험연구를 진행한다. 손가락 제스처를 찍기, 집기, 잡기로 정의하고 각각 2차원과 3차원 공간에서 사용할 때 사용자들이 느끼는 사용성을 측정하여 제스처의 효과를 보여주고자 한다. 립모션 기술을 사용하여 2차원, 3차원 실험 도구를 개발하였고 48명의 피실험자를 통해 결과적으로는 2차원에서는 제스처간 사용성의 차이가 없으나 3차원에서는 그 차이를 발견할 수 있었다. 또한 모든 제스처가 3차원보다는 2차원에서 사용성이 좋은 것으로 나타났으며, 특히 3차원에서는 여러 손가락 보다는 하나의 손가락을 사용하는 것이 더 좋은 것으로 나타나 흥미를 끈다.
자연스러운 컴퓨터 인터랙션(Natural computer interaction)을 위 신기술의 출현은 기업에게 제품 혁신이라는 새로운 기회를 안겨다 줄 수 있다. 본 연구는 인간이 갖는 소통의 방식 중에서 손가락 제스처 인터랙션에 관심을 갖는다. 그간 십 수 년간 걸친 기술 발전에 힘입어 상용화 수준의 기술이 마련됨에 따라 이를 활용한 제품이나 서비스가 곧 대중화 될 것이라는 생각이 현재는 지배적이다. 이 시점에서 저자는 이 제스처 인터랙션이 과연 쓸 만 할까라는 생각을 가지고 손가락 제스처 인터랙션이 사용자들에게 끼치는 인지적인 영향을 알아보고자 실험연구를 진행한다. 손가락 제스처를 찍기, 집기, 잡기로 정의하고 각각 2차원과 3차원 공간에서 사용할 때 사용자들이 느끼는 사용성을 측정하여 제스처의 효과를 보여주고자 한다. 립모션 기술을 사용하여 2차원, 3차원 실험 도구를 개발하였고 48명의 피실험자를 통해 결과적으로는 2차원에서는 제스처간 사용성의 차이가 없으나 3차원에서는 그 차이를 발견할 수 있었다. 또한 모든 제스처가 3차원보다는 2차원에서 사용성이 좋은 것으로 나타났으며, 특히 3차원에서는 여러 손가락 보다는 하나의 손가락을 사용하는 것이 더 좋은 것으로 나타나 흥미를 끈다.
The emerging technologies for the natural computer interaction can give manufacturers new opportunities of product innovation. This paper is the study on a method of human communication about a finger gestures interaction. As technological advance has been so rapid over the last few decades, the uti...
The emerging technologies for the natural computer interaction can give manufacturers new opportunities of product innovation. This paper is the study on a method of human communication about a finger gestures interaction. As technological advance has been so rapid over the last few decades, the utilizing products or services will be soon popular. The purpose of this experiment are as follows; What is the usefulness of gesture interaction? What is the cognitive impact on gesture interaction users. The finger gestures interaction consist of poking, picking and grasping. By measuring each usability in 2D and 3D space, this study shows the effect of finger gestures interaction. The 2D and 3D experimental tool is developed by using LeapMotion technology. As a results, the experiments involved 48 subjects shows that there is no difference in usability between the gestures in 2D space but in 3D space, the meaningful difference has been found. In addition, all gestures express good usability in 2D space rather than 3D space. Especially, there are the attractive interest that using uni-finger is better than multi-fingers.
The emerging technologies for the natural computer interaction can give manufacturers new opportunities of product innovation. This paper is the study on a method of human communication about a finger gestures interaction. As technological advance has been so rapid over the last few decades, the utilizing products or services will be soon popular. The purpose of this experiment are as follows; What is the usefulness of gesture interaction? What is the cognitive impact on gesture interaction users. The finger gestures interaction consist of poking, picking and grasping. By measuring each usability in 2D and 3D space, this study shows the effect of finger gestures interaction. The 2D and 3D experimental tool is developed by using LeapMotion technology. As a results, the experiments involved 48 subjects shows that there is no difference in usability between the gestures in 2D space but in 3D space, the meaningful difference has been found. In addition, all gestures express good usability in 2D space rather than 3D space. Especially, there are the attractive interest that using uni-finger is better than multi-fingers.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
익숙한 손가락 제스처를 컴퓨터 인터랙션으로 사용하고 이것에 의해 생겨난 효과를 알아보는 것이다. 구체적으로는 사용자가 느끼는 포괄적인 사용성(Usability)을 알아보기 위해 시스템 사용성(System Usability), 인지된 편의성(Perceived Ease-of-use), 그리고 자기효능감(Self-efficacy)에 대한 손가락 제스처의 효과를 알아보고자 한다.
대부분의 연구들이 손 제스처를 사용한다면 자연스러움을 얻을 수 있을 것이라는 전제 아래 진행된 것이라고 보이지만, 역으로는 사용자가 느끼는 인지적 수준에서 그러한 제스처 인터랙션들이 과연 긍정적인 영향을 줄 수 있을지에 대한 궁금증을 갖지 않을 수 없다. 따라서 본 연구는 많은 인지과학 이론들이 뒷받침되고 상용화 수준에 이르고 있는 손 제스처 인식기술을 활용할 수 여건이 마련됨에 따라 손 제스처가 사용자에게 끼치는 인지적 영향을 알아보고자 실험연구(Experimental research)를 수행한다. 기술적 어려움이 많았던 과거에 비해 발전된 손 제스처 인식기술을 활용하여, 본 연구는 구체적으로 손가락 제스처에 초점을 맞춘다.
본 연구를 통해서 많은 요인들을 통제할 수밖에 없는 실험 환경에서 제한적으로나마 손가락 제스처 인터랙션의 사용성을 알아보았다. 신기술이 등장하면 기존의 연구를 그대로 적용하기에는 무리가 따를 듯하다.
상황에 따라 사용자의 행위를 컴퓨터 인터랙션에 활용하고자 하는 노력은 유비쿼터스(Ubiquitous) 컴퓨팅이라는 개념 하에서 상황인식(Context awareness) 분야로 이어졌고[2], 더 나아가서는 가상현실을 적용한 응용에서 사용자의 행위인식(Gesture recognition) 분야에서 활발한 연구가 진행되어 왔다[3][4]. 사용자의 인위적인 명령 없이도 주변 사물에 내재화된(Embedded) 컴퓨터를 능동적으로 동작할 수 있게 하거나, 몸 전체 또는 일부의 행위를 인식하여 컴퓨터로 만든 가상의 세계에서 자연스러운 인터랙션을 추구하는 것이다.
기술적 어려움이 많았던 과거에 비해 발전된 손 제스처 인식기술을 활용하여, 본 연구는 구체적으로 손가락 제스처에 초점을 맞춘다. 익숙한 손가락 제스처를 컴퓨터 인터랙션으로 사용하고 이것에 의해 생겨난 효과를 알아보는 것이다. 구체적으로는 사용자가 느끼는 포괄적인 사용성(Usability)을 알아보기 위해 시스템 사용성(System Usability), 인지된 편의성(Perceived Ease-of-use), 그리고 자기효능감(Self-efficacy)에 대한 손가락 제스처의 효과를 알아보고자 한다.
본 연구는 앞서 말한 연구질문에 대하여 집게손가락을 이용하는 ‘찍기’ 동작과 검지와 엄지를 사용하는 ‘집기’ 동작, 그리고 다섯 손가락으로 움켜쥐는 형태의 ‘잡기’ 동작으로 제스처를 정하고 가장 간단한 형태의 선택(Selection) 태스크를 수행한다. 즉, 손가락을 사용한 제스처 인터랙션의 방식에 따라 사용자가 느끼는 사용성이 어떻게 달라지는지에 대한 문제를 연구하기 위해서 Wachs[7]가 제시한 바와 같이 손 제스처 인터페이스가 상용화 되고 활용되기 위해 필요한 사용성 기준에서 평가가 필요하다는 가이드라인을 감안하여 실험연구(experimental research) 진행하는 것이다.
추가적으로, 본 연구는 동작인식 센서인 립모션을 이용하여 제스처 인터랙션의 사용성을 알아 본 실험 연구이다. 여기서 사용한 제스처는 저자가 직관적으로 인식한 동작을 선정하여 선택이라는 단순한 태스크에 적용 하였는데, 이 제스처 방식에 대한 고민이 더 필요할 듯 하다.
가설 설정
가설 1-1: 모든 차원에서 찍기 제스처보다 집기 제스처가 시스템 사용성이 더 좋을 것이다.
가설 1-2: 모든 차원에서 찍기 제스처보다 집기 제스처가 인지된 편의성이 더 좋을 것이다.
가설 1-3: 모든 차원에서 찍기 제스처보다 집기 제스처가 자기효능감이 더 좋을 것이다.
가설 2-1: 모든 차원에서 집기 제스처보다 잡기 제스처가 시스템 사용성이 더 좋을 것이다.
가설 2-2: 모든 차원에서 집기 제스처보다 잡기 제스처가 인지된 편의성이 더 좋을 것이다.
가설 2-3: 모든 차원에서 집기 제스처보다 잡기 제스처가 자기효능감이 더 좋을 것이다.
가설 3-1: 모든 제스처는 2차원보다 3차원에서 시스템 사용성이 더 좋을 것이다.
가설 3-2: 모든 제스처는 2차원보다 3차원에서 인지된 편의성이 더 좋을 것이다.
가설 3-3: 모든 제스처는 2차원보다 3차원에서 자기효능감이 더 좋을 것이다.
가설 4-1: 모든 제스처는 3차원보다 2차원에서 시스템 사용성이 더 좋을 것이다.
가설 4-2: 모든 제스처는 3차원보다 2차원에서 인지된 편의성이 더 좋을 것이다.
가설 4-3: 모든 제스처는 3차원보다 2차원에서 자기효능감이 더 좋을 것이다.
가설 5-1: 3차원에서는 찍기 제스처가 시스템 사용성이 더 좋을 것이다.
가설 5-2: 3차원에서는 찍기 제스처가 인지된 편의성이 더 좋을 것이다.
가설 5-3: 3차원에서는 찍기 제스처가 자기효능감이 더 좋을 것이다.
기존의 연구결과를 바탕으로 본 연구에서는 손가락 제스처 별로 사용성의 차이가 있을 것으로 보았는데, 공간의 차원과는 상관없이 여러 손가락을 사용하는 제스처, 특히 잡기 제스처가 사용성이 좋을 것이라는 가설과 3차원에서는 한 손가락을 사용하는 찍기 동작이 오히려 사용성이 더 좋을 것이라는 대립 가설을 설정했다. 세가지 제스처와 두 가지 공간의 차원의 조합에 대한 각각의 실험군을 구성하고 시스템 사용성, 인지된 편의성, 자기효능감에 관한 설문으로 측정한 결과, 2차원에서는 각각의 제스처에 따른 유의미한 효과가 없는 것으로 나타났다.
손가락 제스처와 관련해서는 Moscovich[31]의 연구에서 손가락이 만들어 내는 영역을 커서로 활용할 때 타겟과 커서 영역의 상대적인 차이는 성능을 높인다는 결과를 보였다. 이렇듯 피츠의 법칙을 적용해 볼 수 있으므로한 손가락보다는 여러 손가락을 사용할 때 만들어지는 영역으로 커서가 만들어지므로 다음의 가설을 설정할 수 있다.
타겟을 선택하는 동작에 있어서 사람이 태어날 때부터 갖는 본능적인 동작 중의 하나가 잡는(쥐는) 동작일 것이다. 사람은 손을 이용해 진화를 해 왔듯이 손을 사용하는 것은 인간에게 가장 편리한 인터랙션 수단이 될 수 있을 것이다.
제안 방법
본 실험은 6개의 셀을 갖는 요인설계 실험연구이다. 그룹의 분류는 세 가지의 제스처(찍기, 집기, 잡기)와 두 개의 공간차원(2차원, 3차원)으로 설계되었고, 피험자간 설계(Between subject design)으로 피험자가 속한 집단 별로 자극을 달리하는 연구방법이다.
따라서 본 연구는 많은 인지과학 이론들이 뒷받침되고 상용화 수준에 이르고 있는 손 제스처 인식기술을 활용할 수 여건이 마련됨에 따라 손 제스처가 사용자에게 끼치는 인지적 영향을 알아보고자 실험연구(Experimental research)를 수행한다. 기술적 어려움이 많았던 과거에 비해 발전된 손 제스처 인식기술을 활용하여, 본 연구는 구체적으로 손가락 제스처에 초점을 맞춘다. 익숙한 손가락 제스처를 컴퓨터 인터랙션으로 사용하고 이것에 의해 생겨난 효과를 알아보는 것이다.
총 5개의 타겟(사과)을 주어진 바구니에 넣는 연습 단계로 두 번을 수행한다. 두 번째 모드는 본 실험으로, 손가락 제스처 인터랙션으로 총 10개의 고정된 타겟을 획득하여 그것을 바구니에 넣는 태스크를 수행한다. 태스크가 끝나면 컴퓨터는 측정된 성능을 기록으로 남기고 실험자는 7점 척도 설문 조사를 실시한다.
모든 사람은 실험자에 의해 실험의 목적과 방식, 그리고 지정된 제스처 인터랙션의 방식을 설명받고 약 10∼15분간의 실험을 수행한다.
제스처 인식 장치인 립모션의 기술적 오류를 최대한 줄이기 위하여 실험자는 매 실험마다 재 보정(Calibration)을 수행한다. 모든 실험 참가자들에게는 소정의 현금을 지급했으며 실험 전 가장 빨리 태스크를 완료한 피실험자 4명에게 인센티브가 지급된다는 것을 양지시키고 모든 실험이 종료된 후에는 그렇게 이행하였다.
본 논문에서는 2장의 관련 연구를 통해 기존 논문의 동향을 분석하고 본 연구가 기여할 수 있는 방법을 찾아 가설을 설정한다. 3장에서는 가설검정을 위한 연구를 설계하고 수행하는 방법에 대해 설명한다.
본 연구는 앞서 말한 연구질문에 대하여 집게손가락을 이용하는 ‘찍기’ 동작과 검지와 엄지를 사용하는 ‘집기’ 동작, 그리고 다섯 손가락으로 움켜쥐는 형태의 ‘잡기’ 동작으로 제스처를 정하고 가장 간단한 형태의 선택(Selection) 태스크를 수행한다.
Kulshreshth[19]의 연구에서는 인텔(Intel)사의 소프트웨어 개발 도구[20]를 사용하여 손가락으로 만드는 숫자를 인식하고, 엄지손가락을 펴는 동작으로 메뉴를 선택하는 동작, 그리고 이 동작을 활용한 3차원 마킹 메뉴(Marking menu)[21]에 대한 성능 비교를 진행하였다. 선택시간(Selection time)과 정확도(Accuracy)등의 정량적 성능을 비교하였고 실험이 끝난 후 피험자를 대상으로 그들이 느끼는 어려움이나 피로도 등을 설문을 통해 측정하였다. 이 연구에서는 손가락으로 만드는 숫자에 의해 메뉴를 선택하는 것이 가장 우수한 것으로 나타났다.
또한 프로그램 실행화면 상에 표출되지 않지만, 실험 시 걸린총 시간을 로그데이터에 기록하여 실험자가 별도로 열람할 수 있게 하였다. 실험은 15.6인치 디스플레이와 인텔(Intel) Core i5프로세서, 그리고 Windows 7 사양의 노트북에 개발 프로그램을 설치하여 진행되었으며, 립모션의 오작동을 최소화하기 위한 재 보정(Calibration) 절차를 활용하였다.
실험을 위해 사용된 디바이스는 동작 인식 입력 장치인 립모션[그림 1][36]이다. 이 디바이스를 원활하게 인식하면서 본 실험에 맞는 실험환경을 구축하기 위하여, Visual Studio를 사용한 C 프로그래밍과 유니티 3D(Unity 3D) 4.2 엔진을 이용하여 프로그램을 개발하였다. 이 3D 엔진을 사용하면 3차원 공간에 설정된 카메라의 위치에 따라 그 공간에 위치하는 객체별로 크기나 그림자와 같은 3차원 효과가 각각 적용된다.
이 포인터를 이용하여 검지가 가리키는 효과로 ‘찍기’를 가능하게 하고 검지와 엄지 사이의 공간에 타겟을 위치시키고 손가락으로 집을 때 ‘집기’ 동작을, 타겟을 손바닥의 중앙에 위치시켜 잡았을 때 ‘잡기’가 가능하도록 구현하였다.
80)보다 태스크 성능이 낮게 나왔다. 이유를 알아보기 위해 실험에서 가장 우수한 성능을 보여준 피실험자들을 대상으로 집기 태스크를 경험하게 한 후, 사후 인터뷰를 진행하였다. 그 결과, 집기 동작에서 3차원 공간을 인식하는데 오히려 어려움이 많았다는 것을 알 수 있었다.
모든 사람은 실험자에 의해 실험의 목적과 방식, 그리고 지정된 제스처 인터랙션의 방식을 설명받고 약 10∼15분간의 실험을 수행한다. 제스처 인식 장치인 립모션의 기술적 오류를 최대한 줄이기 위하여 실험자는 매 실험마다 재 보정(Calibration)을 수행한다. 모든 실험 참가자들에게는 소정의 현금을 지급했으며 실험 전 가장 빨리 태스크를 완료한 피실험자 4명에게 인센티브가 지급된다는 것을 양지시키고 모든 실험이 종료된 후에는 그렇게 이행하였다.
Telkenaroglu[12]의 연구에서는 스마트폰과 같은 휴대기기의 터치스크린에 대하여 3차원 콘텐츠에 대한 인터랙션 기법을 제안하였다. 제안된 두손가락 제스처 인터랙션을 통해 사용성, 성능 그리고 에러율을 비교하였다.
두 번째 모드는 본 실험으로, 손가락 제스처 인터랙션으로 총 10개의 고정된 타겟을 획득하여 그것을 바구니에 넣는 태스크를 수행한다. 태스크가 끝나면 컴퓨터는 측정된 성능을 기록으로 남기고 실험자는 7점 척도 설문 조사를 실시한다.
실험에서 주어진 태스크는 주어진 제스처를 사용하여 20개의 사과모양의 타겟을 선택하여 원하는 위치로 가능한 빨리 이동시키는 것으로 만들었다. 포인터와 타겟의 크기와 모양, 그리고 배경을 통제하고 2차원과 3차원으로 각각 가상의 공간을 구현하였다[그림 3][그림 4].
대상 데이터
본 실험에서는 컴퓨터 사용경험이 있고 립모션 제스처 인터랙션 사용 경험이 없는 20대 남, 여 대학생 48명의 실험 참여로 수집된 정규성을 만족(Kolmogorov-Smirnov 검정)하는 데이터를 사용하였다.
실험에는 서울 소재 Y대학교와 S대학교 대학생과 대학원생들이 참여하였다. 컴퓨터를 익숙하게 사용하고 본 연구의 실험 도구인 립모션 제스처 인터랙션 경험이 없는 20대 남녀를 남자 24명, 여자 24명을 선발하였다.
이 포인터를 이용하여 검지가 가리키는 효과로 ‘찍기’를 가능하게 하고 검지와 엄지 사이의 공간에 타겟을 위치시키고 손가락으로 집을 때 ‘집기’ 동작을, 타겟을 손바닥의 중앙에 위치시켜 잡았을 때 ‘잡기’가 가능하도록 구현하였다. 실험에서 주어진 태스크는 주어진 제스처를 사용하여 20개의 사과모양의 타겟을 선택하여 원하는 위치로 가능한 빨리 이동시키는 것으로 만들었다. 포인터와 타겟의 크기와 모양, 그리고 배경을 통제하고 2차원과 3차원으로 각각 가상의 공간을 구현하였다[그림 3][그림 4].
실험을 위해 사용된 디바이스는 동작 인식 입력 장치인 립모션[그림 1][36]이다. 이 디바이스를 원활하게 인식하면서 본 실험에 맞는 실험환경을 구축하기 위하여, Visual Studio를 사용한 C 프로그래밍과 유니티 3D(Unity 3D) 4.
실험에는 서울 소재 Y대학교와 S대학교 대학생과 대학원생들이 참여하였다. 컴퓨터를 익숙하게 사용하고 본 연구의 실험 도구인 립모션 제스처 인터랙션 경험이 없는 20대 남녀를 남자 24명, 여자 24명을 선발하였다.
데이터처리
제스처와 공간차원의 상호작용 효과를 검정하기 위해서 이원배치 분산분석을 수행하였다. 시스템 사용성에 대한 제스처 동작의 주 효과는 F(2, 42) = .
이론/모형
즉, IT 제품에 대해 사용자가 느끼는 시스템 사용성(System Usability)을 Sauro[26]의 방식으로 측정하고, 사용자가 이 인터랙션을 수행할 때 느끼는 인지된 편의성(Perceived Ease-of-use)을 Subramanian[27]의 측정문항으로 측정한다. 그리고 제스처 인터랙션을 이용하여 태스크를 수행할 수 있는 자신감의 정도를 의미하는 자기효능감(Self-efficacy)을 Compeau[28]의 방식을 사용하여 측정한다. 또한 추가적으로 태스크를 시작하여 완료할 때까지 걸린 시간(초)을 성능 변수로 측정한다.
또한 종속변인(Dependent variables)은 제스처와 공간의 종류에 의해 영향을 받는 사용성이 되고, 앞서 정의에 맞게 세 가지 변수로 측정한다. 즉, IT 제품에 대해 사용자가 느끼는 시스템 사용성(System Usability)을 Sauro[26]의 방식으로 측정하고, 사용자가 이 인터랙션을 수행할 때 느끼는 인지된 편의성(Perceived Ease-of-use)을 Subramanian[27]의 측정문항으로 측정한다. 그리고 제스처 인터랙션을 이용하여 태스크를 수행할 수 있는 자신감의 정도를 의미하는 자기효능감(Self-efficacy)을 Compeau[28]의 방식을 사용하여 측정한다.
성능/효과
684로 신뢰성이 확보되었다. [표 1]의 일원배치 분산분석 결과와 같이 2차원 공간에서는 세가지 제스처에 따른 시스템 사용성, 인지된 편의성, 자기효능감의 차이가 통계적으로 유의한 차이를 보이지 않았으며, 분산의 동질성을 만족하지 않는 성능 변수에 관한 대비검정에서는 찍기 동작과 비교하여 집기와 잡기 동작 성능이 유의한 차이를 보이지 않았다.
이유를 알아보기 위해 실험에서 가장 우수한 성능을 보여준 피실험자들을 대상으로 집기 태스크를 경험하게 한 후, 사후 인터뷰를 진행하였다. 그 결과, 집기 동작에서 3차원 공간을 인식하는데 오히려 어려움이 많았다는 것을 알 수 있었다.
대비 검정을 통해 찍기 동작에 비해 집기와 잡기 동작은 시스템 사용성, t(21) = -1.986, p < .05(단측), r = .40과 자기효능감, t(21) = -1.778, p < .05(단측), r = .36에 있어서 유의한 수준의 감소를 보였다.
또한, 분산의 동질성을 만족하지 않는 성능 변수에 관한 대비검정에서 찍기 동작과 비교하여 집기와 잡기 동작 성능이 유의한 차이를 보이지 않았다.
세가지 제스처와 두 가지 공간의 차원의 조합에 대한 각각의 실험군을 구성하고 시스템 사용성, 인지된 편의성, 자기효능감에 관한 설문으로 측정한 결과, 2차원에서는 각각의 제스처에 따른 유의미한 효과가 없는 것으로 나타났다. 반면 3차원에서는 시스템 사용성과 자기효능감에 대한 유의미한 차이를 얻을 수 있었고, 대비검정을 통해 여러 손가락을 사용하는 것 보다는 오히려 한 손가락을 사용하는 것이 더 좋은 것으로 나타났다.
기존의 연구결과를 바탕으로 본 연구에서는 손가락 제스처 별로 사용성의 차이가 있을 것으로 보았는데, 공간의 차원과는 상관없이 여러 손가락을 사용하는 제스처, 특히 잡기 제스처가 사용성이 좋을 것이라는 가설과 3차원에서는 한 손가락을 사용하는 찍기 동작이 오히려 사용성이 더 좋을 것이라는 대립 가설을 설정했다. 세가지 제스처와 두 가지 공간의 차원의 조합에 대한 각각의 실험군을 구성하고 시스템 사용성, 인지된 편의성, 자기효능감에 관한 설문으로 측정한 결과, 2차원에서는 각각의 제스처에 따른 유의미한 효과가 없는 것으로 나타났다. 반면 3차원에서는 시스템 사용성과 자기효능감에 대한 유의미한 차이를 얻을 수 있었고, 대비검정을 통해 여러 손가락을 사용하는 것 보다는 오히려 한 손가락을 사용하는 것이 더 좋은 것으로 나타났다.
선택시간(Selection time)과 정확도(Accuracy)등의 정량적 성능을 비교하였고 실험이 끝난 후 피험자를 대상으로 그들이 느끼는 어려움이나 피로도 등을 설문을 통해 측정하였다. 이 연구에서는 손가락으로 만드는 숫자에 의해 메뉴를 선택하는 것이 가장 우수한 것으로 나타났다.
제스처 인터랙션에 있어서 가상공간의 차원도 사용성에 영향을 미친다는 것을 알 수 있었다. 저자는 실제 공간과 같은 차원인 3차원 공간에서 손가락 제스처의 사용성이 좋을 것이라는 가설과 오히려 3차원의 정보는 인지적 처리 과정에서 부하로 작용할 수 있다는 대립 가설을 설정하여 검정한 결과 시스템 사용성과 자기효능감에 있어 3차원 보다는 2차원에서의 효과가 크다는 것을 알 수 있었다. 사용자가 자연스럽게 인식할 수 있는 3차원 공간을 만드는 것은 매우 어려운 문제가 될 것 같다.
제스처 인터랙션에 있어서 가상공간의 차원도 사용성에 영향을 미친다는 것을 알 수 있었다. 저자는 실제 공간과 같은 차원인 3차원 공간에서 손가락 제스처의 사용성이 좋을 것이라는 가설과 오히려 3차원의 정보는 인지적 처리 과정에서 부하로 작용할 수 있다는 대립 가설을 설정하여 검정한 결과 시스템 사용성과 자기효능감에 있어 3차원 보다는 2차원에서의 효과가 크다는 것을 알 수 있었다.
후속연구
스마트기기 및 컴퓨터 제조사들은 이러한 제스처를 어휘(Vocabulary)로 정의하여 그들만의 표준으로 사용하고자 노력하고 있는 추세이다. 그렇다면 이러한 어휘를 대상으로 다양한 태스크에 대한 사용성 실험연구를 진행하는 것이 그 결과를 일반화시키기에 더 타당할 것이라고 보인다. 또한 사용성의 연구뿐만 아니라 최근 제품의 차별성을 좌우하는 사용자 경험에 대한 연구로 확대 시켜볼 만하다.
그렇다면 이러한 어휘를 대상으로 다양한 태스크에 대한 사용성 실험연구를 진행하는 것이 그 결과를 일반화시키기에 더 타당할 것이라고 보인다. 또한 사용성의 연구뿐만 아니라 최근 제품의 차별성을 좌우하는 사용자 경험에 대한 연구로 확대 시켜볼 만하다. 사용자 경험은 복잡하고 다양한 측정을 요구하게 되므로 측정의 방식에 대한 연구에서 시작하여 상황(Context)을 적용하는 실험 설계가 뒷받침되어야 할 것이다.
또한 사용성의 연구뿐만 아니라 최근 제품의 차별성을 좌우하는 사용자 경험에 대한 연구로 확대 시켜볼 만하다. 사용자 경험은 복잡하고 다양한 측정을 요구하게 되므로 측정의 방식에 대한 연구에서 시작하여 상황(Context)을 적용하는 실험 설계가 뒷받침되어야 할 것이다. 제스처 인터랙션이 적용되는 가상의 공간에 대한 연구도 의미가 있을 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
손가락 제스처 인식기술은 어떻게 분류할 수 있는가?
Thomas[7]에 따르면 손가락 제스처 인식기술은 세가지 방식으로 분류할 수 있는데, 첫째는 장갑 형태로 고안된 센서장치를 부착하는 방식[5]과 손바닥과 손가락에 표시한 점을 컴퓨터가 인식하는 방식[13], 그리고 카메라 영상을 실시간으로 분석해서 맨 손 모양을 판단 하는 방식이다. 상대적으로 실용적일 수 있는 후자의 맨 손 인식 방법은 최근 들어 많은 기술적 발전을 거듭하여 다양한 응용이 가능한 수준의 상용제품이 등장하였는데 키넥트나 립모션(LeapMotion)은 적외선 카메라로 수집된 영상을 분석하는 수준 높은 기술을 보여주고 있어 앞으로 관련 응용이 많아 질 것으로 보인다[14][15].
터치스크린을 이용한 손가락 제스처는 어떤 형태를 취하는가?
인간의 자연스런 동작을 컴퓨터 인터랙션으로 연결시키고자 하는 노력은 최근의 디스플레이 기술발전에 힘입어 테이블탑(Tabletop)이나 스마트폰(Smart phone)과 같은 터치스크린(Touch screen) 응용에서 많이 연구되고 있다. 터치스크린을 이용한 손가락 제스처는 화면을 직접 만지는 인터랙션 방식을 사용하기 때문에 화면상에 보이는 객체(Object)를 직접 손으로 다루는 형태를 취하게 된다. 즉 직접제어(Direct control)의 특성을 갖는 것이다[10].
왜 제스처는 인간의 손이 중요한가?
제스처에 있어서 인간의 손 또한 중요하다. 운동학적 도구뿐 아니라 의사를 표현하고 전달하는 소통의 수단으로 활용되기 때문에 주목하지 않을 수 없는 것이다. 인간은 손을 사용하여 소통하는 것이 너무나 익숙하기 때문에 그것이 주는 자연스러움(Naturalness)은 컴퓨터 인터랙션에서 가장 핵심적인 개념 중의 하나가 될 수밖에 없다.
참고문헌 (39)
D. A. Norman, The design of everyday things, Basic books, 2002.
G. Chen and D. Kotz, A survey of context-aware mobile computing research, Technical Report TR2000-381, Dept. of Computer Science, Dartmouth College, 2000.
V. Buchmann, S. Violich, M. Billinghurst, and A. Cockburn, "FingARtips: gesture based direct manipulation in Augmented Reality," in Proceedings of the 2nd international conference on Computer graphics and interactive techniques in Australasia and South East Asia, pp.212-221, 2004.
E. Kaiser, A. Olwal, D. McGee, H. Benko, A. Corradini, and X. Li, "Mutual disambiguation of 3D multimodal interaction in augmented and virtual reality," in Proceedings of the 5th international conference on Multimodal interfaces, pp.12-19, 2003.
T. G. Zimmerman, J. Lanier, C. Blanchard, S. Bryson, and Y. Harvill, "A hand gesture interface device," in ACM SIGCHI Bulletin, pp.189-192, 1987.
J. P. Wachs, M. Kolsch, H. Stern, and Y. Edan, "Vision-based hand-gesture applications," Communications of the ACM, Vol.54, pp.60-71, 2011.
M. C. Thomas and A. P. M. S. Pradeepa, "A COMPREHENSIVE REVIEW ON VISION BASED HAND GESTURE RECOGNITION TECHNOLOGY," International Journal, Vol.2, 2014.
Z. Ren, J. Meng, J. Yuan, and Z. Zhang, "Robust hand gesture recognition with kinect sensor," in Proceedings of the 19th ACM international conference on Multimedia, pp.759-760, 2011.
Z. Ren, J. Yuan, J. Meng, and Z. Zhang, "Robust part-based hand gesture recognition using kinect sensor," IEEE Trans. Multimedia, Vol.15, pp.1110-1120, 2013.
R. J. Jacob, "Human-computer interaction: input devices," ACM Computing Surveys (CSUR), Vol.28, pp.177-179, 1996.
H. Benko, A. D. Wilson, and P. Baudisch, "Precise selection techniques for multi-touch screens," in Proceedings of the SIGCHI conference on Human Factors in computing systems, pp.1263-1272, 2006.
C. Telkenaroglu and T. Capin, "Dual-finger 3d interaction techniques for mobile devices," Personal and ubiquitous computing, Vol.17, pp.1551-1572, 2013.
L. Lamberti and F. Camastra, "Real-time hand gesture recognition using a color glove," in Image Analysis and Processing-ICIAP 2011, ed: Springer, pp.365-373, 2011.
F. Weichert, D. Bachmann, B. Rudak, and D. Fisseler, "Analysis of the accuracy and robustness of the leap motion controller," Sensors (Basel, Switzerland), Vol.13, pp.6380, 2013.
M. Nielsen, M. Storring, T. B. Moeslund, and E. Granum, "A procedure for developing intuitive and ergonomic gesture interfaces for HCI," in Gesture-Based Communication in Human-Computer Interaction, ed: Springer, pp.409-420, 2004.
D. Vogel and R. Balakrishnan, "Distant freehand pointing and clicking on very large, high resolution displays," in Proceedings of the 18th annual ACM symposium on User interface software and technology, pp.33-42, 2005.
M. Moehring and B. Froehlich, "Effective manipulation of virtual objects within arm's reach," in Virtual Reality Conference (VR), 2011 IEEE, pp.131-138, 2011.
A. Kulshreshth and J. J. LaViola Jr, "Exploring the usefulness of finger-based 3D gesture menu selection," in Proceedings of the 32nd annual ACM conference on Human factors in computing systems, pp.1093-1102, 2014.
http://software.intel.com
S. Zhao and R. Balakrishnan, "Simple vs. compound mark hierarchical marking menus," in Proceedings of the 17th annual ACM symposium on User interface software and technology, pp.33-42, 2004.
D. J. Sturman, Whole-hand input, Massachusetts Institute of Technology, 1991.
M. Hassenzahl and N. Sandweg, "From mental effort to perceived usability: transforming experiences into summary assessments," in CHI'04 extended abstracts on Human factors in computing systems, pp.1283-1286, 2004.
M. H. van Beurden, W. A. Ijsselsteijn, and Y. A. de Kort, "User experience of gesture based interfaces: a comparison with traditional interaction methods on pragmatic and hedonic qualities," in Gesture and Sign Language in Human-Computer Interaction and Embodied Communication, ed: Springer, pp.36-47, 2012.
N. Bevan, "International standards for HCI and usability," International journal of human-computer studies, Vol.55, pp.533-552, 2001.
D. R. Compeau and C. A. Higgins, "Application of social cognitive theory to training for computer skills," Information systems research, Vol.6, pp.118-143, 1995.
P. M. Fitts, "The information capacity of the human motor system in controlling the amplitude of movement," Journal of experimental psychology, Vol.47, p.381, 1954.
P. Kabbash and W. A. Buxton, "The "prince" technique: Fitts' law and selection using area cursors," in Proceedings of the SIGCHI conference on Human factors in computing systems, pp.273-279, 1995.
T. Moscovich and J. F. Hughes, "Multi-finger cursor techniques," in Proceedings of Graphics Interface 2006, pp.1-7, 2006.
M. Prachyabrued and C. W. Borst, "Virtual grasp release method and evaluation," International Journal of Human-Computer Studies, Vol.70, pp.828-848, 2012.
M. R. Mine, F. P. Brooks Jr, and C. H. Sequin, "Moving objects in space: exploiting proprioception in virtual-environment interaction," in Proceedings of the 24th annual conference on Computer graphics and interactive techniques, pp.19-26, 1997.
F. Paas, J. E. Tuovinen, H. Tabbers, and P. W. Van Gerven, "Cognitive load measurement as a means to advance cognitive load theory," Educational psychologist, Vol.38, pp.63-71, 2003.
S. Meyer, O. Cohen, and E. Nilsen, "Device comparisons for goal-directed drawing tasks," in Conference companion on Human factors in computing systems, pp.251-252, 1994.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.