본 논문에서는 HMD(Head Mounted Display) 하단에 눈동자의 움직임 영상을 취득할 수 있는 USB 카메라를 부착한 후, 3차원 1인칭 슈팅(First Person Shooting) 게임에서 게임 캐릭터의 시선방향을 눈동자 움직임에 의해 조작하는 방법을 제안한다. 본 논문에서 제안하는 방법은 다음과 같은 3부분으로 이루어져 있다. 첫 번째는 입력 영상으로부터 눈동자의 중심 위치를 실시간 영상 처리 방법으로 추출하는 부분, 두번째는 HMD 모니터상의 임의 지점을 쳐다볼 때 추출된 눈동자의 위치 정보와 모니터상의 응시 지점사이의 기하학적인 연관관계를 결정하는 캘리브레이션 부분, 그리고 마지막은 캘리브레이션 정보를 기반으로 모니터 상의 최종적인 응시 위치를 결정하고 이 정보에 의해 게임상의 3차원 뷰 방향을 조정하는 부분으로 구성되어 있다. 실험 결과 본 논문의 방법에 의해 손이 불편한 사용자에게 게임을 즐길 수 있는 기회를 제공하고, 게임 캐릭터와 게임 사용자의 시선 방향을 일치시킴으로서 게임의 흥미와 몰입감을 증가시킬 수 있는 결과를 얻음을 알 수 있었다.
본 논문에서는 HMD(Head Mounted Display) 하단에 눈동자의 움직임 영상을 취득할 수 있는 USB 카메라를 부착한 후, 3차원 1인칭 슈팅(First Person Shooting) 게임에서 게임 캐릭터의 시선방향을 눈동자 움직임에 의해 조작하는 방법을 제안한다. 본 논문에서 제안하는 방법은 다음과 같은 3부분으로 이루어져 있다. 첫 번째는 입력 영상으로부터 눈동자의 중심 위치를 실시간 영상 처리 방법으로 추출하는 부분, 두번째는 HMD 모니터상의 임의 지점을 쳐다볼 때 추출된 눈동자의 위치 정보와 모니터상의 응시 지점사이의 기하학적인 연관관계를 결정하는 캘리브레이션 부분, 그리고 마지막은 캘리브레이션 정보를 기반으로 모니터 상의 최종적인 응시 위치를 결정하고 이 정보에 의해 게임상의 3차원 뷰 방향을 조정하는 부분으로 구성되어 있다. 실험 결과 본 논문의 방법에 의해 손이 불편한 사용자에게 게임을 즐길 수 있는 기회를 제공하고, 게임 캐릭터와 게임 사용자의 시선 방향을 일치시킴으로서 게임의 흥미와 몰입감을 증가시킬 수 있는 결과를 얻음을 알 수 있었다.
In this paper, we propose the method of manipulating the gaze direction of 3D FPS game's character by using eye gaze detection from the successive images captured by USB camera, which is attached beneath HMB. The proposed method is composed of 3 parts. At first, we detect user's pupil center by real...
In this paper, we propose the method of manipulating the gaze direction of 3D FPS game's character by using eye gaze detection from the successive images captured by USB camera, which is attached beneath HMB. The proposed method is composed of 3 parts. At first, we detect user's pupil center by real-time image processing algorithm from the successive input images. In the second part of calibration, when the user gaze on the monitor plane, the geometric relationship between the gazing position of monitor and the detected position of pupil center is determined. In the last part, the final gaze position on the HMD monitor is tracked and the 3D view in game is controlled by the gaze position based on the calibration information. Experimental results show that our method can be used for the handicapped game player who cannot use his(or her) hand. Also, it can Increase the interest and the immersion by synchronizing the gaze direction of game player and the view direction of game character.
In this paper, we propose the method of manipulating the gaze direction of 3D FPS game's character by using eye gaze detection from the successive images captured by USB camera, which is attached beneath HMB. The proposed method is composed of 3 parts. At first, we detect user's pupil center by real-time image processing algorithm from the successive input images. In the second part of calibration, when the user gaze on the monitor plane, the geometric relationship between the gazing position of monitor and the detected position of pupil center is determined. In the last part, the final gaze position on the HMD monitor is tracked and the 3D view in game is controlled by the gaze position based on the calibration information. Experimental results show that our method can be used for the handicapped game player who cannot use his(or her) hand. Also, it can Increase the interest and the immersion by synchronizing the gaze direction of game player and the view direction of game character.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 HMD(Head Mounted Display) 하단에 눈동자의 움직임 영상을 취득할 수 있는 USB 카메라를 부착한 毛 3차원 1인칭 슈팅(First Person Shooting) 게임에서 게임 캐릭터의 시선방향을 눈동자 움직임에 의해 조작하는 방법을 제안한다. 본 논문에서 제안하는 방법은 다음과 같은 3부분으로 이루어져 있다.
본 연구에서는 시선 추적 인터페이스를 이용하여 게임의 주인공을 움직이게 하기보다는 '게임 사용자가 바라보는 곳을 게임 캐릭터가 바라본다'라는 장점을 부각시켜서 몰입감을 증대시키고, 사용자가 직접 임의의 목적달성을 위한 게임의 주인공이 되기에 적당한 1인칭 게임을 적용 장르로 선택하고자 한다.
기존에 눈동자 움직임 추적 기술을 게임과 접목시킨 연구는 조사된 바 없으나, 가상현실 시스템과는 접목되어 많은 연구가 진행되었다[5][7]. 이 연구에서는 양 눈의 움직임을 양안 카메라(stereo camera)에 의해 추적함으로써, 비행기내 의 짐칸(cargo bay)에서 존재하는 결함을 검사하는 시뮬레이션 훈련 목적으로 개발되었다. 특히 이 연구에서는 눈동자 움직임을 추적하기 위한 영상처리 전용 컴퓨터와 상세한 3D 그래픽의 표현을 위한 고가, 고사양의 그래픽 전용 하드 웨어 플랫폼(SGI Onyx2 InfiniteReality™[8])< 동시에 사용 하였다.
이밖에도 3차원적인 접근 방법에서는 카메라, 모니터, 눈동자 좌표계 사이의 3차원 관계 및 눈동자의 3차원 구조, 3차원 위치 정보 등을 같이 모델링함으로 써 모니터상의 시선 위치를 추출하는 연구를 수행하였다 [12-14], 일반적으로 3차원적인 방법이 시선 위치의 정확도가 우수하며, 초기 캘리브레이션이 쉽다는 장점이 있으나, 2 차원적인 방법에 비해 계산량이 많이 소요되고 처리시간이 오래 걸리는 문제점이 있다. 이에 본 논문에서는 일반적인 게임환경을 고려할 때 눈동자 시선 추적 및 게임 렌더링이 일반적인 하나의 컴퓨터에서 동작되어야 하므로, 2차원적인 방법에 의해 시선 추적하는 방안을 사용하고자 한다.
전술한 바와 같이 본 논문에서는 입력영상에서 동공의 중심 위치를 추출함으로써 사용자의 시선 위치를 파악하였다. 동공 위치를 추출하기 위하여 다음과 같은 과정을 거치게 된다.
실험 결과 본 논문의 방법에 의해 손이 불편한 사용자에게 게임을 즐길 수 있는 기회를 제공하고, 게임 캐릭터와 게임 사용자의 시선 방향을 일치시킴으로서 게임의 흥미와 몰입감을 증가시킬 수 있는 결과를 얻음을 알 수 있었다. 특히 본 논문에서는 눈동자의 움직임을 통해 캐릭터의 시선방향을 바꾸는 것을 한 대의 PC에서 실행할 수 있을 만큼 저 연산으로 구현하였다. 비교적 적은 비용으로 시선 추적 인터페이스를 구현하고, 이를 통해 흥미롭고 몰입감이 높은 실감나는 게임을 즐길 수 있는 것 또한 큰 장점이다.
제안 방법
객관적인 평가에서는 사용자의 시선 위치 정확도 및 게임이 시작되어 게임상에 적이 있는 위치까지 도달하는 시간을 기계적인 마우스를 사용했을 때와 시선 추적 인터페이스 의 두 가지 경우로 나누어 측정, 비교 분석하였다.
그러나 적외선 이상의 파장을 지니고 있는 외부광(예, 태양광, 할로겐, 백열등 등)이 있는 경우에는 그렇지 않은 경우보다 입력 영상의 밝기가 밝게 된다. 그러므로 본 연구에서는 입력영상 의 평균 밝기를 측정하여 이를 이진화 임계치로 반영하는 방식을 사용하였다. 그 결과 입력 영상의 밝기에 상관없이 적절한 이진화 임계치를 동적으로 결정할 수 있었다.
주관적인 평가에서는 먼저 사용자가 본 시스템을 사용하면서 어느 정도의 어지러움(Dizziness)을 느끼는지를 조사하여 본 시스템이 사용자에게 끼치는 영향을 분석한다. 그리고 일반 마우스를 사용해서 게임을 했을 때와 시선 추적인 터페이스 시스템을 사용하여 게임을 했을 때 사용자는 어느 것에 더 흥미(Interest)와 몰입감(Immersion)을 느끼는지를 설문을 통해 측정한다.
또한 걸음을 통한 캐릭터 자체의 이동은 키보드를 이용하며 시선방향의 이동은 마우스를 이용함으로써 두 입력 장치의 역할이 엄격히 분리되어 있다는 특징이 있다. 그리고 일반적으로 캐릭터가 비행 시뮬레이션이나 레이싱 게임보다는 저속으로 움직이면서 주변 환경을 세심히 살펴야 하는 특징이 있으므로, 본 연구에서는 시선 추적 인터페이스를 접목하기 위한 1인칭 게임의 세부장르로 1인칭 슈팅 게임을 선택하고자 한다. 시선 추적을 이용하여 게임 캐릭터의 시선방향이 전 방향으로 이동하는 것을 조정할 수 있으므로 그 활용성이 높다는 장점이 있 으며, 또한 사용자의 시선이 곧 캐릭터의 시선이 된다는 일치성이 게임의 몰입감을 증가시킬 수 있을 것으로 예상된다.
또한 와 같이 일반 기계적인 마우스를 사용하여 걸리는 시간도 측정하여 비교해 보았다.
모니터 상에 사용자의 시선 위치 정확도를 파악하기 위하여 (그림 7)과 같이 모니터 상의 9군더](검은색 점)를 사용자가 응시하도록 하고 이때 계산된 시선 위치와 실제 응시해 야할 위치사이의 RMS 에러를 측정하였다. 실험 결과 약 57 픽셀(1.
일반적으로 홍채 영역은 사용자의 위아래 눈꺼풀(Eyelid) 등에 의해 덮여 있는 경우가 많으므로, 정확하게 추출하기가 어렵다. 반면 동공의 경우 눈꺼풀이나 눈썹 등에 의해 덮여 있는 경우가 작으므로, 본 논문에서는 사용자의 동공 위치를 추출하여 이러한 동공 움직 임에 의해 모니터 상의 시선 위치를 파악하는 연구를 수행 하였으며, 이를 위하여 850nm의 적외선 조명 2개를 사용하 였다. 사용되는 적외선 조명은 조사각도에 비하여 눈과 상당히 인접한 거리에 있으므로 빛이 고르게 퍼지지 못하고 일부분만을 밝게 되는 문제가 있었다.
본 과정을 캘리브레이션 과정이라 한다. 본 논문에서 캘리브레이션 과정은 모니터 화면의 우측상단(由, 匕“)과 좌측하단(X«, Vm)을 응시했을 때, 각각의 눈 영상에서의 동공 중심 좌표를 저장하는 과정으로 이루어진다.
본 실험에서는 사용자들에게 기계적인 마우스와 시선 추적 인터페이스를 각각 5분간 사용하여 게임을 하도록 하여 어느 쪽에 더 몰입감(immersion)과 흥미성 (interest)이 높은 지를 비교하였다. 결과는 (그림 10)과 같다.
본 실험은 과 같이 사용자들이 5번 반복 사용하여 게임 중 임의로(Randomly) 생성된 적 캐릭터의 위치까지 도달하는데 걸리는 시간을 매번 측정하여 변화 추이를 분석하였다.
본 연구에서 사용자는 (그림 1)과 같이 머리에 착용하는 HMD를 통해 일반적인 모니터에서 볼 수 있는 화면을 응시하게 된다. HMD를 통해 화면을 보면서 HMD의 하단에 고 정되어 있는 USB카메라는 사용자의 눈동자 움직임을 연속 영상으로 받아들인다.
본 연구에서 제안하는 눈영상 취득용 카메라 장치에서는 USB 카메라 앞에 부착된 '적외선 투과 필터'에 의해 가시광선이 차단되고, 별도 부착된 적외선 조명에 의해 영상이 조사(Illumination)되므로 어느 정도 외부광의 영향을 받지 않 고 일정한 밝기의 영상을 얻을 수 있게 된다. 그러나 적외선 이상의 파장을 지니고 있는 외부광(예, 태양광, 할로겐, 백열등 등)이 있는 경우에는 그렇지 않은 경우보다 입력 영상의 밝기가 밝게 된다.
이러한 시선 위치 및 마우스 커서 위치를 이용하여 게임 화면에서 캐릭터의 시선 방향에 따른 화면 조정을 하게 된다. 본 연구에서는 게임화면에서 화면 조정을 위해 (그림 7)과 같이 전체 화면을 크게 5개 영역으로 나누어 화면 위쪽을 쳐다보는 경우(①), 화면 아래를 쳐다보는 경우(⑤), 화면 왼쪽을 쳐다보는 경우(②), 화면 오른쪽을 쳐다보는 경우 (④), 그리고 화면 중앙을 쳐다보는 경우(③)로 정의함으로써, 각각의 영역을 응시하는 경우 게임 캐릭터의 시선 방향 을 해당 방향으로 회전시키도록 하였다.
본 연구에서는 실험을 위해 높낮이를 가지고 있는 지형 및 주인공을 기준으로 적이 어느 방향에 있는지 알아볼 수 있는 레이더를 가지는 3차원 1인칭 슈팅 게임을 제작하여 실험에 활용하였다. 본 시스템을 적용한 게임화면은 (그림 8)과 같다.
이 각이 커질수록 눈동자의 상하 움직임에 대한 영상 해상도가 떨어지고, 각 이 적을수록 눈동자의 상하 움직임에 대한 영 상 해상도가 높아짐으로써, 사용자의 눈 움직임을 보다 정확하게 추출할 수 있게 된다. 본 연구에서는 이 사이 각을 줄이기 위해서 HMD의 외곽 케이스로 인해 눈 영상 취득이 방해받지 않을 정도의 범위 내에서 최대한 뒤(눈에 멀리)에 카메라를 부착하도록 하였다.
사용자들에게 본 시스템을 5분간 사용하게 하여 1분 간격으로 느끼는 어지러움 정도를 측정하였다. 어지러움 정도는 5단계의 값으로 측정하였다.
시선 추적 인터페이스에 의한 3차원 1인칭 슈팅게임의 효율성, 흥미, 몰입감, 편의성 등을 측정하기 위해, 총 20명의 실험자들을 대상으로 크게 주관적인 평가(subjective test)와 객관적인 평가((objective test) 로 나누어 실험하였다.
5개 응시 영역의 크기를 정하기 위하여, 10명을 대상으로 실험을 실시하였다. 실험을 위해 사용자에게 (그림 7)에서와 같은 총 9개의 검은색 점을 응시하게 하고, 해당 위치를 응시했을 때 계산된 시선 위치를 측정하였다. 실험결과는 (그림 7)의 9개 검은색 점 부근에 작은 점들로 표시되어 있다.
이러한 미세한 떨림으로 인해 마우스의 커서 역시 의도하지 않게 떨리는 것을 방지해야 한다. 이런 이유로 본 연구에서는 이전 영상에서 추출된 Xg Yrec 값과 현재 영상에서 추출된 X*, 匕如와의 거리차를 구해서 정해진 임계치 이하의 값(본 연구에서는 5 픽셀을 사용함) 이하이면 현재 영상에서 추출된 값을 무시하고 이전 값을 그대로 취하는 방법을 사용하였다.
사용되는 적외선 조명은 조사각도에 비하여 눈과 상당히 인접한 거리에 있으므로 빛이 고르게 퍼지지 못하고 일부분만을 밝게 되는 문제가 있었다. 이를 극복하기 위해서 반투명 유리테이프를 적외선 조명 앞에 부착하여 빛이 고르게 분산(diffusing)될 수 있도록 하였다.
라 벨링 처리 이후, (그림 6)과 같이 제한된 영역 내에는 동공 이외에 다른 영역은 존재하지 않게 된다. 이후 본 논문에서는 이 제한된 영역(중심을 기준으로 400x300 픽셀의 영역) 내에서 흑화소들에 대한 수평, 수직 히스토그램을 구하고 이 정보로부터 동공의 대략적인 위치와 반경을 구하게 된다. 이로부터 보다 작은 세밀한 탐색 영역을 선정하여 이 영역 내에서만 흑화소들의 X, Y축 무게중심을 구함으로써 최종적인 동공의 중심 위치를 구하게 된다.
주관적인 평가에서는 먼저 사용자가 본 시스템을 사용하면서 어느 정도의 어지러움(Dizziness)을 느끼는지를 조사하여 본 시스템이 사용자에게 끼치는 영향을 분석한다. 그리고 일반 마우스를 사용해서 게임을 했을 때와 시선 추적인 터페이스 시스템을 사용하여 게임을 했을 때 사용자는 어느 것에 더 흥미(Interest)와 몰입감(Immersion)을 느끼는지를 설문을 통해 측정한다.
이후 매 입력 영상마다 이 과정을 반복함으로써 연속 영상에서 동공 위치를 계속 추적할 수 있게 된다. 추출된 동공 위치의 정 확도를 파악하기 위하여, 눈으로 직접 보면서 표시한 동공의 중심 위치와 본 논문의 방법에 의해 자동으로 추출된 위 치사이의 픽셀 RMS 에러를 측정하였다. 총 20명의 실험자로부터 각각 100장씩, 총 2, 000장의 영상에 대해 측정한 결과 약 2.
이 연구에서는 양 눈의 움직임을 양안 카메라(stereo camera)에 의해 추적함으로써, 비행기내 의 짐칸(cargo bay)에서 존재하는 결함을 검사하는 시뮬레이션 훈련 목적으로 개발되었다. 특히 이 연구에서는 눈동자 움직임을 추적하기 위한 영상처리 전용 컴퓨터와 상세한 3D 그래픽의 표현을 위한 고가, 고사양의 그래픽 전용 하드 웨어 플랫폼(SGI Onyx2 InfiniteReality™[8])< 동시에 사용 하였다. 그러나 본 연구에서와 같이 일반적인 1인칭 슈팅 게임 환경은 눈동자 움직임 추적 및 게임 렌더링이 하나의 컴퓨터에서 동작되어야 하므로, 위와 같은 고사양의 방법은 적용하기 힘든 문제가 있다.
특히, 눈 영상을 획득할 때 뚜렷한 동공의 경계를 가지는 영상을 획득하며, 외부광의 영향을 받지 않고 일정한 밝기의 영상을 얻기 위해서 카메라 내부에 존재하는 '적외선 차 단필터'를 제거하고, 렌즈 전면에는 가시광선은 투과시키지 않고 적외선은 투과시키는 '적외선 투과필터, 를 부착하였다. 그리고 (그림 2)와 같이 적외선 조명(Infra-Red Light Emit ting Diode)은 카메라 렌즈의 하단에 부착하여 카메라와 일체형으로 제작, 소형화 되도록 하였다.
대상 데이터
5개 응시 영역의 크기를 정하기 위하여, 10명을 대상으로 실험을 실시하였다. 실험을 위해 사용자에게 (그림 7)에서와 같은 총 9개의 검은색 점을 응시하게 하고, 해당 위치를 응시했을 때 계산된 시선 위치를 측정하였다.
사용자 머리에 고정하여 착용하는 HMD를 통하여 눈 영상이 머리의 움직임에 영향을 받지 않 기 때문에 별도의 머리 움직임 추적 장치는 필요로 하지 않 는다. 본 논문에서 사용한 HMD(iglass- SVG3D)는 다음과 같은 특성을 지니고 있다[15].
성능/효과
그러므로 본 연구에서는 입력영상 의 평균 밝기를 측정하여 이를 이진화 임계치로 반영하는 방식을 사용하였다. 그 결과 입력 영상의 밝기에 상관없이 적절한 이진화 임계치를 동적으로 결정할 수 있었다.
특히 본 연구에서는 사람이 임의의 한 곳을 응시할 때 양 쪽 눈은 같은 곳을 응시한다는 일반적인 특징을 이용하여 한쪽 눈의 응시위치만을 추적하고, 동공이 움직일 수 있는 사전 범위를 미리 지정하여 제한된 범위에서만 영상처리를 수행함으로써 처리 시간을 줄일 수 있었다. 또한, 게임 렌더링의 부하를 줄이기 위해 2D 텍스쳐 매핑으로 3D 효과를 냄으로써 한 장면 당 폴리곤 수를 1000개 이하로 줄이는 low-polygon 모델링 기술을 사용함으로써, 한 대의 컴퓨터 환경에서 눈동자의 움직임 추적 및 게임 렌더링을 실시간으로 동작시킬 수 있었다.
실험 결과 본 논문의 방법에 의해 손이 불편한 사용자에게 게임을 즐길 수 있는 기회를 제공하고, 게임 캐릭터와 게임 사용자의 시선 방향을 일치시킴으로서 게임의 흥미와 몰입감을 증가시킬 수 있는 결과를 얻음을 알 수 있었다. 특히 본 논문에서는 눈동자의 움직임을 통해 캐릭터의 시선방향을 바꾸는 것을 한 대의 PC에서 실행할 수 있을 만큼 저 연산으로 구현하였다.
실험 결과 시선 추적 인터페이스를 사용하는 초기에는 시간이 많이 소요됨을 알 수 있었으나, 반복 횟수가 증가됨에 따라 기계적인 마우스를 사용했을 때의 시간과 거의 비슷해 짐을 알 수 있었다. 기계적인 마우스를 사용했을 때는 반복 회수의 증가에 따라 소요시간에 큰 변화가 없었다.
모니터 상에 사용자의 시선 위치 정확도를 파악하기 위하여 (그림 7)과 같이 모니터 상의 9군더](검은색 점)를 사용자가 응시하도록 하고 이때 계산된 시선 위치와 실제 응시해 야할 위치사이의 RMS 에러를 측정하였다. 실험 결과 약 57 픽셀(1.31°)(X축으로는 38픽셀(0.87°)의 에러, Y축으로는 43 픽셀(0.99°)의 에러 (HMD 모니터 해상도 : 800x600 픽셀)의 시선 위치 추출 오차 성능을 나타냈다. 하지만 본 논문에서는 정확한 시선 위치보다 모니터의 어느 방향을 응시하고 있는지가 중요하다.
실험 결과, 사용자가 모니터 중앙과 하단을 응시할 때 보 다 많은 시선 위치 추출 에러가 발생함을 알 수 있었으며, 이러한 에러를 보정하기 위하여 본 연구에서는 모니터 중앙 부분과 하단 응시 영역을 보다 크게 설정하였다.
실험결과 사용자들이 시선 추적 인터페이스의 사용을 통해 보다 큰 몰입감과 흥미를 느끼는 것으로 나타남으로써, 시선 추적 인터페이스와 게임의 접목에 더 큰 가능성을 가지게 되었다.
추출된 동공 위치의 정 확도를 파악하기 위하여, 눈으로 직접 보면서 표시한 동공의 중심 위치와 본 논문의 방법에 의해 자동으로 추출된 위 치사이의 픽셀 RMS 에러를 측정하였다. 총 20명의 실험자로부터 각각 100장씩, 총 2, 000장의 영상에 대해 측정한 결과 약 2.43 픽셀 (0.06°) 에러(X축 방향으로 1.2 픽셀 (0.03°) 에러, Y축 방향으로 2.1 픽셀(0.05°) 에러)가 발생함을 알 수 있었다.
특히 본 연구에서는 사람이 임의의 한 곳을 응시할 때 양 쪽 눈은 같은 곳을 응시한다는 일반적인 특징을 이용하여 한쪽 눈의 응시위치만을 추적하고, 동공이 움직일 수 있는 사전 범위를 미리 지정하여 제한된 범위에서만 영상처리를 수행함으로써 처리 시간을 줄일 수 있었다. 또한, 게임 렌더링의 부하를 줄이기 위해 2D 텍스쳐 매핑으로 3D 효과를 냄으로써 한 장면 당 폴리곤 수를 1000개 이하로 줄이는 low-polygon 모델링 기술을 사용함으로써, 한 대의 컴퓨터 환경에서 눈동자의 움직임 추적 및 게임 렌더링을 실시간으로 동작시킬 수 있었다.
흥미성에 대한 설문결과를 봐도 '시선 추적 인터페이스를 사용한 게임이 더 흥미성이 높다'라는 의견이 압도적으로 많았다. 그 이유로는 '신기하다', '내 눈에 따라 캐릭터의 시선이 움직인다', '새로운 장치에 대한 호기심을 꼽았다.
후속연구
USB 카메라와 눈의 시선 방향이 이루는 사이 각에 의해 눈동자의 상하 움직임을 잘 구별하지 못하는 문제점은 해상도가 높은 영상을 받을 수 있는 USB 카메라를 사용하거나 HMD의 구조적인 문제를 바꾼다면 해결할 수 있을 것으로 기대된다.
현재는 캐릭터의 시선방향을 움직이는 것만 가능하지만, 동공중심 추출의 정확도를 더욱 높인다면 게임에서 적에게 사격 시 조준을 할 때에도 시선 추적 인터페이스를 사용하 여 게임의 흥미를 높이는 것이 가능할 것이다. 또한 다른 장르의 게임에서도 시선 추적 인터페이스를 사용할 수 있을 것으로 기대된다. 단, 정확도를 높이기 위해서는 그만큼 연산량이 증가하여 한 대의 PC에서 게임과 동시해 실행하기에 어렵다는 문제점이 생긴다.
또한, 눈영상에서 홍채 영역을 추출하여 본인임을 인증하는 기능을 추가한다면 온라인 게임으로 확장 시 사이버머니 결제 및 로그인 시스템으로 활용할 수 있어, 게임 조작과 인증(Authentication)을 동시에 해결할 수 있는 효과를 얻을 수 있을 것이다.
현재는 캐릭터의 시선방향을 움직이는 것만 가능하지만, 동공중심 추출의 정확도를 더욱 높인다면 게임에서 적에게 사격 시 조준을 할 때에도 시선 추적 인터페이스를 사용하 여 게임의 흥미를 높이는 것이 가능할 것이다. 또한 다른 장르의 게임에서도 시선 추적 인터페이스를 사용할 수 있을 것으로 기대된다.
참고문헌 (17)
Jacob, R. J. K, 'Eye Movement-Based Human-Computer Interaction Techniques: Toward Non-Command Interfaces', Advances in Human-Computer Interaction, H. R. Hartson and D. Hix, Editors., Ablex Publishing Co., pp.151-190, 1993
L. E. Sibert, R. J. K. Jacob, 'Evaluation of Eye Gaze Interaction', Proc. of the CHI, ACM in New York, pp.281-288, 2000
Ohno, T. 'Quick Menu Selection Task with Eye Mark', Transactions of Information Processing Society of Japan, Vol.40, No.2, pp.602-612, 1999
Yamato, M., Monden, A., Matsumoto, K., Inoue, K. and Torii, K, 'Quick Button Selection with Eye Gazing for General GUI Environments', International Conference on Software: Theory and Practice, August, 2000
Andrew T.Duchowski, Vinay Shivashankariah, Tim Rawls, Anand K.Gramopadhye, Brian J. Melloy, Barbara Kanki, 'Binocular Eye Tracking in Virtual Reality for Inspection Training', ACM Press New York, NY, USA, 2002
Jeong Jun Lee, Kang Ryoung Park, Jaihie Kim, 'Gaze detection system under HMD environment for user interface', the Joint Conference of lCANN/ICONIP, p.513, June, 2003
Anand K.Gramopadhye et al., 'Use of Computer Based Training for Aircraft Inspectors: Findings and Recommendations', In Proceedings of the HFES/IEA Annual Meeting (San Diego, CA, August, 2000)
http://www.sgi.com
Jie Zhu and Jie Yang, 'Subpixel Eye Gaze Tracking', in Proc. Fifth IEEE International Conference on Automatic Face and Gesture Recognition, pp.124-129, May, 2002
M. R. M. Mimica and C.H. Morimoto, 'A Computer Vision Framework for Eye Gaze Tracking', in Proc. XVI Brazilian Symposium on Computer Graphics and Image Processing, pp.406-412, Oct., 2003
D. H. Yoo, J. H. Kim, B. R. Lee and M. J. Chung, 'Non-contact Eye Gaze Tracking System by Mapping of Corneal Reflection', in Proc. Fifth IEEE International Conference on Automatic Face and Gesture Recognition, pp.101-106, May, 2002
J. G. Wang and E. Sung, 'Study on Eye Gaze Estimation', IEEE Transactions on Systems, Man and Cybernatics, Part B, Vol.32, No.3, pp.332-350, June, 2002
S. W. Shih and J. Liu, 'A Novel Approach to 3D Gaze Tracking Using Stereo Cameras', IEEE Transactions on Systems, Man and Cybernatics, Part B, Vol.34, No.1, pp.234-245, Feb., 2004
T. Ohno, N. Mukawa and A. Yoshikawa, 'FreeGaze: a Gaze Tracking System for Everyday Gaze Interaction', in Proc. Symposium on Eye Tracking Research and Applications, pp.125-132, 2002
※ AI-Helper는 부적절한 답변을 할 수 있습니다.