선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구에서는 눈동자 시선 추적 인터페이스를 이용하여 게임의 주인공을 움직이게 하기보다는 게임사용자가 바라보는 곳을 게임 캐릭터가 바라본다' 라는 장점을 부각시켜서 몰입감을 증대시키고, 사용자가 직접 임의의 목적달성을 위한 게임의 주인공이 되기에 적당한 1인칭 게임을 적용 장르로 선택하고자 한다.
- 이 각이 커 질수록 눈동자의 상하 움직임에 대한 영상 해상도가 떨어지고, 각이 적을수록 눈동자의 상하 움직임에 대한 영상 해상도가 높아짐으로써, 사용자의 눈 움직임을 보다 정확하게 추출할 수 있게 된다. 본 연구에서는 이 사이 각을 줄이기 위해서 HMD의 외곽 케이스로 인해 눈 영상 취득이 방해받지 않는 범위 내에서 최대한 뒤(눈에서 멀리) 에 카메라를 부착하도록 하였다.
- 많은 연구가 진행되었다[5, 7]. 이 연구에서는 양 눈의 움직임을 양안 카메라(stereo camera)에 의해 추적함으로써, 비행기내의 짐칸(cargo bay)에서 존재하는 결함을 검사하는 시뮬레이션 훈련 목적으로 개발되었다. 특히 이 연구에서는 눈동자 움직임을 추적하기 위한 영상처리 전용 컴퓨터와 상세한 3D 그래픽의 표현을 위한 고가, 고사양의 그래픽 전용 하드웨어 플랫폼 (SGI Onyx2 Infinite Reality™ ⑻)을 동시에 사용하였다.
- 전술한 바와 같이 본 논문에서는 입력영상에서 동공의 중심 위치를 추출함으로써 사용자의 시선 위치를 파악하였다. 동공 위치를 추출하기 위하여 다음과 같은 과정을 거치게 된다.
- 특히 본 논문에서는 눈동자의 움직임을 통해 캐릭터의 시선방향을 바꾸는 것을 한대의 PC에서 실행할 수 있을 만큼 저 연산으로 구현하였다. 비교적 적은 비용으로 시선 위치 추적 인터페이스를 구현하고, 이를 통해 흥미롭고 몰입감이 높은 실감나는 게임을 즐길 수 있는 것 또한 큰 장점이다.
제안 방법
- 0 SDK DirectShow를 사용하여 구현하였다. 3D FPS Gamee DirectX 9.0 SDK의 Direct3D, DirectX Audio, DirectPlay, Directlnput등을 사용하여 구현하였다.
- 비행기를 조종하여 적을 물리쳐서 정해진 임무를 수행하는 비행 시뮬레이션 게 임 (flight simulation game), 자동차를 조종하여 순위를 다투거나 기록 단축을 목적으로 하는 자동차 레 이싱 게임 (car racing game), 사람 또는 로봇이 등장해서 총과 같은 무기로 적을 물리치는 1인칭 슈팅 게임 (first person shooting game) 이 있다. 각 게임의 장르에 눈동자 시선 추적 인터페이스를 적용하고자 할 때의 장단점을 살펴보기로 한다.
- 객관적인 평가에서는 사용자의 시선 위치 정확도 및 게임이 시작되어 게임 상에 적이 있는 위치까지 도달하는 시간을 기계적인 마우스를 사용했을 때와 시선 위치 추적 인터페이스의 두 가지 경우로 나누어 측정, 비교, 분석하였다.
- 그러나 적외선 이상의 파장을 지니고 있는 외부광 (예, 태양광, 할로겐, 백열등 등)이 있는 경우에는 그렇지 않은 경우보다 입력 영상이 밝게 된다. 그러므로 본 연구에서는 입력 영상의 평균 밝기를 측정하여 이를 이진화 임계치로 반영하는 방식을 사용하였다. 그 결과 입력 영상의 밝기에 상관없이 적절한 이진화 임계치를 동적으로 결정할 수 있었다.
- '적외선 투과필터'를 부착하였다. 그리고 그림 2와 같이 적외선 조명(infra-red light emitting diode)은 카메라 렌즈의 하단에 부착하여 카메라와 일체형으로 제작, 소형화 되도록 하였다. 일반적으로 700nm 이상의 파장을 가지는 적외선 조명은 파장대에 따라 다음과 같은 특성을 가지게 된다[61 700~ 800nm의 파장을 가지는 적외선 조명은 눈의 홍채와 흰자의 경계를 뚜렷하게 함으로써, 입력 영상에서 홍채 영역을 추출하는데 사용하기에 적합하다.
- 그리고 일반 마우스를 사용해서 게임을 했을 때와 시선 추적 인터페이스 시스템을 사용하여 게임을 했을 때 어느 것에 더 흥미(interest)와 몰입감(immersion)을 느끼는지를 설문을 통해 측정하였다. 또한 '부작용(어지러움)이 있음에도 불구하고 과연 이 같은 게임을 즐길 것인가'도 설문을 통해 조사하였다.
- 또한 걸음을 통한 캐릭터 자체의 이동은 키보드를 이용하며 시선방향의 이동은 마우스를 이용함으로써 두 입력 장치의 역할이 엄격히 분리되어 있다는 특징이 있다. 그리고 일반적으로 캐릭터가 비행 시뮬레이션이나 레이싱 게임보다는 저속으로 움직이면서 주변 환경을 세심히 살펴야 하는 특징이 있으므로, 본 연구에서는 시선 추적 인터페이스를 접목하기 위한 1인칭 게임의 세부장르로 1인칭 슈팅 게임을 선택하고자 한다. 시선 추적을 이용하여 게임 캐릭터의 시선 방향이 전 방향으로 이동하는 것을 조정할 수 있으므로 그 활용성이 높다는 장점이 있으며, 또한 사용자의 시선이 곧 캐릭터의 시선이 된다는 일치성이 게임의 몰입감을 증가시킬 수 있을 것으로 예상된다.
- 그림 5에서 나와 있듯이, 본 연구에서는 시선 위치추적 시스템과 게임 시스템을 별도의 2개 프로그램으로 설계하여 개발하였다. 즉, 일반적인한 컴퓨터에서 시선 위치 추적 시스템과 게임시스템을 독립적인 프로그램으로 구동시킴으로써 어떠한 종류의 게임이라도 본 연구에서 개발한 시선 추적 시스템을 이용하여 제어할 수 있도록 하였다.
- 첫 번째 실험은 실험 대상자들이 8개의 방향(좌측상단, 상단, 우측상단, 좌측, 우측, 좌측하단, 하단, 우측하단)을 응시하게 하여 얼마만큼 정확하게 응시하는 지를 측정하였다. 두 번째 실험은 10초 동안 게임화면의 idle area를 응시하게 하고, 매 프레임 응시위치를 기록하여 idle area에 해당하는 응시위치의 개수를 측정하였다.
- 두 번째 실험은 idle area와 gaze area(그림 8 참조)가 정확하게 나뉘어져 있는지를 평가해보는 실험이다. 실험결과 idle area에 대한 응시 위치 정확도는 96.
- 그리고 일반 마우스를 사용해서 게임을 했을 때와 시선 추적 인터페이스 시스템을 사용하여 게임을 했을 때 어느 것에 더 흥미(interest)와 몰입감(immersion)을 느끼는지를 설문을 통해 측정하였다. 또한 '부작용(어지러움)이 있음에도 불구하고 과연 이 같은 게임을 즐길 것인가'도 설문을 통해 조사하였다.
- 분석하였다. 또한 일반 기계적인 마우스를 사용하여 걸리는 시간도 측정하여 비교해 보았다(그림 16).
- 모니터 상에 사용자의 시선 위치 정확도를 파악하기 위하여 그림 13과 같이 모니터 상의 25개의 점(검은색 점)을 30명의 사용자가 응시하도록 하고, 이때 계산된 시선 위치와 실제 응시해야할 위치 사이의 최소 자승 에러(RMS error)를 측정하였다. 실험 결과 약 57픽셀(X축으로는 38픽셀의 에러, Y축으로는 43픽셀의 에러 (HMD 모니터 해상도 : 800*600 픽셀))의 시선 위치 추출 에러 성능을 나타냈다.
- 일반적으로 홍채 영역은 사용자의 위아래 눈꺼풀(Eyelid) 등에 의해 덮여있는 경우가 많으므로, 정확하게 추출하기가 어렵다. 반면 동공의 경우 눈꺼풀이나 눈썹 등에 의해 덮여있는 경우가 거의 없으므로, 본 논문에서는 동공 위치를 추출하여 모니터 상의 시선 위치를 파악하는 연구를 수행하였으며, 이를 위하여 850nm의 적외선 조명 2개를 사용하였다. 사용되는 적외선 조명은 조사 각도에 비하여 눈과 상당히 인접한 거리에 있으므로 빛이 고르게 퍼지지 못하고 일부분만을 밝게 되는 문제가 있다.
- 과정이 선행되어야 한다. 본 논문에서 캘리브레이션 과정은 모니터 화면의 우측상단과 좌측 하단의 두 위치를 보는 과정으로 이루어진다.
- 본 논문에서는 HMD(head mounted display) 하단에 눈동자의 움직 임 영상을 취득할 수 있는 USB 카메 라를 부착한 후, 3차원 1인칭 슈팅 (First Person Shooting) 게임에서 게임 캐릭터의 시선방향을 눈동자 움직 임에 의해 조작하는 방법을 제안한다. 본 논문에서 제안하는 방법은 다음과 같은 3부분으로 구성한다.
- 본 실험에서는 50명의 사용자들에게 기계적인 마우스와 시선 위치 추적 인터페이스를 각각 5분간 사용하여 게임을 하도록 하여 어느 쪽에 더 몰입감(immersion)과 흥미성 (interest)이 높은지를 비교하였다. 실험 결과는 그림 12와 같다.
- 본 실험은 50명의 사용자들이 5번 반복 사용하여 게임 중 임의로(randomly) 생성(출발 위치부터 적의 위치까지의 거리는 항상 일정함)된 적 캐릭터의 위치까지 도달하는데 걸리는 시간을 매번 측정하여 변화추이를 분석하였다. 또한 일반 기계적인 마우스를 사용하여 걸리는 시간도 측정하여 비교해 보았다(그림 16).
- 본 연구에서 사용자는 그림 1과 같이 머리에 착용하는 HMD를 통해 일반적인 모니터에서 볼 수 있는 화면을 응시하게 된다. HMD를 통해 화면을 보면서 HMD의 하단에 고정되어 있는 USB카메라는 사용자의 눈동자 움직임을 연속 영상으로 받아들인다.
- 본 연구에서 제안하는 눈 영상 취득용 카메라 장치에서는 USB 카메라 앞에 부착된 '적외선 투과 필터, 어) 의해 가시광선이 차단되고, 별도 부착된 적외선 조명에 의해 영상이 조사(Illumination)되므로 어느 정도 외부광의 영향을 받지 않고 일정한 밝기의 영상을 얻을 수 있게 된다. 그러나 적외선 이상의 파장을 지니고 있는 외부광 (예, 태양광, 할로겐, 백열등 등)이 있는 경우에는 그렇지 않은 경우보다 입력 영상이 밝게 된다.
- 시선 추적을 이용하여 게임 캐릭터의 시선 방향이 전 방향으로 이동하는 것을 조정할 수 있으므로 그 활용성이 높다는 장점이 있으며, 또한 사용자의 시선이 곧 캐릭터의 시선이 된다는 일치성이 게임의 몰입감을 증가시킬 수 있을 것으로 예상된다. 본 연구에서는 실험을 위해 높낮이를 가지고 있는지 형 및 주인공을 기준으로 적이 어느 방향에 있는지 알아볼 수 있는 레이더를 가지는 3차원 1인칭 슈팅 게임을 개발하여 실험에 활용하였다. 본 시스템을 적용한 게임화면은 그림 9와 같다.
- 거치게 된다[17]. 사용자가 HMD를 일반적으로 착용하였을 때 동공 위치가 입력 영상의 중앙부에 위치된다는 점을 감안하여 640 X 480 픽셀 영상에서 중심을 기준으로 400 X 300 픽셀의 영역만을 대상으로 라벨링 (Labeling)을 수행함으로써 처리 시간을 단축하였다. 라벨링 처리 결과 가로대 세로비가 어느 정도 원이나 타원에 가까운 영역만을 동공의 후보로 간주하였으며, 그 외의 영역은 제거하였다(그림 7 참조).
- 시선 추적 인터페이스에 의한 3차원 1인칭 슈팅 게임의 효율성, 흥미, 몰입감, 편의성 등을 측정하기 위해, 총 50명의 실험자들을 대상으로 크게 주관적인 평가(subjective test)와 객관적인 평가(objective test)로 나누어 실험하였다.
- 처음에는 게임의한 지점을 자연스럽게 응시하도록 하였다. 이 실험 전에는 '캐릭터 시선방향의 조정(view control)이 목적이 아님'을 미리 알리고 실험을 진행하였다. 10초 동안 실험을 실시하고, 1초에 한 번씩 응시 위치를 추출하여 표시하였다(그림 8의 빨간 점).
- 이때 두 프로그램간의 통신을 위하여, 시선 위치추적 시스템에서의 추적 결과에 의해 윈도우 시스템 마우스를 구동시키고, 구동되는 시스템 마우스에 의해 게임 화면을 조정하는 방법을 사용하였다. 그림 5에서 보면, 먼저 시선 추적 프로그램을 구동시키고, 이후 모니터 화면상의 두 점(우측 상단과 좌측 하단)을 응시함으로써 캘리브레이션을 하게 된다.
- 다음으로는 캐릭터의 시선방향 이동을 목적으로 화면의 모서리 부분을 두루 응시하도록 하고 그 결과를 표시하였다(그림 8의 녹색 점). 이러한 실험 결과를 바탕으로 캐릭터 시선위치(3D view 화면)가 이동하지 않고 고정상태로 유지되는 사용자 시선 위치 구역 (회색 음영)을 설정(idle area)하였으며, 이 구역을 벗어나는 곳(gaze area)에 사용자 시선위치가 위치되는 경우에는 해당 방향으로 캐릭터의 시선 위치(3D view 화면)를 이동하도록 하였다.
- 이러한 실험결과를 고려하여, 본 연구에서도 50명의 사용자들에게 시선 위치 추적에 의한 게임 시스템을 10분간 사용하게 하여 1분, 간격으로 느끼는 어지러움 정도를 측정하였다. 측정값은.
- 미세한 떨림으로 인해 마우스의 커서가 의도하지 않게 떨리는 것은 게임 상에서 캐릭터 시선 방향이 불안정하게 이동하는 현상이 되므로 방지해야 한다. 이런 이유로 본 연구에서는 이전 영상에서 추출된 X*, Y*값과 현재 영상에서 추출된 X*, 丫冲와의 거리차를 구해서 정해진 임계치 이하의 값(본 연구에서는 RMS(Root Mean Square) 7 픽셀을 임계치로 사용함)이면 현재 영상에서 추출된 값을 무시하고 이전 값을 그대로 취하는 방법을 사용하였다. 위와 과정으로 얻어진 마우스 커서 위치의 방향으로 게임 화면에서 캐 릭터의 시 선 방향을 조정 (view control)한다.
- 사용되는 적외선 조명은 조사 각도에 비하여 눈과 상당히 인접한 거리에 있으므로 빛이 고르게 퍼지지 못하고 일부분만을 밝게 되는 문제가 있다. 이를 극복하기 위해서 반투명 유리 테이프를 적외선 조명 앞에 부착하여 빛이 고르게 분산(diffusing)될 수 있도록 하였다.
- 일반적으로 3차원적인 방법이 시선 위치의 정확도가 우수하며, 초기 캘리브레이션이 쉽다는 장점이 있으나, 2차원적인 방법에 비해 계산량이 많이 소요되고 처리시간이 오래 걸리는 문제점이 있다. 이에 본 논문에서는 일반적인 게임 환경을 고려할 때 눈동자 시선 추적 및 게임 렌더링이 하나의 컴퓨터에서 동작되어야 하므로, 연산량이 적은 2차원적인 방법을 선택하였다.
- 주관적 인 평가에서는 사용자가 본 시스템을 사용하면서 어느 정도의 어지러움(dizziness)을 느끼는지를 조사하여 사용자에게 끼치는 부작용을 분석하였다. 그리고 일반 마우스를 사용해서 게임을 했을 때와 시선 추적 인터페이스 시스템을 사용하여 게임을 했을 때 어느 것에 더 흥미(interest)와 몰입감(immersion)을 느끼는지를 설문을 통해 측정하였다.
- 설계하여 개발하였다. 즉, 일반적인한 컴퓨터에서 시선 위치 추적 시스템과 게임시스템을 독립적인 프로그램으로 구동시킴으로써 어떠한 종류의 게임이라도 본 연구에서 개발한 시선 추적 시스템을 이용하여 제어할 수 있도록 하였다.
- 대상으로 실험을 진행하였다. 첫 번째 실험은 실험 대상자들이 8개의 방향(좌측상단, 상단, 우측상단, 좌측, 우측, 좌측하단, 하단, 우측하단)을 응시하게 하여 얼마만큼 정확하게 응시하는 지를 측정하였다. 두 번째 실험은 10초 동안 게임화면의 idle area를 응시하게 하고, 매 프레임 응시위치를 기록하여 idle area에 해당하는 응시위치의 개수를 측정하였다.
- 본 논문에서 제안하는 방법은 다음과 같은 3부분으로 구성한다. 첫 번째는 입력 영상으로부터 눈동자의 중심위치를 실시간 영상 처리 방법으로 추출하는 부분, 두 번째는 HMD 모니터상의 임의 지점을 응시할 때 추출된 눈동자의 위치 정보와 모니터상의 응시 지점 사이의 기하학적인 연관관계를 결정하는 캘리브레이션 부분, 그리고 마지막은 캘리브레이션 정보를 기반으로 모니터 상의 최종적인 응시 위치를 결정하고 이 정보에 의해 게임상의 3차원 뷰(view) 방향을 조정하는 부분으로 구성한다.
- 측정값은.총 5단계로 표현하였다. 샤는 매우 어지러움', '3'은 '약간 어지러움', '2'는 '보통', Te '거의 어지럽지 않음', '0'은 '전혀 어지럽지 않음'으로 하여 측정한 결과는 그림 11과 같다.
- 이후 매 입력 영상마다 이 과정을 반복함으로써 연속 영상에서 동공 위치를 계속 추적할 수 있게 된다. 추출된 동공 위치의 정확도를 파악하기 위하여, 눈으로 직접 보면서 표시한 동공의 중심 위치와 본 논문의 방법에 의해 자동으로 추출된 위치 사이의 픽셀 RMS 에러를 측정하였다. 총 50명의 실험자로부터 각각 100장씩, 총 5,000장의 영상에 대해 측정한 결과 약 2.
- 이 연구에서는 양 눈의 움직임을 양안 카메라(stereo camera)에 의해 추적함으로써, 비행기내의 짐칸(cargo bay)에서 존재하는 결함을 검사하는 시뮬레이션 훈련 목적으로 개발되었다. 특히 이 연구에서는 눈동자 움직임을 추적하기 위한 영상처리 전용 컴퓨터와 상세한 3D 그래픽의 표현을 위한 고가, 고사양의 그래픽 전용 하드웨어 플랫폼 (SGI Onyx2 Infinite Reality™ ⑻)을 동시에 사용하였다. 그러나 본 연구에서와 같이 일반적인 1인칭 슈팅 게임 환경은 눈동자 움직임 추적 및 게임 렌더링이 하나의 컴퓨터에서 동작되어야 하므로, 위와 같은 고사양의 방법은 적용하기 힘든 문제가 있다.
- 특히, 눈 영상을 획득할 때 뚜렷한 동공의 경계를 가지는 영상을 획득하며, 외부광의 영향을 받지 않고 일정한 밝기의 영상을 얻기 위해서 카메라 내부에 존재하는 '적외선 차단필터'를 제거하고, 렌즈 전면에는 가시광선은 투과시키지 않고 적외선은 투과시키는 '적외선 투과필터'를 부착하였다. 그리고 그림 2와 같이 적외선 조명(infra-red light emitting diode)은 카메라 렌즈의 하단에 부착하여 카메라와 일체형으로 제작, 소형화 되도록 하였다.
- 이를 해결하기 위해서는 캘리브레이션 시 네 점을 응시하고 모니터와의 기하학적 관계를 아핀변환(affine transform)등을 통해 매 핑 한다면 해결할 수 있다. 하지만 본 시스템에서는 게임의 시작시간을 최대한 단축하기 위해서 두 점을 응시하는 캘리브레이션 방법을 선택하고자 한다.
대상 데이터
- 사용자 머리에 고정하여 착용하는 HMD를 통하여 눈 영상이 머리의 움직임에 영향을 받지 않기 때문에 별도의 머리 움직임 추적 장치는 필요하지 않다. 본 논문에서 사용한 HMD(iglass-SVG3D)는 다음과 같은 특성을 지니고 있다[15].
- 본 시스템은 HMD를 사용하기 때문에 기존의 3D FPS 게임에서 느끼는 것보다 더 큰 어지러움을 느낄 것으로 예상되며 (5丄1 참조), 본 시스템을 이용한 상용게임이 만들어진다면 사용할 것인지의 여부를 50명의 실험대상자들을 통해 설문을 실시하였다. 설문 결과, 이 같은 게임을 '사용하겠다'는 사람이 76명으로 '사용하지 않겠다'는 24명보다 훨씬 많게 조사됐다.
- 이런 문제점을 해결하기 위해 본 논문에서는 총 50명을 대상으로 다음과 같은 실험을 실시하였다. 처음에는 게임의한 지점을 자연스럽게 응시하도록 하였다.
- 제안한 알고리즘의 정확도를 측정하기 위해 50명을 대상으로 실험을 진행하였다. 첫 번째 실험은 실험 대상자들이 8개의 방향(좌측상단, 상단, 우측상단, 좌측, 우측, 좌측하단, 하단, 우측하단)을 응시하게 하여 얼마만큼 정확하게 응시하는 지를 측정하였다.
성능/효과
- 그러므로 본 연구에서는 입력 영상의 평균 밝기를 측정하여 이를 이진화 임계치로 반영하는 방식을 사용하였다. 그 결과 입력 영상의 밝기에 상관없이 적절한 이진화 임계치를 동적으로 결정할 수 있었다.
- 줄일 수 있었다. 또한, 게임 렌더링의 부하를 줄이기 위해 2D 텍스쳐 매핑으로 3D 효과를 냄으로써 한 장면 당 폴리곤 수를 1000개 이하로 줄이는 low-polygon 모델링 기술을 사용함으로써, 한 대의 컴퓨터 환경에서 눈동자의 움직임 추적과 게임을 동시에 실시간으로 동작할 수 있었다.
- 실험 결과 본 논문의 방법에 의해 손이 불편한 사용자에게 게임을 즐길 수 있는 기회를 제공하고, 게임 캐릭터와 게임 사용자의 시선 방향을 일치시킴으로서 게임의 흥미와 몰입감을 증가시킬 수 있는 결과를 얻음을 알 수 있었다.
- 자승 에러(RMS error)를 측정하였다. 실험 결과 약 57픽셀(X축으로는 38픽셀의 에러, Y축으로는 43픽셀의 에러 (HMD 모니터 해상도 : 800*600 픽셀))의 시선 위치 추출 에러 성능을 나타냈다. 하지만 본 시선 위치 추적 게임 시스템에서는 HMD 모니터상의 정확한 응시 위치보다 사용자 응시 방향의 움직임에 따른 화면 조정이 더 중요하므로 위 정도의 에러는 게임 시스템 동작에서 큰 문제로 작용하지는 않는다.
- 실험 결과, 시선 위치 추적 인터페이스를 사용하는 초기에는 시간이 많이 소요됨을 알 수 있었으나, 반복 횟수가 증가됨에 따라 기계적인 마우스를 사용했을 때의 시간과 거의 비슷해짐을 알 수 있었다. 기계적인 마우스를 사용했을 때는 반복회수의 증가에 따라 소요시간에 큰 변화가 없었다.
- 위한 실험이다. 실험 결과, 캘리브레이션 시 응시했던 두 점(우측상단, 좌측하단) 주변에서는 매우 정확한 결과가 나타났으며, 그렇지 않은 두 점(좌측상단, 우측하단) 주변에서는 상대적으로 정확도가 떨어지는 것을 알 수 있었다. 이는 캘리브레이션 시 얻어지는 두 점을 이용해 모니터의 직사각형 영역에 선형보간법으로 매핑하기 때문에 나타나는 문제점이다.
- 실험결과 idle area에 대한 응시 위치 정확도는 96.4%로 매우 정확하게 나타남으로써, 원하지 않는 시선 위치의 이동이 거의 나타나지 않음을 알 수 있었다. 5.
- 실험결과, 사용자들이 일반 마우스를 사용하는 게임보다 시선 위치 추적 인터페이스를 사용한 게임에서 몰입감과 흥미를 느낀다는 응답이 압도적으로 많게 조사됨으로써, 시선 위치 추적 인터페이스와 게임의 접목에 더 큰 가능성을 가지게 되었다.
-
실험값)
실험결과, 어지러움의 정도는 실험 대상자에 따라 매우 다르게 나타났다
. 실험 내내 전혀 어지럽지 않다고 응답하는 경우가 있었으며, 중도에 어지러움을 참지 못하고 실험을 포기하는 경우도 있었다. - 위와 같이 'idle area'((50, 50)-(750, 550)사이 영역)와 gaze area'(그외 영역)로 구역을 나눈 결과, 사용자가 의도하지 않는 캐릭터 시선방향의 이동은 거의 나타나지 않았으며, 캐릭터의 시선방향 이동을 원할 때에는 원활한 3D view의 이동이 가능했다(실험 결과 5.3.1 참조).
- 위의 실험과 설문을 통해 본 시선 위치 추적 게임시스템은 초기 5분여의 시간까지 어지러움을 느낀다는 단점과 몰입감과 흥미성이 높다는 장점을 동시에 가지고 있는 것으로 나타났다. 기존의 3D FPS 게임 역시 어지러움 증이 단점으로 지적되면서도 사실감과 흥미성 때문에 많은 사용자들이 즐기고 있다.
- 이와 같은 실험 결과, 본 연구에서 제안하는 시선 위치 추적 게임시스템을 전체 응답자중 76%의 많은 사용자들이 다시 사용하겠다고 답함으로써, 시선 위치 추적 인터페이스 방법이 게임에서의 적용 가능성이 매우 높음을 알 수 있었다.
- 추출된 동공 위치의 정확도를 파악하기 위하여, 눈으로 직접 보면서 표시한 동공의 중심 위치와 본 논문의 방법에 의해 자동으로 추출된 위치 사이의 픽셀 RMS 에러를 측정하였다. 총 50명의 실험자로부터 각각 100장씩, 총 5,000장의 영상에 대해 측정한 결과 약 2.43 픽셀 에러(X축 방향으로 1.2 픽셀 에러, Y축 방향으로 2.1 픽셀 에러)가 발생함을 알 수 있었다.
- 특히 본 연구에서는 사람이 임의의한 곳을 응시할 때 양쪽 눈은 같은 곳을 응시한다는 일반적인 특징을 이용하여 한쪽 눈의 응시위치만을 추적하고, 동공이 움직일 수 있는 사전 범위를 미리 지정하여 제한된 범위에서만 영상처리를 수행함으로써 처리 시간을 줄일 수 있었다. 또한, 게임 렌더링의 부하를 줄이기 위해 2D 텍스쳐 매핑으로 3D 효과를 냄으로써 한 장면 당 폴리곤 수를 1000개 이하로 줄이는 low-polygon 모델링 기술을 사용함으로써, 한 대의 컴퓨터 환경에서 눈동자의 움직임 추적과 게임을 동시에 실시간으로 동작할 수 있었다.
- 그 이유로 'HMD를 사용하여 큰 화면이 외부환경에 영향을 받지 않고 집중할 수 있도록 하는 것'과 내 눈이 바라보는 곳에 따라 캐릭터의 시선이 바뀌는 것'을 꼽았다. 흥미성에 대한 설문결과를 봐도 '시선 위치 추적 인터페이스를 사용한 게임이 더 흥미성이 높다'라는 의견이 압도적으로 많았다. 그 이유로는 '신기하다', '내 눈에 따라 캐릭터의 시선이 움직인다', '새로운 장치에 대한 호기심'을 꼽았다.
후속연구
- 영상의 해상도와 화면 주사율의 개선은 HMD 자체의 기술적인 발전을 통해 가능할 것이다. USB 카메라와 눈의 시선 방향이 이루는 사이 각에 의해 눈동자의 상하 움직임을 잘 구별하지 못하는 문제점은 해상도가 높은 영상을 받을 수 있는 USB 카메라를 사용하거나 HMD의 구조적인 문제를 개선한다면 해결할 수 있을 것으로 기대된다.
- 또한, 눈 영상에서 홍채 영역을 추출하여 본인임을 인증하는 기능을 추가한다면 온라인 게임으로 확장 시 사이버머니 결제 및 로그인 시스템으로 활용할 수 있어, 게임 조작과 인증(Authentication)을 동시에 해결할 수 있는 효과를 얻을 수 있을 것이다.
- 위의 조건들과 본 시스템의 환경을 비교해보면, 사용하는 HMD는 화각이 26°이므로 위의 조건을 충분히 만족한다. 본 시스템처럼 게임과 시선위치 추적 인터페이스가 하나의 PC에서 동작할 경우라도 고사양의 그래픽카드를 사용한다면 100 프레임/초이상으로 프레임율을 올리는 것이 가능할 것으로 예상한다(본 시스템에서는 평균 50 프레임/초). 영상의 해상도와 화면 주사율의 개선은 HMD 자체의 기술적인 발전을 통해 가능할 것이다.
- 본 시스템처럼 게임과 시선위치 추적 인터페이스가 하나의 PC에서 동작할 경우라도 고사양의 그래픽카드를 사용한다면 100 프레임/초이상으로 프레임율을 올리는 것이 가능할 것으로 예상한다(본 시스템에서는 평균 50 프레임/초). 영상의 해상도와 화면 주사율의 개선은 HMD 자체의 기술적인 발전을 통해 가능할 것이다. USB 카메라와 눈의 시선 방향이 이루는 사이 각에 의해 눈동자의 상하 움직임을 잘 구별하지 못하는 문제점은 해상도가 높은 영상을 받을 수 있는 USB 카메라를 사용하거나 HMD의 구조적인 문제를 개선한다면 해결할 수 있을 것으로 기대된다.
- 또한 다른 장르의 게임에서도 시선.위치 추적 인터페이스를 사용할 수 있을 것으로 기대된다. 단, 정확도를 높이기 위해서는 그만큼 연산량이 증가하여 한대의 PC에서 게임과 동시해 실행하기에 어렵다는 문제점이 생긴다.
- 현재는 캐릭터의 시선방향을 움직이는 것만 가능하지만, 동공중심 추출의 정확도를 더욱 높인다면 게임에서 적에게 사격 시 조준을 할 때에도 시선 위치추적 인터페이스를 사용하여 게임의 흥미를 높이는 것이 가능할 것이다. 또한 다른 장르의 게임에서도 시선.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.