본 연구에서는 모니터, 카메라 및 눈동자 좌표계간의 복잡한 3차원 관계를 고려하지 않고, 동공의 중심 위치와 모니터의 구석에 설치된 적외선 조명에 의한 네 개의 조명 반사광 사이의 관계를 사용하여 2차원적인 변환 방법으로 사용자의 시선 위치를 파악한다. 동공중심과 조명 반사광을 정확하게 추출하고, 이를 통해 계산된 시선 위치 계산의 정확도에 영향을 줄 수 있는 오차 요소들을 보정하는 것이 본 연구의 목적이다. 이를 위하여, 동공 중심을 통해 계산된 시선위치와 실제 시선 축이 이루는 카파에러를 초기 1회의 사용자 캘리브레이션을 통해 보정하였다. 또한, 칼만 필터를 기반으로 눈의 급격한 움직임 변화에도 각막 조명 반사광을 안정적으로 추적하여 시선 위치를 정확하게 추적한다. 실험 결과, 제안한 연구방법의 시선 위치 추출 오차는 눈의 급격한 움직임 변화에 상관없이 약 1.0$^\circ$ 를 나타냈다.
본 연구에서는 모니터, 카메라 및 눈동자 좌표계간의 복잡한 3차원 관계를 고려하지 않고, 동공의 중심 위치와 모니터의 구석에 설치된 적외선 조명에 의한 네 개의 조명 반사광 사이의 관계를 사용하여 2차원적인 변환 방법으로 사용자의 시선 위치를 파악한다. 동공중심과 조명 반사광을 정확하게 추출하고, 이를 통해 계산된 시선 위치 계산의 정확도에 영향을 줄 수 있는 오차 요소들을 보정하는 것이 본 연구의 목적이다. 이를 위하여, 동공 중심을 통해 계산된 시선위치와 실제 시선 축이 이루는 카파에러를 초기 1회의 사용자 캘리브레이션을 통해 보정하였다. 또한, 칼만 필터를 기반으로 눈의 급격한 움직임 변화에도 각막 조명 반사광을 안정적으로 추적하여 시선 위치를 정확하게 추적한다. 실험 결과, 제안한 연구방법의 시선 위치 추출 오차는 눈의 급격한 움직임 변화에 상관없이 약 1.0$^\circ$ 를 나타냈다.
In this paper, we could simply compute the user's gaze position based on 2D relations between the pupil center and four corneal specular reflections formed by four IR-illuminators attached on each corner of a monitor, without considering the complex 3D relations among the camera, the monitor, and th...
In this paper, we could simply compute the user's gaze position based on 2D relations between the pupil center and four corneal specular reflections formed by four IR-illuminators attached on each corner of a monitor, without considering the complex 3D relations among the camera, the monitor, and the pupil coordinates. Therefore, the objectives of our paper are to detect the pupil center and four corneal specular reflections exactly and to compensate for error factors which affect the gaze accuracy. In our method, we compensated for the kappa error between the calculated gaze position through the pupil center and actual gaze vector. We performed one time user calibration to compensate when the system started. Also, we robustly detected four corneal specular reflections that were important to calculate gaze position based on Kalman filter irrespective of the abrupt change of eye movement. Experimental results showed that the gaze detection error was about 1.0 degrees though there was the abrupt change of eye movement.
In this paper, we could simply compute the user's gaze position based on 2D relations between the pupil center and four corneal specular reflections formed by four IR-illuminators attached on each corner of a monitor, without considering the complex 3D relations among the camera, the monitor, and the pupil coordinates. Therefore, the objectives of our paper are to detect the pupil center and four corneal specular reflections exactly and to compensate for error factors which affect the gaze accuracy. In our method, we compensated for the kappa error between the calculated gaze position through the pupil center and actual gaze vector. We performed one time user calibration to compensate when the system started. Also, we robustly detected four corneal specular reflections that were important to calculate gaze position based on Kalman filter irrespective of the abrupt change of eye movement. Experimental results showed that the gaze detection error was about 1.0 degrees though there was the abrupt change of eye movement.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 연구에서는 눈의 깜빡임을 고려하기 위해, 반사광을 검출하기 전 동공영역의 픽셀의 개수를 측정한다. 이 픽셀 개수가 이전 프레임에서의 동공영역의 픽셀 개수의 1/2 이하가 됐을 경우, 사용자가 눈을 감았다고 판단하고 다음과정인 반사광 검출 및 시선 위치 계산을 수행하지 않는다.
이러한 경우 시선 위치 추출 에러가 급격히 증가된다. 이를 해결하기 위하여 본 연구에서는 매 프레임마다 추출된 동공의 중심 위치를 기반으로 Kalman filter의 예측 윈도우의 크기 및 방향을 적응적으로 결정함으로써 눈의 급격한 방향 변화가 생기는 경우에도 안정적으로 4개의 조명 반사광 위치 및 결과적으로 정확한 시선 위치를 추적할 수 있는 방법에 대하여 연구하였다.
제안 방법
결과적으로, 머리움직임에 따른 시선 위치의 오차를 1차식, 2차식, log함수식을 사용하여 각 변의 비율의 차((b/a-b’/a’)와 (d/c–d’/c’))를 이용하여 보정하였다.
하지만 이를 위해서는 2개 이상의 고가 스테레오 카메라나 별도의 위치추적 장치들을 사용해야하는 문제점이 있다. 그러므로 이러한 문제점을 해결하기 위하여 본 연구에서는 각막에 발생하는 4개의 조명 반사광이 형성하는 기하학적 모양의 변화량을 이용하여 얼굴의 움직임을 보정하는 방법을 사용하였다[13]
그리고 눈 영상을 취득할 때 외부광의 영향을 받지 않도록 하기 위하여 일반적인 USB 카메라 내부에 있는 ‘적외선 차단필터’를 제거하고, 별도의 ‘적외선 투과(가시광선 차단)필터’를 부착하였다.
다음으로 기존의 연구[13]에서처럼 머리 움직임에 따른 오차를 보정했을 때와 보정하지 않았을 때의 정확도를 측정 하였다. (그림 16, 17)은 머리가 수직, 수평으로 움직였을 때의 시선 위치 정확도를 나타낸다.
본 연구는 2차원적인 방법으로 접근하기 때문에 z거리를 파악하기가 어렵다. 따라서 본 연구에서는 동공의 움직임 량에 대한 반사광의 대략적인 움직임 량을 사전에 학습을 통해 미리 구하고, 이를 LUT(Look Up Table)로 정의한 후 이를 Kalman filtering 하는 단계에 적용하였다.
하지만 안구의 회전중심과 동공중심이 이루는 동공 축과 실제 시선 축에는 차이가 있으며, 이 차이를 카파 각(angle Kappa)이라고 한다. 따라서 본 연구에서는 카파각을 보정하기 위해서 시스템 시작 전에 1회 사용자 캘리브레이션을 시행하였다.
이러한 경우에는 모니터를 나타내는 반사광이 3개밖에 없으므로 시선 위치를 파악할 수 없다. 따라서 이런 경우를 해결하기 위하여, 본 연구에서는 이전 프레임에서 칼만 필터로 예측한 위치를 없어진 반사광의 위치로 대체하였다[13].
기존 연구[13]처럼, 본 연구에서도 등속도 운동을 하는 칼만 필터를 그대로 사용하였을 경우 사용자가 시선의 방향을 전환하여 응시하거나, 빠르게 다른 곳을 응시했을 때 예측된 반사광을 가지고 현재 프레임에서의 해당 반사광을 찾지 못하였다. 따라서 이런 문제점을 해결하기 위해서, 본 연구에서는 시선 방향은 동공이 이동하는 방향으로 간주할 수 있으므로 동공의 이동방향에 따라 반사광의 검색영역을 늘려서 재탐색하는 방법을 사용하였다. 본 연구에서는 사용자의 시선 움직임 방향을 동공의 위치를 사용하여 알 수 있다.
본 연구에서 1 프레임에 대한 수행 시간은 약 55ms (≒ 35ms(동공추출)+5ms(반사광 추출) +15ms(시선 위치 계산 및 보정))로 영상한 장의 입력 시간 66ms안에 처리하여 지연 없이 수행할 수 있었다[13]. 또한 본 논문에서는 기존의 방법[13]에서 반사광 추출했을 때의 시선 위치 정확도와 본 연구에서 제안한 동공움직임 기반 칼만 필터를 사용하여 반사광을 추출 방법을 사용했을 때의 시선 위치 정확도를 비교하였다. 각각의 방법에서의 정확도를 측정하기 위하여, 50명의 사용자가 모니터 상의 12개의 참조점을 자유롭게 응시하도록 하고 이를 연속적인 영상으로 취득하였다.
또한 본 연구에서는 칼만 필터 이외에 condensation tracker[29]와 파티클 필터(particle filter)[30]를 적용하여 반사광을 검출하고 검출 정확도를 비교하였다. 실험 결과, <표 1>에서와 같이 condensation tracker와 파티클 필터보다 본 연구에서 적용한 칼만 필터를 적용한 방법의 정확도가 가장 높은 것으로 측정되었다.
이렇게 구해진 동공중심과 반사광들의 중심을 이용하여, 시선 위치를 계산한다. 또한 제안하는 방법에서는 사용자의 얼굴 움직임에 의한 시선위치 계산 오차가 존재하는데, 얼굴과 모니터, 조명의 위치관계를 고려한 모델링을 통해 이를 보정하였다.
본 연구의 시선 추적 시스템의 개요도는 (그림 1)에서 보는 바와 같이 크게 5단계로 구성된다. 먼저, 시선 추적 카메라로부터 사용자의 눈 영상을 취득한 후, 영상에서 원형검출 알고리즘과 지역 이진화를 통해서 동공 중심을 구한다. 하지만 안구의 회전중심과 동공중심이 이루는 동공 축과 실제 시선 축에는 차이가 있으며, 이 차이를 카파 각(angle Kappa)이라고 한다.
따라서 머리 움직임을 추적하기 위한 별도의 카메라 장치가 필요하지 않으므로 비용이 절감될 수 있다. 본 연구에서 사용한 USB(Universal Serial Bus)타입의 카메라에는 고배율의 단초점 렌즈를 장착하고 눈에서 최대한 먼거리 약 15cm에 설치하여 사용자의 시야를 가리지 않도록 하였다.
따라서 이런 문제점을 해결하기 위해서, 본 연구에서는 시선 방향은 동공이 이동하는 방향으로 간주할 수 있으므로 동공의 이동방향에 따라 반사광의 검색영역을 늘려서 재탐색하는 방법을 사용하였다. 본 연구에서는 사용자의 시선 움직임 방향을 동공의 위치를 사용하여 알 수 있다. 이전 영상에서의 동공의 위치와 현재 영상에서의 위치의 차이로 이동 방향과 크기를 파악할 수 있다.
본 연구에서는 칼만 필터를 매 프레임에서 수행하여 반사광을 검출하였다. 칼만 필터는 관찰 과정만을 고려하는 것이 아니라 대상 변수가 변화하는 모델까지 고려하는 순환 함수이다.
본 연구에서는 칼만 필터를 사용하여 반사광을 좀 더 정확하고 빠르게 찾을 수 있었다. 특히 매 프레임마다 추출된 동공의 중심위치를 기반으로 눈동자의 빠른 시선 방향 변화가 생기는 경우에도 안정적으로 조명 반사광의 위치를 칼만 필터로 추적할 수 있었으며, 이를 바탕으로 시선위치를 계산할 수 있었다.
또한 (그림 18)은 Z거리에 따른 시선 위치 정확도이다. 얼굴의 움직임 량은 위치 추적 센서(Polhemus Patriot) [28]을 이용하여 측정하였다.
이러한 문제점을 해결하기 위해서 본 연구에서는 모니터의 네 구석에 850nm의 파장 대를 가진 적외선 조명 4개를 각각 설치[9]하여 사용자가 모니터를 응시하게 되면 조명이 사용자의 눈에 조사되어 (그림 3)과 같이 네 개의 반사광이 각막 면에 생기게 된다. 눈의 각막 면에 생기는 조명의 반사광(specular reflection)을 ‘glint' 또는 ’1st purkinje image'라고 한다[15].
또한 (그림 2)와 같이 카메라는 사용자의 눈보다 아래쪽에 있기 때문에, 동공은 타원 형태로 취득되는 경우가 많다. 이런 경우에 원형 검출 알고리즘만으로 정확한 동공 중심을 추출하기 어려우므로, 추가적으로 원형 검출 알고리즘으로 구한 동공의 중심을 기준으로 일정한 크기의 영역에 지역 이진화(local thresholding)과정을 수행하였다[20]. 위에서 언급했듯이 본 시스템에서 사용한 카메라 렌즈 전면에 적외선 투과필터를 부착하고 적외선 차단필터를 제거하여 주변광에 영향을 받지 않고 항상 일정한 밝기를 유지할 수 있었다.
실제로 이와 같은 경우는 자주 발생하기 때문에 복비를 이용한 매핑 방법은 사용하기 어렵다. 이런 문제점을 해결하기 위해서본 연구에서는 기하학적 변형 (Geometric transform)[10, 12, 13, 20, 23, 24]를 사용하여 카파각을 보정한 동공중심과 모니터상의 시선위치를 매핑하였다. 기하학적 변형은 4개의 적외선 조명이 형성하는 왜곡된 형태의 사각형과 모니터 직사각형 사이의 기하학적 관계를 정의하는 방법으로 식 (3)과 식 (4)으로 표현 가능하다.
사용자는 적외선 조명을 보고 있지만, 영상에서의 반사광은 동공중심과 일치하지 않는 것을 확인할 수 있다. 일반적으로 개인마다 카파 각이 다르기 때문에 본 연구에서는 초기에 사용자 캘리브레이션 시 모니터 중앙을 1회 쳐다보도록 하여 이를 보정하였다.
실험 결과, <표 1>에서와 같이 condensation tracker와 파티클 필터보다 본 연구에서 적용한 칼만 필터를 적용한 방법의 정확도가 가장 높은 것으로 측정되었다. 측정한 RMS 오차는 검출된 반사광의 중심과 영상에서 반사광의 중심을 수동으로 검출한 차이로 계산하였다 [13].
대상 데이터
결과적으로, 머리움직임에 따른 시선 위치의 오차를 1차식, 2차식, log함수식을 사용하여 각 변의 비율의 차((b/a-b’/a’)와 (d/c–d’/c’))를 이용하여 보정하였다. 각 변의 비율의 차와 보정할 양을 구하기 위하여, 50명의 사용자를 대상으로 모니터의 중심을 포함한 8개의 위치에서 모니터를 응시하게 하였다. 그리고 이 때, 모니터로부터 사용자까지 거리는 50 ∼ 60cm 이었다.
또한 본 논문에서는 기존의 방법[13]에서 반사광 추출했을 때의 시선 위치 정확도와 본 연구에서 제안한 동공움직임 기반 칼만 필터를 사용하여 반사광을 추출 방법을 사용했을 때의 시선 위치 정확도를 비교하였다. 각각의 방법에서의 정확도를 측정하기 위하여, 50명의 사용자가 모니터 상의 12개의 참조점을 자유롭게 응시하도록 하고 이를 연속적인 영상으로 취득하였다. 측정된 영상은 (그림 8)의 #6과 같이 사용자의 시선의 방향이 전환된 경우를 많이 포함하고 있다.
다음은 카파 각(2.2.1절)을 보정하기 전 후의 시선위치 정확도를 50명의 사용자의 실험 데이터로부터 측정하였다. 그 결과, 카파각을 보정하기 전의 시선위치 정확도는 약 4°이상이었다.
모니터의 화면 해상도는 800픽셀(가로)×600픽셀(세로)(SVGA)로 설정하고 실험하였다.
본 논문에서의 실험 환경은 Pentium-4 3.0 GHz의 하드웨어 환경에서 구현하였다. 일반적으로 USB 카메라의 영상 입력 속도가 초당 15프레임 (640×480 픽셀)이므로, 매 프레임 당 영상 입력 시간 간격은 66ms이다.
본 시선위치 추적 시스템의 정확도를 측정하기 위해서, 50명의 사용자를 대상으로 기존의 연구[12, 13]처럼 (그림 15)와 같이 모니터상의 12개의 참조점을 응시하도록 하였다. 실험 결과, 평균 시선위치 오차는 약 1.
(그림 5)의 (a)와 같이 원형 검출 알고리즘으로 동공의 반지름과 중심을 구할 수 있었다. 원형 검출 알고리즘을 사용하여 검출된 동공영역의 정확도를 측정하기 위하여 50명의 사용자로부터 500장의 영상에 대해 성능을 실험하였다. 실험결과, RMS(Root Mean Square) 오차 약 2.
데이터처리
마지막으로 [13]의 방법과 성능을 비교하였다. 눈동자의 급격한 방향 변화가 생기지 않는 경우에는 본 연구에서의 시선 위치 정확도는 [13]의 결과와 유사하였다.
이론/모형
수식은 LMS(Least Mean Square) 알고리즘에 의하여 구하였으며, 이 때, 구해진 최종적인 상수 값은 α1이 -248.7, α2는 -0.23, β1은 170.12, β2는 -0.15 이다.
성능/효과
그 결과, 카파각을 보정하기 전의 시선위치 정확도는 약 4°이상이었다.
이는 기존 방법의 경우 눈동자의 급격한 회전 방향 변화가 생기는 경우 추적하던 조명 반사광을 놓치고 결과적으로 시선 추적 오차가 증가되었기 때문이다. 따라서 본 연구에서 제안한 동공 움직임 기반 칼만 필터를 사용한 반사광 추출 방법이 기존의 방법보다 정확도가 향상된 것을 알 수 있었다.
특히 파티클 필터는 눈이 많이 회전됨에 따라 영상에서 반사광이 없어지거나, 동공이 급격하게 움직였을 경우, 파티클들이 해당 반사광을 검출하지 못하고 다른 반사광으로 파티클들이 이동하여 오검출 하거나 영상 밖으로 사라지는 것을 관찰할 수 있었다. 또한 Condensation tracker는 눈이 많이 회전됨에 따라 반사광이 없어졌을 경우 검출 정확도가 급격하게 떨어지는 것으로 관찰되었다. 따라서 반사광을 검출하는데 있어서 칼만 필터를 사용하는 것이 가장 적절하다고 판단된다.
특히 매 프레임마다 추출된 동공의 중심위치를 기반으로 눈동자의 빠른 시선 방향 변화가 생기는 경우에도 안정적으로 조명 반사광의 위치를 칼만 필터로 추적할 수 있었으며, 이를 바탕으로 시선위치를 계산할 수 있었다. 또한 사용자의 얼굴이 이동하였을 경우, 사용자의 안구와 위치, 모니터의 관계를 모델링을 통하여 보정함으로써 시선 추출의 정확도를 향상하였다.
본 시스템에서의 동공 검출 방법의 정확도를 측정하기 위해 역시 50명을 대상으로 각각 10장씩, 총 500장의 영상을 가지고 실험해 본 결과, 평균 RMS(Root Mean Square) 오차는 약 1.56픽셀(x축으로 1.1픽셀, y축으로 1.1픽셀)로 단순 원형 경계 검출 방법을 사용했을 때보다 성능이 향상됨을 알 수 있었다[13].
일반적으로 USB 카메라의 영상 입력 속도가 초당 15프레임 (640×480 픽셀)이므로, 매 프레임 당 영상 입력 시간 간격은 66ms이다. 본 연구에서 1 프레임에 대한 수행 시간은 약 55ms (≒ 35ms(동공추출)+5ms(반사광 추출) +15ms(시선 위치 계산 및 보정))로 영상한 장의 입력 시간 66ms안에 처리하여 지연 없이 수행할 수 있었다[13]. 또한 본 논문에서는 기존의 방법[13]에서 반사광 추출했을 때의 시선 위치 정확도와 본 연구에서 제안한 동공움직임 기반 칼만 필터를 사용하여 반사광을 추출 방법을 사용했을 때의 시선 위치 정확도를 비교하였다.
실험 결과, 기존의 방법[13]에서의 시선 위치 정확도는 약 1.94° (RMS 오차 약 39픽셀, X축으로 31픽셀, Y축으로 24픽셀)로 측정되었으며, 본 연구에서 제안한 방법을 사용한 시선 위치 정확도는 약 1.09° (RMS 오차 약 22픽셀, X축으로 18픽셀, Y축으로 13픽셀)로 측정되었다.
실험 결과, 에서와 같이 condensation tracker와 파티클 필터보다 본 연구에서 적용한 칼만 필터를 적용한 방법의 정확도가 가장 높은 것으로 측정되었다.
실험 결과, 평균 시선위치 오차는 약 1.0° (화면 해상도 800×600을 기준으로 RMS 오차 약 21픽셀, X축으로 16픽셀, Y축으로 13픽셀)이었다.
원형 검출 알고리즘을 사용하여 검출된 동공영역의 정확도를 측정하기 위하여 50명의 사용자로부터 500장의 영상에 대해 성능을 실험하였다. 실험결과, RMS(Root Mean Square) 오차 약 2.3 픽셀(X축 1.5픽셀, Y축 1.7픽셀)이었다. RMS 오차는 검출된 동공의 중심과 영상에서 동공 중심을 수동으로 검출한 차이로 계산하였다[13].
이런 경우에 원형 검출 알고리즘만으로 정확한 동공 중심을 추출하기 어려우므로, 추가적으로 원형 검출 알고리즘으로 구한 동공의 중심을 기준으로 일정한 크기의 영역에 지역 이진화(local thresholding)과정을 수행하였다[20]. 위에서 언급했듯이 본 시스템에서 사용한 카메라 렌즈 전면에 적외선 투과필터를 부착하고 적외선 차단필터를 제거하여 주변광에 영향을 받지 않고 항상 일정한 밝기를 유지할 수 있었다. 따라서 (그림 3과 5)의 (a)에서 보는 바와 같이 동공 영역은 주변 영역보다 밝으므로 Otsu 알고리즘을 사용하여 임계 치를 쉽게 결정할 수 있었다[13, 21].
이때 (그림 5)의 (b)와 같이 적외선 조명의 반사광에 의해 동공 부분이 흰 점이 표시되는 경우가 종종 발생하며 이러한 경우 단순 무게 중심을 이용하게 되면 동공 중심의 오차가 발생하게 된다. 이러한 문제를 해결하기 위하여 본 연구에서는 이진화 된 영역의 기하학적 무게중심으로 기준으로, 다시 한 번 동공 경계부근보다는 중심부근의 픽셀 위치들에 가중치를 부여한 기하학적 무게중심을 구하여 동공 중심의 위치 추출 정확도를 향상하였다.
본 연구에서는 칼만 필터를 사용하여 반사광을 좀 더 정확하고 빠르게 찾을 수 있었다. 특히 매 프레임마다 추출된 동공의 중심위치를 기반으로 눈동자의 빠른 시선 방향 변화가 생기는 경우에도 안정적으로 조명 반사광의 위치를 칼만 필터로 추적할 수 있었으며, 이를 바탕으로 시선위치를 계산할 수 있었다. 또한 사용자의 얼굴이 이동하였을 경우, 사용자의 안구와 위치, 모니터의 관계를 모델링을 통하여 보정함으로써 시선 추출의 정확도를 향상하였다.
하지만 본 연구의 방법에서는 검출된 동공위치를 기반으로 조명 반사광을 추적하기 위한 Kalman filter의 탐색영역 위치 및 크기를 적응적으로 조정함으로써, 이러한 경우에도 안정적으로 시선위치를 추적하여 평균 에러는 약 1.0° 정도를 유지할 수 있었다.
후속연구
향후, 보다 많은 사용자들을 대상으로 성능을 평가하여 시선 위치의 정확도를 향상시켜야 하고, 태양광등의 외부광이 영향을 미치는 환경에서의 성능을 측정하여 개선해야 할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
시선 위치 추적이란 무엇인가?
시선 위치 추적은 카메라로부터 입력된 사용자의 눈이 포함된 영상을 이용하여, 사용자가 응시하는 방향을 추적하는 방법으로, 휴먼 컴퓨터 인터페이스(HCI), 가상현실(VR), 안과학, 정신분석학 등과 같은 많은 분야에서 활용되고 있는 연구 중의 하나이다[1-6].
시선 위치 추적은 어떤 분야에서 활용되고 있는가?
시선 위치 추적은 카메라로부터 입력된 사용자의 눈이 포함된 영상을 이용하여, 사용자가 응시하는 방향을 추적하는 방법으로, 휴먼 컴퓨터 인터페이스(HCI), 가상현실(VR), 안과학, 정신분석학 등과 같은 많은 분야에서 활용되고 있는 연구 중의 하나이다[1-6].
기존의 시선 위치 추적 연구에서 Rikert가 정확도가 떨어지는 결과를 나타냈던 이유는?
기존의 시선 위치 추적 연구에서 Rikert는 신경망을 이용하여 모니터 상에 사용자가 응시하는 위치를 추정하였지만[7], 사용자와 모니터 사이의 거리는 고정되고, 입력 영상 내에 얼굴 이외에는 복잡한 배경이 존재하지 않는다는 제약조건이 있었다. 하지만 이 방법은 사용자의 눈 움직임이 아닌 얼굴의 움직임을 추적하여 시선 위치를 계산하므로 정확도가 많이 떨어지는 결과를 나타냈다. 또 다른 연구에서는 카메라와 조명을 HMD(Head Mounted Display)에 설치하여 눈 영상을 입력받아 사용자의 눈동자의 움직임을 사용하여 시선 위치를 계산하였다[2].
참고문헌 (30)
M. Yamato, A. Monden, K. Matsumoto, K. Inoue and K. Torii, 'Quick Button Selection with Eye Gazing for General GUI Environments,' International Conference on Software: Theory and Practice. pp.712-719, 2000
이의철, 박강령, '눈동자 시선 추적에 의한 3차원 1인칭 슈팅게임', 한국정보처리학회 논문지, 제12-B권 제4호, pp.465-472, 2005
L. E. Sibert and R. J. K. Jacob, 'Evaluation of Eye Gaze Interaction,' Proc. of the CHI'00, pp.281-288, ACM in New York, 2000
C. H. G. Wright, R. D. Ferguson, S. F. Barrett, H. G. Rylander III, and A. J. Welch, 'Hybrid Eye Tracking for Computer-aided Retinal Surgery,' ISA Biomedical Sciences Instrumentation, Vol.32, pp.225-245, 1996
Richard S. E. Keefe, Larry J. siever, Richard C. Mohs, Ann E. Peterson, Theresa R. Mahon, R. Lindsey Bergman and Kenneth L. Davis, 'Eye Tracking, Schizophrenic Symptoms, and Schizotypal Personality Disorder,' European Archives of Psychiatry and Clinical Neuroscience, Vol.239, No.1, pp.39-42, 1989
T. D. Rikert and M. J. Jones, 'Gaze Estimation Using Morphable Models,' Proc of the 3rd International Conference on Face and Gesture Recognition, pp.436-441, Nara, Japan, 1998
S. W. Shih et al., 'A Novel Approach to 3-D Gaze Tracking Using Stereo Cameras,' IEEE Trans. on SMC, Part B, pp.234-245, 2004
D. H. Yoo and M. J. Chung, 'Non-Intrusive Eye Gaze Estimation without Knowledge of Eye Pose,' Proceedings of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition, pp.785-790, Seoul, Korea, May 17-19, 2004
고유진, 이의철, 박강령, '적외선 환경에서 얼굴 및 눈동자 움직임이 자유로운 시선 위치 추적에 대한 연구', 2006년 한국차세대 컴퓨팅학회 논문 발표회, 일산 KINTEX, 2006년
R. N. Aslin and B. McMurray, 'Automated Corneal-Reflection Eye Tracking in Infancy: Methodological Developments and Applications to Cognition,' Lawrence Erlbaum Associates, Inc., Infancy, Vol.6, No.2, pp.155-163, 2004
You Jin Ko, Eui Chul Lee, Kang Ryoung Park, 'A Study on Robust Eye Gaze Tracking System Allowing the Natural Facial Movements,' ACCV'07 Workshop on Multidimensional and Multi-view Image Processing, Tokyo, 2007
Y. J. Ko, E. C. Lee and K. R. Park, 'A Robust Gaze Detection Method by Compensating for Facial Movements Based on Corneal specular reflections,' Pattern Recognition Letters, Vol.29, Issue10, pp.1474-1485, 15 July, 2008
http://www.logitech.com/index.cfm/webcam_communications/webcams/&clkr,ko (accessed on 2008. 12 .9)
E. C. Lee, K. R. Park, J. Kim, 'Fake Iris Detection By Using the Purkinje Image,' Lecture Notes in Computer Science (ICB'06), Vol.3832, pp.397-403, Hong Kong, China, January 5-7, 2006
F. A. Jenkins and H. E. White, 'Fundamentals of Optics Fourth edition,' McGraw-Hill, 1981
J. Zhu and J. Yang, 'Subpixel Eye Gaze Tracking,' in Proc. Fifth IEEE International Conference on Automatic Face and Gesture Recognition, pp.124-129, Washington, D.C, 2002
E. C. Lee and K. R. Park, 'A Study on Eye Gaze Estimation Method Based on Cornea Model of Human Eye,' Lecture Notes in Computer Science (MIRAGE 2007), pp.307-317, INRIA Rocquencourt, France, 2007
D. H. Cho, K. R. Park and D. W. Rhee, 'A Study on Robust Iris Detection for User Authentication in Mobile Phone,' 4th International Conference on Asian Language Processing and Information Technology (ALPIT 2005), pp.61-66, Bangkok, Thailand, 2005
G. A. Baxes, 'Digital Image Processing-Principles and Application,' Wiley, 1994
N. Otsu, 'A Threshold Selection Method from Gray-Level Histograms,' IEEE Trans. Systems, Man, and Cybernetics, Vol.SMC-9, No.1, pp.62-66, 1979
Zhiwei Zhu, Qiang Ji, and Kikuo Fujimura, 'Combining Kalman Filtering and Mean Shift for Real Time Eye Tracking Under Active IR Illumination,' Proceedings of the 16th International Conference on Pattern Recognition, Vol.4, p.40318, 2002
김수찬, 유재하, 김덕원, 'Kalman Filter를 이용한 비접촉식 응시점 추정 시스템에서의 빠른 머리 이동의 보정', 대한전자공학회 논문지, 제44권, 제10호, pp.35-41, 2007
Hua Yang, Greg Welch, 'Model-Based 3D Object Tracking Using an Extended-Extended Kalman Filter and Graphics Rendered Measurements', CVIIE '05: Proceedings of the Computer Vision for Interactive and Intelligent Environment, pp.85-96, Washington, DC, USA, 2005
A. Gullstrand, 'Helmholz's physiological optics,' Optical Society of America, pp.350-358, 1924
이의철, 박강령, 'HMD (Head Mounted Display)에서 시선 추적을 통한 3차원 게임 조작 방법 연구', 대한전자공학회 논문지, 제45권 2호 sp편, pp.49-64, 2008
http://safari.oreilly.com/9780596516130/the_condensation_algorithm (accessed on 2008.12.9)
Sukwon Choi, Daijin Kim, 'Robust Head Tracking Using 3D Ellipdoidal Head Model in Particle Filter Pattern Recognition,', Pattern Recognition, Vol.41, No.9, 2008, accepted for publication
※ AI-Helper는 부적절한 답변을 할 수 있습니다.