[논문]사용자 캘리브레이션이 필요 없는 시선 추적 모델 연구

고은지; 김명준

doi:10.6109/jkiice.2014.18.5.1096

사용자 캘리브레이션이 필요 없는 시선 추적 모델 연구
User-Calibration Free Gaze Tracking System Model 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.18 no.5, 2014년, pp.1096 - 1102

고은지 (Division of Digital Media, Ewha Womans University) , 김명준 (Division of Digital Media, Ewha Womans University)

초록
AI-Helper

적외선 조명을 이용한 간접시선추적 시스템에서는 촬영된 이미지에서 동공에 반사된 조명의 위치에 대한 캘리브레이션이 필수적이다. 하지만 안구의 크기나 머리의 위치에 따라 달라질 수도 있는 변수가 캘리브레이션 과정에서 정의된 상수로 계산에 포함되어 있어 오차를 감소시키는데 한계가 있다. 본 논문은 적외선 조명을 사용하면서도, 사용자 캘리브레이션 과정을 생략할 수 있는 방법을 연구한다. 반사각에 의한 글린트(glint)위치 차이에 영향을 받지 않게 하면서, 시스템의 모델과 시선 계산은 단순하게 하여 실시간 연산이 가능하도록 하는 것이 목표이다.

Abstract ▼ AI-Helper

In remote gaze tracking system using infra-red LEDs, calibrating the position of reflected light is essential for computing pupil position in captured images. However, there are limitations in reducing errors because variable locations of head and unknown radius of cornea are involved in the calibration process as constants. This study purposes a gaze tracking method based on pupil-corneal reflection that does not require user-calibration. Our goal is to eliminate the correction process of glint positions, which require a prior calibration, so that the gaze calculation is simplified.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 적외선 조명을 사용하면서도, 사용자 캘리브레이션 과정을 생략할 수 있는 방법을 연구한다. 반사각에 의한 글린트(glint)위치의 차이에 영향을 받지 않게 하면서, 시스템의 모델과 시선 계산은 단순하게 하여 실시간 연산이 가능하도록 하는 것이 목표이다.
본 논문에서는 식 (2)에서 α를 이용하여 보정한 후의 글린트 uv의 위치가 여전히 카메라의 중심과 조명 글린트를 지나는 선 위에 있다는 점을 이용하여 굳이 α 를 알지 않아도 시선을 계산할 수 있도록 시스템의 모델을 고안하였다.
본 논문은 적외선 조명을 사용하면서도, 사용자 캘리브레이션 과정을 생략할 수 있는 방법을 연구한다. 반사각에 의한 글린트(glint)위치의 차이에 영향을 받지 않게 하면서, 시스템의 모델과 시선 계산은 단순하게 하여 실시간 연산이 가능하도록 하는 것이 목표이다.

가설 설정

그 다음, 4개의 보정된 글린트로 이루어진 평면위에 시선좌표가 있다고 가정한 후 Cross-Ratio 방식으로 시선을 계산하였다. 하지만 [4]와 [5]는 [3]의 문제점으로 4개의 보정된 글린트로 정의된 평면 위에 동공의 중심이 있지 않다는 점을 지적하였다.

제안 방법

본 논문에서는 α값을 시선을 계산하는데 사용하지 않도록 하기 위해, α를 이용하여 보정한 후의 글린트 u_v의 위치가 여전히 카메라의 중심과 조명 글린트를 지나는 선 위에 있다는 점을 이용하였다. 두 개의 카메라로 각각의 이미지마다 카메라의 중심과 조명 글린트를 지나는 선을 얻은 후, 그 두 개의 선이 교차하는 지점을 구함으로써 시선좌표를 얻는다.
모니터 테두리의 11개의 조명을 동공에 비춘 모습을 보면, 동공 위에 걸쳐진 글린트가 많기 때문에 동공의 중심을 인식하기가 어렵다. 따라서 마이크로컨트롤러를 이용하여 카메라와 동기화하여 카메라 조명과 모니터 테두리의 조명을 매 프레임마다 번갈아 점등하도록 하였다. 동공의 중심과 글린트들의 위치는 모두 서브 픽셀 단위로 계산하였다.
실험적으로 조명의 개수를 조절하여 촬영해 본 결과, 총 11개의 조명이 적절하다고 판단하였다. 또한 카메라 위치를 이미지에서 알 수 있게 하기 위해 카메라 렌즈 주변을 따라 적외선 LED를 설치하였다. 실험에 사용된 모니터의 해상도는 1280×1024 pixel이다.
본 논문에서 제시하는 시선 추적 시스템은 그림 3과 같이 두 개의 카메라와 카메라 중심을 표시하기 위한 조명 및 화면 테두리의 조명을 이용한다. 사용자의 동공의 중심 g_p와 왼쪽과 오른쪽의 카메라의 중심 c_L, c_R, 화면에서의 사용자의 시선으로 이루어진 두 평면은 동공의 중심과 화면의 시선을 지나는 선에서 교차한다.
본 논문에서는 α값을 시선을 계산하는데 사용하지 않도록 하기 위해, α를 이용하여 보정한 후의 글린트 uv의 위치가 여전히 카메라의 중심과 조명 글린트를 지나는 선 위에 있다는 점을 이용하였다.
본 연구에서 구현된 시스템으로 3명의 실험 참여자에 대하여 시선 추적을 수행해 보았다. 화면과 실험 참여자와의 거리는 약 50~60cm 사이이며, 사용자의 머리의 움직임에 제한을 두지는 않았다.
5 ° 정도 차이가 있는 것으로 알려져 있는데[7], 양쪽 눈의 시선을 둘 다 구하면 가로 방향의 차이를 보완할 수 있다. 한 이미지에 양쪽 두 눈이 다 보이도록 촬영했기 때문에, 왼쪽, 오른쪽 눈에 대하여 시선 좌표를 구한다음, 두 눈의 시선의 중간 좌표를 최종 시선으로 계산하였다.

대상 데이터

본 논문에서는 Point Grey사의 Dragonfly2 카메라와 Computar사의 M1614-MP2 렌즈를 사용하였으며 적외선 LED는 파장 940nm, 화각 ±20 ° 의 제품을 사용 하였다.
실험에 사용된 모니터의 해상도는 1280×1024 pixel이다.

데이터처리

실험 참여자 3명에 대한 결과 그래프는 그림 7-10과 같다. 오차 계산을 위해 사용자에게 응시하도록 한 9개의 점의 위치와 시스템이 계산한 시선 값의 차이를 RMSE(Root-Mean Square Error)로 표현하였으며, 모든 점에 대한 RMSE 평균값은 표 1과 같다. [3]의 실험에서는 실험 전 4개의 적외선 LED에 대하여 알파를 구하기 위한 캘리브레이션을 수행하였으며, Cross-Ratio 방식으로 시선을 추적한 결과, RMSE는 약 11.

성능/효과

55 mm 로, 본 논문은 3차원 모델의 RMSE 결과 값보다도 낮은 것으로 나타났다. 따라서 본 논문이제시한 시선추적 시스템은 기존의 연구에 비하여 사용자 캘리브레이션을 수행하지 않으면서도, 기존의 시스템과 비슷하거나 더 높은 수준의 정확도를 가졌다고 볼 수 있다.
21 mm 로, 본 논문의 시스템이 캘리브레이션 과정을 거치지 않았음에도 불구하고 비교적 작은 오차가 발생한 것으로 나타났다. 또한 논문[8]이 제시한 시스템은 캘리브레이션을 생략하는 대신 눈의 파라미터를 이용한 3차원 시선 추적 방식을 사용하였는데, RMSE 값은 사용자의 따라 8.40~16.55 mm 로, 본 논문은 3차원 모델의 RMSE 결과 값보다도 낮은 것으로 나타났다. 따라서 본 논문이제시한 시선추적 시스템은 기존의 연구에 비하여 사용자 캘리브레이션을 수행하지 않으면서도, 기존의 시스템과 비슷하거나 더 높은 수준의 정확도를 가졌다고 볼 수 있다.
본 논문이 제시하는 모델에서 정확도에 영향을 미치는 가장 중요한 요인은 이미지에서의 동공의 중심과 글린트, 카메라의 위치의 정확도이다. 시선 좌표의 오차를 최소화시키기 위해서는 추후 연구에서 이러한 요소들의 정확도를 수치상으로 나타내 볼 필요가 있다.
하지만 이러한 과정은 사용자에게 불편을 줄 뿐만 아니라, 시선과 머리의 위치, 사용자의 눈 파라미터에 따라 달라질 수도 있는 변수가 고정된 값으로 계산에 포함되어 있기 때문에 오차를 감소시키는데 한계가 있다. 본 논문이 제시하는 모델은 사용자에 대해 캘리브레이션을 하지 않았음에도 불구하고, 기존의 연구들과 비슷한 정확도를 나타냈다는 점에서 유의미하다고 할 수 있다. 사용자 캘리브레이션 과정이 필요 없기 때문에 사용자와 실험자에게 추적과정이 수월하고, 고정된 상수 값이 계산에 포함되어 있지 않아 실시간 시스템에도 적합하다.
본 논문에서는 Point Grey사의 Dragonfly2 카메라와 Computar사의 M1614-MP2 렌즈를 사용하였으며 적외선 LED는 파장 940nm, 화각 ±20 ° 의 제품을 사용 하였다. 실험적으로 조명의 개수를 조절하여 촬영해 본 결과, 총 11개의 조명이 적절하다고 판단하였다. 또한 카메라 위치를 이미지에서 알 수 있게 하기 위해 카메라 렌즈 주변을 따라 적외선 LED를 설치하였다.

후속연구

본 논문이 제시하는 모델에서 정확도에 영향을 미치는 가장 중요한 요인은 이미지에서의 동공의 중심과 글린트, 카메라의 위치의 정확도이다. 시선 좌표의 오차를 최소화시키기 위해서는 추후 연구에서 이러한 요소들의 정확도를 수치상으로 나타내 볼 필요가 있다. 또한, 두 눈 사이의 중간값을 시선으로 함으로써 동공의 중심과 실제 시선과의 차이를 줄였지만, 아래 방향으로의 차이는 여전히 남아 있어 이 점을 보완해야 할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	시선 추적 시스템에서 반드시 수행해야만 하는 것은?	시선 추적 시스템은 눈의 움직임을 분석하여 시선의 방향을 예측하는 디바이스이다[1]. 모든 시선 추적 시스템은 카메라의 intrinsic 파라미터, 유닛간의 위치 관계, 눈의 파라미터 등을 정의해 주는 여러 가지의 캘리브레이션을 반드시 수행해야만 한다. 이러한 캘리브레이션 중에는 사용자가 실험 전에 거쳐야만 하는 과정도 있는데, 사용자가 시선을 추적하기에 앞서 여러 구역으로 나눠진 화면을 응시하는 방식으로 이루어진다.
	시선 추적 시스템이란?	시선 추적 시스템은 눈의 움직임을 분석하여 시선의 방향을 예측하는 디바이스이다[1]. 모든 시선 추적 시스템은 카메라의 intrinsic 파라미터, 유닛간의 위치 관계, 눈의 파라미터 등을 정의해 주는 여러 가지의 캘리브레이션을 반드시 수행해야만 한다.
	feature-based 방식에서 사용자 캘리브레이션 단계가 필수적인 이유는 무엇 때문인가?	특히, 간접 시선 추적 시스템 중 카메라로 촬영한 사용자의 눈 이미지를 분석하여 시선을 계산하는 feature-based 방식은 이러한 사용자 캘리브레이션 단계가 필수적이다. 조명이 각막에 한 번 반사된 것을 카메라로 촬영한 이미지에서 조명이 반사된 글린트의 위치가 실제로 그 조명 위치를 바라보았을 때의 동공 중심 위치와 다르기 때문이다.

참고문헌 (8)

Hansen, D.W., Qiang Ji, "In the Eye of the Beholder: A Survey of Models for Eyes and Gaze," Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 32, no. 3, pp. 478-500, March. 2010.

상세보기
H. S. Park, C. S. Bae, "Real-Time Eye Detection and Tracking Under Various Light Conditions" Journal of the Korea Institute of Information and Communication Engineering, vol. 8, no. 2, pp. 456-463, April. 2004.
Y. D. Hyun, and M. J. Chung, "A novel non-intrusive eye gaze estimation using cross-ratio under large head motion," Computer Vision and Image Understanding, vol. 98, no. 1, pp. 25-51, April. 2005.

상세보기
Flavio L. Coutinho, Carlos H. Morimoto, "Improving Head Movement Tolerance of Cross-Ratio Based Eye Trackers," International Journal of Computer Vision, vol. 101, no. 3, pp. 459-481, Feb. 2013.

상세보기
Kang, J.J., Eizenman, M., Guestrin, E.D., Eizenman, E., "Investigation of the Cross-Ratios Method for Pointof-Gaze Estimation," Biomedical Engineering, IEEE Transactions on, vol. 55, no. 9, pp. 2293-2302, Sept. 2008.

상세보기
Kai Han, Xuan Wang, Zili Zhang, Hainan Zhao, "A novel remote eye gaze tracking approach with dynamic calibration," in 2013 IEEE 15th International Workshop on Multimedia Signal Processing, Pula, pp. 111-116, 2013.
A.M Slater, J.M Findlay, "The measurement of fixation position in the newborn baby", Journal of Experimental Child Psychology, Vol. 14, no. 3, pp. 349-364, Dec. 1972.

상세보기
Nagamatsu, Takashi, Ryuichi Sugano, Yukina Iwamoto, Junzo Kamahara, and Naoki Tanaka. "User-calibration-free gaze tracking with estimation of the horizontal angles between the visual and the optical axes of both eyes." in Proceedings of the 2010 Symposium on Eye-Tracking Research & Applications, pp. 251-254. ACM, 2010.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증