[논문]실시간 눈과 시선 위치 추적

이영식; 배철수

실시간 눈과 시선 위치 추적
Real Time Eye and Gaze Tracking 원문보기

한국해양정보통신학회논문지 = The journal of the Korea Institute of Maritime Information & Communication Sciences, v.8 no.2, 2004년, pp.477 - 483

이영식 (경동대학교) , 배철수 (관동대학교)

초록
AI-Helper

본 논문에서는 새로운 실시간 시선 추적 방식을 제안하고자한다 기존의 시선추적 방식은 사용자가 머리를 조금만 움직여도 잘못된 결과를 얻을 수가 있었고 각각의 사용자에 대하여 교정 과정을 수행할 필요가 있었다 따라서 제안된 시선 추적 방법은 적외선 조명과 Generalized Regression Neural Networks(GRNN)를 이용함으로써 교정 과정 없이 머리의 움직임이 큰 경우에도 견실하고 정확한 시선 추적을 가능하도록 하였다. GRNN을 사용함으로써 매핑기능은 원활하게 할 수 있었고, 머리의 움직임은 시선 매핑 기능에 의해 적절하게 시선추적에 반영되어 얼굴의 움직임이 있는 경우에도 시선추적이 가능토록 하였고, 매핑 기능을 일반화함으로써 각각의 교정과정을 생략 할 수 있게 하여 학습에 참석하지 않은 다른 사용자도 시선 추적을 가능케 하였다. 실험결과 얼굴의 움직임이 있는 경우에는 평균 90%, 다른 사용자에 대해서는 평균 85%의 시선 추적 결과를 나타내었다.

Abstract ▼ AI-Helper

This paper describes preliminary results we have obtained in developing a computer vision system based on active IR illumination for real time gaze tracking for interactive graphic display. Unlike most of the existing gaze tracking techniques, which often require assuming a static head to work well and require a cumbersome calibration process for each person our gaze tracker can perform robust and accurate gaze estimation without calibration and under rather significant head movement. This is made possible by a new gaze calibration procedure that identifies the mapping from pupil parameters to screen coordinates using the Generalized Regression Neural Networks(GRNN). With GRNN, the mapping does not have to be an analytical function and head movement is explicitly accounted for by the gaze mapping function. Futhermore, the mapping function can generalize to other individuals not used in the training. The effectiveness of our gaze tracker is demonstrated by preliminary experiments that involve gaze-contingent interactive graphic display.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

또 다른 문제는 사용자에 따라 매핑 기능이 다르게 됨으로 각각의 사용자에 대한 교정 과정이 수행되어야 한다는 것이다. 그러기에 본 논문에서는 이러한 문제점을 극복하기 위하여 신경망에 근거한 새로운 시선 교정방법을 제안하고자 한다.
본 논문에서는 다양한 얼굴 자세와 다른 사람들의 시선을 추적하기 위해 신경망을 이용한 시선 교정 방법을 제안한다. 동공과 글린트에 관한 매개 변수가 충분히 주어진다면 시선에 따라 유일한 기능을 갖는 동공과 글린트 매개변수가 있을 것이다.
본 논문에서는 시선 추적을 위한 새로운 방법을 제안하였다. 기존의 시선 추적 시스템과 비교하여 제안된 시스템은 교정 작업이 필요 없고 자연스러운 머리 움직임에도 정확하고 견실하게 시선을 추적할 수 있었다.
본 논문에서는, 시선 교정 없이 견실하고, 정확하고 무리 없이 동작 될 수 있는 개선된 시선 추적 방법을 제안하고자 한다.

제안 방법

조명기는 그림1과 같은 두 개의 중심이 같은 880nm 파장의 적외선 LED로 구성되어있다. LED 교대로 껐다 키면서 밝고 어두운 동공 효과를 만들어내었다.
검출된 동공과 글린트를 가지고 동공-글린트벡터를 구성하고, 동공-글린트 벡터를 시선(스크린 좌표)에 매핑하는 매핑 기능을 수행토록 하였다. 그림 4는 글린트와 동공의 위치와 시선과의 연관성을 나타내었다.
짝수 필드를 읽어 들일 때, 안쪽 LED가 켜지고 바깥쪽 LED 가 꺼지도록 하였으며, 반대로 홀수 필드를 읽어 들일 때는 바깥쪽 LED가 켜지고 안쪽 LED가 꺼지도록 하였다. 교차된 입력 영상은 비디오 디코더에 의하여 잔상을 제거하여 짝수필드(밝은 동공) 영상과 홀수 필드(어두운 동공) 영상을 만들어 내었다. 두 개의 영상은 같은 배경과 외부 조명을 사용하지만 짝수 필드의 동공이 홀수 필드보다 밝게 보였고, .
눈을 추적함으로서 시선 추적은 할 수 있었고, 눈 추적을 위해서 동공을 먼저 추적하였다. 동공검출과 추적은 초기 프레임에서 검출된 동공 검출에 의하여 시작된다.
정규화는 모두 입력특징들이 같은 범위에 있게 하여 준다. 다른 머리 위치에 따른 막대한 학습 데이터가 GRNN의 학습으로 모아지고, 학습 데이터 수집되는 동안에, 사용자가 각 시선 영역에 시선을 고정하도록 요청하여, 각각의 시선 고정되는 동안 적합한 10 개의 매개변수 조합을 수집한다.
그리고, 눈에 근거한 접근방식은 시선과 홍채, 동공의 기하학적 특성에 대한 관계에 근거하여 시선을 추정하게 된다. 동공과 각막 반사에 의한 글린트 사이의 공간적 위치 특성으로 시선위치를 결정하고, 홍채의 위치와 형태, 왜곡으로서 시선을 위치를 추적한다. 이 때 신경망을 통하여 눈과 명암에 대해 정규화된 동공을 포함하는 작은 창을 추출하여 시선의 좌표를 결정하는데 사용한다.
모니터 위에 카메라를 장착한 적외선 조명기를 설치하고 사용자가 l~1.5m 거리에서 약 15cm 정도 머리를 상하좌우로 움직이게 하거나, 좌우로 ±20도, 상하로 ±15도 정도 머리를 회전하도록 하여 각기 다른 얼굴 방향, 카메라의 거리변화, 다른 사용자 일 때의 성능을 각각 실험하였다. 표 1과 2에 분류 결과들을 나타내었다.
두 개의 영상은 같은 배경과 외부 조명을 사용하지만 짝수 필드의 동공이 홀수 필드보다 밝게 보였고, . 배경과 외부조명의 간섭을 제거하고자 짝수 필드 영상에서 홀수 필드 영상을 제거하여 차영상을 만들었다. 차영상에서는 대부분의 배경과 외부 조명의 간섭 효과가 제거되었다.
있다. 본 논문에서는, 시선을 그림2에서와 같이 스크린(4x2)에 8개의 부분으로 양자화하였다.
시작 된다. 시선 추정을 위해, 그림1과 같은 적외선 조명기를 사용하였고, 원하는 동공 효과를 만들기 위하여 2개의 LED 고리를 번갈아 키고 끄면서 비디오 디코더를 통하여 그림 3의 (a), (3에 보여진 것과 같이 밝은 동공 효과와 어두운 동공 효과를 만들어 내었다.
안쪽과 바깥쪽의 LED고리를 교차 영상의 짝수 필드와 홀수 필드에 맞추어 키고 끄기 위한 동기화 회로를 개발하였다. 짝수 필드를 읽어 들일 때, 안쪽 LED가 켜지고 바깥쪽 LED 가 꺼지도록 하였으며, 반대로 홀수 필드를 읽어 들일 때는 바깥쪽 LED가 켜지고 안쪽 LED가 꺼지도록 하였다.
제안된 시선 추적기의 성능 실험을 실시하였다. 모니터 위에 카메라를 장착한 적외선 조명기를 설치하고 사용자가 l~1.
제안된 시선 추정 알고리즘은 동공과 글린트검출과 추적, 시선 교정, 그리고 시선 매핑으로 구성되어 있다. 본 논문에서는, 시선을 그림2에서와 같이 스크린(4x2)에 8개의 부분으로 양자화하였다.

대상 데이터

Table 1. The classification results for gaze estimation with 100 testing gaze samples 나nd야* different face poses for a person whose data is included in the training set.
2);">Table 2. The classification results for gaze estimation with 60 testing gaze samples for a new person whose data is not included in the training set.
사용자의 눈을 조명할 적외선 조명기를 만들고, 적외선에 민감한 카메라로 영상을 획득하였다. 조명기는 그림1과 같은 두 개의 중심이 같은 880nm 파장의 적외선 LED로 구성되어있다.
조명기는 그림1과 같은 두 개의 중심이 같은 880nm 파장의 적외선 LED로 구성되어있다. LED 교대로 껐다 키면서 밝고 어두운 동공 효과를 만들어내었다.

이론/모형

그러므로 본 논문에서는 SVM (Support Vector Machine) 분류기를 이용하여 동공을 자동으로 구분하는 방법을 사용하였다. 본 논문에서는 558개의 눈 영상 벡터와 560개의 눈이 아닌 벡터를 학습하고, SVM의 커 널로서 시그마가 3인 가우시안 커널을 사용하였을 때 95.

성능/효과

기존의 시선 추적 시스템과 비교하여 제안된 시스템은 교정 작업이 필요 없고 자연스러운 머리 움직임에도 정확하고 견실하게 시선을 추적할 수 있었다. GRNN을 이용한 새로운 시선 교정 방법을 사용함으로써 해석적 시선 매핑기능을 사용할 필요가 없어졌고 머리의 움직임을 계산하여 매핑 할 수 있었다. 실험결과 움직임이 있는 얼굴에 대해 평균 90%, 다른 사용자에 대해서는 평균 85%의 시선 추적 결과를 나타내었다.
글린트(작은 가장 선명한 반점)는 양쪽 영상 모두에서 나타났고, 밝은 동공 영상에서 동공의 검출과 추적을 할 수 있었다. 또한 매 프레임에서 동공의 위치는 중심 궤적에 의해서 특성 되어졌다.
제안하였다. 기존의 시선 추적 시스템과 비교하여 제안된 시스템은 교정 작업이 필요 없고 자연스러운 머리 움직임에도 정확하고 견실하게 시선을 추적할 수 있었다. GRNN을 이용한 새로운 시선 교정 방법을 사용함으로써 해석적 시선 매핑기능을 사용할 필요가 없어졌고 머리의 움직임을 계산하여 매핑 할 수 있었다.
교차된 입력 영상은 비디오 디코더에 의하여 잔상을 제거하여 짝수필드(밝은 동공) 영상과 홀수 필드(어두운 동공) 영상을 만들어 내었다. 두 개의 영상은 같은 배경과 외부 조명을 사용하지만 짝수 필드의 동공이 홀수 필드보다 밝게 보였고, . 배경과 외부조명의 간섭을 제거하고자 짝수 필드 영상에서 홀수 필드 영상을 제거하여 차영상을 만들었다.
또한 실험결과 머리 움직임과 같은 외부 요인에 따라 수직 동공-글린트 벡터 측정이 수평에 비해 보다 민감하게 작용함으로써 동공의 수직 이동범위가 수평 이동 범위보다 작게 나타나는 것을 알 수 있었다. 이로 인해 수평 데이터에 비해 수직 데이터의 신호대 잡음비가 낮게 됨으로서 시선의 수직 분류를 수평 분류보다 작게 잡아 주게 되었다.
방법을 사용하였다. 본 논문에서는 558개의 눈 영상 벡터와 560개의 눈이 아닌 벡터를 학습하고, SVM의 커 널로서 시그마가 3인 가우시안 커널을 사용하였을 때 95.5037% 정확도를 얻을 수 있었다.
GRNN을 이용한 새로운 시선 교정 방법을 사용함으로써 해석적 시선 매핑기능을 사용할 필요가 없어졌고 머리의 움직임을 계산하여 매핑 할 수 있었다. 실험결과 움직임이 있는 얼굴에 대해 평균 90%, 다른 사용자에 대해서는 평균 85%의 시선 추적 결과를 나타내었다.
제안된 시선 추적기가 일부 기존의 시선 추적기보다 정확하지는 않지만 머리의 움직임이 큰 경우에도 만족할만한 성능을 보여주고 교정작업이 필요 없다는 것이 중요한 이점이라고 사료된다.
표 1과 2에 분류 결과들을 나타내었다. 제안된 시스템은 얼굴의 움직임 있는 경우에 대해 평균 90%, 다른 사용자에 대해서는 평균 85%의 결과를 나타내었다.

후속연구

이로 인해 수평 데이터에 비해 수직 데이터의 신호대 잡음비가 낮게 됨으로서 시선의 수직 분류를 수평 분류보다 작게 잡아 주게 되었다. 앞으로는 현재의 4x2 영역율 4x3, 그리고 5x4 영역으로 확장해 실험을 계속할 계획이다.

참고문헌 (12)

S. Baluja and D. Pomerleau. Non-intrusive gaze tracking using artificial neural networks. Technical Report CMU-CS-94-102, Carnegie Mellon University, 1994
Y. Ebisawa. Unconstrained pupil detection technique using two light sources and the image difference method, Visualization and Intelligent Design in Engineering, pages 7989, 1989
Y. Ebisawa. Improved video-based eye-gaze detection method. IEEE Transactions on Instrumentation and Measurement, 47(2):948955, 1998

상세보기
T. E. Hutchinson. Eye movement detection with improved calibration and speed. United States Patent [19], (4,950,069), 1988
T. E. Hutchinson, K. White, J. R. Worthy, N. Martin, C. Kelly, R. Lisa, , and A. Frey. Human-computer interaction using eye-gaze input. IEEE Transaction on systems, man, and cybernetics, 19(6):15271533, 1989

상세보기
Q. Ji and X. Yang. Real time visual cues extraction for monitoring driver vigilance. in ICVS 2001: Second International Workshop on Computer Vision Systems, Vancouver, Canada, 2001
D. Koons and M. Flickner. Ibm blue eyes project, http://www.almaden.ibm.com/cs/blueeyes
T. Ohno, N. Mukawa, and A. Yoshikawa. Freegaze: A gaze tracking system for everyday gaze interaction. Eye Tracking Research and Applications Symposium, 25-27 March, New Orleans, LA, USA, 2002
R. Rae and H. Ritter. Recognition of human head orientation based on artificial neural networks. IEEE Transactions on Neural Networks, 9(2):257265, 1998

상세보기
D. F. Specht. A general regression neural network. IEEE Transcations on Neural Networks, 2:568576, 1991

상세보기
G. Yang and A. Waibel. A real-time face tracker. Workshop on Applications of Computer Vision, pages 142-147, 1996
Z. Zhu, K. Fujimura, and Q. Ji. Real-time eye detection and tracking under various light conditions. Eye Tracking Research and Applications Symposium, 25-27 March, New Orleans, LA, USA, 2002

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증