안구 추적은 눈동자의 움직임을 감지하여 안구의 운동 상태나 시선의 위치를 추적하는 인간과 컴퓨터의 상호작용(HCI)분야이다. 안구 추적은 사용자의 시선 추적을 이용한 마케팅 분석이나 의도 인식 등에 적용되고 있으며 다양한 적용을 위한 많은 연구가 진행되고 있다. 안구 추적을 수행하는 방법 중에 영상처리를 이용한 안구 추적 방법이 사용자에게는 편리하지만 조명의 변화와 스케일 변화 그리고 회전이나 가려짐에는 추적의 어려움이 있다. 본 논문에서는 이미지 기반의 안구 추적시 발생되는 조명, 회전, 스케일 변화 등 환경변화에도 강인하게 안구 추적을 수행하기 위하여 두 단계의 추적 방법을 제안한다. 우선 Haar분류기를 이용하여 얼굴과 안구 영역을 추출하고, 추출된 안구 영역으로부터 CAMShift과 템플릿 매칭을 이용하여 강인하게 안구를 추적하는 두 단계의 안구 추적 방법을 제안하였다. 제안한 알고리즘은 조명 변화, 회전, 스케일 등 변화하는 환경 조건하에서 실험을 통하여 강인성을 증명하였다.
안구 추적은 눈동자의 움직임을 감지하여 안구의 운동 상태나 시선의 위치를 추적하는 인간과 컴퓨터의 상호작용(HCI)분야이다. 안구 추적은 사용자의 시선 추적을 이용한 마케팅 분석이나 의도 인식 등에 적용되고 있으며 다양한 적용을 위한 많은 연구가 진행되고 있다. 안구 추적을 수행하는 방법 중에 영상처리를 이용한 안구 추적 방법이 사용자에게는 편리하지만 조명의 변화와 스케일 변화 그리고 회전이나 가려짐에는 추적의 어려움이 있다. 본 논문에서는 이미지 기반의 안구 추적시 발생되는 조명, 회전, 스케일 변화 등 환경변화에도 강인하게 안구 추적을 수행하기 위하여 두 단계의 추적 방법을 제안한다. 우선 Haar분류기를 이용하여 얼굴과 안구 영역을 추출하고, 추출된 안구 영역으로부터 CAMShift과 템플릿 매칭을 이용하여 강인하게 안구를 추적하는 두 단계의 안구 추적 방법을 제안하였다. 제안한 알고리즘은 조명 변화, 회전, 스케일 등 변화하는 환경 조건하에서 실험을 통하여 강인성을 증명하였다.
The eye-tracking [ET] is used on the human computer interaction [HCI] analysing the movement status as well as finding the gaze direction of the eye by tracking pupil's movement on a human face. Nowadays, the ET is widely used not only in market analysis by taking advantage of pupil tracking, but al...
The eye-tracking [ET] is used on the human computer interaction [HCI] analysing the movement status as well as finding the gaze direction of the eye by tracking pupil's movement on a human face. Nowadays, the ET is widely used not only in market analysis by taking advantage of pupil tracking, but also in grasping intention, and there have been lots of researches on the ET. Although the vision based ET is known as convenient in application point of view, however, not robust in changing environment such as illumination, geometrical rotation, occlusion and scale changes. This paper proposes two steps in the ET, at first, face and eye regions are discriminated by Haar classifier on the face, and then the pupils from the discriminated eye regions are tracked by CAMShift as well as Template matching. We proved the usefulness of the proposed algorithm by lots of real experiments in changing environment such as illumination as well as rotation and scale changes.
The eye-tracking [ET] is used on the human computer interaction [HCI] analysing the movement status as well as finding the gaze direction of the eye by tracking pupil's movement on a human face. Nowadays, the ET is widely used not only in market analysis by taking advantage of pupil tracking, but also in grasping intention, and there have been lots of researches on the ET. Although the vision based ET is known as convenient in application point of view, however, not robust in changing environment such as illumination, geometrical rotation, occlusion and scale changes. This paper proposes two steps in the ET, at first, face and eye regions are discriminated by Haar classifier on the face, and then the pupils from the discriminated eye regions are tracked by CAMShift as well as Template matching. We proved the usefulness of the proposed algorithm by lots of real experiments in changing environment such as illumination as well as rotation and scale changes.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 Haar 분류기로 검출된 눈 주변 영역을 TM을 위한 관심영역(ROI)으로 지정하여 TM을 수행한다. 본 논문에서 사용한 TM방법은 제곱차 매칭 방법을 정규화한 방식이며, 아래 식 (3)와 같다.
본 논문에서는 검출된 얼굴 영역으로부터 눈 주변 영역을 검출하다. 눈 주변 영역 역시 Haar 분류기를 사용하여 검출하였으며, 아래 그림 4는 검출된 눈 주변 영역의 결과이다.
본 논문에서는 고속으로 영상으로부터 눈동자를 검출하고 추적하는 방법을 제안하였다. 먼저 얼굴 및 눈동자를 검출하기 위한 방법으로 Haar 분류기를 사용하였으며, CHT를 사용하여 검출된 눈 주변 영역으로부터 동공을 검출하였다.
본 논문에서는 비디오 분석 방식의 안구 추적 알고리즘을 수행하였으며, 입력 영상으로부터 눈동자 영역을 찾기 위하여 Haar 분류기와 Circular Hough Transform (CHT)을 융합한 방법을 제안하였다. Haar 분류기는 Haar-like 특징과 Cascade 방식의 Adaboost 학습을 알고리즘을 사용하여 영상으로부터 빠르게 얼굴 및 눈주변 영역을 검출하며, CHT는 눈동자의 모양이 원형이라는 기하학적 특징을 이용하여 눈동자를 찾는 방법이다.
본 논문에서는 안구 추적을 위해 입력 영상으로부터 얼굴 및 눈 주변 영역을 검출하고 검출된 영역으로부터 동공을 찾아가는 과정을 거쳤다. 이후 최종 검출된 눈동자는 Template Matching(TM)을 위한 Template으로 지정하였다.
제안 방법
검출 이후 추적을 위해서는 CAMShift와 TM을 사용하여 얼굴 및 동공을 각각 추적하였다. 검출된 동공을 템플릿으로 사용하므로 미리 지정된 템플릿을 사용한 매칭보다 조명과 스케일 변화에 강인한 결과를 보였다.
본 논문에서는 고속으로 영상으로부터 눈동자를 검출하고 추적하는 방법을 제안하였다. 먼저 얼굴 및 눈동자를 검출하기 위한 방법으로 Haar 분류기를 사용하였으며, CHT를 사용하여 검출된 눈 주변 영역으로부터 동공을 검출하였다.
본 논문에서는 Haar 분류기로부터 검출된 눈 주변 영역으로부터 눈동자를 검출하며, 이때 Circular Hough Transform(CHT)을 사용한다. CHT는 영상내의 Edge를 검출하고 기하학적으로 원형인 Edge를 추출하는 방법으로 원형 방정식의 계수를 파라미터 공간에 Voting하여 파라미터 공간에서 가장 많이 Voting된 값을 찾아 원의 방정식을 구하는 방법이다.
본 논문에서는 Haar 분류기를 사용하여 얼굴 및 눈 주변 영역을 검출하였다. 아래 그림 3은 입력 영상으로 부터 Haar 분류기를 사용하여 얼굴이 검출된 결과이다.
비디오 분석 방식으로 안구 추적을 수행하기 위해서는 먼저 입력된 영상으로부터 사용자의 동공을 검출해야 한다. 본 논문에서는 사용자의 동공을 검출하기 위해서 먼저 영상으로부터 얼굴을 검출하고 얼굴로부터 눈 영역을 검출하고 다시 눈동자를 검출하는 방식, 즉 관심 영역을 순차적으로 줄여나가는 방법을 사용하였다. 다음은 동공을 검출하기 위해 제안한 Haar 분류기와 CHT를 이용한 방법에 대한 설명이다.
본 연구에서는 제안한 방법을 사용한 실시간 영상에서의 Eye-Tracking을 수행하였으며, 조명과 스케일의 변화가 있는 실제 환경에서의 실험을 통하여 제안한 알고리즘의 강인성과 유용성을 확인하였다.
본 논문에서는 안구 추적을 위해 입력 영상으로부터 얼굴 및 눈 주변 영역을 검출하고 검출된 영역으로부터 동공을 찾아가는 과정을 거쳤다. 이후 최종 검출된 눈동자는 Template Matching(TM)을 위한 Template으로 지정하였다. TM은 다른 매칭 방법에 비해 연산량이 작으며, 눈동자와 같이 매칭하고자 하는 형태의 변화가 작은 영상에 강인하다.
데이터처리
아래 그림 5는 눈 주변 영역으로부터 검출된 CHT 결과 영상이다. 검출된 눈 주변 영상으로부터 동공을 검출하기 위해 먼저 Gaussian Smoothing을 수행하여 잡음을 제거하고, Edge를 검출하였으며, 이후 CHT를 이용하여 동공 영역을 검출하였다.
이론/모형
본 논문에서는 입력된 영상으로부터 얼굴 및 눈 주변 영역 검출을 위해 Haar 분류기를 사용하였다. Haar 분류기는 Viola, Johns가 제안한 방법으로 Haar-like 특징의 빠른 계산을 위해 Integral image를 사용한다[7]. Integral image는 아래 식(1)과 같다.
본 논문에서는 Haar 분류기로 검출된 눈 주변 영역을 TM을 위한 관심영역(ROI)으로 지정하여 TM을 수행한다. 본 논문에서 사용한 TM방법은 제곱차 매칭 방법을 정규화한 방식이며, 아래 식 (3)와 같다.
본 논문에서는 입력된 영상으로부터 얼굴 및 눈 주변 영역 검출을 위해 Haar 분류기를 사용하였다. Haar 분류기는 Viola, Johns가 제안한 방법으로 Haar-like 특징의 빠른 계산을 위해 Integral image를 사용한다[7].
이후 검출된 얼굴과 눈동자의 추적을 위해서는 CAMShift 알고리즘과 Template Matching(TM)을 융합한 추적 방법을 사용하였다.
성능/효과
검출 이후 추적을 위해서는 CAMShift와 TM을 사용하여 얼굴 및 동공을 각각 추적하였다. 검출된 동공을 템플릿으로 사용하므로 미리 지정된 템플릿을 사용한 매칭보다 조명과 스케일 변화에 강인한 결과를 보였다. 얼굴 및 눈동자 검출 단계에서 처리속도가 총 250ms 정도 소요되어 초당 4프레임의 속도 성능을 나타내었다.
얼굴 및 눈동자 검출 단계에서 처리속도가 총 250ms 정도 소요되어 초당 4프레임의 속도 성능을 나타내었다. 실시간 영상으로 안구 추적을 수행하기 위해서는 검출 단계의 성능 향상이 필요함을 실험을 통해 확인하였다.
아래 표 1은 검출과 추적 알고리즘 각각의 프레임당 처리 속도를 기록한 것이다. 얼굴과 눈 주변 영역 검출, 그리고 동공 검출은 총 253ms로 초당 약 4프레임을 처리할 수 있으며, 얼굴과 동공 추적은 39ms로 실시간에 근접한 처리리 결과를 보여주고 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
본 연구에서 환경변화에도 강인하게 안구 추적을 수행하기 위해 제안한 두 단계의 추적 방법은 무엇인가?
본 논문에서는 이미지 기반의 안구 추적시 발생되는 조명, 회전, 스케일 변화 등 환경변화에도 강인하게 안구 추적을 수행하기 위하여 두 단계의 추적 방법을 제안한다. 우선 Haar분류기를 이용하여 얼굴과 안구 영역을 추출하고, 추출된 안구 영역으로부터 CAMShift과 템플릿 매칭을 이용하여 강인하게 안구를 추적하는 두 단계의 안구 추적 방법을 제안하였다. 제안한 알고리즘은 조명 변화, 회전, 스케일 등 변화하는 환경 조건하에서 실험을 통하여 강인성을 증명하였다.
안구 추적 방식 중 비디오 분석 방식이란?
이 중에 비디오 분석 방식은 영상처리를 이용한 방식으로 카메라와 IR 센서 등을 통해 입력된 영상으로부터 눈동자의 움직임을 감지하여 안구의 운동 상태나 시선의 위치를 추적하는 방식이다. 비디오 분석 방식은 콘텍트렌즈 방식과 HMD 방식에 비해 사용자의 편의성 면에서 우수하다.
안구 추적은 눈동자의 움직임을 측정하는 방식에 따라 어떻게 분류되는가?
안구 추적은 의학 진단 및 수술, 마케팅 연구 및 사용자 의도 인식과 같은 다양한 분야에 적용이 되고 있는 기술이다[1]. 특히, 안구 추적은 눈동자의 움직임을 측정하는 방식에 따라 적용 되는 기술과 장비의 구성이 달라지며 크게 콘텍트렌즈 방식[2], Head Mount Display(HMD) 방식[3], 비디오 분석 방식으로 분류된다.
참고문헌 (7)
B. J. Kim, "Integrated Analysis System of Perception, Recognition, Behavior for Web Usability Test," M. S. dissertation, KAIST, 2007.
Imai. T, et al, "Comparing the accuracy of video-oculography and the scleral search coil system in human eye movement analysis," Auris Nasus Larynx, vol. 32, Issue. 1, pp. 3-9, March, 2005.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.