선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 그러나 대부분의 경우, 사용자가 모니터상의 한 지점을 쳐다볼 때에는 얼굴 및 눈동자의 움직임이 동시에 발생한다. 그러므로 본 논문에서는 보다 정확한 시선 위치를 파악하기 위하여 사용자의 눈동자 움직임을 파악하는 연구를 수행하였다. 사용자의 눈동자 움직임은 그림 6과 같이 입려 영상에서 추출된 특징 정보를 기준으로 파악된다.
제안 방법
- 기존에 많은 3차원 움직임 추정 방법들이 연구되어 왔는데, 예를 들어 확장 칼만 필터 (extended kalman filter)[l], 신경망[21] 그리고 아핀 투영 방법 (affine projection method)[6][7] 등이 있다. 각방법들은 많은 제한 요소와 문제점들을 가지고 있으몌22], 이러한 이유로 본 논문에서는 기존에 3차원 움직임 추정을 위해 가장 많이 사용되는 알고리즘인 확장 칼만 필터를 사용하였으몌 1], 확장 칼만 필터와 아핀 변환을 이용하여 얼굴 특징점의 변화된 3차원 위치를 구하였다. 이에 대한 자세한 설명은 [1][20][22]에서 참조할 수 있다.
- 그러나이 논문에서와 같이 사용자의 시선 위치를 파악하는 응용 분야에서는 모니터 앞에 약 50 ~ 70 cm의 다양한 Za리 범위에서 사용자가 앉을 수 있으며, 카메라의 아이리스 크기를 작게 만드는 것은 궁극적으로 카메라 CCD 센서로 들어오는 빛의 양을 줄이게 되어 입력 영상이어두워지는 결과를 낳게 된다. 그러므로 본 논문에서는 단초점 렌즈를 이용해서는 다양한 Z 거리를 갖는 사용자의 눈에 대한 초점을 맞주기 어렵기 때문에, 직경 10mm의 아이리스 크기를 갖는 가변 초점 렌즈 및 자동 초점용 모터(420 pps)를 이용하여 보다 선명한 눈 영상을 취득하였다(그림 1의 (6)참조). 이와 같은 자동상하/좌우 회전 및 초점 기능은 그림 1에서 나타나 있는 카메라내의 마이크로 콘트롤러(그림 1의 (4)참조)에 의해 제어된다.
- 그러나 협각카메라는 DOF(depth of field)가 굉장히 작기 때문에 이와 같은 Z 거리만 가지고는 정확한 자동 초점이 이루어지기 어렵다. 그러므로 본논문에서는 영상내의 픽셀들 간의 변화 차이를즉정하는 단순한 초점 즉정 알고리즘을 병행하여 사용하였다. 즉, 단계 3에서 계산된 얼굴 특징점(눈)의 3차원 위치 정보를 바탕으로 협각카메라를 상하 및 좌우 회전을 하고 자동 초점을 수행함으로써 눈 영상을 취득한다.
- 이 논문에서는 입력 영상으로부터 눈 영역을 먼저 추출한 후, 이를 기준으로 기타, 다른 얼굴 특징점들의 위치를 실시간으로 추적하는 방법을 사용하였다 [22], 일반적인 사무실 환경에서는 사용자의 얼굴 뒤에 복잡한 배경이 존재하며, 또한 외부 광등의 영향으로 얼굴 및 얼굴 특징점의 위치를 영상 처리 방법만으로는 실시간으로 추출하기 어렵다. 그러므로 이 논문에서는 그림 1과 같이 적외선 조명 기반 카메라 시스템을 개발하고, 이를 이용하여 입력 영상으로부터 얼굴 특징점을 실시간으로 추출하였다. 먼저, 입력 영상으로부터 눈 위치를 추출하기 위하여 본 논문에서는 적외선 조명을 켰을 때 눈의 각막 (corneal) 에서 발생하는 반사 위치 (specular reflection)를 찾는 방법을 사용하였다[22].
- 그러나 이러한 경우, 광각 카메라 내에 포함된 눈동자 영상의 해상도가 많이 떨어져서 사용자의 눈동자 움직임을 정확하게 추적하지 못하는 문제점이 있었다. 그러므로 이 논문에서는 얼굴영상을 취득하기 위한 광각 카메라 및 눈 영역을 확대하여 취득하는 협각 카메라, 즉 2개의 카메라를 이용하여 시선 위치 추적 시스템을 구현하였다.
- 이러한 경우, 협각 카메라를 아무리 상하/좌우 회전한다고 하더라도, 광각 영상에서 사라진한 쪽 눈 영역을 찾을 수 없게 된다. 그러므로 이러한 경우에 대비하기 위하여 본 논문에서는 사용자가 모니터 중앙을 쳐다보는 경우 양쪽 눈을 모두 추적하고, 이후 사용자가 얼굴을 심하게 회전하여 한쪽 눈을 추적할 수 없는 경우, 나머지 보이는 다른 쪽 눈만을 추적함으로써 눈동자 움직임에 의한 정확한 시선 위치를 파악하였다. 협각 카메라의 상하 및 좌우 회전을 위해 420 pps(pulse per secondX 갖는 2개의스테핑 모터를 사용하였다.
- 그러나 이러한 경우, 눈동자 영상의 해상도가 많이 떨어지며 그 결과 사용자의 정교한 눈동자 움직임을 추적하기 어려운 문제점이 있다. 그러므로이 논문에서는 광각 카머)라(얼굴의 읍직임에 의한 시선 위치 추적용) 및 눈 영역을 확대하여 취득하는 협각 카메라(눈동자 움직임에 의한 시선 위치 추적용), 즉 2개의 카州라를 이용하여 시선 위치 추적 시스템을 구현하였다. 얼굴의 움직임 시 전체적인 위치가 변화될 눈동자의 움직임을 정확히 추적하기 위해 협각 카메라에는 추출된 얼굴 특징점의 위치를 기반으로 한자동 초점 및 자동 상하/좌우 회전 기능이 포함되어 있다.
- 제한된 영역에서 눈동자 중심 위치를 추출하기 때문에, 정확한 위치를 추줄하는 데에는 처리 시간이 거의 소요되지 않았다(pentium-II 550MHz PC에서 약 5-10 ms). 눈동자의 중심 위치를 추출한 후, 본 논문에서는 눈구석 모양 템플릿(eye comer shape template)을 이용하여 눈의 양 구석 위치를 추출하였다[22]. 본 논문에서는 그림 1에서와 같이 HPF(2)를 사용하므로 입력 영상 내에외부광에 의한 영향을 최소화 할 수 있었으며, 그 결과 입력 영상이나 템플릿 등을 조명에 대해 별도로 정규화할 필요가 없었다.
- 두 번째 실험으로는 1280x1024 픽셀 해상도를 갖는 19인치 모니터에 수평 및 수직 150 픽셀간격 (23cm 간격)으로 반경 5 픽셀의 점들을 표시하고, 사용자가 이를 쳐다볼 때의 정확도를 측정하였다. 이를 통해 총 560개의 테스트 샘플 (10명분乂56개의 시선 위치)을 취득하게 되었으며, 이러한 실험 조건은 Rikert의 연구[8]에서와 동일하다’ 실험 결과 실제 응시 위치와 본 논문에서 제안한 방법에 의한 응시 위치 사이의 최소 자승 에러는 약 3.
- 또한, 본 연구에서는 일반적인 인터레이시브 CCD(charge coupled device) 카메라와 카메라의 동작을 제어하기 위한 마이크로 컨트롤러(4) 를 사용했다. 이를 이용하여 그림 2와 같이 CCD의 출력 신호 중 Even 과 Odd 필드의 VD( vertical drive) 신호에 맞추어 조명의 On/Off를 조정하게 하였다.
- 그러므로 이 논문에서는 그림 1과 같이 적외선 조명 기반 카메라 시스템을 개발하고, 이를 이용하여 입력 영상으로부터 얼굴 특징점을 실시간으로 추출하였다. 먼저, 입력 영상으로부터 눈 위치를 추출하기 위하여 본 논문에서는 적외선 조명을 켰을 때 눈의 각막 (corneal) 에서 발생하는 반사 위치 (specular reflection)를 찾는 방법을 사용하였다[22]. 그림 1을 보다 자세히 설명하면 다음과 같다.
- 또한 협각 눈 영상의 초점을 맞추기 해서는 기본적으로 카메라를 기준으로 사용자 눈까지의 Z 거리를 알아야한다. 본 논문에서는 그림 4의 단계 3에서 변화된 얼굴 특징점(특히 눈)의 3차원 위치 및 Z 거리를 구할 수 있으므로 이를 바탕으로 눈 영상의 자동 초점 작용을 하게 된다. 그러나 협각카메라는 DOF(depth of field)가 굉장히 작기 때문에 이와 같은 Z 거리만 가지고는 정확한 자동 초점이 이루어지기 어렵다.
- 일반적 인 카메라 CCD 센서의 경우, 가시광선보다는 적외선 영역으로 갈수록 영상의 감도가 낮아지는 특성을 나타낸다. 본 논문에서는 사용자의 눈에 눈부심을 주지 않기 위하여 880nm 의 적외선을 사용했으며, 이러한 경우 영상에서의 감도가 많이 낮아 얼굴 특징점을 추출하기위해 충분한 밝기를 내기 위해서는 여러 개(4 개)의 적외선조명을 모아 사용해야만 했디..
- 여기서 시선 위치 에러란 사용자가 모니터 상에 실제 쳐다보는 위치와 계산되어 나온 위치사이의 최소 자승 에러를 나타낸다. 실험은 크게 두 가지로 나누어 표 1과 같이 사용자가 모니터상의한 지점을 쳐다볼 때 얼굴의 움직임에 의해서만 응시하는 경우와 표 2와 같이 얼굴 및 눈동자 움직임을 같이 이용하여 자연스럽게 쳐다보는 경우로 구분하여 수행하였다. 먼저 얼굴 움직임에 의해서만 쳐다보는 경우의 정확도는 표 1과 같이 본 논문에서 제안한 방법이 기존의많은 방법들에 비해 가장 우수함을 알 수 있다.
- 이 논문에서 모니터 앞에 앉은 사용자의 Za리는 50 ~ 70 cm 사이에 다양하기 때문에, 그림 5 에서와 같은 Z 거리 정규화는 필요하다. 여기서 Za리는 모니터 중앙에서 사용자 눈까지의 직선거리를- 나타내는 것이며, 본 논문에서는 pothemus position tracker[23] 장비를 이용하여 측정하였다.
- 이 논문에서 모니터 앞에 앉은 사용자의 Za리는 50 ~ 70 cm 사이에 다양하기 때문에, 그림 5 에서와 같은 Z 거리 정규화는 필요하다. 여기서 Za리는 모니터 중앙에서 사용자 눈까지의 직선거리를- 나타내는 것이며, 본 논문에서는 pothemus position tracker[23] 장비를 이용하여 측정하였다.
- IR-LED(InfraRed-light emitting diode) 조명(1) 은 눈에서의 반사 위치를 생성하는데 사용된다. 이때 LED조명으로는 사람 눈으로 감지하기 어려운 880nm의 조명을 사용함으로써, 동작중 사용자의 눈부심 현상이 없도록 하였다. 카메라 렌즈 앞에 부착된 HPF(high pass filter)(2) 는 적외선 영역 (800nm) 이상의 적외선 조명만을 통과시키기 때문에, 카메라 센서를 통한 영상 취득 시 800nm이하의 외부광이 영향을 주지 못하게 된다.
- 여기서, 초점이 맞지 않는눈 영상이 취득된 경우, 초점 렌즈를 어느 방향으로 움직여야하는 지(앞 혹은 뒤) 결정하기 어려운 문제가 있다. 이를 결정하기 위하여 본 논문에서는 기타 부가적인 정보를 바탕으로 한여러 가지 휴리스틱한 방법(눈 영상의 밝기 정보 혹은 피라미드 기반 전역 렌즈 탐색)등을 이용하여 정확하게 눈 초점 영상을 취득할 수 있었다. 초점이 맞은 눈 영상이 취득되면, 본 논문에서는 학습된 신경망(다층 퍼셉트론)을 이용하여 눈동자 움직임에 의한 모니터 상의 시선위치를 파악하였다.
- 사용했다. 이를 이용하여 그림 2와 같이 CCD의 출력 신호 중 Even 과 Odd 필드의 VD( vertical drive) 신호에 맞추어 조명의 On/Off를 조정하게 하였다. 그림 2를 보다 자세히 설명하면 다음과 같다.
- 세번째 단계에서 얼굴 특징점의 변화된 3차원 위치가 계산되어 지면, 이들은 모니터 좌표계 및 첫 번째 단계에서 구한 카메라 매개변수 정보등을 이용하여 카메라 좌표계를 기준으로 계산되어 질 수 있다. 이와 같은 정보를 바탕으로, 본 논문에서는 정확한 눈동자의 위치를 취득하기 위해 협각 카메라(narrow view camera)를 자동 상하/좌우 회전 시킬 수 있게 된다(그림 1 의 (5) 참조). 본 논문에서 사용하는 협각 카메라는 작은 화각(약 30 ~ 45 mm의 큰 초점거리)을 갖고 있으며, 이러한 특성 때문에 눈 영역을 확대하여 촬영할 수 있다.
- 또한 Rikert는 사용자와 모니터사이의 Za리는 학습 및 실제 사용 시 고정되었다고 가정하고 있으나, 본 논문에서 그러한 불편한제약을 사용하고 있지 않다. 이의 일환으로 본 논문에서는 사용자의 Za리를 변화시켜가면서 (55, 60, 65cm) 시선 위치 정확도를 측정하였다. 여기서 Za리는 모니터 중앙에서 사용자 눈까지의 직선거리를 나타내는 것이며, 본 논문에서는 pothemus position tracker[23] 장비를 이용하여 측정하였다.
- 즉, 단계 3에서 계산된 얼굴 특징점(눈)의 3차원 위치 정보를 바탕으로 협각카메라를 상하 및 좌우 회전을 하고 자동 초점을 수행함으로써 눈 영상을 취득한다. 이후, 취득된 영상은 PC로 전송된 후, 영상내의 픽셀들간의 차이를 측정하는 초점 측정 알고리즘에의해 영상의 초점 정도를 평가한다. 만일 영상의 초점 정도가 미리 정해놓은 임계 치(본 논문에서는 초점 정도를 0에서 100까지의 범위를갖는 연속적인 값으로 산정하였으며, 숫자가 커질수록 초점이 잘 맞는 상태로 설정하였다.
- 이를 결정하기 위하여 본 논문에서는 기타 부가적인 정보를 바탕으로 한여러 가지 휴리스틱한 방법(눈 영상의 밝기 정보 혹은 피라미드 기반 전역 렌즈 탐색)등을 이용하여 정확하게 눈 초점 영상을 취득할 수 있었다. 초점이 맞은 눈 영상이 취득되면, 본 논문에서는 학습된 신경망(다층 퍼셉트론)을 이용하여 눈동자 움직임에 의한 모니터 상의 시선위치를 파악하였다. 이후, 앞에서 구한 얼굴에 움직임에 의한 시선 위치와 눈동자 움직임에의항 시선 위치는 산술적으로 더해짐으로써 최종적으로 모니터상의 시선 위치를 나타내게 된다.
- 요구된다. 특히 본 논문에서는 눈동자 움직임을 추적하기 위한 특징점 추출을 위해 적외선 조명의 반사 위치를 찾는 방식을 채택하고 있으나(그림 1). 안경 사용자의 경우 안경면에서 적외선 조명에 의한 큰 반사 위치 (specular reflection)가 발생하는 바람에 눈 특징점의 위치를 주줄하지 못하는 경우가 종종발생했다.
대상 데이터
- 비교하였다. 실험 데이터로는 총 10명의 사용자가 모니터 상의 23개 지점을 쳐다볼 때 취득된 데이터를 사용하였다. 여기서 시선 위치 에러란 사용자가 모니터 상에 실제 쳐다보는 위치와 계산되어 나온 위치사이의 최소 자승 에러를 나타낸다.
- 그림 4의 첫 번째 단계에 대한 자세한 방법은 [2]에서 참조할 수 있다. 첫 번째 단계에서 구한 초기 얼굴 특징점의 3차원 위치와 이 얼굴 특징점 의 실제 위치 (3D position tracker sensor로 측정) 사이의 최소 자승 에러(RMS error)는 약 1.15 cm(X축으로 0.64 cm, Y축으로 0.5cm, Z축으로 Q81cm)의 정확도를 나타냈으며, 실험에는 얼굴 특징점 추출을 위해 사용했던 20명분의 데이터를 이용하였다.
- 그러므로 이러한 경우에 대비하기 위하여 본 논문에서는 사용자가 모니터 중앙을 쳐다보는 경우 양쪽 눈을 모두 추적하고, 이후 사용자가 얼굴을 심하게 회전하여 한쪽 눈을 추적할 수 없는 경우, 나머지 보이는 다른 쪽 눈만을 추적함으로써 눈동자 움직임에 의한 정확한 시선 위치를 파악하였다. 협각 카메라의 상하 및 좌우 회전을 위해 420 pps(pulse per secondX 갖는 2개의스테핑 모터를 사용하였다. 또한, 일반적인 협각 카메라의 경우 작은 범위의 DOF(depth of field)를 갖는 특성이 있으므로, 입력 영상은 사용자의 Z 방향 움직임에 따라 쉽게 초召이 흐려지는 특성을 나타낸다.
데이터처리
- 본 논문에서 제안하는 시선 위치 파악의 정확도는 표 1, 2와 같이 기존의 연구 결과 [2][3〕[19[221와 비교하였다. 실험 데이터로는 총 10명의 사용자가 모니터 상의 23개 지점을 쳐다볼 때 취득된 데이터를 사용하였다.
이론/모형
- 눈동자의 중심 위치를 주출하기 위해 이 논문에서는 원형 경계 검출 알고리즘 (circular edge detection)을 사용하였다. 제한된 영역에서 눈동자 중심 위치를 추출하기 때문에, 정확한 위치를 추줄하는 데에는 처리 시간이 거의 소요되지 않았다(pentium-II 550MHz PC에서 약 5-10 ms).
- 특히 눈동자의 중심위치(Qi, Q2)와왼쪽 혹은 오른쪽 눈의 구석 위치(R, P2, P3, Pt, P'l, P‘2, P‘3, P'D 사이의 거리는 사용자의 시선 위치에 따라 변화하게 된匸). 본 논문에서는 그림 5와 같이 눈동자의 움직임 량 및 시선위치 사이의 관계를 학습하기 위하여 신경망(다층 퍼셉트론)을 사용하였다. 여기서 신경망을 위한 입력 값은 사용자가 모니터 중앙을 쳐다볼 때 취득된 눈 영상에서의 눈 중심과 구석사이의 거리로 정규화된다.
- 이 二L림에서 추출된 눈동자 영역 및 구석 위치가 표시되어 있다. 여기서 눈동자 및 눈구석 영역을 추출하기 위하여 원형 경계 검출 (circular edge detection) 및 SVM기반 눈구석 템플릿 방법을 사용하였다. 이 방법은 2장에서 설명한 광각 카메라에서 눈 특징점을 추출하기 위해 사용했던방식과 거의 유시.
성능/효과
- 결과에 나타나 있는 것처럼, 시선 위치 추출정확도는 약 3.57cm 이며, 사용자의 Za리 움직임에 영향을 받지 않는 것으로 조사되었다. 또한 이러한 시선 위치 추출 에러는 추가적인얼굴 혹은 눈동자 움직임에 의한 시선 위치 이동(마우스 드래깅과 같은 효과)으로 보정되어질 수 있다.
- 먼저 얼굴 움직임에 의해서만 쳐다보는 경우의 정확도는 표 1과 같이 본 논문에서 제안한 방법이 기존의많은 방법들에 비해 가장 우수함을 알 수 있다. 그리고 표 2와 같이 얼굴 및 눈동자 움직임이 같이 발생하는 실험 데이터에 대한 시선 위치추출 정확도 역시 본 논문에서 제안하는 방식이 가장 우수함을 알 수 있다. 전반적으로는 얼굴의 움직임만이 존재하는 경우보다 얼굴 및 눈동자 움직임이 같이 존재하는 경우의 시선위치 정확도가 다소 떨어짐을 알 수 있다.
- 전술한 바와 같이 본 논문에서의 방법은 사용자의 Za리 변화에 거의 영향을 받지 않는다는것을 보여주고 있다. 또한 Rikert의 방법은 처리 시간이 많이 소요되는 문제점(alphastation 333MHz에서 약 1 분)이 있었으나 본 논문의 방법은 이에 비해 상당히 빠르고 실시간으로 구현 가능한 결과를 나타내고 있다(PentiumTV 1.8GHz에서 약 30ms 이내).
- 실험은 크게 두 가지로 나누어 표 1과 같이 사용자가 모니터상의한 지점을 쳐다볼 때 얼굴의 움직임에 의해서만 응시하는 경우와 표 2와 같이 얼굴 및 눈동자 움직임을 같이 이용하여 자연스럽게 쳐다보는 경우로 구분하여 수행하였다. 먼저 얼굴 움직임에 의해서만 쳐다보는 경우의 정확도는 표 1과 같이 본 논문에서 제안한 방법이 기존의많은 방법들에 비해 가장 우수함을 알 수 있다. 그리고 표 2와 같이 얼굴 및 눈동자 움직임이 같이 발생하는 실험 데이터에 대한 시선 위치추출 정확도 역시 본 논문에서 제안하는 방식이 가장 우수함을 알 수 있다.
- 이와 같은 정보를 바탕으로, 본 논문에서는 정확한 눈동자의 위치를 취득하기 위해 협각 카메라(narrow view camera)를 자동 상하/좌우 회전 시킬 수 있게 된다(그림 1 의 (5) 참조). 본 논문에서 사용하는 협각 카메라는 작은 화각(약 30 ~ 45 mm의 큰 초점거리)을 갖고 있으며, 이러한 특성 때문에 눈 영역을 확대하여 촬영할 수 있다. 또한 사용자가 모니터의 한 지점을 쳐다보기 위하여 얼굴을 심하게 회전하는 경우, 얼굴 영상을 취득하기 위한 광각 카머)라(wide view camera)에서 한쪽눈 영역이 아예 사라져 버리는 경우가 발생한다.
- 이에 대한 자세한 설명은 [1][20][22]에서 참조할 수 있다. 본 논문에서 확장 칼만 필터의 예측 정확도는 3차원 위치 추적 장비 (pothemus sensor)[22]와 비교되었다. 실험 결과, 확장 칼만 필터와 3차원 위치 추적 장비와의 정확도 차이는 이동량 및 회전량에서 각각 1.
- 얼굴의 움직임 시 전체적인 위치가 변화될 눈동자의 움직임을 정확히 추적하기 위해 협각 카메라에는 추출된 얼굴 특징점의 위치를 기반으로 한자동 초점 및 자동 상하/좌우 회전 기능이 포함되어 있다. 실험 결과, 보다 정확한 시선 위치추출 성능을 얻을 수 있었으며, 전체 시스템의 가격 역시 사용자에게 부담스럽지 않을 정도로 저렴하게 시스템을 구현할 수 있었다.
- 실험 결과, 최종 자승 에러는 Za리가 55cm일때 3.45cm, Za리가 60cm일 때 3.57cm 그리고 Za리가 65cm일 때 3.63cm의 결과를 나타냈다. 전술한 바와 같이 본 논문에서의 방법은 사용자의 Za리 변화에 거의 영향을 받지 않는다는것을 보여주고 있다.
- 본 논문에서 확장 칼만 필터의 예측 정확도는 3차원 위치 추적 장비 (pothemus sensor)[22]와 비교되었다. 실험 결과, 확장 칼만 필터와 3차원 위치 추적 장비와의 정확도 차이는 이동량 및 회전량에서 각각 1.4cm 및 2.98°의 에러 성능을 나타냈다.
- 이를 통해 총 560개의 테스트 샘플 (10명분乂56개의 시선 위치)을 취득하게 되었으며, 이러한 실험 조건은 Rikert의 연구[8]에서와 동일하다’ 실험 결과 실제 응시 위치와 본 논문에서 제안한 방법에 의한 응시 위치 사이의 최소 자승 에러는 약 3.61cm로 나타났으며, 이러한 실험 결과는 Rikert의 방법에서의 정확도(약 5.08 cm의 최소 자승 에러 )보다 우수함을 알수 있다. 또한 Rikert는 사용자와 모니터사이의 Za리는 학습 및 실제 사용 시 고정되었다고 가정하고 있으나, 본 논문에서 그러한 불편한제약을 사용하고 있지 않다.
- 63cm의 결과를 나타냈다. 전술한 바와 같이 본 논문에서의 방법은 사용자의 Za리 변화에 거의 영향을 받지 않는다는것을 보여주고 있다. 또한 Rikert의 방법은 처리 시간이 많이 소요되는 문제점(alphastation 333MHz에서 약 1 분)이 있었으나 본 논문의 방법은 이에 비해 상당히 빠르고 실시간으로 구현 가능한 결과를 나타내고 있다(PentiumTV 1.
후속연구
- 또한 이러한 시선 위치 추출 에러는 추가적인얼굴 혹은 눈동자 움직임에 의한 시선 위치 이동(마우스 드래깅과 같은 효과)으로 보정되어질 수 있다. 그리고 본 연구에서는 이러한 시선위치 추적 카메라를 약 30만원대 정도의 가격으로 개발하였으며 이로부터 일반 소비자들에게는 저렴한 가격으로 공급되어 질 수 있을 것으로 기대한다.
- 눈동자의 중심 위치를 추출한 후, 본 논문에서는 눈구석 모양 템플릿(eye comer shape template)을 이용하여 눈의 양 구석 위치를 추출하였다[22]. 본 논문에서는 그림 1에서와 같이 HPF(2)를 사용하므로 입력 영상 내에외부광에 의한 영향을 최소화 할 수 있었으며, 그 결과 입력 영상이나 템플릿 등을 조명에 대해 별도로 정규화할 필요가 없었다. 이와 같은눈구석 모양 템플릿과 함께 본 논문에서는 SVM(support vector machine)을 이용하여 정확한 눈의 구석 위치를 추출할 수 있었다[221.
- 안경 사용자의 경우 안경면에서 적외선 조명에 의한 큰 반사 위치 (specular reflection)가 발생하는 바람에 눈 특징점의 위치를 주줄하지 못하는 경우가 종종발생했다. 이러한 문제점을 해결하기 위하여 향후 연구에서는 카메라를 기준으로 양쪽 방향(왼쪽 및 오른쪽)에 조명을 배치시키고 서로 번갈아 키는 동작을 함으로써 안경에 의한 반사 문제를 해결하고자 한다.
- 향후, 보다 정확한 시선 위치 추출을 위해서는눈동자 위치를 보다 정확히 추적할 수 있는 방법이 요구된다. 특히 본 논문에서는 눈동자 움직임을 추적하기 위한 특징점 추출을 위해 적외선 조명의 반사 위치를 찾는 방식을 채택하고 있으나(그림 1).
※ AI-Helper는 부적절한 답변을 할 수 있습니다.