눈 윤곽선과 눈동자 영역 추출 기반 시선 추정 알고리즘의 설계 및 구현 Design and Implementation of Eye-Gaze Estimation Algorithm based on Extraction of Eye Contour and Pupil Region원문보기
본 연구에서는 입력 얼굴 영상에서 눈의 윤곽선과 눈동자 영역을 추출하여 시선을 추정하는 시스템을 설계 및 구현한다. 눈 윤곽선과 눈동자 영역을 효율적으로 추출하기 위하여 먼저 입력 영상으로부터 얼굴 영역을 추출한다. 얼굴 영역 추출을 위하여 아시아인 얼굴 영상 셋을 확보하여 아시아인 피부색에 대한 YCbCr 범위를 사전에 정의하였고, 정의된 피부색 범위값에 따라 피부영역을 검출한다. 최대크기 피부 영역을 얼굴후보 영역으로 지정하고 검출된 얼굴 후보영역에 대한 상위 50%의 관심 영역 내에서 눈윤곽선과 색상 특성 분석을 이용한 눈 영역 검출 알고리즘을 수행하여 기존의 Haar-like feature 특성기반 눈 영역 검출방법에 비해 타이트한 눈 영역을 검출한다. 눈의 윤곽선을 포함하는 관심영역 전체를 기준으로 눈 영역을 3등분하고, 추출된 눈동자의 위치가 3등분된 영역에서 어느 영역에 중점적으로 위치하고 있는지를 분석하여 좌, 우, 정면 시선 방향을 추정한다. 본 연구에서는 20명의 실험자에 대한 5,616 장의 테스트 영상을 이용한 시선방향 추정 실험에서 약 91%의 정확도를 획득한다.
본 연구에서는 입력 얼굴 영상에서 눈의 윤곽선과 눈동자 영역을 추출하여 시선을 추정하는 시스템을 설계 및 구현한다. 눈 윤곽선과 눈동자 영역을 효율적으로 추출하기 위하여 먼저 입력 영상으로부터 얼굴 영역을 추출한다. 얼굴 영역 추출을 위하여 아시아인 얼굴 영상 셋을 확보하여 아시아인 피부색에 대한 YCbCr 범위를 사전에 정의하였고, 정의된 피부색 범위값에 따라 피부영역을 검출한다. 최대크기 피부 영역을 얼굴후보 영역으로 지정하고 검출된 얼굴 후보영역에 대한 상위 50%의 관심 영역 내에서 눈윤곽선과 색상 특성 분석을 이용한 눈 영역 검출 알고리즘을 수행하여 기존의 Haar-like feature 특성기반 눈 영역 검출방법에 비해 타이트한 눈 영역을 검출한다. 눈의 윤곽선을 포함하는 관심영역 전체를 기준으로 눈 영역을 3등분하고, 추출된 눈동자의 위치가 3등분된 영역에서 어느 영역에 중점적으로 위치하고 있는지를 분석하여 좌, 우, 정면 시선 방향을 추정한다. 본 연구에서는 20명의 실험자에 대한 5,616 장의 테스트 영상을 이용한 시선방향 추정 실험에서 약 91%의 정확도를 획득한다.
In this study, we design and implement an eye-gaze estimation system based on the extraction of eye contour and pupil region. In order to effectively extract the contour of the eye and region of pupil, the face candidate regions were extracted first. For the detection of face, YCbCr value range for ...
In this study, we design and implement an eye-gaze estimation system based on the extraction of eye contour and pupil region. In order to effectively extract the contour of the eye and region of pupil, the face candidate regions were extracted first. For the detection of face, YCbCr value range for normal Asian face color was defined by the pre-study of the Asian face images. The biggest skin color region was defined as a face candidate region and the eye regions were extracted by applying the contour and color feature analysis method to the upper 50% region of the face candidate region. The detected eye region was divided into three segments and the pupil pixels in each pupil segment were counted. The eye-gaze was determined into one of three directions, that is, left, center, and right, by the number of pupil pixels in three segments. In the experiments using 5,616 images of 20 test subjects, the eye-gaze was estimated with about 91 percent accuracy.
In this study, we design and implement an eye-gaze estimation system based on the extraction of eye contour and pupil region. In order to effectively extract the contour of the eye and region of pupil, the face candidate regions were extracted first. For the detection of face, YCbCr value range for normal Asian face color was defined by the pre-study of the Asian face images. The biggest skin color region was defined as a face candidate region and the eye regions were extracted by applying the contour and color feature analysis method to the upper 50% region of the face candidate region. The detected eye region was divided into three segments and the pupil pixels in each pupil segment were counted. The eye-gaze was determined into one of three directions, that is, left, center, and right, by the number of pupil pixels in three segments. In the experiments using 5,616 images of 20 test subjects, the eye-gaze was estimated with about 91 percent accuracy.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문은 웹 카메라와 OpenCV를 이용하여 동양인의 눈동자 위치를 초당 13장의 이미지에서 검출하여 사용자의 시선이 어디를 향하고 있는지를 알아낼 수 있는 알고리즘을 제안하였다. 입력된 영상에 대해 피부 색상 분석과 Haar-like Feature를 적용하여 얼굴 영역을 찾고 눈이 있는 영역만을 관심 영역으로 설정하였다.
대부분의 관련 연구들은 눈동자의 위치를 파악하기 위하여 적외선 카메라를 사용하거나 혹은 카메라와 가깝게 촬영된 사용자 영상에서 눈동자 내에 나타나는 밝은 반사원(light dot)들의 정보를 활용하고 있다. 본 연구에서는 일반 노트북에 설치된 카메라나 PC에 설치할 수 있는 일반 웹캠을 사용하여 시선을 추적할 수 있는 시스템 개발을 목표로 눈의 윤곽선 정보와 눈동자 색상 정보에 기반을 둔 시선 추정 알고리즘을 제안한다.
그러나 기존의 눈동자 인식 프로그램들의 문제점은 대부분 하드웨어와 결합된 솔루션으로 가격이 비싸고, 보통의 프로그램들이 일정한 고정거리를 유지해야만 사용이 가능한 사용상의 제약이 있다. 이러한 문제점을 개선하고자 본 논문에서는 사용이 편리한 웹캠을 이용하고, 얼굴 인식을 선행하여 추출된 얼굴 영역 내에서 사전에 분석된 눈의 통계적 위치 값을 기준으로 눈의 영역을 추출하도록 함으로써 고정거리가 아닌 경우에도 눈 영역을 검출하고 눈동자 위치를 추정할 수 있도록 구현하였다. 또한 눈 영역 검출을 하기 전에 얼굴 전체 영역이 아닌 최적의 얼굴 영역으로 관심영역을 설정하여 눈동자 검색 속도를 높였다.
제안 방법
입력된 영상에 대해 피부 색상 분석과 Haar-like Feature를 적용하여 얼굴 영역을 찾고 눈이 있는 영역만을 관심 영역으로 설정하였다. Haar-like Feature로 눈 영역을 검출하는 것보다 눈의 크기에 타이트한 관심 영역을 추출하기 위하여 사전에 얼굴 상부 영역에서 눈의 크기 및 위치에 대한 통계적 데이터를 분석하고, 분석된 통계 데이터를 기반으로 최적의 눈의 영역을 설정하였다. 눈동자 영역은 입력 카메라 컬러 영상에 대한 그레이스케일 영상에서 밝기값을 기반으로 추출하였다.
그림 4는 추출된 얼굴 영역과 얼굴 영역의 상위 50% 영역에 대한 추출 결과 영상을 보여주고 있다. 눈 영역 추출 알고리즘 수행의 입력 영상의 크기를 얼굴 영역의 상위 50%로 줄임으로써 수행 효율성을 높이고, 얼굴 상부 내에서의 눈 후보 영역을 통계적으로 사전에 분석하여 Haar-like feature 기반 눈 영역 분석 방법에 비해 보다 타이트한 눈 영역을 추출하도록 하였다.
눈 후보 영역을 찾기 위해 학습을 위한 얼굴 입력 영상에 대해서 눈 크기 및 얼굴 중심으로부터 눈 영역까지의 거리 조사를 하였으며 이 데이터를 이용하여 눈 영역 이외의 부분을 손쉽게 제거할 수 있었다. 정면 얼굴에서 얼굴의 중심선을 기준으로 좌, 우 눈의 상대적 위치에 대한 통계적 정보를 얻기 위하여, 먼저 영상의 얼굴 부분에 대해 상위 50% 영역을 관심 영역으로 설정한 후 이 영역에서 오른쪽 눈과 왼쪽 눈 영역을 사각형으로 직접 그리고 사각형의 시작 x 좌표, y 좌표와 너비, 높이를 구하였다.
Haar-like Feature로 눈 영역을 검출하는 것보다 눈의 크기에 타이트한 관심 영역을 추출하기 위하여 사전에 얼굴 상부 영역에서 눈의 크기 및 위치에 대한 통계적 데이터를 분석하고, 분석된 통계 데이터를 기반으로 최적의 눈의 영역을 설정하였다. 눈동자 영역은 입력 카메라 컬러 영상에 대한 그레이스케일 영상에서 밝기값을 기반으로 추출하였다.
먼저 얼굴 영역 검출을 위해서 밝기 정보와 색상 정보를 분리 적용하기 위하여 기존의 RGB 색 모델보다 조명에 강인한 YCbCr 색모델을 이용하였다[10, 11]. 먼저 아시아인의 얼굴 피부에 대한 최적의 YCbCr 임계값을 찾기 위해 그림 2와 같이 Iranian Women DB[12]에서 170장의 얼굴 이미지들을 대상으로 볼 영역에서 가로 10, 세로 5픽셀 크기를 추출하여 Cr값, Cb값 총 8,500픽셀을 샘플링 하였다. 표 1과 같이 추출된 값에 대한 최대값, 최소값, 평균, 표준편차를 구하여 신뢰도 68% 수준으로 임계값을 설정하기 위해 최대값과 최소값을 구하였으며, 이 값들에 대한 히스토그램은 그림 3과 같다.
본 논문에서 제안하는 방법에 대한 성능 평가를 위해 눈동자의 위치가 판별된 결과 이미지를 그림 9와 같이 매 프레임마다 저장하고 이미지마다 분류하여 정확도 검사를 실시하였다. 20명에 대한 총 5,616장의 영상 이미지에 대해서 검사를 실시한 결과, 5,110장의 영상에 대해서 정확한 결과를 나타내는 것으로 분석되어 눈동자의 위치 검출 정확도는 약 91%로 나타났다.
또한 얼굴의 중앙에서 x 좌표까지의 거리를 구하였다(x-center). 본 논문에서 제안하는 방법은 검출된 오른쪽 눈과 왼쪽 눈 후보 영역의 x 값, y 값, 너비, 높이를 구하여 후보 영역의 크기, 위치, 이미지의 중앙에서 x 값까지의 거리를 비교하여 표 2, 표 3과 같이 미리 설정한 임계값 범위에 속하지 않을 경우 눈의 후보 영역에서 제외하였다.
본 논문에서는 웹캠을 이용하여 얼굴 영상을 촬영하고 다양한 얼굴 영상들에 대한 테스트를 통해 나온 값들을 알고리즘에 대입하여 눈동자를 찾는다.
이러한 결과 영상에 Connected-Component Labeling 알고리즘을 수행하여 연결된 피부색 영역을 추출한다. 연결된 피부색 영역에서 최대 크기의 영역을 얼굴 영역으로 지정하고, 얼굴 영역의 상위 50% 영상을 눈 영역 추출을 위한 입력 영상으로 지정한다. 그림 4는 추출된 얼굴 영역과 얼굴 영역의 상위 50% 영역에 대한 추출 결과 영상을 보여주고 있다.
본 논문은 웹 카메라와 OpenCV를 이용하여 동양인의 눈동자 위치를 초당 13장의 이미지에서 검출하여 사용자의 시선이 어디를 향하고 있는지를 알아낼 수 있는 알고리즘을 제안하였다. 입력된 영상에 대해 피부 색상 분석과 Haar-like Feature를 적용하여 얼굴 영역을 찾고 눈이 있는 영역만을 관심 영역으로 설정하였다. Haar-like Feature로 눈 영역을 검출하는 것보다 눈의 크기에 타이트한 관심 영역을 추출하기 위하여 사전에 얼굴 상부 영역에서 눈의 크기 및 위치에 대한 통계적 데이터를 분석하고, 분석된 통계 데이터를 기반으로 최적의 눈의 영역을 설정하였다.
눈 후보 영역을 찾기 위해 학습을 위한 얼굴 입력 영상에 대해서 눈 크기 및 얼굴 중심으로부터 눈 영역까지의 거리 조사를 하였으며 이 데이터를 이용하여 눈 영역 이외의 부분을 손쉽게 제거할 수 있었다. 정면 얼굴에서 얼굴의 중심선을 기준으로 좌, 우 눈의 상대적 위치에 대한 통계적 정보를 얻기 위하여, 먼저 영상의 얼굴 부분에 대해 상위 50% 영역을 관심 영역으로 설정한 후 이 영역에서 오른쪽 눈과 왼쪽 눈 영역을 사각형으로 직접 그리고 사각형의 시작 x 좌표, y 좌표와 너비, 높이를 구하였다. 또한 얼굴의 중앙에서 x 좌표까지의 거리를 구하였다(x-center).
제안된 알고리즘은 그림 7의 왼쪽 상단과 같이 R은 오른쪽, C는 중앙, L은 왼쪽을 바라보고 있다는 결과를 영상에 출력하도록 하였다.
대상 데이터
본 연구를 위한 입력 영상은 로지텍사의 퀵캠스피어 웹캠을 사용하여 그림 1과 같이 20명에 대해서 320 X 240 해상도, 24 fps의 영상으로 총 5,616장을 사용하였으며, 한 사람에 대한 영상 당 평균 11초의 동영상을 촬영하였다.
데이터처리
먼저 아시아인의 얼굴 피부에 대한 최적의 YCbCr 임계값을 찾기 위해 그림 2와 같이 Iranian Women DB[12]에서 170장의 얼굴 이미지들을 대상으로 볼 영역에서 가로 10, 세로 5픽셀 크기를 추출하여 Cr값, Cb값 총 8,500픽셀을 샘플링 하였다. 표 1과 같이 추출된 값에 대한 최대값, 최소값, 평균, 표준편차를 구하여 신뢰도 68% 수준으로 임계값을 설정하기 위해 최대값과 최소값을 구하였으며, 이 값들에 대한 히스토그램은 그림 3과 같다.
이론/모형
먼저 얼굴 영역 검출을 위해서 밝기 정보와 색상 정보를 분리 적용하기 위하여 기존의 RGB 색 모델보다 조명에 강인한 YCbCr 색모델을 이용하였다[10, 11]. 먼저 아시아인의 얼굴 피부에 대한 최적의 YCbCr 임계값을 찾기 위해 그림 2와 같이 Iranian Women DB[12]에서 170장의 얼굴 이미지들을 대상으로 볼 영역에서 가로 10, 세로 5픽셀 크기를 추출하여 Cr값, Cb값 총 8,500픽셀을 샘플링 하였다.
표 1에서 정의하는 Cb, Cr 값의 범위에 속하는 픽셀은 피부 색상의 픽셀로 정의하여 흰색으로 표현하고, 나머지 픽셀은 검은색으로 이진화하는 처리를 수행한다. 이러한 결과 영상에 Connected-Component Labeling 알고리즘을 수행하여 연결된 피부색 영역을 추출한다. 연결된 피부색 영역에서 최대 크기의 영역을 얼굴 영역으로 지정하고, 얼굴 영역의 상위 50% 영상을 눈 영역 추출을 위한 입력 영상으로 지정한다.
성능/효과
본 논문에서 제안하는 방법에 대한 성능 평가를 위해 눈동자의 위치가 판별된 결과 이미지를 그림 9와 같이 매 프레임마다 저장하고 이미지마다 분류하여 정확도 검사를 실시하였다. 20명에 대한 총 5,616장의 영상 이미지에 대해서 검사를 실시한 결과, 5,110장의 영상에 대해서 정확한 결과를 나타내는 것으로 분석되어 눈동자의 위치 검출 정확도는 약 91%로 나타났다.
눈 검출 알고리즘에 대한 성능 비교 연구[5]에서는 기존의 Adaboost 방법, 적응적 템플릿 정합을 추가한 Adaboost 방법, CAMShift를 추가한 Adaboost 방법, Rapid Eye를 이용한 방법을 비교 분석하였다. 그 결과 적응적 템플릿 정합을 추가한 Adaboost 방법이 눈 검출에 대해서 우수한 정확도를 나타내었다. 질감 필터를 이용한 눈 검출[6]에서는 Gabor Filter를 사용하여 수평 방향의 눈 형태를 검출하고 ART 기술자를 이용하여 원형 모양의 특성을 갖는 눈동자를 검출함으로서 보다 정확한 눈 검출 성공률을 보였다.
이러한 문제점을 개선하고자 본 논문에서는 사용이 편리한 웹캠을 이용하고, 얼굴 인식을 선행하여 추출된 얼굴 영역 내에서 사전에 분석된 눈의 통계적 위치 값을 기준으로 눈의 영역을 추출하도록 함으로써 고정거리가 아닌 경우에도 눈 영역을 검출하고 눈동자 위치를 추정할 수 있도록 구현하였다. 또한 눈 영역 검출을 하기 전에 얼굴 전체 영역이 아닌 최적의 얼굴 영역으로 관심영역을 설정하여 눈동자 검색 속도를 높였다. 본 실험에서는 총 20명의 얼굴 영상을 이용하여 5,616장을 분석하였으며 제안한 방법의 정확도는 약 91%이다.
본 논문에서 제안한 윤곽선 및 색상 정보, 통계적 분석 데이터 기반 눈 영역 추출 방법은 기존의 Haar-like feature를 분석한 기법에 비해 보다 타이트한 눈의 영역을 추출할 수 있었고, 이에 따라 눈의 영역 대비 눈동자 픽셀의 위치에 따라 90% 이상의 정확도를 보이는 시선 추정 결과를 얻을 수 있었다.
또한 눈 영역 검출을 하기 전에 얼굴 전체 영역이 아닌 최적의 얼굴 영역으로 관심영역을 설정하여 눈동자 검색 속도를 높였다. 본 실험에서는 총 20명의 얼굴 영상을 이용하여 5,616장을 분석하였으며 제안한 방법의 정확도는 약 91%이다.
표 4에서 보는 바와 같이 왼쪽을 바라보고 있는 이미지 총 795장 중에서 765장을 정확히 판별하여 96.2%의 정확도를 보였고, 중앙을 바라보는 3,248장의 이미지 중 2,925장을 정확하게 판별하여 90.1%의 정확도를 보였으며, 오른쪽을 바라보는 1,573장의 이미지 중 1,422장의 이미지를 옳게 판별하여 90.4%의 정확도를 보였다. 또한 아래의 그림 9와 같이 잘못 검출된 사례들을 분석해본 결과 조명효과나 잡음에 의해서 눈 영역이 실제보다 더 넓게 검출되어, 3등분 후 눈동자의 위치를 검출하면 중앙에 더 많은 검은색 픽셀이 존재한다고 판단되어 눈동자가 중앙에 위치한다고 판단되었으나, 실제로는 왼쪽이나 오른쪽을 바라보고 있는 경우가 발생하고 있었다.
피부색을 기반으로 추출된 얼굴 후보 영역에서 최대 크기의 피부 영역을 얼굴 영역으로 지정하고, 얼굴 영역의 상위 50% 영상에 Haar-like Feature 기반 눈 검출 알고리즘을 적용하게 되면, 그림 5(a)와 같이 눈을 포함한 눈 보다 큰 관심 영역을 추출하는 결과를 얻었다.
질의응답
핵심어
질문
논문에서 추출한 답변
최근 LG전자에서 영상처리 기술을 어떻게 활용하였는가?
내이에 있는 반고리관이 신체의 균형을 잡아주는 역할을 하는데 눈과 연결되어 있어서 눈동자의 움직임만으로 뇌졸중을 판단할 수 있는 것이며, 이 방법에서는 눈동자의 움직임을 잘 분석하는 것이 매우 중요한 요소이다. 최근 LG전자에서 출시된 스마트폰에서는 안구의 움직임을 감지한 화면 스크롤링, 시야에 따라 동영상을 재생/ 일시정지 하는 등 직관적인 인터페이스를 제품에 적용하여 보다 편리하게 사용할 수 있도록 제공하고 있다. 또한 마케팅 부문에서는 웹캠으로 사용자의 시야를 추적하여 어디에 가장 빨리, 많이 머무는지 등의 분석을 통해 광고의 가격을 달리 하는 등으로도 중요하게 사용되고 있다.
기존의 눈동자 인식 프로그램들의 문제점은 무엇인가?
교육 분야에서는 학생들의 학습 집중도를 분석하거나, 온라인 교육 콘텐츠의 인터페이스 설계시 중요 콘텐츠의 위치를 결정하기 위하여 시선 추적에 의한 사용자 분석 등이 진행될 수 있다. 그러나 기존의 눈동자 인식 프로그램들의 문제점은 대부분 하드웨어와 결합된 솔루션으로 가격이 비싸고, 보통의 프로그램들이 일정한 고정거리를 유지해야만 사용이 가능한 사용상의 제약이 있다. 이러한 문제점을 개선하고자 본 논문에서는 사용이 편리한 웹캠을 이용하고, 얼굴 인식을 선행하여 추출된 얼굴 영역 내에서 사전에 분석된 눈의 통계적 위치 값을 기준으로 눈의 영역을 추출하도록 함으로써 고정거리가 아닌 경우에도 눈 영역을 검출하고 눈동자 위치를 추정할 수 있도록 구현하였다.
영상처리 기술의 발전 현황은 어떠한가?
최근의 영상처리 기술은 사람의 외형뿐만 아니라 얼굴, 눈동자, 표정 등 점점 더 정교한 생체정보를 분석하는 프로그램으로 발전하고 있으며, 이러한 기술들은 여러 분야에서 제품에 접목시켜 상용화 된 사례도 어렵지 않게 찾아볼 수 있다. 또한 의료 부분에서는 눈동자의 색상을 분석하여 알코올 누적 및 간 기능 상태와의 상관성을 분석[1]하거나, 눈동자의 움직임을 판단하여 뇌졸중/어지럼증이나 현기증 등을 판단[2]하는 방법도 제안되었다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.