[논문]스마트폰 영상에서의 개선된 실시간 눈동자 검출 방법

김성훈; 한기태

doi:10.3745/ktsde.2013.2.9.643

스마트폰 영상에서의 개선된 실시간 눈동자 검출 방법
An Enhanced Method for Detecting Iris from Smartphone Images in Real-Time 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.2 no.9, 2013년, pp.643 - 650

김성훈 (가천대학교 전자계산학과) , 한기태 (가천대학교 IT대학 컴퓨터미디어융합학과)

초록
AI-Helper

본 논문은 스마트폰 영상의 실시간 눈동자 검출에서 허프 원 변환 연산의 연산량 축소를 통한 속도 및 검출율 개선 방법을 제안한다. 눈동자를 검출하기 위해서는 입력 영상에서 얼굴과 눈을 검출하고, 눈 영역의 크기에 따라 눈동자의 크기가 변하는 것을 방지하기 위해 일정크기로 눈 영역을 정규화하며, 다양한 조명환경에서 눈동자가 검출이 가능하도록 히스토그램 평활화를 실시하고, 눈의 양쪽 끝점간의 거리를 구하여 영상에서의 실제 눈동자의 크기를 포함할 수 있는 최소한의 눈동자 크기 범위를 계산하여 허프 원 변환에 적용함으로써 연산량을 최소화 하였다. 제안한 방법을 밝은 조명과 어두운 조명에서 실험한 결과 기존 방법들과 비교하여 눈동자 검출 속도는 40% 이상, 검출율은 14% 이상 향상된 것을 보였다.

Abstract ▼ AI-Helper

In this paper, we propose a novel method for enhancing the detection speed and rate by reducing the computation in Hough Circle Transform on real-time iris detection of smartphone camera image. First of all, we find a face and eyes from input image to detect iris and normalize the iris region into fixed size to prevent variation of size for iris region according to distance from camera lens. Moreover, we carry out histogram equalization to get regular image in bright and dark illumination from smartphone and calculate minimal iris range that contains iris with the distance between corner of the left eye and corner of the right eye on the image. Subsequently, we can minimize the computation of iris detection by applying Hough Circle Transform on the range including the iris only. The experiment is carried out in two case with bright and dark illumination. Our proposed method represents that detection speed is 40% faster and detection rate is 14% better than existing methods.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 haar-like feature를 이용하여 얼굴 및 눈을 검출하고, 눈 영역의 크기 정규화 및 양쪽 눈 끝점 검출을 통해 눈동자의 크기 범위를 추정함으로써 허프 원 변환에서의 계산량을 줄여 눈동자 검출에 대한 성능을 향상시켰다. 또한 히스토그램 평활화를 이용하여 다양한 조명환경에서도 눈동자 검출이 가능하도록 하였다. 하지만 강한 조명에 의해 눈의 특징점이 소실되거나, 노이즈 등의 이유로 눈의 양쪽 끝점이 올바르게 검출되지 않는 경우에는 눈동자 크기 범위가 잘못 추정될 수 있다는 문제점을 안고 있다.
본 논문에서는 스마트폰 기반 실시간 생체인식 기술에 활용하기 위해 눈 영상의 보정을 통해 복잡도를 낮추고, 눈의 양쪽 끝점 간의 거리를 구하여 원 검출 시 반지름 범위를 최소화함으로써 눈동자 검출의 계산량을 줄여 실시간에서의 빠른 눈동자 검출 방법을 제안하고 있다.
5와 같이 일정 크기로 정규화 시켜 눈동자의 크기를 항상 일정한 크기로 나타나게 함으로써 허프 원 변환 시 검출할 원의 반지름 범위의 변화를 최소화할 수 있다. 본 논문에서는 실험을 통하여 눈동자 검출 속도 및 정확성에서 만족할 수준의 성능을 보이는 크기로 정규화 하였다. Equation (3)에서 W′ 과 H′ 은 정규화 시킬 눈 영역의 가로 값, 세로 값이며, 현재 검출된 눈 영역의 가로 값과 세로 값인 W 와 H 를 이용하여 정규화를 시키기 위한 비율 값 S_W와 S_H를 구할 수 있다.

제안 방법

눈동자 검출을 위해 먼저 얼굴 및 눈 검출이 우선 수행되며 이 과정에서 haar-like feature로 얼굴 및 눈을 검출한다. 눈 검출 시 얼굴영역 내에서 눈과 유사한 특징을 갖고 있는 영역이 존재한다면 양쪽 눈 외에 오검출 영역이 검출될 수 있으므로, 이를 방지하기 위해 Fig. 3과 같이 검출된 얼굴 영역을 상단 영역과 하단 영역으로 나누어 상단 영역에서 검출된 눈 영역만을 올바르게 검출된 눈 영역으로 판단한다. 또한 검출된 눈 영역들의 위치 관계를 이용하여 오른쪽 눈, 왼쪽 눈을 결정한다.
전처리 과정에서는 첫 번째 프레임이 아닌 경우에 이전에 검출된 눈의 위치와 현재 검출된 눈의 위치 간의 차이를 구하여 이전에 검출된 얼굴 영역의 위치를 계산된 차이만큼 이동시켜 얼굴을 트래킹 한다. 다음으로 얼굴의 전후 이동에 따라 눈동자크기 변화를 줄이기 위해 검출된 눈의 영역을 일정한 크기로 정규화 시키며, 눈동자 검출율과 성능을 향상시키기 위해 히스토그램 평활화 및 이진화를 수행한다.
4와 같이 이전에 검출된 양쪽 눈의 위치와 현재 검출된 양쪽 눈의 위치의 차를 구하여 얼굴 영역의 차 위치 만큼 갱신한다. 따라서 첫 프레임 또는 눈을 검출하지 못했을 때에만 얼굴 검출 알고리즘을 수행하도록 함으로써 전체적인 알고리즘 성능이 향상 되도록 하였다.
또한 관심영역으로 설정된 눈 영역을 Fig. 7(A)와 같이 grayscale로 변환하고, 조명에 강인하게 눈동자를 검출하기 위해서는 영상의 조명 및 대비개선이 필요하므로 Fig. 7(B)와 같이 히스토그램 평활화(histogram equalization)를 이용하여 눈 영역 영상의 대비를 보정하였다.
또한 정규화 된 눈 영역에서 눈썹 및 노이즈 등으로 인한 눈동자 검출의 정확도 저하를 방지하고 알고리즘의 연산량을 최소화하기 위해 Fig. 6과 같이 눈의 영역을 수평으로 4등분 하여 중심부의 2개 영역을 관심영역으로 설정하였다.
마지막으로 검출된 눈동자 후보들에 대하여 눈동자의 위치를 결정하기 위해 후보들의 원 내부의 일부 사각 영역에 대하여 평균 픽셀 값을 계산하고, 평균값이 일정 임계값 이하로 나타나는 후보들 중에서 가장 낮은 평균을 보이는 위치를 눈동자의 위치로 결정한다.
먼저 haar-like feature로 학습된 얼굴 및 눈 검출기를 이용하여 얼굴 영역과 눈 영역을 검출하고 눈동자를 검출하기 위해 영상의 전처리 과정을 수행한다.
본 논문에서 제안하는 방법은 Fig. 2와 같이 입력 영상에서 얼굴 검출, 눈 검출, 눈동자 검출과 같은 순서로 처리된다.
본 논문에서는 haar-like feature를 이용하여 얼굴 및 눈을 검출하고, 눈 영역의 크기 정규화 및 양쪽 눈 끝점 검출을 통해 눈동자의 크기 범위를 추정함으로써 허프 원 변환에서의 계산량을 줄여 눈동자 검출에 대한 성능을 향상시켰다. 또한 히스토그램 평활화를 이용하여 다양한 조명환경에서도 눈동자 검출이 가능하도록 하였다.
본 논문에서는 얼굴 트래킹을 위해서 Fig. 4와 같이 이전에 검출된 양쪽 눈의 위치와 현재 검출된 양쪽 눈의 위치의 차를 구하여 얼굴 영역의 차 위치 만큼 갱신한다. 따라서 첫 프레임 또는 눈을 검출하지 못했을 때에만 얼굴 검출 알고리즘을 수행하도록 함으로써 전체적인 알고리즘 성능이 향상 되도록 하였다.
전처리 과정에서는 첫 번째 프레임이 아닌 경우에 이전에 검출된 눈의 위치와 현재 검출된 눈의 위치 간의 차이를 구하여 이전에 검출된 얼굴 영역의 위치를 계산된 차이만큼 이동시켜 얼굴을 트래킹 한다. 다음으로 얼굴의 전후 이동에 따라 눈동자크기 변화를 줄이기 위해 검출된 눈의 영역을 일정한 크기로 정규화 시키며, 눈동자 검출율과 성능을 향상시키기 위해 히스토그램 평활화 및 이진화를 수행한다.
제안한 방법은 밝은 조명상태와 어두운 조명상태에서 실험하였다. Fig.

대상 데이터

본 논문에서 제안하는 방법의 구현은 편의를 위해 일반적으로 사용되고 있는 OpenCV를 이용하여 구현하였으며, 처리 환경은 1.6GHz Quad-Core, 2GB RAM의 안드로이드 기반 스마트폰에서 640*480 크기의 영상을 사용하였다.

이론/모형

특징 값은 Haar-Like Feature의 흰 영역에 포함되는 픽셀들의 합에서 검은 영역에 포함되는 픽셀의 합의 차로 표현된다. 또한 이러한 픽셀의 합 계산은 적분 영상에 의해서 매우 빠른 속도로 연산되며, haar-like feature에 의해 계산된 특징 값들을 adaboost 알고리즘에 적용하여 객체를 검출하기 위한 분류기를 생성한다.

성능/효과

이러한 특징 기반의 얼굴 검출 방법은 다양한 조명에서도 얼굴 검출이 가능하다는 장점이 있으며, Jianguo Li가 최근에 발표한 방법[5]은 SURF(Speeded Up Robust Features)알고리즘을 기반으로 얼굴의 특징을 학습하여 에러를 발생시키는 약 분류기를 최소화하여 최종적으로 얻어지는 강 분류기 성능을 향상시켰다. 이 방법은 얼굴 검출 시 haar-like feature보다 더 적은 개수의 특징점을 이용하여 기존의 얼굴 검출 방법보다 향상된 검출 속도와 검출율을 나타낸다.

후속연구

하지만 강한 조명에 의해 눈의 특징점이 소실되거나, 노이즈 등의 이유로 눈의 양쪽 끝점이 올바르게 검출되지 않는 경우에는 눈동자 크기 범위가 잘못 추정될 수 있다는 문제점을 안고 있다. 향후 연구에서는 조명에 견고한 정확한 눈의 양쪽 끝점을 추출하는 방법에 대해여 연구를 진행할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Kalus Toennies 방법이 어두운 조명에서는 눈동자를 검출할 수 없는 이유는 무엇인가?	아래 Table 2는 조명의 상태가 밝을 때와 어두울 때 100프레임 길이의 정면만 응시하고 있는 눈동자 영상에 대해 기존의 Kalus Toennies 방법[7]과 Retno Supriyanti 방법[6] 및 본 논문에서 제안하는 방법으로 눈동자를 검출하였을 때의 검출 속도와 검출율을 나타낸다. Kalus Toennies가 제안한 방법은 일반적인 실내 조명에 대해서만 고려하였기 때문에 어두운 조명에서는 눈동자를 검출할 수 없었다.
	Haar-like feature 방법은 무엇인가?	Haar-like feature 방법은 Viola와 Jones가 제안한 haar-like feature에 의해 검출할 객체의 특징들을 학습시켜 약 분류기(weak classifier)를 만들며, 약 분류기에 의해 강 분류기(strong classifier)를 생성하고 만들어진 강 분류기를 선형구조(cascade)로 연결하여 입력된 영상에서 객체를 검출하는 방법이다[4].
	특징 기반의 얼굴 검출 방법은 어떤 장점이 있는가?	이러한 특징 기반의 얼굴 검출 방법은 다양한 조명에서도 얼굴 검출이 가능하다는 장점이 있으며, Jianguo Li가 최근에 발표한 방법[5]은 SURF(Speeded Up Robust Features)알고리즘을 기반으로 얼굴의 특징을 학습하여 에러를 발생시키는 약 분류기를 최소화하여 최종적으로 얻어지는 강 분류기 성능을 향상시켰다. 이 방법은 얼굴 검출 시 haar-like feature보다 더 적은 개수의 특징점을 이용하여 기존의 얼굴 검출 방법보다 향상된 검출 속도와 검출율을 나타낸다.

참고문헌 (11)

HwangSoo Jeon, ETRI, Industry Environment Research Team, Senior Research Engineer, "Intelligent Vehicle Safety System Development Trend" National IT Industry Promotion Agency, 2012. 8.
Korea Electronics Technology Institute, "Vehicle Safety System Industry Trend" 2010. 12.
Bernhard Froba and Andreas Ernst, "Face Detection with the Modified Census Transform", IEEE International Conference on Automatic Face and Gesture Recognition, pp.91-96, 2004.
Paul Viola and Michael Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", in Computer Vision and Pattern Recognition, pp.511-518, 2001.
Jianguo Li, Tao Wang and Yimin Zhang, "Face Detection using SURF Cascade", IEEE International Conference on Computer Vision Workshops, pp.2183-2190, 2011.
Retno Supriyanti and Budi Setiawan, "Detecting Pupil and Iris under Uncontrolled Illumination using Fixed-Hough Circle Transform", International Journal of Signal Processing, Image Processing and Pattern Recognition, Vol.5, No.4, pp.175-188, 2012.
Klaus Toennies, "Feasibility of Hough-Transform-Based Iris Localisation for Real-Time-Application", IEEE, Pattern Recognition, pp.1053-1056, 2002.
Zinn Walter and Solomon Herbert, "Eye Care, Eye Glasses and Contact Lenses" City: Lifetime Books, 1965.
John Daugman, "How iris recognition works", Proceedings of 2002 International Conference on Image Processing, Vol.1, pp.21-30, 2002.
Yoav Freund and Robert E. Schapire, "Experiments with a New Boosting Algorithm", In Proc. 13th Int. Conf. On Machine Learning, pp.148-156, 1996.
Carolyn Kimme, Dana Ballard and Jack Sklansky, "Finding Circles by an Array of Accumulators", Communication of the ACM, Vol.18, No.2, pp.120-122, 1975.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증