[논문]졸음 방지 시스템을 위한 눈 개폐 상태 판단 방법

이주현; 유형석

doi:10.5370/kiee.2014.63.12.1667

Abstract ▼ AI-Helper

This paper describes a method for detecting the pupil region and identification of the eye status for driver drowsiness detection system. This program detects a driver's face and eyes using viola-jones face detection algorithm and extracts the pupil area by utilizing mean values of each row and colu...

This paper describes a method for detecting the pupil region and identification of the eye status for driver drowsiness detection system. This program detects a driver's face and eyes using viola-jones face detection algorithm and extracts the pupil area by utilizing mean values of each row and column on the eye area. The proposed method uses binary images and the number of black pixels to identify the eye status. Experimental results showed that the accuracy of classification eye status(open/close) was above 90%.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

특히 눈은 사람의 의식 수준을 가장 잘 표현해주며 일반적으로 성인은 1분에 20번 정도 깜박거리지만, 어떤 것에 집중하게 되거나 정신적인 요소에 의해 깜박임이 감소하며 의식 수준이 낮아지면 눈을 감고 있는 시간도 길어지게 된다[5-7]. 따라서 본 논문에서는 피로도를 측정하는 눈, 특히 동공 영상을 추출하고 이를 통해 운전자의 졸음을 판단하는 방법을 제안하고 실험 결과 값을 통한 내용을 제시하고자 한다.
본 논문에서는 졸음 방지 시스템에서의 눈 개폐 상태 판단에 대한 방법을 제안하였다. 사람의 의식 수준과 상관관계가 높은 눈을 가지고 졸음을 판단하기 위해서, viola-jones face detection 알고리즘을 사용하여 눈 영역을 감지해내고 눈썹이나 다른 필요 없는 부분들을 제외하고 눈에 더 가까운 영상을 영상처리 과정을 통하여 얻어내었다.

제안 방법

그리고 나서 눈썹과 같은 필요 없는 부분을 제외하고 더욱 눈에 가까운 영상을 얻기 위해서, 이진화, 노이즈 제거, 팽창 및 침식, 레이블링의 순서로 영상 처리 과정을 거쳤다. 알고리즘을 통해 얻어낸 왼쪽, 오른쪽 눈 영상을 각각 원본 영상으로 지정하고 이 이미지를 HSI (Hue, Saturation, Intensity)로 변환 시킨 후 Intensity 값을 이용하여 영상을 이진화 하였다.
이는 같은 역치값을 가지고 이진화 했을 때 눈을뜬 영상에서는 동공에 해당하는 어두운 부분, 즉 R,G,B 값이 낮은 부분이 영상에서 대부분을 차지하고 있고 눈을 감은 영상에서는 동공에 해당하는 부분보다 피부에 해당하는 밝은 부분이 훨씬 많이 차지하고 있기 때문에 이진화 결과에서 차이가 난다. 따라서 본 연구에서는 이러한 특징을 사용하여 눈 개폐 상태를 판단하였다.
그 후 눈 영역 중 흰자위에 해당하는 부분을 최소화하기 위해서 팽창 과정을 거치고 눈 영역의 크기를 다시 원래의 크기로 되돌려 주기 위해 침식 과정을 거쳤다. 마지막으로 레이블링 과정은 눈썹이나 눈 아래쪽에 필요하지 않은 부분을 없애기 위해 레이블링이 2개 이상 되는 영상은 예외 처리하고 눈 영역에 해당하는 좌표를 저장하고 원본 눈 영상에서 해당 좌표를 가져오도록 하는 방법을 사용하였다. 이와 같은 과정은 그림 2를 통해 알 수 있다.
본 논문에서는 졸음 방지 시스템에서의 눈 개폐 상태 판단에 대한 방법을 제안하였다. 사람의 의식 수준과 상관관계가 높은 눈을 가지고 졸음을 판단하기 위해서, viola-jones face detection 알고리즘을 사용하여 눈 영역을 감지해내고 눈썹이나 다른 필요 없는 부분들을 제외하고 눈에 더 가까운 영상을 영상처리 과정을 통하여 얻어내었다. 그 후 눈 영상에서 동공 영역만을 추출해내기 위해 각 행과열의 평균값, 각 요소와 평균값의 차이를 이용하는 방법을 사용하여 동공을 추출해내었다.
먼저 본 논문에서 제안하는 눈 개폐 상태 판단 방법의 과정은 그림 4와 같다. 앞서 제안한 방법을 통해 동공 영역을 추출하고 추출된 동공 영역에서 눈 개폐 상태를 판단하기 위해 영상을 역치값을 설정하여 이진화 (binarization)를 하였다. 눈을 뜬 상태에서의 동공 추출의 결과에 역치값에 따른 영상의 이진화 영상의 black pixel의 개수와 눈을 감은 상태에서의 동공 추출의 결과에 같은 역치값에 따른 영상의 이진화 영상의 black pixel의 개수가 차이가 나는 것을 알 수 있다.

대상 데이터

실험은 Kinect와 MATLAB 2014버전을 사용하여 진행되었다. 눈의 닫힘을 인식하도록 하고 총 150프레임을 대상으로 실험을 진행하였다. 또한 운전 시의 상황과 비슷하게 연출하여 진행할 수 있도록 운전자와 카메라의 거리와 위치를 설정하였다.

데이터처리

사람의 의식 수준과 상관관계가 높은 눈을 가지고 졸음을 판단하기 위해서, viola-jones face detection 알고리즘을 사용하여 눈 영역을 감지해내고 눈썹이나 다른 필요 없는 부분들을 제외하고 눈에 더 가까운 영상을 영상처리 과정을 통하여 얻어내었다. 그 후 눈 영상에서 동공 영역만을 추출해내기 위해 각 행과열의 평균값, 각 요소와 평균값의 차이를 이용하는 방법을 사용하여 동공을 추출해내었다. 그 후 추출한 동공 영상의 이진화를 통해 눈 개폐 상태를 판단하도록 하였고, Kinect를 사용한 실험 결과는 컬러 영상의 경우 100%였고 적외선 영상은 90%로 높은 정확도를 나타내었다.

이론/모형

본 논문에서 제안하는 눈 개폐 판단 과정은 그림 1에 나타내었다. 먼저 정면 영상에서 얼굴 영역과 눈 영역을 검출하기 위해 Viola-jones face detection 알고리즘을 이용한다. 물체 검출에 유용하게 이용할 수 있는 Haar-like feature 들을 선택함으로서 물체를 검출하는데 걸리는 실행 속도가 다른 방법들에 비해 빠르고, 물체의 검출률도 다른 방법에 비해 성능이 우수하기 때문에 실시간으로 물체를 검출하는데 있어서 가장 선호되는 방법 중 하나이다[8].
실험은 Kinect와 MATLAB 2014버전을 사용하여 진행되었다. 눈의 닫힘을 인식하도록 하고 총 150프레임을 대상으로 실험을 진행하였다.

성능/효과

그 후 눈 영상에서 동공 영역만을 추출해내기 위해 각 행과열의 평균값, 각 요소와 평균값의 차이를 이용하는 방법을 사용하여 동공을 추출해내었다. 그 후 추출한 동공 영상의 이진화를 통해 눈 개폐 상태를 판단하도록 하였고, Kinect를 사용한 실험 결과는 컬러 영상의 경우 100%였고 적외선 영상은 90%로 높은 정확도를 나타내었다. 이러한 결과는 본 논문에서 제안한 방법이 실제상황에 적용되었을 때도 운전자의 졸음을 감지하기 위한 눈 개폐 상태 판단에 있어 높은 활용도를 보일 것으로 기대된다.
표 1의 결과를 보면 컬러 영상에서의 실험 결과는 실제 눈을 감은 횟수와 제안한 방법을 적용한 결과인 눈 닫힘 인식 횟수가 일치하고 그 프레임 번호 또한 일치한 것을 확인할 수 있었다. 적외선 영상의 경우 컬러 영상과 달리 RGB 값으로 구성되어 있지 않고 어둡고 밝은 값만 가지고 있기 때문에 제안한 방법이 적용은 가능하지만 컬러 영상에 비해 높은 정확도를 가지진 못했다.

후속연구

그 후 추출한 동공 영상의 이진화를 통해 눈 개폐 상태를 판단하도록 하였고, Kinect를 사용한 실험 결과는 컬러 영상의 경우 100%였고 적외선 영상은 90%로 높은 정확도를 나타내었다. 이러한 결과는 본 논문에서 제안한 방법이 실제상황에 적용되었을 때도 운전자의 졸음을 감지하기 위한 눈 개폐 상태 판단에 있어 높은 활용도를 보일 것으로 기대된다. 향후, 주의 산만을 검출해낼 수 있도록 시선을 감지 할 수 있는 연구가 함께 진행된다면 더욱 적극적인 활용이 가능할 것으로 보인다.
이러한 결과는 본 논문에서 제안한 방법이 실제상황에 적용되었을 때도 운전자의 졸음을 감지하기 위한 눈 개폐 상태 판단에 있어 높은 활용도를 보일 것으로 기대된다. 향후, 주의 산만을 검출해낼 수 있도록 시선을 감지 할 수 있는 연구가 함께 진행된다면 더욱 적극적인 활용이 가능할 것으로 보인다.

질의응답

핵심어	질문	논문에서 추출한 답변
	‘K9’ 모델의 졸음운전 감시 시스템의 작동 방식은?	최근 영상 처리 기술의 발전에 따라 지능형 자동차에 응용하는 연구가 활발하게 진행되고 있으며 특히 운전자 상태감시 기능에 대해 다양하게 제안하고 있다. 2012년에 출시된 기아 자동차 ‘K9’ 모델의 졸음운전 감시 시스템은 카메라를 통하여 운전자의 눈 깜박임과 동공을 관찰하고 그 정보를 바탕으로 다른 기기와 연결하여 운전자에게 경고를 하거나 차내를 자동으로 환기 시킨다. 도요타 자동차에서는 최초로 적외선 센서를 통해 운전자의 주의력을 감지하는 방식을 채택하였으며 벤츠는 운전자의 눈 깜박임 횟수, 동공확대, 주위를 둘러보는 횟수 같은 수치를 모니터링하여 경보 수준을 판단하는 방법을 연구 중에 있다.
	도요타 자동차에서 채택한 졸음운전 감시 방식과 시스템 원리는 무엇인가?	2012년에 출시된 기아 자동차 ‘K9’ 모델의 졸음운전 감시 시스템은 카메라를 통하여 운전자의 눈 깜박임과 동공을 관찰하고 그 정보를 바탕으로 다른 기기와 연결하여 운전자에게 경고를 하거나 차내를 자동으로 환기 시킨다. 도요타 자동차에서는 최초로 적외선 센서를 통해 운전자의 주의력을 감지하는 방식을 채택하였으며 벤츠는 운전자의 눈 깜박임 횟수, 동공확대, 주위를 둘러보는 횟수 같은 수치를 모니터링하여 경보 수준을 판단하는 방법을 연구 중에 있다. 자동차 관련 업체인 덴소가 개발한 졸음 방지 장치는 핸들 중앙에 설치된 카메라로 운전자를 촬영해 운전자의 기본 패턴을 파악해 개인별 최적화 상태를 알아내고 졸음 수준을 총 6단계로 판단한다[2-4].
	영상 처리 기술의 발전에 따라 지능형 자동차에 대한 예시 사례는 무엇인가?	최근 영상 처리 기술의 발전에 따라 지능형 자동차에 응용하는 연구가 활발하게 진행되고 있으며 특히 운전자 상태감시 기능에 대해 다양하게 제안하고 있다. 2012년에 출시된 기아 자동차 ‘K9’ 모델의 졸음운전 감시 시스템은 카메라를 통하여 운전자의 눈 깜박임과 동공을 관찰하고 그 정보를 바탕으로 다른 기기와 연결하여 운전자에게 경고를 하거나 차내를 자동으로 환기 시킨다. 도요타 자동차에서는 최초로 적외선 센서를 통해 운전자의 주의력을 감지하는 방식을 채택하였으며 벤츠는 운전자의 눈 깜박임 횟수, 동공확대, 주위를 둘러보는 횟수 같은 수치를 모니터링하여 경보 수준을 판단하는 방법을 연구 중에 있다. 자동차 관련 업체인 덴소가 개발한 졸음 방지 장치는 핸들 중앙에 설치된 카메라로 운전자를 촬영해 운전자의 기본 패턴을 파악해 개인별 최적화 상태를 알아내고 졸음 수준을 총 6단계로 판단한다[2-4].

참고문헌 (8)

http://news.koroad.or.kr/articleview.php?idx196
Q. Ji, et al., "Real-time nonintrusive monitoring and prediction of driver fatigue," Ieee Transactions on Vehicular Technology, vol. 53, pp. 1052-1068, Jul 2004.

상세보기
Comprehensive analysis of the market prospects for the black boxes and business Strategies for cars : MARKET REPORT, 2013. 9
http://www.automotivereport.co.kr/news/articlecView.html?idxno131
Tomofurni Miyakawa, Hironobu Takano, and Kiyomi Nakamura, "Development of Non-contact Real-time Blink Detection System for Doze Alarm", SICE Annual Conference in Sapporo, pp. 1626-1631, August 4-6, 2004
J. Sweller, "Element Interactivity and Intrinsic, Extraneous, and Germane Cognitive Load," Educational Psychology Rev., vol. 22, no. 2, 2010, pp. 123-138.

상세보기
R. Schleicher et al., "Blinks and Saccades as Indicators of Fatigue in Sleepiness Warnings: Looking Tired?" Ergonomics, vol. 51, no. 7, 2008, pp. 982-1010.

상세보기
P. Viola and M. J. Jones, "Robust real-time face detection," International Journal of Computer Vision, vol. 57, pp. 137-154, May 2004.

상세보기

이 논문을 인용한 문헌

저자의 다른 논문 :

LOADING...

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

졸음 방지 시스템을 위한 눈 개폐 상태 판단 방법
A Method to Identify the Identification Eye Status for Drowsiness Monitoring System 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

연구과제 타임라인

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

졸음 방지 시스템을 위한 눈 개폐 상태 판단 방법 A Method to Identify the Identification Eye Status for Drowsiness Monitoring System 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

유형석 (15)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

졸음 방지 시스템을 위한 눈 개폐 상태 판단 방법
A Method to Identify the Identification Eye Status for Drowsiness Monitoring System 원문보기

AI 본문요약
AI-Helper