본 논문은 개선된 얼굴검출알고리즘과 눈의 개폐 빈도수로부터 운전자의 졸음을 판단하는 방법을 제안한다. 이를 위해 기존의 Viola-Jones 알고리즘과 얼굴의 공간적 상관관계를 이용하여 얼굴, 눈, 코, 입을 검출한다. 여기서, 얼굴의 공간적 상관관계는 7가지 특징에 기반한 DFP(Detect Face Part)에 의해 수행된다. Caltect 얼굴 데이터베이스에 실험을 한 결과, 특히 코 영역에 대한 검출률은 기존 Viola-Jones 알고리즘과 비교하여 13.78% 증가된 검출률을 보여주고 있다. 그리고, SVM(Support Vector Machine)과 PERCLOS(Percentage Closure of Eyes)을 사용해 시간에 따른 눈 개폐상태의 누적 값으로 운전자의 졸음 판단을 분석한다. 실험결과 93.28%의 운전자 졸음판단률을 얻어 제안된 방법의 유용성을 확인하였다.
본 논문은 개선된 얼굴검출 알고리즘과 눈의 개폐 빈도수로부터 운전자의 졸음을 판단하는 방법을 제안한다. 이를 위해 기존의 Viola-Jones 알고리즘과 얼굴의 공간적 상관관계를 이용하여 얼굴, 눈, 코, 입을 검출한다. 여기서, 얼굴의 공간적 상관관계는 7가지 특징에 기반한 DFP(Detect Face Part)에 의해 수행된다. Caltect 얼굴 데이터베이스에 실험을 한 결과, 특히 코 영역에 대한 검출률은 기존 Viola-Jones 알고리즘과 비교하여 13.78% 증가된 검출률을 보여주고 있다. 그리고, SVM(Support Vector Machine)과 PERCLOS(Percentage Closure of Eyes)을 사용해 시간에 따른 눈 개폐상태의 누적 값으로 운전자의 졸음 판단을 분석한다. 실험결과 93.28%의 운전자 졸음판단률을 얻어 제안된 방법의 유용성을 확인하였다.
In this paper, we propose an improved face detection algorithm and determination method for drowsiness status of driver from the opening and closing frequency of the detected eye. For this purpose, face, eyes, nose, and mouth are detected based on conventional Viola-Jones face detection algorithm an...
In this paper, we propose an improved face detection algorithm and determination method for drowsiness status of driver from the opening and closing frequency of the detected eye. For this purpose, face, eyes, nose, and mouth are detected based on conventional Viola-Jones face detection algorithm and spatial correlation of face. Here the spatial correlation of face is performed by DFP(Detect Face Part) based on seven characteristics. The experimental results on Caltect face image database revealed that the detection rates of noise particularly showed the improved performance of 13.78% in comparison to that of the previous Viola-Jones algorithm. Furthermore, we analyze the driver's drowsiness determination cumulative value of the eye closed state as a function of time based on SVM (Support Vector Machine) and PERCLOS(Percentage Closure of Eyes). The experimental results confirmed the usefulness of the proposed method by obtaining a driver's drowsiness determination rate of 93.28%.
In this paper, we propose an improved face detection algorithm and determination method for drowsiness status of driver from the opening and closing frequency of the detected eye. For this purpose, face, eyes, nose, and mouth are detected based on conventional Viola-Jones face detection algorithm and spatial correlation of face. Here the spatial correlation of face is performed by DFP(Detect Face Part) based on seven characteristics. The experimental results on Caltect face image database revealed that the detection rates of noise particularly showed the improved performance of 13.78% in comparison to that of the previous Viola-Jones algorithm. Furthermore, we analyze the driver's drowsiness determination cumulative value of the eye closed state as a function of time based on SVM (Support Vector Machine) and PERCLOS(Percentage Closure of Eyes). The experimental results confirmed the usefulness of the proposed method by obtaining a driver's drowsiness determination rate of 93.28%.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 눈 영역 안에서의 동공 영역뿐만 아니라 눈꺼풀의 영역을 이용해 좀 더 넓은 검출 범위와 임계 값을 가지게 하여 검출의 정확도를 향상시킨다. 실험을 위해 1300만화소의 G2카메라 영상을 이용하여 운전자의 운행 및 졸음상태를 파악하며, 얼굴검출과 눈의 검출을 위해서일반적으로 많이 사용되는 알고리즘인 Viola-Jones 알고리즘과 얼굴의 공간적 상관관계를 근거로 하여 기존보다 더 좋은 검출영상을 얻고, Adaboost 알고리즘의 연산속도와 정확도의 향상을 위해 종속형태의 구조로 생성한다.
본 논문에서는 얼굴의 공간적 상관관계 방법에 기반 한 Viola Jones 알고리즘을 통해 효과적인 얼굴검출과 지역적인 눈, 코, 입을 검출하고, 운전자의 졸음판단 요인 중 하나인 눈의 개폐에 대한 졸음판단 방법을 제안하였다. 제안된 방법은 기존의 얼굴 검출방법에 얼굴모양에 대한 공간적 상관관계를 추가하여 눈, 코, 입, 얼굴에 인식률을 향상 시켰다.
그림 5는 위에서 설명한 DFP 방법과 Haar-like 특징을 통해 얼굴 전체 이미지에서 눈과 코, 그리고 입을 검출하고 추출한 이미지를 보여준다. 본 논문에서는 운전자의 눈 개폐를 통한 졸음판단 분석을 위해 눈 영역에 대한 부분을 따로 검출하고, 검출된 눈 영역에서 왼쪽과 오른쪽 눈 영역을 각각 검출하여 분석한다.
제안 방법
78% 증가하여 실험에 대한 유효성을 확인했다. 검출된 영상으로부터 운전자의 졸음을 판단하기 위해 색상정보를 통해 얻어진 이진화 영상은 SVM을 통한 학습과정을 거쳐 시간에 따른 눈 개폐 상태의 누적 값으로 운전자의 졸음상태를 분류하였다. PERCLOS 의 기준에 따라 누적 값이 31%부터인 37프레임 이상 닫힘 상태가 지속되면, 운전자가 졸음상태라고 판단한다.
얼굴에서 양 눈과 코 그리고 입의 위치는 크게 벗어나지 않기 때문에 낮은 임계 값을 가지는 얼굴 검출기로 얼굴과 비슷한 모양의 임계 값을 가지는 후보를 찾는다. 그 후 탐지된 얼굴 후보들 중에서 임계값을 높인 Haar-like 특징의 예를 이용한 정밀한 검출기를 통하여 얼굴을 검출한다. 그림 4에서와 같이 검출된 얼굴의 x값에는 검출된 얼굴의 좌표 값 및 얼굴 크기의 값에 대한 정보를 얻을 수 있다.
제안된 방법은 기존의 얼굴 검출방법에 얼굴모양에 대한 공간적 상관관계를 추가하여 눈, 코, 입, 얼굴에 인식률을 향상 시켰다. 또한, RGB 컬러 영상의 전 처리 후 라벨링 과정을 거쳐 최종적으로 SVM을 이용하여 운전자의 졸음을 판단하였다. 향후 연구에서는 조명의 변화에 대한 방법 등을 해결하기 위해 다른 전 처리 과정 및 운전자의 시선의 방향이나 입의 개폐에 따른 졸음판단 요인을 늘려 더욱 정확하고 세밀한 졸음판단 분석을 연구할 예정이다.
본 논문에서는 눈의 영역을 생성하기 위해 전 처리 과정으로 이진화를 수행한다. 그림 6과 같이 공간적 상관관계를 이용한 Haarlike 방법으로 추출된 눈의 RGB이미지를 이용하여 그레이스케일 이미지로 변환한다.
Caltech 얼굴 데이터베이스는 447장의 배경에 존재하는 얼굴 영상과 3장의 얼굴그림으로 구성되어 있고 얼굴 영상에는 조명 변형 및 표정 변형이 존재한다. 본 논문에서는 총 450장의 원본 이미지 모두 기존의 Viola-Jones 알고리즘과 제안한 DFP방법으로 얼굴과각 부위에 대한 인식률 실험을 하였다. 그림 8은 Caltech 얼굴 데이터베이스를 통한 기존 Viola-Jones 알고리즘과 제안한 DFP 방법을 통해 검출된 얼굴 및 눈, 코, 입에대한 결과 영상을 보여주며 표 1은 실험결과에 대한 인식률의 차이를 보여준다.
본 논문에서는 눈 영역 안에서의 동공 영역뿐만 아니라 눈꺼풀의 영역을 이용해 좀 더 넓은 검출 범위와 임계 값을 가지게 하여 검출의 정확도를 향상시킨다. 실험을 위해 1300만화소의 G2카메라 영상을 이용하여 운전자의 운행 및 졸음상태를 파악하며, 얼굴검출과 눈의 검출을 위해서일반적으로 많이 사용되는 알고리즘인 Viola-Jones 알고리즘과 얼굴의 공간적 상관관계를 근거로 하여 기존보다 더 좋은 검출영상을 얻고, Adaboost 알고리즘의 연산속도와 정확도의 향상을 위해 종속형태의 구조로 생성한다. 이 후 검출된 얼굴 영역에서 눈의 영역을 따로 검출한 이후 검출된 눈 영역의 최대-최소 명도 값을 이용하여 이진화의 임계 값을 설정하고, 이진화 된 눈의 영상에서 Y축의 좌표 두께분포를 통해 운전자의 눈 개폐여부를 판단한다.
일반적인 SVM은 두 개 클래스에 대해서만 사용이 가능하기 때문에 본 논문에서는 눈이 열려있을 때와 닫혀있을 때 이진 분류를 수행한다. 운전자의 총 792프레임 중개폐 된 눈 프레임을 각각 75개씩 총 150프레임을 추출하여 학습 후 실험을 진행한다.
실험을 위해 1300만화소의 G2카메라 영상을 이용하여 운전자의 운행 및 졸음상태를 파악하며, 얼굴검출과 눈의 검출을 위해서일반적으로 많이 사용되는 알고리즘인 Viola-Jones 알고리즘과 얼굴의 공간적 상관관계를 근거로 하여 기존보다 더 좋은 검출영상을 얻고, Adaboost 알고리즘의 연산속도와 정확도의 향상을 위해 종속형태의 구조로 생성한다. 이 후 검출된 얼굴 영역에서 눈의 영역을 따로 검출한 이후 검출된 눈 영역의 최대-최소 명도 값을 이용하여 이진화의 임계 값을 설정하고, 이진화 된 눈의 영상에서 Y축의 좌표 두께분포를 통해 운전자의 눈 개폐여부를 판단한다. 최종적으로 운전자의 졸음판단은 기계학습 분야 중 하나인 SVM(Support Vector Machine)과 운전자의 피로도를 측정할 수 있는 가장 효율적인 기준인 PERCLOS(Percentage Closure of Eyes)를 사용해 시간에 따른 운전자 눈 개폐 상태의 빈도수를 이용한 운전자의 졸음판단을 분석한다[6].
이진화 및 라벨링된 눈 영역 이미지에서 추출된 특징벡터로부터 운전자의 졸음상태 판단을 SVM(Support Vector Machine)을 이용하여 모델링하고 분류를 수행한다. SVM은 마진을 이용하여 각 클래스를 분류한다.
여기서 마진은 분류할 데이터와 커널 함수가 만날 때까지 확장한 폭을 말하며, 이 마진을 최대화 하는 방법을 최적 분류 초평면이라고 한다[8]. 일반적인 SVM은 두 개 클래스에 대해서만 사용이 가능하기 때문에 본 논문에서는 눈이 열려있을 때와 닫혀있을 때 이진 분류를 수행한다. 운전자의 총 792프레임 중개폐 된 눈 프레임을 각각 75개씩 총 150프레임을 추출하여 학습 후 실험을 진행한다.
이 후 검출된 얼굴 영역에서 눈의 영역을 따로 검출한 이후 검출된 눈 영역의 최대-최소 명도 값을 이용하여 이진화의 임계 값을 설정하고, 이진화 된 눈의 영상에서 Y축의 좌표 두께분포를 통해 운전자의 눈 개폐여부를 판단한다. 최종적으로 운전자의 졸음판단은 기계학습 분야 중 하나인 SVM(Support Vector Machine)과 운전자의 피로도를 측정할 수 있는 가장 효율적인 기준인 PERCLOS(Percentage Closure of Eyes)를 사용해 시간에 따른 운전자 눈 개폐 상태의 빈도수를 이용한 운전자의 졸음판단을 분석한다[6].
대상 데이터
실험의 간소성을 위해 그림 9과 같이 현대자동차 i-30차량에서 눈 영상 데이터베이스를 구축하였다. 1300만 화소의 G2 스마트폰 카메라 영상을 기반으로 저속도에서 운행초반부와 운행중반부 그리고 운행후반부에 졸음운전과 유사한 형태의 480x272의 해상도, 1초당 24프레임의 3가지 졸음주행 영상을 취득하였다.
실험의 간소성을 위해 그림 9과 같이 현대자동차 i-30차량에서 눈 영상 데이터베이스를 구축하였다. 1300만 화소의 G2 스마트폰 카메라 영상을 기반으로 저속도에서 운행초반부와 운행중반부 그리고 운행후반부에 졸음운전과 유사한 형태의 480x272의 해상도, 1초당 24프레임의 3가지 졸음주행 영상을 취득하였다.
제안된 DFP방법의 유효성을 확인하기 위해 자연스러운 배경을 포함하고 있는 Caltech 얼굴 데이터베이스를 이용한다[9]. Caltech 얼굴 데이터베이스는 447장의 배경에 존재하는 얼굴 영상과 3장의 얼굴그림으로 구성되어 있고 얼굴 영상에는 조명 변형 및 표정 변형이 존재한다.
데이터처리
DFP 방법을 추가 한 Viola-Jones 알고리즘의 유효성을 판단하기 위해 Caltect 얼굴 데이터베이스를 이용한 기존 Viola-Jones 의 알고리즘과 성능을 비교했다. 실험결과 전체적인 검출률이 증가되었고 특히 코 영역에 대한 검출률은 13.
이론/모형
본 논문에서는 Lienhart[15]의 CART(Classification and Regression Tree Analysis)기반의 학습모델을 사용하며, positive 5,000개와 negative 1,000개의 영상이 분류기 설계에 사용된다.
성능/효과
표 2은 DFP 방법을 통해 추출된 RGB 컬러 이미지를 최대-최소 명도 값을 이용해 이진화 과정을 거친 후, 라벨링을 통해 후보 영역의 오차를 최소화 시켜 최종적으로 추출된 영역의 Y축 픽셀의 수로 눈 개폐상태를 구한다. SVM의 최적 분류 초평면을 이용해 눈 개폐의 빈도수를 통한 운전자의 졸음판별에 대한 인식률은 93.28%를 나타낸다.
DFP 방법을 추가 한 Viola-Jones 알고리즘의 유효성을 판단하기 위해 Caltect 얼굴 데이터베이스를 이용한 기존 Viola-Jones 의 알고리즘과 성능을 비교했다. 실험결과 전체적인 검출률이 증가되었고 특히 코 영역에 대한 검출률은 13.78% 증가하여 실험에 대한 유효성을 확인했다. 검출된 영상으로부터 운전자의 졸음을 판단하기 위해 색상정보를 통해 얻어진 이진화 영상은 SVM을 통한 학습과정을 거쳐 시간에 따른 눈 개폐 상태의 누적 값으로 운전자의 졸음상태를 분류하였다.
본 논문에서는 얼굴의 공간적 상관관계 방법에 기반 한 Viola Jones 알고리즘을 통해 효과적인 얼굴검출과 지역적인 눈, 코, 입을 검출하고, 운전자의 졸음판단 요인 중 하나인 눈의 개폐에 대한 졸음판단 방법을 제안하였다. 제안된 방법은 기존의 얼굴 검출방법에 얼굴모양에 대한 공간적 상관관계를 추가하여 눈, 코, 입, 얼굴에 인식률을 향상 시켰다. 또한, RGB 컬러 영상의 전 처리 후 라벨링 과정을 거쳐 최종적으로 SVM을 이용하여 운전자의 졸음을 판단하였다.
눈, 입과 코의 추출은 x값에서 구해진 정보들을 통하여 두 눈과 턱 사이에 위치하는 공간적 상관관계를 이용해서 찾을 수 있으며 이에 대한 특징은 다음 7가지 특징을 가진다. 첫 번째로 머리의 평균 길이는 평균적으로 눈 길이의 5배에 해당된다. 두 번째는 양쪽 눈의 위치는 평균적으로 머리의 끝 부분과 턱 사이의 중간에 위치하고, 두 눈 사이의 거리는 일반적으로 한쪽 눈의 길이와 같다.
후속연구
또한, RGB 컬러 영상의 전 처리 후 라벨링 과정을 거쳐 최종적으로 SVM을 이용하여 운전자의 졸음을 판단하였다. 향후 연구에서는 조명의 변화에 대한 방법 등을 해결하기 위해 다른 전 처리 과정 및 운전자의 시선의 방향이나 입의 개폐에 따른 졸음판단 요인을 늘려 더욱 정확하고 세밀한 졸음판단 분석을 연구할 예정이다.
질의응답
핵심어
질문
논문에서 추출한 답변
졸음이란 무엇인가?
졸음은 각성과 수면의 중간상태에서 의식이 사라지면서 수면으로 진행되는 것을 정의한다. 특히 운전과 같이 항상 정확한 판단과 빠른 반응속도를 요구하는 상황에서는 상당한 위험 요인들 중에 하나로 판단된다.
한국에서 졸음운전으로 인한 교통사고는 어느 정도 일어나는가?
특히 운전과 같이 항상 정확한 판단과 빠른 반응속도를 요구하는 상황에서는 상당한 위험 요인들 중에 하나로 판단된다. 실제로 졸음운전으로 인한 교통사고는 한국에서는 1년 동안 총 3219건이 발생하였으며, 이는 하루 평균 약 7건의 졸음운전으로 인한 교통사고가 발생하는 것을 나타내고, 미국 고속도로 안전관리국인 NHTSA(National Highway Traffic Safety Administration)에 따르면 졸음운전은 미국에서도 교통안전과 관련해 가장 골치 아픈 문제 중 하나로, 연간 10만 여건의 충돌사고를 일으키는 요인이 되어 1천 550명이 사망하고 4천여 명이 부상당한다[1]. 또한 사고 피해의 심각성을 나타내는 치사율(교통사고 100건당 사망자의 수)을 보더라도 졸음운전 사고는 5건으로 전체 교통사고 치사율인 2.
본 논문에서 제안한, 얼굴의 공간적 상관관계 방법에 기반 한 Viola Jones 알고리즘을 이용한 눈의 개폐에 대한 졸음판단 방법은 어떤 원리인가?
본 논문에서는 얼굴의 공간적 상관관계 방법에 기반 한 Viola Jones 알고리즘을 통해 효과적인 얼굴검출과 지역적인 눈, 코, 입을 검출하고, 운전자의 졸음판단 요인 중 하나인 눈의 개폐에 대한 졸음판단 방법을 제안하였다. 제안된 방법은 기존의 얼굴 검출방법에 얼굴모양에 대한 공간적 상관관계를 추가하여 눈, 코, 입, 얼굴에 인식률을 향상 시켰다. 또한, RGB 컬러 영상의 전 처리 후 라벨링 과정을 거쳐 최종적으로 SVM을 이용하여 운전자의 졸음을 판단하였다. 향후 연구에서는 조명의 변화에 대한 방법 등을 해결하기 위해 다른 전 처리 과정 및 운전자의 시선의 방향이나 입의 개폐에 따른 졸음판단 요인을 늘려 더욱 정확하고 세밀한 졸음판단 분석을 연구할 예정이다.
참고문헌 (15)
Article of the korean times 2009-04-03
S. M. Kang, K. M. Huh, Y. B. Joo, "Development of a drowsiness detection system using edge of eyes image," IEIE (The Institute of Electronics and Information Engineers) 2016 Information and Control Symposium, pp. 222-224, 2016.
J. M. Choi, H. Song, S. H. Park and C. D. Lee , "Implementation of driver fatigue monitoring system," The Journal of the Institute of Webcasting, Internet and Telecommunication, vol. 37, pp. 711-720, 2012.
J. Lee, H. Yoo, "A method to identify the identification eye status for drowsiness monitoring system," Transactions of The Korean Institute of Electrical Engineers, vol. 63, no. 12, pp. 1667-1670, 2014.
Jae-Kyung Sung, In-Ho Choi, Sang-Min Park, Yong-Guk Kim, "Measure and analysis of open-close frequency of mouth and eyes for sleepiness decision," The Journal of the Institute of Internet, Broadcasting and Communication(IIBC), vol. 14, no. 3, pp. 89-97, 2014.
S. Darshana, D. Fernando, "Efficient PERCLOS and gaze measurement methodologies to estimate driver attention in real time," International Conference on Intelligent Systems, pp. 27-29, 2014.
S. L. Ham, N. Kwak, "Binary classification by the combination of Adaboost and feature extraction methods," Journal of the Institute of Electronics Engineers of Korea-CI, vol. 49, no.4, pp. 42-53, 2012.
S. C. Lim, S. J. Jang, S. P. Lee, M. Y. Kim "Feature-Vector normalization for SVM-Based Music Genre Classification," Journal of the Institute of Electronics Engineers of Korea-SC, vol. 48, no.5, pp. 31-36, 2011.
M. Weber 1999, Faces 1999 Front database", Available: http://www.vision.caltech.edu/archive.html, 1999
H. Han, U. Chong, "Electroencephalogram- based Driver Drowsiness Detection System Using AR Coefficients and SVM," Journal of Korean Institute of Intelligent Systems, vol. 22, no. 6, pp. 768-773, 2012.
J. Yang, S. Cho, S. T. Chung, "Fake Face Detection System Using Pupil Reflection," Journal of Korean Institute of Intelligent Systems, vol. 20, no. 5, pp. 645-651, 2010.
C. H. Han, K. B. Sim, "Development of Driver's Emotion and Attention Recognition System using Multi-modal Sensor Fusion Algorithm," Journal of Korean Institute of Intelligent Systems, vol. 18, no. 6, pp. 754-761, 2010.
Y. H. Joo, J. K. Kim, I. H. Ra, "Intelligent Drowsiness Drive Warning System," Journal of Korean Institute of Intelligent Systems, vol. 18, no. 2, pp. 223-229, 2008.
C. Lee, C. H. Rhee, "Region Based Fuzzy Neural Networks for Face Detection," Journal of Korean Institute of Intelligent Systems, vol. 11, no. 1, pp. 39-44, 2001.
R. Lienhart, A. Kuranov, and V. Pisarevsky "Empirical Analysis of Detection Cascades of Boosted Classifiers for Rapid Object Detection," Proceedings of the 25th DAGM Symposium on Pattern Recognition, Magdeburg, Germany, 2003.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.