선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 주파수 감쇠와 증폭에 사용되는 Homomorphic Filter는 응용 분야에 따라 감쇠 정도와 증폭 정도가 구분된다. 본 논문에서는 인체 측정학을 기반으로 눈의 크기가 얼굴의 크기와 비례하고 눈의 정보가 얼굴 영상에서 고주파에 몰려있다는 점을 이용하여 눈의 정보를 최대한 살려주면서 조명 정보를 감쇠시켰다.
- 본 논문은 II 장에서 운전자 졸음 인식 기술에 대한 전체적인 흐름을 간략히 설명하고 영상 전처리, 얼굴 영역 검출, 조명 정규화, 눈동자 및 눈 검출, 깜박임 검출에 대하여 소개한다. III 장에서는 안전운전 보조 시스템의 모듈별 구성을 소개한다.
- 본 논문에서 나타낸 그림 11의 (a), (b), (c)의 눈의 윤곽 영상은 조명 정규화 상수를 동일하게 설정한 것이지만 (d)의 경우에는 적외선 영상에 맞추어 다르게 설정하였다. 본 논문은 맑은 날, 흐린 날과 같은 다양한 날씨와, 측면 직접광, 후면 직접광, 정면 직접광 등 다양한 빛의 방향에 대하여 실험하였다.
- 이는 주행 방향에 따라 광원의 방향이 바뀔 뿐만 아니라 직접광, 반사광, 확산광 등, 빛의 종류도 다양하기 때문이다. 본 논문은 이러한 문제를 해결하기 위하여 얼굴의 조명 정보를 정규화하고 눈의 검출률을 높이기 위해 조명 정규화를 수행한다.
- 차량은 날씨와 광원의 방향성, 빛의 종류 (직접광 반사광 확산광) 등에 의해 복잡한 조명 환경에 노출된다. 이와 같은 조명에 대응하기 위하여 본 논문은 영상 전체의 화질을 개선하는 영상 전처리 과정과 얼굴의 조명을 보정하는 조명 정규화 과정을 수행한다. 본 장에서는 영상 전처리 과정에 대하여 설명한다.
제안 방법
- 경보는 세 단계로 구성되는데 운전자가 짧은 시간동안 눈을 감고 있을 때는 알람으로 경보를 주고 지속적으로 눈을 감고 있을 때는 차량 네트워크를 통해 안전벨트가 진동되어 운전자에게 경보를 전달하도록 설계되었다. 마지막으로 안전벨트가 진동되는데도 운전자가 졸고 있다고 판단되면 차량 안전제어 시스템에서 제동을 할 수 있는 신호를 보내준다.
- 고주파 성분을 제거하는 방법은 양방향 보간법으로 영상을 축소시키는 것이다. 그러나 축소된 영상은 눈 정보의 윤곽을 손실시키는 효과가 있기 때문에 원본 영상의 눈 정보를 병렬적으로 추출하여 눈 정보를 보완한다. 축소된 영상은 원본 영상과 합 연산을 하기 전에 모폴로지 팽창을 이용하여 눈 후보 영역을 확대시킨다.
- 히스토그램 평활화는 대조(Contrast)를 증가시켜 화질을 개선하는 기법이다. 누적분포함수(Cumulative Distribution Function)의 특징을 이용하여 화소 값(Intensity)을 선형적으로 재배치함으로써 화소 값이 몰려있는 현상을 해결한다.
- 본 논문은 이러한 문제를 해결하기 위하여 영상 전처리 과정과, 얼굴 조명정규화 과정, 눈 조명 정규화 과정을 수행하였다. 또한 운전자 졸음 인식 시스템을 임베디드시스템에 적용하기 위하여 낮은 연산 처리를 요구하는 알고리즘을 개발하였다. 덧붙여 상용화를 목표로 일반 저가형 카메라를 영상 입력장치로 사용하였다.
- 본 논문에서 제안하는 방법은 영상 축소, 이진화, 모폴로지 팽창, AND 연산 등, 낮은 연산을 요구하는 기술이 주를 이룬다. 조명 정규화의 경우는 FFT와 IFFT를 처리하는 과정에서 다소 높은 연산을 수행할 수 있으나 이는 하드웨어 처리로 해결할 수 있다.
- 본 논문의 II장에서는 색상 계 변환부터 시작하여영상 전처리, 얼굴 검출, 조명 정규화, 눈동자 및 눈 검출, 깜박임 및 졸음 판별 등의 영상처리 기술과 차량 네트워크 기술을 이용한 경보 시스템까지 전반적인 운전자 졸음 인식 시스템에 대하여 소개하고, 조명정규화 기술을 응용하여 안정된 이진 눈 윤곽 추출을 실현시켰다. 본 논문에서 제안한 Circle Mask의 경우, 안경정보를 감쇠시키는 효과가 있어 눈의 검출률을 높일 수 있었으나 두꺼운 테를 가진 안경에는 효과가 없음이 증명되어 다른 기술을 개발 중이다. 현재 Circle Mask 기술은 눈의 영역 및 눈동자를 검출하는데 사용된다.
- . 본 논문에서는 대표적인 방법인 히스토그램 평활화 방법을 응용하였다. 히스토그램 평활화는 대조(Contrast)를 증가시켜 화질을 개선하는 기법이다.
- MGWR을 이용한 방법은 개인별로 적절한 Response Wave를 선정해야 한다는 단점이 있으며, 동공을 이용한 방법은 주시 방향 변화에 취약하다는 단점이 있다. 본 논문은 각 기법의 단점을 보완하기 위하여 조명 정규화를 통해 조명 잡음에 대응한 후, 눈의 윤곽을 추출하여 깜박임 및 졸음 판별에 사용하였다.
- 그러나 영상을 이용한 운전자 졸음 인식시스템은 차량 내의 복잡한 조명환경으로 인하여 개발에 어려움을 겪고 있다. 본 논문은 이러한 문제를 해결하기 위하여 영상 전처리 과정과, 얼굴 조명정규화 과정, 눈 조명 정규화 과정을 수행하였다. 또한 운전자 졸음 인식 시스템을 임베디드시스템에 적용하기 위하여 낮은 연산 처리를 요구하는 알고리즘을 개발하였다.
- 본 시스템은 그림 12와 같이 카메라에 의해 영상을 획득하는 모듈, 알고리즘에 의해 졸음 상태를 판별하는 모듈, 차량네트워크를 통해 안전벨트 진동의 경보를 주는 모듈로 구성되었다.
- 본 연구는 상용화를 목표로 개발되었기에 저가형 웹캠을 사용하였으며, 임베디드 시스템의 고속 처리를 위하여 각 알고리즘에 맞게 다양한 해상도를 사용하였다.
- 운전자의 졸음 여부를 판별하기 위하여 심장 박동, 뇌파, 호흡, 핸들링 조작, 눈의 개폐여부 등 다양한 방법이 연구되고 있다. 본 연구에서는 영상처리를 통해 얻어진 눈의 정보를 이용하여 차량 네트워크인 CAN(Controller Area Network)으로 운전자에게 경보를 주는 안전운전 보조시스템을 구현하였다.
- 얼굴에서 눈의 영역을 찾기 위해 인체측정학과 조명 정규화의 화소 값을 이용하여 눈 후보 영역을 줄였다. 인체측정학을 이용한 눈 후보 영역은 얼굴의 중심으로부터 상단 부위까지 비교적 넓은 영역을 할당했으며 화소 값에 의한 후보 영역은 눈을 못 찾는 일이 없도록 넓은 분포 값으로 설정하였다.
- 덧붙여 상용화를 목표로 일반 저가형 카메라를 영상 입력장치로 사용하였다. 영상을 통해 눈 깜박임 및 졸음이 판별되면 본 논문에서 제안하는 시스템은 세 단계로 위험수준을 구분하여 경보신호를 전달해 준다. 운전자의 졸음 정도가 낮다고 판별되면 알람을 울려 운전자에게 경보를 주고 운전자의 졸음 정도가 중간정도일 경우에는 차량 네트워크인 CAN 기반 전동 시스벨트를 연동시켜 운전자에게 경보를 전달한다.
- 그러나 눈동자의 유무는 눈을 판별하는데 중요한 특징 값 중에 하나이며 피부에 드리워진 음영에 따라 눈매와 비슷한 윤곽이 생성되어 오검출이 될 수 있다. 이러한 점을 해결하기 위해서 Eigen-eye와 Circle Mask를 융합하였다.
- 조명으로 인한 피부 영역의 노이즈 혹은 반사광의 고주파 성분은 눈 영역을 추출할 때 오류를 발생시킬 수 있다. 이를 해결하기 위하여 후보 영역의 고주파 성분을 제거한 후 이진화하여 눈 윤곽 정보를 추출한다. 고주파 성분을 제거하는 방법은 양방향 보간법으로 영상을 축소시키는 것이다.
- 조명의 정보를 감쇠시킨 영상은 저주파 성분의 크기 값 차이 때문에 화소 값이 정규화가 이뤄지지 않은 상태이다. 이를 해결하기 위하여 히스토그램 적합화를 수행한다.
- 얼굴에서 눈의 영역을 찾기 위해 인체측정학과 조명 정규화의 화소 값을 이용하여 눈 후보 영역을 줄였다. 인체측정학을 이용한 눈 후보 영역은 얼굴의 중심으로부터 상단 부위까지 비교적 넓은 영역을 할당했으며 화소 값에 의한 후보 영역은 눈을 못 찾는 일이 없도록 넓은 분포 값으로 설정하였다.
- 실험 환경은 실험실과 차량 내부이며 두 환경에서 좋은 성능을 보였다. 차량에서의 실험은 맑은 날, 흐린 날 등 다양한 날씨 환경에서 실험했으며 광원은 방향이나 성질 등을 고려해서 실험하였다. 적외선 실험은 실험실 내부에서만 이루어졌다.
대상 데이터
- 차량동영상 5∼8은 차량동영상 1∼4에 비하여 낮은 얼굴 검출률을 보이는데 이는 열악한 조명 환경에서 얼굴 입력 영상 크기가 작게 들어온 경우이다. 본 연구는 운전자의 차량 내 자세를 고려하여 입력 영상내의 얼굴 크기가 작은 경우를 고려하여 다양한 크기의 얼굴영상을 사용하였다. 차량동영상 9∼10의 경우는 깜박임 검출률이 차량동영상 1∼4에 비하여 낮게 나왔는데 이는 깜박임 검출 알고리즘보다는 눈 검출 알고리즘의 성능이 낮게 나와서 발생한 경우이다.
이론/모형
- 본 논문에서는 주파수 분리를 위해 FFT를 사용하였고 저주파 감쇠와 고주파 증폭을 위해 Homomorphic Filter를 사용하였다. 또한 조명 정규화를 위하여 히스토그램 적합화(Histogram Fitting)를 사용하였다[6].
- , 컬러 정보를 이용하는 방법, 윤곽선을 이용하는 방법 등이 있다. 본 논문에서는 Eigen-eye[8]와 Circle Mask를 융합한 방법을 사용한다. Eigen-eye는 추출된 얼굴 크기에 비례하여 눈의 크기를 예측하고 데이터베이스의 눈 크기에 맞도록 변환하는 Adaptive PCA방법이다[9].
- . 본 논문에서는 Haar-like Feature를 기반으로 한 Cascade Classifier방법을 사용한다[4]. 이 방법은 여러 단계의 약분류기를 이용하여 강분류기를 구성한 Paul Viola의 Boosted Cascade 방법[5]을 변형한 것으로 기울어진 얼굴 정보를 추출하기 위하여 그림 2와 같이 회전된 Haar-like Feature를 추가로 적용했다.
- 일반적으로 조명 정규화는 조명 정보가 저주파에 집중되어 있다는 점과 특징 값이 고주파에 집중되어 있다는 점을 이용하여 저주파의 특징을 감쇠시키고 고주파의 특징을 증폭시키는 방법을 사용한다. 본 논문에서는 주파수 분리를 위해 FFT를 사용하였고 저주파 감쇠와 고주파 증폭을 위해 Homomorphic Filter를 사용하였다. 또한 조명 정규화를 위하여 히스토그램 적합화(Histogram Fitting)를 사용하였다[6].
- 본 논문에서는 Haar-like Feature를 기반으로 한 Cascade Classifier방법을 사용한다[4]. 이 방법은 여러 단계의 약분류기를 이용하여 강분류기를 구성한 Paul Viola의 Boosted Cascade 방법[5]을 변형한 것으로 기울어진 얼굴 정보를 추출하기 위하여 그림 2와 같이 회전된 Haar-like Feature를 추가로 적용했다.
- 화소 값이 일부 영역에 몰려서 분포할 경우, 이를 정규화 시키면 이산적인 분포 형태를 가지게 되는데 이는 영상 내에서 계단 현상을 발생시킬 수 있는 요소가 된다. 이를 해결하기 위하여 본 논문은 히스토그램 평활화 과정 이후에 4-이웃화소(4-Neighbour) 간에 Gaussian Blur 방법을 적용했다.
성능/효과
- 차량동영상 9∼10의 경우는 깜박임 검출률이 차량동영상 1∼4에 비하여 낮게 나왔는데 이는 깜박임 검출 알고리즘보다는 눈 검출 알고리즘의 성능이 낮게 나와서 발생한 경우이다. 10개의 동영상 프레임을 이용하여 테스트하였을 때 전체 프레임은 총 4770 프레임이며 이중 4668프레임의 얼굴이 검출되어 97.86%의 얼굴 검출률이 나왔다. 전체 프레임에서 깜박임 검출률은 97.
- 실험 결과, PCA 기반의 MSE 방법은 전체적으로 성능이 낮았다. 동공 검출을 이용한 방법은 PCA 기반보다 높은 성능을 보였지만 실내동영상3과 같이 가늘게 눈을 뜬 경우나 눈동자를 정면 외에 다른 방향으로 돌린 경우, 성능 하락을 나타냈다. 표 1은 정확한 비교를 위하여 대상 논문의 조건에 맞춰 실내 환경으로 제한했다.
- 적외선동영상1과 적외선동영상2는 그림 13에서 보는 바와 같이 적외선 램프의 빛의 양을 달리하여 적용한 영상으로 적외선동영상2 영상이 적외선동영상1 영상보다 밝은 영상이다 적외선에 적용한 조명 정규화 상수는 가시광선과 다르게 설정하였다. 실험 결과 적외선동영상2가 눈의 윤곽을 더 또렷하게 잡았으나 눈 영역의 오검출이 발견되었다. 적외선 동영상의 경우 조명이 일정하여 얼굴 검출률은 100%로 높게 나왔으며 총 프레임에서 깜박임 검출률은 99.
- 실험 결과, PCA 기반의 MSE 방법은 전체적으로 성능이 낮았다. 동공 검출을 이용한 방법은 PCA 기반보다 높은 성능을 보였지만 실내동영상3과 같이 가늘게 눈을 뜬 경우나 눈동자를 정면 외에 다른 방향으로 돌린 경우, 성능 하락을 나타냈다.
- 실험 환경은 실험실과 차량 내부이며 두 환경에서 좋은 성능을 보였다. 차량에서의 실험은 맑은 날, 흐린 날 등 다양한 날씨 환경에서 실험했으며 광원은 방향이나 성질 등을 고려해서 실험하였다.
- 실험 결과 적외선동영상2가 눈의 윤곽을 더 또렷하게 잡았으나 눈 영역의 오검출이 발견되었다. 적외선 동영상의 경우 조명이 일정하여 얼굴 검출률은 100%로 높게 나왔으며 총 프레임에서 깜박임 검출률은 99.38%이다.
- 86%의 얼굴 검출률이 나왔다. 전체 프레임에서 깜박임 검출률은 97.25%이며 얼굴 검출이 성공한 프레임에서의 깜박임 검출률은 99.37%이다.
- 제안하는 방법은 표2의 차량동영상 1∼4에서 보듯이 높은 얼굴 검출률과 깜박임 검출률을 보인다.
후속연구
- 본 논문에서 제안한 알고리즘은 임베디드시스템에 적용하기 적합하며 향후 하드웨어 가속기술과 연동되면 더욱 좋은 속도 향상을 수행할 것으로 기대하고 있다.
- 적외선 실험은 실험실 내부에서만 이루어졌다. 안경을 쓴 영상의 눈 깜박임 판별 방법은 추후에 확장될 예정이다. 깜박임 검출률은 얼굴이 검출된 경우에만 계산했다.
- PCA기술은 만족스러운 검출률을 보이지 않아, 대체할 새로운 기술을 개발 중이다. 앞서 제시한 문제점 보완기술이 완료되면 추적 기술과 얼굴 특징 값 구조체 기술을 연동할 것이다.
- 운전자 졸음 인식 임베디드 시스템기술은 졸음 인식 알고리즘을 상용화 하드웨어에 맞게 연산 처리 최적화 과정을 수행하여 운전자 졸음에 대한 인식률을 개선하는 기술이다. 향후 본 논문에서 개발된 운전자 졸음 인식 알고리즘을 임베디드화 하여 상용화에 적용할 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.