선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 운전자 졸음검출을 위한 눈 개폐 감지 알고리즘을 제안하였다. 입력 영상에서 MCT 특징과 PCA를 이용하여 얼굴검출하고, 검출된 얼굴 영역에서 MHD기반 객체매칭으로 눈 개폐를 검출하였다.
- 본 장은 제안한 알고리즘의 실험과정과 결과에 관한 내용을 기술한다. 본 논문에서는 제안한 운전자 졸음 검출을 위한 눈 개폐 감지 알고리즘을 평가하기 위해서, 표 1과 같은 조건을 가지는 환경에서 실험을 진행하였다. 시퀀스들은 자체 제작한 영상을 이용하였고, 조건들은 각각의 조명 밝기 값은 영상마다 다르며, 시간에 따른 조명밝기 변화는 없는 상태에서 진행했다.
- 본 논문은 MHD의 dD를 한 방향만 고려하여 객체 유사도를 수치화하고, 눈 객체 및 눈 개폐 검출한다.
- 이는 눈 모양에 따른 눈 영역의 대칭 중심선을 정확하게 찾아야하는 어려움이 있고, 눈 위치를 정확하게 찾아야하는 문제점도 존재한다. 본 논문은 기하학적 유사도 기반 객체 매칭방법인 변형된 하우스더프 거리(MHD : Modified Hausdorff Distance)를 이용하여 안경을 착용한 얼굴관련 문제, 정확하게 눈 위치만 검출해야 하는 문제점과 눈 개폐 검출에서 눈 영역이 저 해상도인 경우에 생기는 문제점 등을 해결할 수 있는 개선된 눈 개폐 검출 알고리즘을 제안한다.
- 반면, 영상처리 기반의 졸음을 감지하는 방법은 다른 정보나 장치 없이, 카메라를 통해 입력되는 비디오 신호만을 이용하여 졸음을 검출하기 때문에 편의성 측면에서의 장점이 있다. 이로 인하여 본 논문에서는 영상 및 비디오 신호처리를 통한 졸음 검출 기술을 제안하였다.
제안 방법
- [6]번 논문은 Yale Face Database, BioID Face Database와 같은 공용으로 사용하는 데이터베이스를 사용하지 않고 직접 제작한 시퀀스에서 제작하였기 때문에 제안한 알고리즘과 성능검증을 비교할 수가 없었다. 그래서 동일한 과정을 거치는 [6]번 논문의 알고리즘을 직접 구현하고, 제안한 논문에서 사용된 동일한 시퀀스에서 그림 12와 같은 눈 샘플을 추출하여 검증을 진행하였다. 그 결과는 표 3과 같다.
- MHD 기반의 유사도 측정을 위해서는 객체의 형태를 나타내는 특징벡터들이 필요하다. 그러므로 본 논문은 기하학적인 형태의 특징벡터들을 추출하기 위하여 에지 검출 이용한다. 에지 검출은 이미지에서 밝기 값이 크게 변화하는 부분을 검출하는 방법으로, 결과적으로 객체의 모서리부분을 검출하여 객체의 기하학적인 형태의 특징을 얻을 수 있다.
- 그림 5와 같이 얼굴 이미지를 평준화를 한 후, 평준화된 얼굴이미지에서 각각 오른쪽 눈과 왼쪽 눈을 추출하였으며, 추출하는 위치는 실험을 통하여 그림 5와 같이 얼굴에서 눈이 이미지에서 일반적으로 위치하는 곳을 삼았다.
- 그러므로 얼굴 영역을 검출하지 않고 눈 영역을 검출한 경우보다 얼굴 영역 내에서 눈 영역을 검출한 경우가 정확한 눈 위치를 획득할 수 있다. 눈 영역을 검출 후, 검출한 눈 위치 영역 내에서 눈 개폐 검출을 수행한다. 눈 위치 및 눈 개폐 검출하기 위하여 MHD연산을 통해 획득한 기하학적 형태에 관한 유사도를 이용한다.
- CT는 3×3 블록 내의 중심 픽셀의 밝기 값과 각 이웃하는 픽셀의 밝기 값을 비교하여 대소를 구분한다. 대소의 결과를 기준으로 각각의 픽셀에 해당하는 이진수 값을 부여한 후, 이 값들을 연속적으로 구성하여 비트스트링으로 만들고 이를 10진수 특징 값으로 이용한다. 따라서 중심픽셀을 제외한 최대 28 (256)개의 특징을 가질 수 있다.
- 시퀀스들은 자체 제작한 영상을 이용하였고, 조건들은 각각의 조명 밝기 값은 영상마다 다르며, 시간에 따른 조명밝기 변화는 없는 상태에서 진행했다. 또한 눈이 작은 사람과 큰 사람을 대상과 안경을 쓴 영상 과 쓰지 않는 영상들을 제작하여 구분하였다. 영상 포맷은 그레이스케일 해상도 30FPS/320×180의 영상을 이다.
- 본 논문은 눈 영역을 검출하기 위해서 에지검출을 이용하여 특징벡터(또는 에지)를 추출하고, 그 특징벡터들을 대상으로 MHD연산을 통해 수치화 한 값을 이용한다. 이 과정에서 이용하는 MHD는 잡음에 강인한 성질이 아닌 완화된 성질을 갖는다.
- 하우스더프 거리는 기하학적 형태의 유사도를 이용하는 방법 중에 하나이며, 그림 1과 같이 기준이 되는 객체와 비교대상이 되는 객체의 유사도를 수치화하여 비교하는 방법이다. 수치화하기 위하여 비교대상이 되는 벡터들과 기준이 되는 객체의 벡터들을 서로 비교한다.
- 본 논문에서는 제안한 운전자 졸음 검출을 위한 눈 개폐 감지 알고리즘을 평가하기 위해서, 표 1과 같은 조건을 가지는 환경에서 실험을 진행하였다. 시퀀스들은 자체 제작한 영상을 이용하였고, 조건들은 각각의 조명 밝기 값은 영상마다 다르며, 시간에 따른 조명밝기 변화는 없는 상태에서 진행했다. 또한 눈이 작은 사람과 큰 사람을 대상과 안경을 쓴 영상 과 쓰지 않는 영상들을 제작하여 구분하였다.
- 혼동행렬은 객체 검출 성능을 평가할 때 아주 직관적으로 평가할 수 있는 방법이고 객체 검출영역에서 알고리즘 성능을 평가할 때 자주 쓰이는 방법이므로 사용하였다. 알고리즘 성능을 평가하기 위해 실제 조건(True Condition)과 예상된 조건(Predicted Condition)에 관련된 TP(True Positive), FP(False Positive), FN(False Negative), TN(True Negative)의 수치를 산출 후, 이 수치를 이용하여 알고리즘 성능을 평가한다. 그림 11의 실제 조건은 실제 입력 값을 의미하고, 예측된 조건은 실제 출력을 의미하 며, 이에 관련 항목인 TP, FP, FN, TN은 각각 실제 입력 값 대비 예측 출력 값의 수치를 나타낸다.
- 얼굴검출 후, 검출한 얼굴영역을 추출하여 눈 검출 및 개폐 감지 알고리즘을 수행하고, 검출을 못한 경우에는 눈 검출 및 개폐 감지 알고리즘을 수행하지 않고 다음 영상에서 얼굴검출을 수행한다.
- 하지만 전 단계에서 눈 외 영역의 에지를 제거해서 눈 외 영역은 비교할 객체들이 없기 때문에 반대 방향으로는 수행하지 않고 한쪽방향으로만 비교한다. 이를 수행할 때, 알고리즘 복잡도를 줄이기 위해 먼저 비교기준이 되는 템플릿을 거리변환한 후에 비교한다.
- 이미지상에서 얼굴의 움직임에 따라 에지검출 후 눈의 형태가 변화한다. 이에 대하여 본 논문은 비교적 사람들이 감은 눈은 비슷한 형태를 나타내기 때문에 감은 눈을 기준으로 삼았다. 또한 얼굴을 상하좌우로 얼굴 움직임에 따른 변화하는 눈의 형태도 고려하여 그림 10과 같은 기준 템플릿을 생성하였다.
- 제안한 눈 개폐 알고리즘의 속도 평가는 임베디드 시스템 환경 내에 알고리즘을 추가한 후 동작하는 속도를 평가하였으며, 600MHz 속도로 동작하는 Arm Cortex A8 코어의 MCU를 사용하는 임베디드 보드에서 동작시켰다. 임베디드 보드가 영상을 처리 과정은 카메라에서 취득된 영상을 리눅스 커널에서 디바이스 드라이버 V4L2를 이용하여 Application 인터페이스로 출력하고, Application 인터페이스에서 입력을 받은 영 상은 제안한 알고리즘에서 쓰레드형태로 처리한다. 임베디드 보드 상에서 100장의 영상처리를 기준으로 평균 369msec (2.
- 이 MCT 특징들을 이용하여 얼굴을 검출하는 알고리즘은 그림 4와 같이 진행한다. 입력 이미지를 스캔하고 MCT 이미지를 생성한 후, 이 MCT 이미지를 PCA를 통하여 영상의 특징 벡터들을 추출하며, 이 입력 특징 벡터와 데이터베이스에 있는 사람 얼굴을 나타내는 기준 벡터와 Euclidean Distance로 비교하여 얼굴을 검출한다.
- 얼굴 영역이 검출이 되고나서 이 과정을 수행하며, 얼굴이 검출되지 않는 경우에는 눈 개폐 감지 알고리즘은 수행하지 않는다. 전체 구성은 그림 3과 같이 얼굴 이미지 크기 평준화, 에지 검출 후 눈 외 에지를 제거하기 위한 영역 검출, 에지 검출, MHD를 이용한 눈 영역 검출, MHD를 이용한 눈 개폐 여부 판단 순으로 5단계의 절차로 구성된다.
- 제안한 눈 개폐 알고리즘의 속도 평가는 임베디드 시스템 환경 내에 알고리즘을 추가한 후 동작하는 속도를 평가하였으며, 600MHz 속도로 동작하는 Arm Cortex A8 코어의 MCU를 사용하는 임베디드 보드에서 동작시켰다. 임베디드 보드가 영상을 처리 과정은 카메라에서 취득된 영상을 리눅스 커널에서 디바이스 드라이버 V4L2를 이용하여 Application 인터페이스로 출력하고, Application 인터페이스에서 입력을 받은 영 상은 제안한 알고리즘에서 쓰레드형태로 처리한다.
- 객체 검출은 영상 내에서 객체가 갖는 고유 특징들을 이용하여 객체를 검출하는 기술이다. 질감을 나타내는 객체의 텍스쳐, 밝기 값이 변화하는 부분을 나타내는 에지, 객체의 고유한 모양을 이용한 기하학적인 특징, 수학적인 모델로 고유벡터와 고유 값과 같은 특징 등을 이용하여 배경과 사물을 구분 및 검출한다. 히스토그램을 이용하는 방법은 통계적인 방법으로 객체를 검출하는 방법이며, 주로 그레이 스케일 이미지의 밝기 값의 히스토그램을 사용한다.
- 혼동행렬에서 TRUE는 뜬눈, FALSE는 감은 눈으로 매칭하고, 이에 대한 혼동행렬의 수치를 이용하여 알고리즘 성능평가 지표인 Accuracy, True positive rate, True negative rate를 계산하였다. Accuracy는 식(10)과 같이 계산되며, 전체 프레임에서 뜬눈(TRUE)과 감은 눈(FALSE)을 정확한 판별한 비율을 나타낸다.
대상 데이터
- 본 논문은 맨해튼 거리를 이용하였으며, 맨해튼 거리를 이용하여 50×50 이미지를 거리변환을 이용하여 그림 2와 같은 거리 지도를 생성할 수 있다.
- 본 논문의 구성은 총 5장으로 구성된다. 2장은 기하학적형태의 유사도를 이용한 객체 검출에 관한 내용을 설명하고, 3장에서는 제안하는 알고리즘의 구조와 각 부분별 설명하며, 4장에서는 제안한 알고리즘의 성능을 평가하기 위해서 사용한 실험 환경 및 과정과 성능 결과를 기술한다.
이론/모형
- 눈 영역을 검출 후, 검출한 눈 위치 영역 내에서 눈 개폐 검출을 수행한다. 눈 위치 및 눈 개폐 검출하기 위하여 MHD연산을 통해 획득한 기하학적 형태에 관한 유사도를 이용한다.
- 등과 같은 다양한 방법들이 존재한다. 본 논문에서는 MCT특징과 PCA를 결합하여 영상의 특징 벡터들을 추출하는 방법[12]을 이용한다.
- 이 방법은 객체 모양이 일관성 없이 변하는 경우에는 이용하기 어렵다는 점이 있지만, 계속해서 유사한 모양이 검출되는 경우에는 적은 연산 량으로 객체를 검출할 수 있는 장점을 가진다. 이 방법으로 객체를 검출하기 위해서 기준이 되는 객체가 존재하여야 하며, 본 논문의 알고리즘은 기하학적 형태의 유사도를 수치화하는 하우스더프 거리(HD : Hausdorff Distance)에서 변형된 하우스더프 거리(MHD: Modified Hausdorff Distance) 이용한다.
- 스캔을 할 때마다 기준이 되는 객체의 벡터들과 비교대상이 되는 객체의 벡터들을 비교해서 MHD의 dD연산을 중복적으로 수행하므로 연산량이 크게 증가한다. 이러한 중복연산을 막기 위해서 기준이 되는 객체를 한 번의 거리변환을 통하여 해당하는 객체의 거리를 나타내는 거리지도(Distance map)를 이용한다. 거리 지도의 미리 계산된 객체의 거리 값을 이용하면서 중복연산을 줄임과 동시에 복잡도를 줄일 수 있다.
- 제안한 알고리즘의 성능을 비교하기 위하여 [6]번 논문을 참조하였다. [3, 4, 5]번 논문을 구현하였을 경우, 실제 성능이 [6]번 논문에 미치지 못해서 제외하고 [6]번 논문 성능을 비교기준으로 삼았다.
- 평가 방법으로는 그림 11과 같은 혼동행렬(Confusion Matrix)을 이용하였다. 혼동행렬은 객체 검출 성능을 평가할 때 아주 직관적으로 평가할 수 있는 방법이고 객체 검출영역에서 알고리즘 성능을 평가할 때 자주 쓰이는 방법이므로 사용하였다.
성능/효과
- 입력 영상에서 MCT 특징과 PCA를 이용하여 얼굴검출하고, 검출된 얼굴 영역에서 MHD기반 객체매칭으로 눈 개폐를 검출하였다. 기하학적인 형태 유사도를 기반으로 한 MHD를 이용하여 눈 개폐의 형태 변형에 둔감하게 검출이 가능하였다. 제안하는 방법의 성능 검증을 위하여 그레이 스케일 영상(30FPS, 320×180)을 입력으로 실험을 수행한 결과, 눈 계폐 검출율에서 평균 94.
- 71FPS)의 속도를 보였으며, 이 검출속도는 얼굴검출과 눈 개폐검출의 두 부분의 복잡도를 고려한 속도이다. 알고리즘의 복잡도가 큰 부분은 얼굴검출이며, 얼굴검출을 제외하고 눈 검출만 속도를 측정하면 동일한 환경에서 평균 52msec가 측정되었다.
- 임베디드 보드가 영상을 처리 과정은 카메라에서 취득된 영상을 리눅스 커널에서 디바이스 드라이버 V4L2를 이용하여 Application 인터페이스로 출력하고, Application 인터페이스에서 입력을 받은 영 상은 제안한 알고리즘에서 쓰레드형태로 처리한다. 임베디드 보드 상에서 100장의 영상처리를 기준으로 평균 369msec (2.71FPS)의 속도를 보였으며, 이 검출속도는 얼굴검출과 눈 개폐검출의 두 부분의 복잡도를 고려한 속도이다. 알고리즘의 복잡도가 큰 부분은 얼굴검출이며, 얼굴검출을 제외하고 눈 검출만 속도를 측정하면 동일한 환경에서 평균 52msec가 측정되었다.
- 본 논문에서는 운전자 졸음검출을 위한 눈 개폐 감지 알고리즘을 제안하였다. 입력 영상에서 MCT 특징과 PCA를 이용하여 얼굴검출하고, 검출된 얼굴 영역에서 MHD기반 객체매칭으로 눈 개폐를 검출하였다. 기하학적인 형태 유사도를 기반으로 한 MHD를 이용하여 눈 개폐의 형태 변형에 둔감하게 검출이 가능하였다.
- 제안하는 방법의 성능 검증을 위하여 그레이 스케일 영상(30FPS, 320×180)을 입력으로 실험을 수행한 결과, 눈 계폐 검출율에서 평균 94.04%의 정확도를 달성하였다.
- 제안한 알고리즘 성능과 [6]번 논문의 알고리즘 성능을 비교를 해보았을 경우, Accuracy 9.34%, True positive rate 5.03%, True negative rate 25.19% 개선된 것을 확인할 수 있었다.
- 제안한 알고리즘의 초기 속도는 동일한 환경에서 100장의 영상처리를 기준으로 장당 평균 2.56sec이 소모되었으며, 이를 개선하기 위하여 MHD 연산 부분에서 거리변환 이용 및 SW최적화를 통해 장당 평균 2.19sec을 줄였으며, 이를 퍼센트로 환산하였을 경우 기존 대비 85.55%가 개선되었음을 알 수 있었다.
후속연구
- 04%의 정확도를 달성하였다. 추후 연속 얼굴 영상에서의 졸음 감지를 위한 연구가 필요하겠다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.