선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 운전자가 측면을 바라보고 있는 상태에서는 상대적으로 정확한 눈의 검출이 어렵다. 따라서 운전자가 정면을 바라보고 있을 때 눈과 코의 위치를 초기 검출하고, 눈과 코의 위치 간에 구조적 관계를 기반으로 눈의 위치를 추적하고자 하였다. 이에 본 논문에서는 제안하는 방법을 전처리, 눈,코 검출, 눈 위치 추적 및 눈 개폐 여부 판단의 3단계로 구분하였으며, 이에 따른 세부적인 알고리즘의 흐름은 Fig.
- 이를 위해서는 조명변화의 영향을 최소하는 것이 중요하다. 본 논문에서는 기울기 필터(gradient filter)를 통해 에지(edge) 정보만 가진 영상을 템플릿 매칭에 사용함으로써 조명변화에 대한 영향을 최소화하고자 하였다[12].
- 본 논문에서는 운전자의 적외선 영상을 대상으로 라인 프로파일을 기반으로 한 템플릿 매칭을 통해 운전자의 눈을 검출하고, 눈 깜박임을 인식하였다. Fig.
- 본 논문에서는 이와 같은 문제점을 해결하고자, 적외선 영상에서 모폴로지 기법과 라인 프로파일(line profile)을 이용한 템플릿 정합법(template matching)을 통해 조명의 영향에 독립적이고 안경 착용 상태에서도 효과적으로 눈 깜박임을 검출할 수 있는 방법을 제안하고자 하였고, 그 결과 매우 높은 성능의 눈 깜박임 검출 결과를 얻을 수 있었다. 이와 같은 과정에 대한 본 논문의 구성은 다음과 같다.
- 따라서 조명의 상태에 따라 영상의 밝기 변화가 커 일반적인 방법으로는 눈 검출 및 추적에 어려움이 따른다. 이에 본 논문에서는 기울기 필터와 라인 프로파일을 기반으로 한 템플릿 매칭을 통해 조명에 따른 영상의 밝기값 변화의 영향을 최소화함으로써, 눈 검출의 성공률을 높이고자 하였다. 또한 다양한 실험자의 실제 운전 영상을 사용함으로써, 알고리즘 검증의 신뢰도를 높였다.
제안 방법
- 본 논문에서는 이러한 위험을 줄이고 매칭의 정확도를 높이기 위해 각 영상의 수직 방향으로 화소 변화의 기울기들에 대한 라인 프로파일(line profile)로 추출하였다. 그리고 입력 영상과 템플릿 영상에서 추출된 각각의 라인 프로파일의 형태 간에 상관계수가 가장 높은 위치를 각각 눈 또는 코의 위치로 결정하였다.
- 만약 중심점이 아닌 다른 방향의 위치에서 가장 높은 상관계수를 보인다면 해당 위치를 중심점으로 동일하게 8개 방향, 9개 위치에 대하여 검사를 수행한다. 만약 중심점에서 가장 높은 상관계수를 보였다면 해당 위치를 기준으로 small diamond search pattern (SDSP)를 이용하여 Fig. 4 (B)와 같이 4개 방향, 5개 위치에 대하여 검사를 수행 하고, 상관계수가 가장 높은 위치를 최종적인 눈의 위치로 결정한다[15].
- 본 논문에서 눈과 코의 초기 검출이 이루어진 후, 추적 단계를 통해 빠른 속도로 눈의 위치를 추적 검출하였다. 초기 검출 단계에서는 템플릿 매칭이 전역 탐색을 통해 이루어지기 때문에 연산량이 많고, 수행 시간이 길다.
- 본 논문에서는 영상 획득을 위해 적외선 카메라를 자동차의 핸들 뒤 대시보드(dashboard)에 사용자의 얼굴이 영상의 중앙에 올 수 있도록 위치시켜 고정하였다. 적외선 카메라는 video graphics array (VGA)급으로 640 x 480 픽셀의 해상도를 가지며, 초당 30 frame per second (FPS)로 촬영하였다.
- NCC는 각 영상에서의 평균과 표준편차를 이용하여 유사도를 측정하는 방법으로, 영상 간의 형태가 달라도 동일한 픽셀의 수가 많을 경우 유사도가 높게 나올 위험이 있다[13]. 본 논문에서는 이러한 위험을 줄이고 매칭의 정확도를 높이기 위해 각 영상의 수직 방향으로 화소 변화의 기울기들에 대한 라인 프로파일(line profile)로 추출하였다. 그리고 입력 영상과 템플릿 영상에서 추출된 각각의 라인 프로파일의 형태 간에 상관계수가 가장 높은 위치를 각각 눈 또는 코의 위치로 결정하였다.
- 본 논문에서는 제안한 방법의 검출율을 검증하기 위해 총 21명의 실험자들을 대상으로 수집된 37,800 장의 영상에 대해 제안한 방법을 적용하고, 그에 따른 눈 검출율과 눈 깜박임 검출율을 확인하였다. 그결과, 눈 검출은 평균 97.
- 추적 단계에서 최종적인 눈의 위치가 결정되면, 눈의 개폐 여부를 판단하기 위해 라인 프로파일을 이용한 템플릿 매칭을 다시 수행한다. 이때 눈을 감은 상태와 눈을 뜬 상태의 템플릿을 각각 만들어 사용하였고, 각 템플릿마다 두 형태의 템플릿을 각각 3개 크기로 구성하여 총 12개의 템플릿을 사용하였다. 이들 템플릿 중 가장 상관계수가 높은 템플릿의 종류로 눈의 개폐 여부를 최종적으로 판단하였다.
- 또한 고개를 움직였을 경우 좌,우 눈의 위치간 거리도 정면을 기준으로 증가하지 않는다. 이러한 구조적 위치간 관계의 특징에 따라 초기 검출된 코의 위치를 기준으로 좌, 우 눈의 위치까지의 길이가 더 이상 증가하지 않도록 범위를 제한하였으며 좌, 우 눈의 위치간의 길이도 더 이상 증가하지 않도록 제한하였다. 또한 코와 각 눈의 위치간의 세로축에 대한 길이가 정면 기준 50 %이상 감소하였을 경우 운전자가 고개를 심하게 젖히거나 숙인 상태로 정의하고, 추적을 멈추고 초기 눈, 코의 위치를 다시 찾도록 하였다.
- 수집된 적외선 영상은 운전자의 얼굴이 영상의 정중앙에 가까이 위치하고, 카메라에서 가까운 위치에서 직접 적외선을 반사하기 때문에 영상에서 가장 크게 나타나며, 차의 후면이나 창문 등에 비해 화소값이 밝게 나타난다. 이러한 특징에 기반하여 본 논문에서는 영상 내에서 화소 분포들의 평균(mean)과 표준편차(standard deveation, stddev) 를 계산하여 mean+stddev 의 값을 문턱치 값으로 정의하고, 영상을 이진화하였다. 이진화된 결과 영상 내에서 모폴로지(morphology) 기법 중 하나인 침식(erosion)과 팽창(dilation) 연산의 수행을 통해 잡음 등을 제거하고, 레이블링(labeling) 하였으며, 라벨들 중 운전자일 것으로 추정되는 가장 큰 면적을 가진 라벨을 제외하고 모두 제거하였다[10].
- 따라서 운전자가 정면을 바라보고 있을 때 눈과 코의 위치를 초기 검출하고, 눈과 코의 위치 간에 구조적 관계를 기반으로 눈의 위치를 추적하고자 하였다. 이에 본 논문에서는 제안하는 방법을 전처리, 눈,코 검출, 눈 위치 추적 및 눈 개폐 여부 판단의 3단계로 구분하였으며, 이에 따른 세부적인 알고리즘의 흐름은 Fig. 1과 같다.
- 본 논문에서는 영상 획득을 위해 적외선 카메라를 자동차의 핸들 뒤 대시보드(dashboard)에 사용자의 얼굴이 영상의 중앙에 올 수 있도록 위치시켜 고정하였다. 적외선 카메라는 video graphics array (VGA)급으로 640 x 480 픽셀의 해상도를 가지며, 초당 30 frame per second (FPS)로 촬영하였다. 실험자는 남자 11명, 여자 10명, 총 21명을 대상으로 하였으며, 실험자 개개인에 대해 운전 중인 1분간의 영상(1,800 프레임)을 수집하였다.
대상 데이터
- 본 논문에서 제안한 방법의 검증을 위해 눈 깜박임 검출을 연구 및 보고하였던 타 연구 결과들과 비교하였다. (Table 3) 실험 대상은 본 논문이 21명으로 가장 많은 환경과 영상에서 실험을 한 것으로 나타났다. 검출율은 라인 프로파일과 템플릿 매칭을 기반으로 한 본 논문에서 제안한 방법이 평균 98.
- 알고리즘 속도에 대해서도 연산량이 많은 주성분 분석이나 머신 러닝 등을 이용한 타 연구들에 비해 비교적 연산량이 적고 단순한 템플릿 매칭을 활용함으로써 알고리즘의 속도를 향상시켰고, 알고리즘 연산량에 따라 초기 검출과 추적단계로 나누어 운전자의 상태에 맞춰 적용함으로써 알고리즘의 효울을 높여 실시간 영상에서의 적용도 가능하였다. 검증 과정에서도 최대 10명의 실험자를 대상으로 실험한 타 연구들과는 달리 본 논문에서는 21명의 많은 실험자를 대상으로 실험하였다. 또한 타 연구들은 모두 운전 시의 환경과 비슷한 환경을 임의로 만들어 실험한 반면, 본 논문에서는 실험자들의 다양한 실제 운전 상황에서 촬영된 영상을 사용함으로써, 검증 과정에 대한 신뢰도가 타 연구들에 비해 높다.
- 적외선 카메라는 video graphics array (VGA)급으로 640 x 480 픽셀의 해상도를 가지며, 초당 30 frame per second (FPS)로 촬영하였다. 실험자는 남자 11명, 여자 10명, 총 21명을 대상으로 하였으며, 실험자 개개인에 대해 운전 중인 1분간의 영상(1,800 프레임)을 수집하였다. 운전 중 실험자는 운전시 발생할 수 있는 자연스런 움직임을 취할 수 있도록 했으며(좌, 우회전 등), 촬영 시점은 주간 11명(남자: 6명, 여자: 5명), 야간 10명(남자: 5명, 여자: 5명)으로 구성하여 실험하였다.
- 실험자는 남자 11명, 여자 10명, 총 21명을 대상으로 하였으며, 실험자 개개인에 대해 운전 중인 1분간의 영상(1,800 프레임)을 수집하였다. 운전 중 실험자는 운전시 발생할 수 있는 자연스런 움직임을 취할 수 있도록 했으며(좌, 우회전 등), 촬영 시점은 주간 11명(남자: 6명, 여자: 5명), 야간 10명(남자: 5명, 여자: 5명)으로 구성하여 실험하였다.
- 본 논문에서는 운전자의 눈과 코를 검출하기 위해 템플릿 매칭 알고리즘을 이용하였다[11]. 템플릿은 좌안, 우안, 코 각각에 대해 두 형태의 템플릿을 사용하였고, 각 템플릿마다 3개 크기로 구성하여 사용하였다. 초기 검출을 기반으로 추적이 이루어지기 때문에 눈과 코의 위치를 정확하게 검출하는 것이 필요하다.
데이터처리
- 이에 본 논문에서는 기울기 필터와 라인 프로파일을 기반으로 한 템플릿 매칭을 통해 조명에 따른 영상의 밝기값 변화의 영향을 최소화함으로써, 눈 검출의 성공률을 높이고자 하였다. 또한 다양한 실험자의 실제 운전 영상을 사용함으로써, 알고리즘 검증의 신뢰도를 높였다.
- 본 논문에서 제안한 방법의 검증을 위해 눈 깜박임 검출을 연구 및 보고하였던 타 연구 결과들과 비교하였다. (Table 3) 실험 대상은 본 논문이 21명으로 가장 많은 환경과 영상에서 실험을 한 것으로 나타났다.
이론/모형
- 본 논문에서는 운전자의 눈과 코를 검출하기 위해 템플릿 매칭 알고리즘을 이용하였다[11]. 템플릿은 좌안, 우안, 코 각각에 대해 두 형태의 템플릿을 사용하였고, 각 템플릿마다 3개 크기로 구성하여 사용하였다.
- 좌, 우 각각의 눈에 대하여 제한된 범위 내에서 초기 눈의 위치를 기준으로 large diamond search pattern (LDSP)를 이용하여 Fig. 4(A)와 같이 8개방향, 9개 위치에서의 라인프로파일을 이용한 템플릿 매칭을 수행한다. 만약 중심점이 아닌 다른 방향의 위치에서 가장 높은 상관계수를 보인다면 해당 위치를 중심점으로 동일하게 8개 방향, 9개 위치에 대하여 검사를 수행한다.
성능/효과
- 검출율은 라인 프로파일과 템플릿 매칭을 기반으로 한 본 논문에서 제안한 방법이 평균 98.50 ± 0.92% 으로 가장 높은 검출율을 보였고, 조명 보정과 SVM 을 이용한 눈 깜박임 검출 알고리즘이 평균 98.39%, 퍼지 색상 필터와 타원의 비율을 이용한 눈 깜박임 검출 알고리즘이 평균 96%의 순서로 높은 검출율 결과를 보였다.
- 결론적으로 본 논문에서 제안한 방법을 통해 운전자의 실시간 영상에서 높은 정확도와 빠른 속도로눈 깜박임을 검출할 수 있었다. 실험자의 실제 운전 영상을 사용하여 검증함으로써 실용화의 가능성도 보았다.
- 그결과, 눈 검출은 평균 97.45 ± 3.67%의 검출율(Table 1)을 보였으며, 눈 깜박임 검출은 평균 98.50 ± 0.92% 의 검출율을 보였다(Table 2).
- 눈검출과 눈 깜박임 검출 각각 평균 97.45 ± 3.67%와평균 98.50 ± 0.92%의 높은 검출율을 보였다.
- 또한 타 연구들은 안경을 쓴 상태의 영상에서는 모두 취약한 부분을 보였으나 본 논문에서 제안한 방법은 안경을 쓴 상태에서도 우수한 결과를 보였다.
- 본 논문에서는 조명에 취약하였지만 높은 검출율을 보인 타 연구들과 조명에 강인하면서도 높은 검출율을 보였던 타 연구들 모두에 비해 영상의 밝기 변화의 기울기에 대한 라인 프로파일을 상대적으로 비교함으로써, 조명에 강인하면서도 높은 수치의 검출율을 보였다. 또한 타 연구들은 안경을 쓴 상태의 영상에서는 모두 취약한 부분을 보였으나 본 논문에서 제안한 방법은 안경을 쓴 상태에서도 우수한 결과를 보였다.
- 결론적으로 본 논문에서 제안한 방법을 통해 운전자의 실시간 영상에서 높은 정확도와 빠른 속도로눈 깜박임을 검출할 수 있었다. 실험자의 실제 운전 영상을 사용하여 검증함으로써 실용화의 가능성도 보았다. 하지만 본 논문에서는 색조가 들어간 안경을 쓴 경우에 대한 실험은 이루어지지 않았으며, 낮에 썬루프가 있는 차량에서는 전처리 과정에서 운전자 얼굴 검출에 실패하는 경우가 발생하는 것을 확인하였다.
- 또한 타 연구들은 안경을 쓴 상태의 영상에서는 모두 취약한 부분을 보였으나 본 논문에서 제안한 방법은 안경을 쓴 상태에서도 우수한 결과를 보였다. 알고리즘 속도에 대해서도 연산량이 많은 주성분 분석이나 머신 러닝 등을 이용한 타 연구들에 비해 비교적 연산량이 적고 단순한 템플릿 매칭을 활용함으로써 알고리즘의 속도를 향상시켰고, 알고리즘 연산량에 따라 초기 검출과 추적단계로 나누어 운전자의 상태에 맞춰 적용함으로써 알고리즘의 효울을 높여 실시간 영상에서의 적용도 가능하였다. 검증 과정에서도 최대 10명의 실험자를 대상으로 실험한 타 연구들과는 달리 본 논문에서는 21명의 많은 실험자를 대상으로 실험하였다.
- 39 %의 검출율을 보였다[9]. 위의 두 연구 결과 모두 조명변화에 강인한 결과를 보였고, 높은 검출율을 보였으나 안경 착용 시, 검출 결과에 많은 영향을 미친다는 한계가 있었다.
- 이때 눈을 감은 상태와 눈을 뜬 상태의 템플릿을 각각 만들어 사용하였고, 각 템플릿마다 두 형태의 템플릿을 각각 3개 크기로 구성하여 총 12개의 템플릿을 사용하였다. 이들 템플릿 중 가장 상관계수가 높은 템플릿의 종류로 눈의 개폐 여부를 최종적으로 판단하였다.
- 2012년 최진모 등은 haar-like cascade 분류기를 통해 얼굴을 검출하고, 조명 정규화를 통해 조명의 영향에 강인한 알고리즘을 개발하였다. 주성분 분석(principal component analysis, PCA)과 구형 마스크(cricle mask) 의혼합모델을 통해 눈 영역을 검출하고, 모폴로지 연산을 통해 눈의 깜박임을 인식하였다. 그 결과, 동일 인물이 조명에 따른 10가지 환경에서 반복 실험하여 평균 92.
- 실험자의 실제 운전 영상을 사용하여 검증함으로써 실용화의 가능성도 보았다. 하지만 본 논문에서는 색조가 들어간 안경을 쓴 경우에 대한 실험은 이루어지지 않았으며, 낮에 썬루프가 있는 차량에서는 전처리 과정에서 운전자 얼굴 검출에 실패하는 경우가 발생하는 것을 확인하였다. 향후 이와 같은 문제 해결을 위한 알고리즘 개선과 최적화가 이루어지고, 더 다양한 운전 환경과 다양한 운전자를 기반으로 한 실험을 통해 추가적인 검증이 이루어진다면 운전자 졸음 방지를 위한 시스템에서 눈 깜박임 알고리즘으로서의 실용화에 대한 가능성은 더 높아질 것으로 생각된다.
후속연구
- 향후 이와 같은 문제 해결을 위한 알고리즘 개선과 최적화가 이루어지고, 더 다양한 운전 환경과 다양한 운전자를 기반으로 한 실험을 통해 추가적인 검증이 이루어진다면 운전자 졸음 방지를 위한 시스템에서 눈 깜박임 알고리즘으로서의 실용화에 대한 가능성은 더 높아질 것으로 생각된다. 또한 이를 통해 본 논문에서 제안한 눈 깜박임 알고리즘이 운전자의 졸음 방지에 많은 도움을 줄 수 있을 것으로 기대한다.
- 하지만 본 논문에서는 색조가 들어간 안경을 쓴 경우에 대한 실험은 이루어지지 않았으며, 낮에 썬루프가 있는 차량에서는 전처리 과정에서 운전자 얼굴 검출에 실패하는 경우가 발생하는 것을 확인하였다. 향후 이와 같은 문제 해결을 위한 알고리즘 개선과 최적화가 이루어지고, 더 다양한 운전 환경과 다양한 운전자를 기반으로 한 실험을 통해 추가적인 검증이 이루어진다면 운전자 졸음 방지를 위한 시스템에서 눈 깜박임 알고리즘으로서의 실용화에 대한 가능성은 더 높아질 것으로 생각된다. 또한 이를 통해 본 논문에서 제안한 눈 깜박임 알고리즘이 운전자의 졸음 방지에 많은 도움을 줄 수 있을 것으로 기대한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.