선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 프로그램의 가장 기본인 얼굴검출 기술에 대해서 알아보고 얼굴 검출과 관련된 눈 깜빡임과 하품의 검출 기술에 대해서 알아본다. 그런 후 피로도 측정에 관련된 연구와 눈 검출 기술을 응용하는 과정에서 문제점에 대해서도 알아본다.
- 검출은 OpenCV 라이브러리를 이용한다. 그리고 다양한 분야에 응용 가능한 시선 방향 검출 방법과 적외선 카메라의 사용에 따른 문제점을 해결하기 위해 CDF 분석을 이용한 눈동자 중심점 검출과 시선 방향 검출 프로그램을 제안하고자 한다. 입의 영역은 활성 윤곽 기술을 이용하여 검출한다.
- 이와 같이 피로도를 측정하는 눈깜빡임과 하품은 졸음운전을 판단하는 중요한 단서가 된다. 그리하여 본 연구에서는 졸음판단에 필요한 눈과 입의 개폐 빈도수 측정을 위한 구체적 실험방법과 결과 값을 통한 분석 내용을 제시하고자 한다.
- 본 연구는 실시간으로 카메라 영상을 통해 입력 받은 영상에서 눈 깜빡임과 하품에 대해 개폐 빈도수 측정을 위해서 빠르고 정확한 결과 값을 돌출하게 하기 위한 방안을 제안하고자 한다. 검출은 OpenCV 라이브러리를 이용한다.
- 본 연구를 위해서는 일반적으로 사용하는 CCD 카메라로부터 획득한 얼굴영상을 기본으로 하여 프로그램을 구성한다. 본 프로그램의 가장 기본인 얼굴검출 기술에 대해서 알아보고 얼굴 검출과 관련된 눈 깜빡임과 하품의 검출 기술에 대해서 알아본다. 그런 후 피로도 측정에 관련된 연구와 눈 검출 기술을 응용하는 과정에서 문제점에 대해서도 알아본다.
제안 방법
- 입의 영역은 활성 윤곽 기술을 이용하여 검출한다. 그런 후 Template Matching을 이용하여 눈과 입의 개폐 빈도수를 판단하는 프로그램을 구현한다.
- 눈 깜빡거림의 열림과 닫힘은 2단계로 하여 빈도수 측정을 하였다. 그림7은 실험1의 방법으로 촬영한 눈 깜빡임 영상에 대해서 본 연구에서 구현한 프로그램에 의한 실험 화면과 결과 값을 보여주는 진행 화면이다.
- 눈 깜빡임 수행하기 위해서 프로그램 초기 실행 시에 저장한 눈 템플릿 영상과 비교한다. 두 영상의 유사도가 높으면 눈을 뜬 상태로 검출하고, 유사도가 낮으면 감은 상태로 검출한다.
- 실험에서 사용된 모든 영상은 640x480의 픽셀 크기이며, CCD 카메라를 이용하여 동영상 촬영을 하였다. 눈 깜빡임과 하품의 개폐 빈도수 측정은 각 각의 방법으로 실험하여 결과 값을 도출한 후, 결과 값에 대하여 분석을 하였다.
- 본 연구에서는 총 3명의 실험자를 대상으로 실험을 하였다. 눈 깜빡임의 개폐 빈도수 측정은 정확도를 높이기 위해 쾌적한 환경을 연출하기 보다는 실제 운전자의 환경과 비슷한 조명의 자연스런 실내 환경에서 테스트를 하였다. 이를 위해서 그림6과 같이 본 연구실에서 실내등과 창밖으로 들어오는 자연광이 비취는 오후 1~ 5시 시점에 테스트를 하였다.
- 또는 CCD 카메라로 눈 영역을 PCA로 분석하여 검출하는 방법이 있다[7]. 눈의 각 방향을 기저공간으로 사용해 시선방향을 검출한다. 하지만 위의 방법들은 적외선 카메라의 안전성과 높은 비용 외에 많은 연산의 처리과정에서 부가적으로 문제가 따르고 있다.
- 이것은 이후 이진화(binarization)할 때 영향을 줄 수 있기 때문에 포함시키지 않는다. 두 번째로 눈동자 영역 영상을 히스토그램 평활화(Histogram Equalization)를 진행한다. 세 번째로 이 영상을 어두운 색상의 기준점(threshold)으로 이진화 후 형상화(Morphology) 처리한다.
- 두 번째는 템플릿 매칭 기법에 의해 추출하는 방법이 있다. 마지막으로 얼굴에서 눈이 가진 픽셀 값이 특이하다는 점을 이용해 검출하는 방법이 있다 이 세 가지 중 본 연구에서도 세 번째 방법을 사용하였다. 얼굴 중에서 사람의 눈은 주변 공막 영역에 비해 상대적으로 어두운 편이다.
- 이것을 통해 눈 영역에서 어두운 부분을 얻을 수 있다. 마지막으로이 영상을IPF(Integral Projection Function)을 통해 눈 영역의 특징을 검출한다.
- 본 연구는 그림5와 같은 환경에서 CCD카메라를 이용 하여 실험을 위하여 초당 30 프레임 수로 동영상 촬영을 하였다. 실험환경은 Intel Core i7 CPU 2.
- 본 연구를 위해서는 일반적으로 사용하는 CCD 카메라로부터 획득한 얼굴영상을 기본으로 하여 프로그램을 구성한다. 본 프로그램의 가장 기본인 얼굴검출 기술에 대해서 알아보고 얼굴 검출과 관련된 눈 깜빡임과 하품의 검출 기술에 대해서 알아본다.
- 대부분의 연구에서는 얼굴에서 눈 위치는 대부분 동일하다는 점에 착안하여 그 위치를 일정 수치 값을 이용하여 계산해서 한다. 본 연구와 다른 연구들도 얼굴 중에 눈은 얼굴의 좌상과 우상에 위치하기 때문에 이를 필터링한다.
- 두 번째로 눈동자 영역 영상을 히스토그램 평활화(Histogram Equalization)를 진행한다. 세 번째로 이 영상을 어두운 색상의 기준점(threshold)으로 이진화 후 형상화(Morphology) 처리한다. 이것을 통해 눈 영역에서 어두운 부분을 얻을 수 있다.
- 실험1과 실험2의 두 가지 유형의 실험테스트 영상은 본 연구에서 구현한 프로그램에 의해서 실시간으로 결과값을 도출하였다. 실험자 3사람 각 각에 대해서 눈 깜빡임과 하품에 대한 개폐 빈도수 값을 측정하였으며, 각 각의 결과 값에 대해서 분석 하였다.
- 실험에 참가한 3명의 실험자에게 각 각 실험1과 실험2의 두 가지 유형으로 설정하여 실험을 수행 하였다. 실험1은 인위적으로 눈 깜빡임을 약 10초 간격으로 20번 씩 연속적으로 두 번씩 시행하도록 하였다. 실험2도 실험1과 같은 환경과 조건에서 하품을 약 10초 간격으로 20번씩 연속적으로 두 번씩 시행하도록 하였다.
- 실험1은 인위적으로 눈 깜빡임을 약 10초 간격으로 20번 씩 연속적으로 두 번씩 시행하도록 하였다. 실험2도 실험1과 같은 환경과 조건에서 하품을 약 10초 간격으로 20번씩 연속적으로 두 번씩 시행하도록 하였다.
- 이를 위해서 그림6과 같이 본 연구실에서 실내등과 창밖으로 들어오는 자연광이 비취는 오후 1~ 5시 시점에 테스트를 하였다. 실험에 참가한 3명의 실험자에게 각 각 실험1과 실험2의 두 가지 유형으로 설정하여 실험을 수행 하였다. 실험1은 인위적으로 눈 깜빡임을 약 10초 간격으로 20번 씩 연속적으로 두 번씩 시행하도록 하였다.
- 입이 열렸거나 검출되지 않은 경우를 결정하여 3차원 구조의 입 높이를 계산한다. 실험은 스테레오 비전을 사용하고, 실험에 알맞은 환경을 구축하여 영상을 촬영하였다[9].
- 실험1과 실험2의 두 가지 유형의 실험테스트 영상은 본 연구에서 구현한 프로그램에 의해서 실시간으로 결과값을 도출하였다. 실험자 3사람 각 각에 대해서 눈 깜빡임과 하품에 대한 개폐 빈도수 값을 측정하였으며, 각 각의 결과 값에 대해서 분석 하였다.
- 얼굴 영역 내에서 입 영역을 검출하기 위해서 활성 윤곽을 이용하여 입 검출 방법을 사용하였다. 입 개폐는 영역 기반 특징으로 추출하였으며 개폐 정도 측정은 추출된 특징의 크기를 계산하여 구현하였다.
- 우리는 활성 윤곽(Active Contour) 기술을 이용하여 사용자의 눈과 입의 개폐 빈도수를 측정하는 실시간 프로그램을 제안하였다. CCD 카메라의 실험 영상에서 눈깜빡임의 개폐수 측정 결과는 실험자의 눈의 기미나 주름과 같은 눈의 상태나 아크형의 눈 모양에 따라 결과 값의 차이가 있었다.
- 위의 방법으로 얻은 IPF 영상을 이용하여 깜빡임 검출을 진행한다. IPF영상에서 최대값(Max value)에서 비율적으로 임의 영역을 지정한다.
- 위의 알고리즘의 정확도 판단을 위해 BioID DB를 이용해 실험한다. 눈동자 중심 검출 정확도 판별은 다음 수식4를 이용한다.
- 눈 깜빡임의 개폐 빈도수 측정은 정확도를 높이기 위해 쾌적한 환경을 연출하기 보다는 실제 운전자의 환경과 비슷한 조명의 자연스런 실내 환경에서 테스트를 하였다. 이를 위해서 그림6과 같이 본 연구실에서 실내등과 창밖으로 들어오는 자연광이 비취는 오후 1~ 5시 시점에 테스트를 하였다. 실험에 참가한 3명의 실험자에게 각 각 실험1과 실험2의 두 가지 유형으로 설정하여 실험을 수행 하였다.
- 이와 비슷하게 졸음이 올 때 뇌에도 혈액공급이 줄어들기 때문에 뇌 활동이 줄면서 점점 가수면 상태에 들어가게 된다. 이와 같은 신체 현상 중에 눈의 깜빡임을 이용한 운전자 졸음 검출 시스템을 개발하였다.
- IPF영상에서 최대값(Max value)에서 비율적으로 임의 영역을 지정한다. 이후 지정된 영역 안의 어두운 영역 비율과 크기를 비교하여 에러를 구하고 이것으로 깜빡임을 검출한다. 우리는 임의 영역의 비율을 0.
- 얼굴 영역 내에서 입 영역을 검출하기 위해서 활성 윤곽을 이용하여 입 검출 방법을 사용하였다. 입 개폐는 영역 기반 특징으로 추출하였으며 개폐 정도 측정은 추출된 특징의 크기를 계산하여 구현하였다. 입의 개폐를 이용한 운전자 상태 검출에서는 하품을 하는 횟수가 반복적으로 증가하는 상태와 입의 개폐가 일정한 시간 동안 없는 상태로 판단이 가능할 것으로 보인다.
- 보통 시선 방향검출은 적외선 카메라를 많이 이용한다[6]. 적외선 카메라를 이용해 반사도가 가장 높은 부분을 이용해 눈동자의 중심점을 추출한다. 또는 CCD 카메라로 눈 영역을 PCA로 분석하여 검출하는 방법이 있다[7].
- 정확한 눈동자 중심 검출을 위해 관심영역에서 PMI(Pixel with the Minimum Intensity)를 추출하여 비교 한다. 추출된 PMI를 중심으로 10×10 영역을 지정하여 포함된 CDF분석 결과를 누적하여 정확한 눈의 중심점 검출을 계산한다.
- 이것은 머리카락(Hair)과 귀 등이 포함되어 눈동자 중심 검출작업의 오류를 줄일 수 있기 때문이다. 지정한 관심영역을 CDF 분석을 통해 분포도를 생성한다. 다음의 수식2가 이를 보여준다.
- 추출된 PMI를 중심으로 10×10 영역을 지정하여 포함된 CDF분석 결과를 누적하여 정확한 눈의 중심점 검출을 계산한다.
- 실험자 3명에 대해서 두 차례의 실험결과의 전체 평균은 94%의 정확률을 보여주고 있다. 표2에서 정확률의 측정은 입을 연 것으로 간주한 시점부터 최대로 벌린 시점 사이에 프레임에서 오류 횟수의 프레임을 측정하여 계산하였다. 입을 벌린 것으로 판단되는 시점은 실험자들이 최대로 입을 벌린 높이의 평균값이 이분의 일인 시점부터 최대 벌린 시점까지를 말한다.
- 하품의 열림과 닫힘은 2단계로 하여 빈도수 측정을 하였다. 그림11은 실험2의 유형으로 하품에 대해서 프로그램의 결과를 보여 주는 화면이다
대상 데이터
- 0GB RAM과 NVIDIA GeForce GTS 250 비디오 카드를 사용하였으며, 물체 인식을 위한 물체와 전방 카메라 사이의 거리는 약 30~50cm로 하였다. 본 연구에서는 총 3명의 실험자를 대상으로 실험을 하였다. 눈 깜빡임의 개폐 빈도수 측정은 정확도를 높이기 위해 쾌적한 환경을 연출하기 보다는 실제 운전자의 환경과 비슷한 조명의 자연스런 실내 환경에서 테스트를 하였다.
- 0을 이용하여 구현하였고 성능 테스트를 하였다. 실험에서 사용된 모든 영상은 640x480의 픽셀 크기이며, CCD 카메라를 이용하여 동영상 촬영을 하였다. 눈 깜빡임과 하품의 개폐 빈도수 측정은 각 각의 방법으로 실험하여 결과 값을 도출한 후, 결과 값에 대하여 분석을 하였다.
- 본 연구는 그림5와 같은 환경에서 CCD카메라를 이용 하여 실험을 위하여 초당 30 프레임 수로 동영상 촬영을 하였다. 실험환경은 Intel Core i7 CPU 2.80GHz CPU, 6.0GB RAM과 NVIDIA GeForce GTS 250 비디오 카드를 사용하였으며, 물체 인식을 위한 물체와 전방 카메라 사이의 거리는 약 30~50cm로 하였다. 본 연구에서는 총 3명의 실험자를 대상으로 실험을 하였다.
데이터처리
- 본 논문에서 제안한 눈깜빡임과 하품의 개폐 빈도수 측정을 위해 Windows 7, Visual Studio 2010, OpenCV2.0을 이용하여 구현하였고 성능 테스트를 하였다. 실험에서 사용된 모든 영상은 640x480의 픽셀 크기이며, CCD 카메라를 이용하여 동영상 촬영을 하였다.
이론/모형
- 본 연구는 실시간으로 카메라 영상을 통해 입력 받은 영상에서 눈 깜빡임과 하품에 대해 개폐 빈도수 측정을 위해서 빠르고 정확한 결과 값을 돌출하게 하기 위한 방안을 제안하고자 한다. 검출은 OpenCV 라이브러리를 이용한다. 그리고 다양한 분야에 응용 가능한 시선 방향 검출 방법과 적외선 카메라의 사용에 따른 문제점을 해결하기 위해 CDF 분석을 이용한 눈동자 중심점 검출과 시선 방향 검출 프로그램을 제안하고자 한다.
- 본 프로그램은 먼저 입력된 얼굴에서 눈동자 중심을 검출해야 한다. 눈동자의 중심점은 CDF (Cumulative Distribution Function) 분석을 통해 검출한다[10]. 다음의 그림1은 눈동자 중심 검출의 흐름도이다.
- 입력된 영상에서 잡음을 제거 후에 얼굴영역을 검출한다. 얼굴 검출 방법은 Haar 검출방법을 사용한 후, Adaboost를 사용한다. 얼굴인식 기술의 핵심은 얼굴검출 기술과 얼굴인식 기술로 나눠진다.
- 입 검출은 활성 윤곽(Active Contour) 기술을 이용 한다. 활성 윤곽은 추적대상의 외곽선을 정확하게 따내면서 외곽선 내부의 질감(texture), 색상(color), 형태 (shape) 정보만을 가지고 자동 추적한다.
성능/효과
- 이유로는 눈을 감았다고 판단하는 이미지 영상은 반달(Arc)형으로 판단되는데 Arc형 자체가 만들어 지지 않아서 실제 영상보다 적게 나오는 것으로 분석된다. 그리고 본 실험에서는 빛의 세기와 실험 대상의 기본 색상 값이 각각 다름에도 실제 코드에서는 평균적인 데이터를 사용하였기 때문에 정확률에서는 조금씩 떨어지는 결과가 나왔다.
- 이유는 그림13과 같이 실험자3의 입술이 다른 실험자들에 비해 상대적으로 뚜렷한 모양이었다. 실험 결과에서도 실험자3이 약간의 차이지만 다른 실험자에 비해 약간 높은 96%의 정확도가 나왔다.
- 수식7에서 오류는 하품 중인데 입을 닫고 있다고 판단하는 경우를 말한다. 실험에서 대상에 따라 하품 시에 입의 아크형의 모양이 다르기 때문에 본 프로그램에 적용할 때 값은 입을 벌린 것으로 하는 시점의 평균값을 수정해야 하는 경우가 생겼으며 실제로는 사람의 입의 모양과 크기에 대해 약간씩 다르게 지정함에도 불구하고 실험자3의 실험 결과와 같이 정확성이 높았다. 이유는 그림13과 같이 실험자3의 입술이 다른 실험자들에 비해 상대적으로 뚜렷한 모양이었다.
- 실험2는 실험1과 같은 환경과 방법으로 표2와 그림12는 같은 정확률에 대한 결과 값을 보여주고 있다. 실험자 3명에 대해서 두 차례의 실험결과의 전체 평균은 94%의 정확률을 보여주고 있다. 표2에서 정확률의 측정은 입을 연 것으로 간주한 시점부터 최대로 벌린 시점 사이에 프레임에서 오류 횟수의 프레임을 측정하여 계산하였다.
- 그러면서도 하품은 각 대상의 입모양이 다르기 때문에 일반적인 모양과 크기에 대한 평균값을 수정해야 하는 경우가 생기면서 평균값을 지정하는데 어려움이 있었다. 어쨌든 실험 분석에서 개폐과정의 눈과 입의 모양이 뚜렷한 대상이 더 정확한 결과가 나왔다. 본 연구의 정확도 측정 향상을 위해서는 영상처리 기술 등을 통해서 눈과 입의 형상을 좀 더 뚜렷한 이미지화가 필요할 것으로 보인다.
- 입 개폐는 영역 기반 특징으로 추출하였으며 개폐 정도 측정은 추출된 특징의 크기를 계산하여 구현하였다. 입의 개폐를 이용한 운전자 상태 검출에서는 하품을 하는 횟수가 반복적으로 증가하는 상태와 입의 개폐가 일정한 시간 동안 없는 상태로 판단이 가능할 것으로 보인다. 입 내부의 영역이 어둡게 보이며 각각의 입이 그림4와 같이 벌린 부분이 실제 영상에서는 검은색으로 보인다.
- 표1의 항목 중, 프로그램 측정 수는 3명의 실험자가 20번의 눈 깜빡임을 2번씩 수행한 테스트 영상에서 프로그램이 도출한 결과 값으로 전체 평균은 약 16.9번으로 나타났다. 에러 횟수와 정확률의 전체 평균은 3.
후속연구
- 어쨌든 실험 분석에서 개폐과정의 눈과 입의 모양이 뚜렷한 대상이 더 정확한 결과가 나왔다. 본 연구의 정확도 측정 향상을 위해서는 영상처리 기술 등을 통해서 눈과 입의 형상을 좀 더 뚜렷한 이미지화가 필요할 것으로 보인다. 물론 이와 같은 기술을 위해서는 다양한 방법이 있겠지만 CCD 영상 얼굴을 3D모델링을 하면 좀 더 눈과 입의 검출이 정확해 지면서 눈과 입의 윤곽을 뚜렷하게 할 수 있을 것으로 보인다.
- 물론 이와 같은 기술을 위해서는 다양한 방법이 있겠지만 CCD 영상 얼굴을 3D모델링을 하면 좀 더 눈과 입의 검출이 정확해 지면서 눈과 입의 윤곽을 뚜렷하게 할 수 있을 것으로 보인다. 향후, 이와 같은 연구를 통해서 시각 피로도 상태의 결과값이 신뢰 수준으로 연구가 된다면, 자동차 운전자의 졸음 감지 등에 적극 활용이 가능할 것으로 보인다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.