선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 과제는 운전자가 안전 운전을 하기 위해 생체-행동 신호(얼굴 표정, 신체 움직임, 음성, 안구운동)를 이용하여 감정(기쁨, 화, 슬픔, 놀람, 공포) 및 졸음, 주의력의 신호를 추출하여 일정한 형태의 데이터베이스로 구축하고, 구축된 데이터를 이용하여 운전자의 감정 및 졸음, 주의력의 특징점들을 검출하여, 그- 결과 값을 Multi-Modal 방법을 통해 융합함으로써 운전자의 감정 및 주의력 상태를 인식할 수 있는 시스템을 개발하는 것이다.
- 따라서 운전자의 감정 및 주의력을 동시에 인식하기 위해서는 다양한 생체-행동 신호를 고려하여 실험이 이루 어셔야 하는데 지금까지는 이에 대한 연구가 전부하다. 본 논 분에서는 다중 센서 융합 기술을 이용하여 이러한 문제를 해결하고자 한다.
- 본 논문에서는 음성 신호와 얼굴 영상을 이용하여 운전자의 감정 및 부주의운전을 인식을 하기 위해 동일한 환경에서 제스처와 감정별 Database를 구축한 후 실험을 하였다. 음성 신호의 경우 10명의 남성 대학원생들(나이:25~31) 에게 5가지 감정별로 40개의 음성 샘플을 얻었으며, 얼굴 영상의 경우는 10명의 남성 대학원생들(나이:25~31)에게 5 가지 감정별로 6개의 얼굴 영상을 촬영하여 얻은 샘플과 JAFFE 이미지를 이용하였다.
- 본 논문에서는 이러한 특징 융합 방법을 실험하기 위해서 음성 신호와 얼굴 영상에서 특징들을 추출하였는데 그 결과 각각 6가지와 5가지의 특징 벡터를 추출할 수 있었다. 하지만 11가지의 특징 벡터를 모두 고려하면 차원의 저주에 빠질 위험성이 크고 인식 속도가 느려지는 단점이 생길 수있으므로 특징 선택 방법을 통해 우수한 특징들을 선택하게 된다.
- 본 논문은 안전운선을 위한 보조시스템으로 음성과 영상 그리고 Eye tracker 에 Multi-Modal Sensor Fusion Algorithm을 사용하여 운전자의 감정 및 부주의 운전을 인식하고 적절한 서비스를 제공하여 사전에 교통사고를 예방하고자 하는데 :L 목표를 두고 있다. 다음 그림 1은 본 논문에서 제안한 전체적인 시스템의 구성을 보여준다.
제안 방법
- 그래서 본 논문에서는 400개의 음성 샘플들을 이용하여 각 감정과 특징들 간의 확률분포를 조사하여 사전확률을 계산하였다. :z리고 사용자의 확률 분포와의 유사정도를 파악하여 5가지 감정(평활, 기쁨, 슬픔, 놀람, 화남)으로 패턴을 분류하였다 [6].
- Bayesian Learninge 사전확률을 이용하여 어떤 가설의 확률을 계산하는 방법이다. 그래서 본 논문에서는 400개의 음성 샘플들을 이용하여 각 감정과 특징들 간의 확률분포를 조사하여 사전확률을 계산하였다. :z리고 사용자의 확률 분포와의 유사정도를 파악하여 5가지 감정(평활, 기쁨, 슬픔, 놀람, 화남)으로 패턴을 분류하였다 [6].
- 검출된 얼굴 전체 영역을 추적하고 눈과 눈썹의 위치를 검출한다. 그리고 얼굴 영역과 눈의 위치에 대한 거리(Distance) 를 이용하여 상하좌우에 대한 헤드 제스처를 인식하였다.
- 이렇게 추출된 특징들은 다차원 특징 벡터로 구성되어 있는데 이것을 고유의 정보를 유지하면서 저차원 벡터로 축소시키기 위해서 본 논문에서는 PCA 알고리즘을 사용하였다. 그리고 유클리디안 거리를 통해 5가지 감정별 패턴을 분류하였다. 그림 14는 PCA 알고리즘을 적용한 이미지이다.
- 03로 랜덤하게 설정한 후 학습데이터들을 이용해 오차 범위보다 작아질 때까지 학습을 시킨다. 그리고 입력 데이터를 입력한 후 5 가지 감정으로 패턴을 분류한다.
- Bayesian Learninge 확률을 기반으로 하는 알고리즘으로써 먼저 구축된 Database를 통해 감정별 사전확률을 구하게 된다. 그리고 추출된 특징들을 입력 값으로 설정하고 알고리즘을 통해 사후확률을 구한 후 두 확률의 유사 정도를 통해 5가지 감정별(평활, 기쁨, 슬픔, 놀람, 화남) 패턴을 분류하였다. 그림 13은 음성신호를 이용하여 감정인식을 하기 위해 구성한 기본 UI 다이얼로그이다.
- 마이크를 동해 입력된 음성 신호에 대해서 앞서 설명한 방법에 의해 의미적인 특징을 배재한 운율적인 특징만을 고려한 특징(피치의 최대치 및 평균치, 소리의 크기, 섹션 개수, IR, CR)들을 추출한다.
- 본 논문에서 음성 신호의 경우 단어의 의미상에 감정적인 특징을 잘 나타내는 15가지 단어를 정하여 실험이 이루어졌으며 그 단어들은 표 3과 같다.
- 본 논문에서 임 계값을 干하는 방법은 Haar like feature 를 계산하고, :L 결과가 가우시안 분포라는 가성 하에 평균과 분산을 구한 후, 얼굴과 비 얼굴의 가우시안 분포가 만나는 점을 임계값으로 설정하였다.
- 본 논문에서는 마이크를 통해 입력된 음성신호에 대해서 6가지의 특징들을 Bayesian Leaming(BL)에 적용하여 감정별 패턴을 분류하였다. Bayesian Learninge 사전확률을 이용하여 어떤 가설의 확률을 계산하는 방법이다.
- 본 논문에서는 얼굴 영상을 이용하여 감정을 인식하기 위해서 피부색 축적 알고리즘과 Gray 형 태 변환 방법을 이용하여 입, 눈과 눈썹들의 특징들을 추출하였다. 그리고 추출된 특징들은 다차원 특징 벡터로 구성되어져 있어서 패턴을 분류하기에 용이하지 않다.
- 센서의 입력으로 카메라와 아이트랙커 그리고 마이크 입력을 선택할 수 있도록 하였으며 신경망 학습을 시키기 위한 독립 다이얼로그를 생성하여 학습 시켰다.
- 소리 및 영상의 크기가 피험자와 마이크 혹은 카메라의 거리에 따라 달라질 수 있으므로 그 거리를 30cm로 고정하였으며 녹음된 형태는 11kHz, 16bit, mono이고 촬영된 형태는 320><240 pixels, 8bit, bmp 이미지이다.
- 인식 실험을 한 결과이다. 실험은 5명의 피험자를 대상으로 상하좌우에 대해 각각 50번씩 반복하여 실험하였다. 실험 결과 눈과 눈썹의 검출율과 헤드 제스처의 인식률이 약 80%정도로 만족할 정도의 성능을 보였다.
- 실험은 운전자가 취할 수 있는 제스처로 정면과 상하 좌우로 시선을 두는 행동을 재연하여 성능을 테스트하였다. 그림 15는 운전자의 헤드 제스처 인식 결과를 보여준다.
- 앞에서 설명한 AdaBoost Algorithm을 이용하여 얼굴 영역을 검출하고 그 검출된 얼굴 영역에서 눈과 눈썹의 특징점을 찾아내기 위해 이미 알고 있는 지정학적 위치와 색상 정보를 이용해 눈과 눈썹영역을 추출해낸다.
- 이렇게 촬영된 얼굴영상에 대하여 피부색 축적 알고리즘을 통해 눈, 눈썹, 입에 대한 특징들을 추출하게 되는데, 피부색 축적 알고리즘은 피부색 영역만을 검출 한 후 2차원 평면상에 피부색 픽셀만을 축적하는 방법을 말한다. 이렇게 추출된 특징들을 영상처리에 용이한 Gray 형태로 변환한 후 기본적인 히스토그램 평활화, Sobel 연산 등을 통해 영상처리를 하게 된다. 이렇게 추출된 특징들은 다차원 특징 벡터로 구성되어 있는데 이것을 고유의 정보를 유지하면서 저차원 벡터로 축소시키기 위해서 본 논문에서는 PCA 알고리즘을 사용하였다.
- 이와 같은 실험을 100번 반복한 결과 값이다. 이와 같이 특징들이 결정되면 이 값들을 인공 신경망 중 Back-Propagation(BP) 로 학습하는 Multi Layer Perceptron(MLP) 에 입력으로 설정하여 감정별 패턴을 분류하였다.
- 피험자마다 동일한 감정에 대해 10번의 촬영을 하였으며 이를 바탕으로 50번의 감정 인식 실험이 이루어졌다. 이렇게 촬영된 얼굴영상에 대하여 피부색 축적 알고리즘을 통해 눈, 눈썹, 입에 대한 특징들을 추출하게 되는데, 피부색 축적 알고리즘은 피부색 영역만을 검출 한 후 2차원 평면상에 피부색 픽셀만을 축적하는 방법을 말한다.
대상 데이터
- 본 논문에서는 신경망 학습 알고리즘으로 역전파(BP) 알고리즘을 사용하였다. Multi-Layer Perceptron(MLP)에 입력 파라메타는 앞장에서 설명한 카메라를 이용한 제스처 데이터 5개와 Eye Tracker 5개의 출력 데이터를 사용한다. 얼굴영역은 눈과 눈썹에서부터 얼굴의 외곽 영역까지의 각각의 거리 (Distance)를 이용하며 Eye Tracker는 눈동자의 움직임 좌표와 눈동자 외곽의 영역까지의 거리를 사용한다.
- 본 논문에서 운전자의 졸음 및 부주의 운전 인식을 위한 센서로 BB2 스테레오 카메라와 View Point Eye Tracker 를 사용하였다.
- 본 논문에서 제안한 시스템을 위해서 우리는 View-Point Eye Trackeri 사용하였다. Eye Tacker는 안경처럼 착용할 수 있는 고글형 타입으로 한쪽 눈의 아래 대각선 방향에 소형 적외선 카메라와 적외선 센서로 구성되며 추가로 전방에 시야를 획득하기 위한 소형 카메라가 부착되어 있다.
- 본 논문에서는 Mean Shift Al 官 orithrn 과 AdaBoost Algori廿을 사용하였다. Mean Shift Al官orithme 색상에 대한 확률 분포의 밀도를 구하여 AdaBoost의 검색창의 영역을 피부색의 중심영역으로 제한시켜 보다 빠른 검색을 할 수 있는 효율적인 알고리즘이다.
- 스위스의 취리히에 본사를 둔 RInspeed 사에 만든 'Senso'라는 이름을 가진 자동차는 바이오리듬 자료를 이용하여 사람의 마음 상태에 적응하도록 설계되었다. 운전자가 난폭운전을 하는 것이 감지되면 차량 내부를 마음을 진정시키는 블루 패턴의 색상으로 만들고 긴장을 풀어주는 음악이나 향기를 내뿜어 준다.
- 얼굴영상의 경우에는 10명의 피험자로부터 카메라를 통해 획득하며 실험 조건은 Database 구축 때와 동일하게 하였다. 피험자마다 동일한 감정에 대해 10번의 촬영을 하였으며 이를 바탕으로 50번의 감정 인식 실험이 이루어졌다.
- 음성 신호의 경우 10명의 남성 대학원생들(나이:25~31) 에게 5가지 감정별로 40개의 음성 샘플을 얻었으며, 얼굴 영상의 경우는 10명의 남성 대학원생들(나이:25~31)에게 5 가지 감정별로 6개의 얼굴 영상을 촬영하여 얻은 샘플과 JAFFE 이미지를 이용하였다.
이론/모형
- Mean Shift Al官orithme 색상에 대한 확률 분포의 밀도를 구하여 AdaBoost의 검색창의 영역을 피부색의 중심영역으로 제한시켜 보다 빠른 검색을 할 수 있는 효율적인 알고리즘이다. 강인한 얼굴영역을 검출하고 추적하기 위하여 우리는 AdaBoost 알고리즘을 사용하였다[9]. 그림 5는 AdaBoost 알고리즘을 이용한 얼굴 검촐의 결과를 나타낸다.
- 그리고 추출된 특징들은 다차원 특징 벡터로 구성되어져 있어서 패턴을 분류하기에 용이하지 않다. 그래서 정보를 유지하면서 저차원으로 특징 벡터를 축소시키는 방법이 필요한데 본 논문에서는 이 방법으로 Principal Component Analysis (PCA) 을 사용하였다.
- 등 다양하게 적용되어지고 있다. 본 논문에서는 신경망 학습 알고리즘으로 역전파(BP) 알고리즘을 사용하였다. Multi-Layer Perceptron(MLP)에 입력 파라메타는 앞장에서 설명한 카메라를 이용한 제스처 데이터 5개와 Eye Tracker 5개의 출력 데이터를 사용한다.
- 본 논문에서는 음성 신호에서 감정별 패턴을 분류하는 알고리즘으로 Bayesian Learning을 이용하였다. Bayesian Learninge 확률을 기반으로 하는 알고리즘으로써 먼저 구축된 Database를 통해 감정별 사전확률을 구하게 된다.
- 이러한 이유로 얼굴 검출 시스템에서 피부색을 특징 점으로 많이 이용한다. 본 논문에서는 이러한 피부색을 모델링하는 방법으로 YCrCb 컬러 모델을 사용하였다. 휘도는 y■로 기호화 되고 푸른 정보와 붉은 정보는 q, q로 기호화 된다.
- 필요하다. 본 논문은 Eye Tracker 의 C汕bration의 방법으로 사용자의 인터페이스를 강조한 Glint Pupil Vector method를 사용하였다. GPV(Glint Pupil Vector)방법은 윈도우 전체화면의 영역에서 랜덤하게 사각형을 띄워주고 사용자는 머리가 고정된 상태에서 눈동자만 랜덤하게 나타나는 사각형을 응시하도록 하여 사각형과 눈동자의 이동 좌표를 대조하여 운동자의 움직임을 켈리브레이션하는 방식이다.
- 그리고 분산 값 또한 동일한 데이터에서 얻어졌다. 소리의 크기는 magnitude estimation method에 의해서 구해졌고, 섹션 개수, Increasing Rate(IR), Crossing Rate(CR) 등은 우리의 이전 논문에서 사용한 방법으로 구했다[5].
- 이렇게 추출된 특징들을 영상처리에 용이한 Gray 형태로 변환한 후 기본적인 히스토그램 평활화, Sobel 연산 등을 통해 영상처리를 하게 된다. 이렇게 추출된 특징들은 다차원 특징 벡터로 구성되어 있는데 이것을 고유의 정보를 유지하면서 저차원 벡터로 축소시키기 위해서 본 논문에서는 PCA 알고리즘을 사용하였다. 그리고 유클리디안 거리를 통해 5가지 감정별 패턴을 분류하였다.
- 하지만 11가지의 특징 벡터를 모두 고려하면 차원의 저주에 빠질 위험성이 크고 인식 속도가 느려지는 단점이 생길 수있으므로 특징 선택 방법을 통해 우수한 특징들을 선택하게 된다. 이와 같은 특징 선택 방법으로는 여러 가지가 존재하지만, 본 논문에서는 Sequential Forward Selection(SFS) 방법을 이용하였다. SFS는 비어있는 집합에 순차적으로 특징들을 추가한 후 목적함수에 대입하여 그 결과가 가장 우수한 것들을 특징들로 선택하는 방법이다.
- 카메라와 아이트랙커를 이용하여 졸음운전 및 부주의 운전을 인식하기 위해 센서 퓨전을 하는 방법은 앞 절에서 제시한 특징 융합 방식 (Feature Fusion method)을 사용하였다.
- 특징들은 피치의 통계치, 소리의 크기, 섹션개수 등이다. 피치 추출 방법으로는 가장 일반적인 방법들 중 하나인 autocorrelation ap- proach를 사용했다. 피치 값은 0.
성능/효과
- 실험 결과에서 볼 수 있듯이 특징 융합 방식을 사용한 센서 융합은 약 70%의 인식률을 보였다. 각각의 음성을 통한 인식률 약 66%와 얼굴 영상을 이용한 58%의 인식률보단 센서 융합을 통해 감정을 인식하는 것이 더 향상된 성능을 보였다. 하지만 학습 시 걸리는 시간이 오래 걸린다는 단점이 있으며 본 논문에서는 60만 번의 반복을 통해 오차율 허용범위에 도달할 수 있었다.
- 실험은 5명의 피험자를 대상으로 상하좌우에 대해 각각 50번씩 반복하여 실험하였다. 실험 결과 눈과 눈썹의 검출율과 헤드 제스처의 인식률이 약 80%정도로 만족할 정도의 성능을 보였다. 하지만 눈동자의 위치를 추적하여 제스처를 인식하기 위해 Eye Tracker를 착용하고 실험을 하였을 경우 눈과 눈썹의 위치를 정확히 검출하지 못하여 헤드 제스처의 인식률이 약 67%로 다소 떨어지는 성능을 보였다.
- 실험 결과에서 볼 수 있듯이 본 논문에서 제안한 방법이 안전 운전을 위한 시스템에 적합한가에 대한 가능성을 충분히 보여주었다. 하지만 실지적으로 차량에 장착하여 실제 운전상황에 대한 운전자의 감정과 제스처에 인식률을 확인할 필요가 있다.
- 표 4는 10명의 피험자를 실험한 결과이다. 실험 결과에서 볼 수 있듯이 특징 융합 방식을 사용한 센서 융합은 약 70%의 인식률을 보였다. 각각의 음성을 통한 인식률 약 66%와 얼굴 영상을 이용한 58%의 인식률보단 센서 융합을 통해 감정을 인식하는 것이 더 향상된 성능을 보였다.
- 실험 결과 눈과 눈썹의 검출율과 헤드 제스처의 인식률이 약 80%정도로 만족할 정도의 성능을 보였다. 하지만 눈동자의 위치를 추적하여 제스처를 인식하기 위해 Eye Tracker를 착용하고 실험을 하였을 경우 눈과 눈썹의 위치를 정확히 검출하지 못하여 헤드 제스처의 인식률이 약 67%로 다소 떨어지는 성능을 보였다.
- 각각의 음성을 통한 인식률 약 66%와 얼굴 영상을 이용한 58%의 인식률보단 센서 융합을 통해 감정을 인식하는 것이 더 향상된 성능을 보였다. 하지만 학습 시 걸리는 시간이 오래 걸린다는 단점이 있으며 본 논문에서는 60만 번의 반복을 통해 오차율 허용범위에 도달할 수 있었다.
후속연구
- 그리고 Eye Tracker의 경우 오히려 얼굴에 대한 영상을 외곡 시켜 그 성능을 저하 시키는 결과를 가져왔다. 따라서 Eye Tackei■를 직접 착용하는 방식보다는 원거리에서 카메라를 이용하여 눈동자를 추적하는 시스템을 도입한다면 좀 더 나은 성능을 발휘할 것이라 생각된다. 향후 연구는 운전자의 감정 및 졸음 그리고 부주의 운전에 대한 인식률을 좀 더 향상 시킬 수 있는 알고리즘을 연구 개발하여야 할 것이며 본 논문에서 제안한 시스템에 출력에 안전운전을 위해 차량에서 제공할 수 있는 서비스 등에 대한 연구도 같이 진행 되어야 할 것이다.
- 대부분의 운전자(특히 초보 운전이나 노약자 둥)를은 운전 중에 일어나는 많은 상황에 대해서 대처하기가 힘든며, 이범 경우 대형 사고로 이어지는 경우가 종종 발생한다. 따라서 은전 중에 나타나는 감정 및 인지 상황을 일반화시커서 보다 운진자의 감정을 정확히 표현하고 이에 대해서 적절히 대처할 수 있는 연구가 필요하다.
- 따라서 Eye Tackei■를 직접 착용하는 방식보다는 원거리에서 카메라를 이용하여 눈동자를 추적하는 시스템을 도입한다면 좀 더 나은 성능을 발휘할 것이라 생각된다. 향후 연구는 운전자의 감정 및 졸음 그리고 부주의 운전에 대한 인식률을 좀 더 향상 시킬 수 있는 알고리즘을 연구 개발하여야 할 것이며 본 논문에서 제안한 시스템에 출력에 안전운전을 위해 차량에서 제공할 수 있는 서비스 등에 대한 연구도 같이 진행 되어야 할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.