초록 ▼

- 얼굴 표정 기반 운전자 개인화 감정 상태 인식 기술 개발
- 웨어러블 디바이스 기반 운전자 생체 신호 정보 취득 및 분석
- 영상을 이용한 운전자 인식 기반 아이트래킹 기술 개발
- 수집된 DB를 이용한 생체 신호 기반 피로도 판단 기술 개발
- 적외선 영상 기반 운전자 인식 기술 개발
- 적외선 영상 기반 운전자 개인화 감정 상태 인식 기술 개발
- 머신러닝과 도로 정보를 활용한 전방차량 충돌 방지 기술 개발
- VR을 이용한 운전 시뮬레이션 장비의 멀미 발생 문제 개선

(출처

- 얼굴 표정 기반 운전자 개인화 감정 상태 인식 기술 개발
- 웨어러블 디바이스 기반 운전자 생체 신호 정보 취득 및 분석
- 영상을 이용한 운전자 인식 기반 아이트래킹 기술 개발
- 수집된 DB를 이용한 생체 신호 기반 피로도 판단 기술 개발
- 적외선 영상 기반 운전자 인식 기술 개발
- 적외선 영상 기반 운전자 개인화 감정 상태 인식 기술 개발
- 머신러닝과 도로 정보를 활용한 전방차량 충돌 방지 기술 개발
- VR을 이용한 운전 시뮬레이션 장비의 멀미 발생 문제 개선

(출처 : 요약서 3p)

Abstract ▼

□ Purpose & Contents
○ Final Goal
□ Development of driver state awareness and context recognition system for the accident risk prediction and prevention when automatically switching the driving mode in the autonomous vehicle

○ Detailed Goals
□ Multiple cameras and biometric signal se

□ Purpose & Contents
○ Final Goal
□ Development of driver state awareness and context recognition system for the accident risk prediction and prevention when automatically switching the driving mode in the autonomous vehicle

○ Detailed Goals
□ Multiple cameras and biometric signal sensor modules analysis and optimal synthesis technology developed signal processing (Real-time signal synthesis system)
□ Multi-sensor-based driver fatigue recognition and quantitative measurement technologies (over 80% success rate)
□ Developing multi-sensor-based driver's emotional state recognition and judgment(over 80% success rate)
□ Verification and recognition of individual modules complement to a variety of environments(over 80% success rate)
□ Quantitative measurement development to expect the accident risk and construct the database in various environment (building robust systems to changing environmental conditions)
□ Situation recognition and accident expectation development using the correlation between objects and the driver (over 90% success rate)
□ System performance analysis and correction in real situation (over success rate 90%)

○ Research1: Optimal synthesis technique for multi-cameras and biometric sensors
□ Wide angle acquisition using stereo camera and driver’s depth acquisition using depth image from stereo adjustment technique
□ Pre-processing technique to remove noise signal and stable image acquisition in the low illumination condition and the external environment change using RGB and IR cameras
□ Sensor position and type selection considering the physical contact of the driver in vehicle and integration module development for heart rate and various biometric sensors

○ Research2: Driver condition recognition and quantitative measurement technique based on multi-camera and biometric sensors
□ Real-time image segmentation to divide background and a driver in the vehicle
□ Development of GPU-based parallel processing technique of the machine learning-based face and eye tracking for improved recognition and real-time processing
□ Complexity reduction technique developed over the required area of interest information extraction and feature extraction technique for the driver state awareness

○ Research3: Correlation analysis of the circumstances and driver recognition techniques
□ multi-object image segmentation and tracking technique development among driver, passengers and interest objects
□ Real-time processing and parallel processing techniques for improving the accuracy during the limited resource for multi-object tracking technique
□ Decision model accuracy improvement for accident risk expectation using various signal synthesis and optimization

○ Research4: Database construction for customized driver and driving mode change study
□ Quantitative technique and feature vector selection study for individual driver classification
□ Low volume database construction in signal synthesis and optimization from individual driver-based multi-camera and biometric sensors
□ Automatic vehicle driving mode transition study based on driver biometric signal recognition and situation recognition using optimization database

□ Results
○ Optimal synthesis technique for multi-cameras and biometric sensors
□ Purpose: integrating signals with various input formats and overcoming the difficulty of applying the system
□ Key performance: optimal processing model development for real-time signal processing-based biometric sensors and multiple camera signals

○ Driver condition recognition and quantitative technique based on multi-sensors
□ Purpose: providing information in automatic driving transition using multi-sensors data
□ Key performance: driver condition decision model development for automatic driving transition

○ Correlation analysis of the circumstances and object recognition techniques
□ Purpose: providing information as to whether the ambient conditions may cause an accident to the driver
□ Key performance: circumstance analysis system development for autonomous vehicles

○ Optimization method for constructing personalized user database
□ Purpose: Accurate accident prediction about individual users and users judgment
□ Key performance: The development of interface system and constructing adaptive database model based on the individual users

□ Expected Contribution
○ Definition and application of technology based on software for a driver condition prediction model using acquired data from multi cameras and biometric sensors in an autonomous vehicle

○ The technology can be applied to similar various fields by predicting context awareness model through recognizing driver fatigue and emotion. It is possible to develop an personalized user interface module and transfer the technology at the related research institutes

○ It is easy to recognize the driver fatigue, the emotion and shape data because of data based on image sensor and biosensor, and hence, it can be applied to a personalized monitoring system

○ It is possible to use next generation technology that can improve driving safety, convenience and acceptability (by gender/age group scenarios-derived UX and optimized UI) of the autonomous vehicle on real road through analyzing comprehensive data that is driver characteristics, driver condition, and context data inside the vehicle

○ The ultimate purpose is not just to develop the technology but to secure a fusion technology through fusing various fields such as electrical and electronics, information technology.

(출처 : SUMMARY 6p)

목차 Contents

• 표지 ... 1
• 제 출 문 ... 2
• 보고서 요약서 ... 3
• 요약문 ... 4
• SUMMARY ... 6
• Contents ... 8
• 목차 ... 9
• 제1장. 연구개발과제의 개요 ... 10
• 1. 연구개발 목적 ... 10
• 1-1. 연구개발의 최종 목표 ... 10
• 1-2. 연차별 연구개발 목표 및 내용 ... 11
• 1-3. 연구개발의 창의성ㆍ혁신성 ... 15
• 1-4. 연구개발성과 및 평가 방법 ... 17
• 2. 연구개발의 필요성 ... 25
• 2-1. 연구개발의 개요 ... 25
• 2-2. 연구개발성과 ... 27
• 2-3. 연구개발의 중요성 ... 28
• 3. 연구개발 범위 ... 28
• 3-1. 연구 단계 ... 28
• 3-2. 연구개발 추진전략·방법 ... 29
• 3-3. 추진일정 ... 33
• 제2장. 국내외 기술 개발 현황 ... 34
• 1. 국내 ... 34
• 2. 국외 ... 36
• 제3장. 연구 수행 내용 및 성과 ... 40
• 1. 연구 수행 내용 ... 40
• 1-1. 운전자 감정 상태 인식 및 판단 기법 [1-20] ... 40
• 1-2. 운전자 피로 상태 분류 기법 [21-37] ... 43
• 1-3. 아이트래킹 기반 다수 운전자 인식 기법 ... 46
• 1-4. 시선 추적 시스템 신뢰도 측정 기법 ... 48
• 1-5. 자율 주행 모드 자동 전환을 위한 외부환경 상황 인식 기법 ... 49
• 1-6. 운전 시뮬레이션 환경 시스템에 관한 연구 ... 51
• 1-7. 적외선 영상 기반 운전자 인식 시스템 기법 [1-20] ... 53
• 1-8. 적외선 영상 기반 운전자 감정 상태 인식 시스템 기법 [1-20] ... 57
• 1-9. 딥러닝 기반 운전자 피로 상태 분류 기법 [21-37] ... 60
• 1-10. 머신러닝 기반 전방 차량 충돌 방지 기법 ... 63
• 2. 성과 ... 66
• 2-1. 연구개발성과 및 평가방법 ... 66
• 2-2. 성과 목표에 대한 자체 평가 ... 67
• 2-3. 연구개발 성과(해당되는 성과만 기재) ... 67
• 제4장. 목표 달성도 및 관련 분야 기여도 ... 71
• 1. 목표 달성도 ... 71
• 2. 관련 분야 기여도 ... 72
• 제5장. 연구개발성과의 활용계획 ... 73
• 제6장. 연구 과정에서 수집한 해외 과학기술 정보 ... 74
• 제7장. 연구개발성과의 보안등급 ... 75
• 제8장. 국가과학기술종합정보시스템에 등록한 연구시설·장비 현황 ... 76
• 제9장. 연구개발과제 수행에 따른 연구실 등의 안전 조치 이행 실적 ... 77
• 제10장. 연구개발과제의 대표적 연구 실적 ... 79
• 제11장. 기타 사항 ... 82
• 제12장. 참고문헌 ... 83
• 끝페이지 ... 85