초록 ▼

□ 연구의 목적 및 내용
VR/AR 콘텍스트에서 사용자의 감성상태를 파악하고 그에 적합한 맞춤형 서비스를 제공할 수 있도록 시계열 데이터인 동공 및 뇌파 신호를 획득하고, 이를 분석 가능한 딥러닝 기술을 이용하여 사용자의 감성을 인식하고 예측하는 핵심 기술 개발
- 딥러닝 기반 감성 인식을 위한 동공 및 뇌파 신호 훈련 데이터 수집을 위한 환경 구성
- 시간 정보를 포함한 동공 신호 획득 방법 설계
- 뇌파 신호의 노이즈 및 아티팩트 제거를 위한 알고리즘 개발
- 딥러닝 기반 감성 인식 훈련 데이터 확장을

□ 연구의 목적 및 내용
VR/AR 콘텍스트에서 사용자의 감성상태를 파악하고 그에 적합한 맞춤형 서비스를 제공할 수 있도록 시계열 데이터인 동공 및 뇌파 신호를 획득하고, 이를 분석 가능한 딥러닝 기술을 이용하여 사용자의 감성을 인식하고 예측하는 핵심 기술 개발
- 딥러닝 기반 감성 인식을 위한 동공 및 뇌파 신호 훈련 데이터 수집을 위한 환경 구성
- 시간 정보를 포함한 동공 신호 획득 방법 설계
- 뇌파 신호의 노이즈 및 아티팩트 제거를 위한 알고리즘 개발
- 딥러닝 기반 감성 인식 훈련 데이터 확장을 위한 데이터 증강(Data augmentation) 알고리즘 개발
- 감성 인식을 위한 딥러닝 기반 특징 추출 모델 설계
- 감성 인식을 위한 시계열 데이터 분석이 가능한 딥러닝 모델 설계
- VR/AR 콘텍스트에서 사용자의 감성 상호 작용을 위한 감성 피드백 설계

□ 연구결과
- 피험자 50명에 대한 VR/AR 환경 내 동공신호 및 EEG 데이터 획득 후, 유효한 데이터 25명 선별 (움직임 및 안구 아티펙트 등으로 인한 데이터 사용불가 데이터 선별)
- 공통 공간 기준 기반 전처리를 수행하여 동공 및 EEG 신호의 SNR 3% 향상
- 데이터 증강 방법(Gaussian Noise 등)을 통하여 데이터를 250% 증강 후, Spectrogram을 통해 신호의 시간 정보를 극대화 함
- 세 가지 감정(화남, 행복, 여유) 분류에 최적화된 딥러닝 모델 설계(2 convolutional layers, 2 max-pooling layers, and 24 step RNN (LSTM) model)
- 설계한 딥러닝 모델을 통해 총 25명의 감성을 분류함 (3 classes, Avg. Acc. = 56.31%)

□ 연구결과의 활용계획
- 동공 및 뇌파 신호로부터 추출한 데이터를 가공 처리하여 필요한 특징을 추출하는 방법을 개발하고, 감성분류 정확성을 향상 시킬 수 있는 딥러닝 기반 신호처리 알고리즘을 개발함으로써 감성 분류 분야뿐만 아니라 인공지능 분야 기반 기술로 활용 가능함
- 감성 인식 기술을 위해 정보들을 결합하고 확장시킴으로써 딥러닝을 통해 효율적인 사용자의 감성 분석, 분류 및 인식이 가능한 사용자 인터랙션 모델 구성이 가능함
- 인식 모델 최적화 및 통합을 시도하는 멀티모달 딥러닝 기반의 예측 모델을 개발함으로써 컴퓨터 공학, 콘텐츠, 심리학 등 관련 분야와 인지 ICT 소프트웨어 기술 융합에 밑거름이 됨
- 후속연구로써 사용자의 감성을 인식하고, 인식된 감성을 바탕으로 사용자에게 영화를 추천해주는 사용자 맞춤형 추천시스템 기술개발을 수행함

(출처 : 한글요약문 4p)

Abstract ▼

□ Purpose& contents
We acquire pupil and EEG signals, which are time series data, in order to grasp user's emotional state in VR/AR context and to provide personalized service for it. Thereafter, we develop the core technologies that recognize and predict user's emotion by using deep-learning tec

□ Purpose& contents
We acquire pupil and EEG signals, which are time series data, in order to grasp user's emotional state in VR/AR context and to provide personalized service for it. Thereafter, we develop the core technologies that recognize and predict user's emotion by using deep-learning technique that can analyze pupil and EEG signals.

- Environment construct to obtain EEG and pupil signal for training that is for deep learning based emotion recognition.
- Development of method to obtain the pupil signal including the time information
- Development of algorithm to remove noise of the EEG and eye artifact
- Development of data augmentation algorithm for deep learning based emotion recognition training data expansion.
- Development of the deep learning based feature extraction model for emotion recognition
- Development of the deep learning model enabling time-series data analysis for emotion recognition
- Development of emotion feedback for user’s emotion interaction in the VR/AR context

□ Result
- In the AR/VR environment, pupil and EEG data are obtained for 50 subjects, then 25 available data are selected.
- The SNR of pupil and EEG is improved by 3% through pre-processing.
- The recorded data are increased 250% through data augmentation method, then time information of signal is maximized by using the spectrogram.
- The optimized model is constructed for three emotion classification. (2 convolutional layers, 2 max-pooling layers, and 24 step RNN (LSTM) model)
- A total of 25 emotions are classified through the designed deep learning model. (3 classes, Avg. Acc. = 56.31%)

□ Expected Contribution
- Developing the method to extract necessary features is processed by the data from pupil and EEG signal, and by developing deep learning based signal processing algorithm that increases the accuracy of emotion classification, it is possible to utilize not only the field of emotion classification but also A.I. field based on the technology.
- User interaction model construction made effective user’s emotion analysis, classification and recognition possible through deep learning by combining and extending the data for emotion recognition.
- MultI-Modal deep learning based predictive models have been developed that attempts to optimize and integrate recognition models. It is based on convergence in computer science, content, psychology, ICT software technologies.
- Recognize the emotion of the user and develop a customized recommendation system that recommends the movie to the user based on the recognized emotion.

(출처 : SUMMARY 5p)

목차 Contents

• 표지 ... 1
• 목차 ... 2
• 연구계획 요약문 ... 3
• 연구결과 요약문 ... 4
• 한글요약문 ... 4
• SUMMARY ... 5
• 연구내용 및 결과 ... 6
• 1. 연구개발과제의 개요 ... 6
• 3. 연구수행 내용 및 결과 ... 9
• 4. 목표달성도 및 관련분야에의 기여도 ... 15
• 5. 연구결과의 활용계획 ... 17
• 6. 연구과정에서 수집한 해외 과학기술정보 ... 18
• 7. 주관연구책임자 대표적 연구실적 ... 20
• 8. 참고문헌 ... 20
• 9. 연구성과 ... 21
• 별첨 ... 22
• 끝페이지 ... 29