보고서 정보
주관연구기관 |
경북대학교 KyungPook National University |
연구책임자 |
이민호
|
보고서유형 | 최종보고서 |
발행국가 | 대한민국 |
언어 |
한국어
|
발행년월 | 2017-03 |
과제시작연도 |
2015 |
주관부처 |
미래창조과학부 Ministry of Science, ICT and Future Planning |
과제관리전문기관 |
한국연구재단 National Research Foundation of Korea |
등록번호 |
TRKO201700011563 |
과제고유번호 |
1711030193 |
사업명 |
중견연구자지원 |
DB 구축일자 |
2017-10-14
|
키워드 |
특징추출.감정인식.인지과정 모델링.생체신호.의도인식.기계학습.행위예측.멀티모달리티.Feature extraction.Emotion recognition.Cognitive modeling.Bio signal.Intention recognition.Machine learning.EEG.fNIRS.Behavior prediction.Multi-modality.
|
DOI |
https://doi.org/10.23000/TRKO201700011563 |
초록
▼
연구의 목적 및 내용
제안한 연구에서는 사용자의 뇌 신호 및 다양한 생체신호를 동시에 측정하고 분석하여 사용자가 느끼는 감정과 의도를 실시간으로 인식할 뿐만 아니라, 인식한 사용자의 감정과 의도를 효과적으로 융합하여 보다 정확하고 진보된 사용자 행위예측이 가능한 원천기술을 개발한다. 사용자가 느끼는 감정에 따라 같은 상황이더라도 사용자의 의도는 달라질 수 있으며, 이러한 사용자의 의도를 감정을 고려하여 인식하고 의도에 따른 행위가 이루어지며, 사용자 행위 후 야기되는 사용자의 감정변화를 다시 인식하는 인지과정(감정/의도/행위예
연구의 목적 및 내용
제안한 연구에서는 사용자의 뇌 신호 및 다양한 생체신호를 동시에 측정하고 분석하여 사용자가 느끼는 감정과 의도를 실시간으로 인식할 뿐만 아니라, 인식한 사용자의 감정과 의도를 효과적으로 융합하여 보다 정확하고 진보된 사용자 행위예측이 가능한 원천기술을 개발한다. 사용자가 느끼는 감정에 따라 같은 상황이더라도 사용자의 의도는 달라질 수 있으며, 이러한 사용자의 의도를 감정을 고려하여 인식하고 의도에 따른 행위가 이루어지며, 사용자 행위 후 야기되는 사용자의 감정변화를 다시 인식하는 인지과정(감정/의도/행위예측) 순환 계산 모델을 개발하고자 한다.
연구결과
본 연구는 감정, 의도 및 행위예측의 순환 인지 구조를 기계학습 기반 계산모델로 구현하는 것이다. 최종 기계학습 기반 계산모델의 효율적인 구현을 위하여, 감정, 의도, 행위 예측 모듈을 각각 구현한 후에 결과를 융합하였다. 감정 및 의도 인식을 위하여 EEG, fNIRS 장비를 이용하여 뇌 신호를 측정하였으며, 사용자의 감정 및 의도에 따른 뇌 신호 특징점의 차이를 확인하였다. 시선추적장치, 심전도, 피부전도도 센서 등의 생체신호 센서도 이용하여 감정 및 의도에 따른 생체신호 특징점의 차이를 확인하였다. 또한, 지도식 Multiple Timescale Recurrent Neural Network (MTRNN) 모델을 구현하여 사용자의 행위를 예측하였다. 각 인지 모듈을 구현한 후, 뇌 신호 및 생체 신호 특징점 추가와 베이지안 기반의 모달리티 융합 방법 등을 적용하여 각 인지 모듈의 성능을 지속적으로 증진하였다. 연구 3차년도에는 각 인지모듈을 융합하는 모델을 설계하고 구현하였으며, 사용자의 특성에 따른 객체 관심도를 확인하여 구매의도를 최대화 하는 광고 유형을 유추하였다. 최종적으로 개발한 각 인지 모듈과 뇌 신호 및 생체 신호 실험 분석 결과를 바탕으로 사용자 맞춤형 컨텐츠 제공 시스템을 구현하였다.
연구결과의 활용계획
제안한 연구를 통해 개발될 감정과 의도 인식 기술 및 감정, 의도, 행위예측의 순환 모델은 로봇, 자동차, 웨어러블 기기, 스마트 폰, 스마트 TV 등에 적용되어, 사람과 능동적인 상호작용이 가능한 새로운 기기 인터페이스 개발의 핵심 원천 기술로 사용될 것이다.
또한, 광고, 쇼핑몰, S/W 컨텐츠 등의 시장에서 사용자 맞춤형 컨텐츠 제공, 소비자의 구매 의도 파악하는 광고 분석 등과 같이 다양한 응용 분야에 적용될 수 있다. 뿐만 아니라, 뇌 신호 및 생체신호 기반 감정/의도 인식 및 행위예측 기술은 의료, 복지, 재활 등의 분야에서도 다양하게 활용될 것으로 전망된다.
(출처 : 한글요약문 4p)
Abstract
▼
Purpose&contents
This study proposes a core technology for behavior prediction by effectively converging the user’s emotion and intention, as well as recognizing the user’s feelings and intentions based on measuring and analyzing the brain and bio signals simultaneously. Depending on user’s feeli
Purpose&contents
This study proposes a core technology for behavior prediction by effectively converging the user’s emotion and intention, as well as recognizing the user’s feelings and intentions based on measuring and analyzing the brain and bio signals simultaneously. Depending on user’s feelings, even if the situation is same, the intent of a user may vary, and the user's intention may produce different behavior results according to user’s affective status. Cyclically, the user’s behavior affects to emotion and intention. In order to develop more accurate behavior prediction model, we will develop a cyclic cognitive model of emotion, intention and behavior prediction.
Result
The goal of this research is the implementation of the computational structure of emotion/intention/behavior prediction cycle. For effective implementation of the computational model based on machine learning, we implement the emotion recognition module, the intention recognition module, and behavior prediction module.
After building each module, we fuse these modules to make the cognitive cycle model. Using EEG and fNIRS device, we successfully acquired reliable brain signals of emotion recognition and intention recognition. Also, we find out the reliable bio feature of emotion recognition, intention recognition and behavior prediction using Eye tracker, ECG, Galvanic skin conductance sensors. Multiple Timescale Recurrent Neural Network (MTRNN) is used to behavior prediction. Each cognitive module is consistently improved by adding additional brain and bio features and applying bayesian modality integration method. In the end year of research, we focused on integrating each cognitive module and we also infer the characteristics of advertisement which is maximizing the purchase intention. Finally, we implement a customized content offering system based on each cognitive module and the analysis results of brain and bio signals.
Expected Contribution
The core achievement of this research is the cognitive cycle software (emotion recognition, intention recognition, behavior prediction). Through this software, we can make the novel interface which is serviced active interaction with a user. So, this software is the core technology of robot industry, smart vehicle industry, wearable industry, smartphone industry. Also, this software can be applied to the customized contents offering service or the marketing of advertisements. In addition, this software can be applied many other industries such as medical treatment, welfare, and rehabilitation, too.
(출처 : SUMMARY 5p)
목차 Contents
- 표지 ... 1목차 ... 2연구계획 요약문 ... 3연구결과 요약문 ... 4 한글요약문 ... 4 SUMMARY ... 5연구내용 및 결과 ... 6 1. 연구개발과제의 개요 ... 6 2. 국내외 기술개발 현황 ... 8 3. 연구수행 내용 및 결과 ... 11 4. 목표달성도 및 관련분야에서의 기여도 ... 61 5. 연구결과의 활용계획 ... 65 6. 연구과정에서 수집한 해외 과학기술정보 ... 65 7. 주관연구책임자 대표적 연구실적 ... 66 8. 참고문헌 ... 67 9. 연구성과 ... 69 10. 국가과학기술지식정보서비스에 등록한 연구시설‧장비 현황 ... 76 11. 연구개발과제 수행에 따른 연구실 등의 안전조치 이행실적 ... 76 12. 기타사항 ... 78별첨1 ... 79별첨2 ... 90끝페이지 ... 120
※ AI-Helper는 부적절한 답변을 할 수 있습니다.