초록 ▼

□ 연구개요
제안한 연구는 웹 환경에서 사용자의 뇌 신호 및 안구정보를 동시에 실시간으로 측정 및 분석하여 사용자의 내면 상태(감정, 의도)를 실시간으로 인식하며, 시간에 따라 변화하는 사용자의 감정 및 의도 상태를 고려하여 전체적인 상황을 영상 및 텍스트 정보로부터 종합적으로 이해 및 요약하며, 이를 바탕으로 미래의 이벤트를 예측하고 어떤 결정을 하는 것이 바람직한지 추천해주는 의사결정 지원 원천기술을 개발한다. 즉, 본 연구는 {감정 인식-의도 인식-행위 예측} 기반의 인지 순환 계산 모델을 기본으로, 상황인지, 요약, 예

□ 연구개요
제안한 연구는 웹 환경에서 사용자의 뇌 신호 및 안구정보를 동시에 실시간으로 측정 및 분석하여 사용자의 내면 상태(감정, 의도)를 실시간으로 인식하며, 시간에 따라 변화하는 사용자의 감정 및 의도 상태를 고려하여 전체적인 상황을 영상 및 텍스트 정보로부터 종합적으로 이해 및 요약하며, 이를 바탕으로 미래의 이벤트를 예측하고 어떤 결정을 하는 것이 바람직한지 추천해주는 의사결정 지원 원천기술을 개발한다. 즉, 본 연구는 {감정 인식-의도 인식-행위 예측} 기반의 인지 순환 계산 모델을 기본으로, 상황인지, 요약, 예측 및 추천 기능을 수행하며 최종적으로 사용자의 의사결정을 지원해준다.

□ 연구 목표대비 연구결과
제안한 연구는 웹 환경에서 사용자의 뇌 신호 및 안구정보를 동기화하여 동시에 측정하고, 웹 환경의 영상 정보를 분석하여, 사용자가 더 나은 의사결정을 할 수 있도록 도와주는 의사결정 지원 기술을 개발하는 것을 목표로 한다. EEG 장비를 이용하여 뇌 신호를 측정하고, 시선추적장치를 이용하여 안구정보를 측정한다. 측정된 뇌파 신호를 전처리하여 인공지능 분류모델에 입력으로 넣어 사용자의 감정 상태를 예측한다. 또한 시선추적장치로부터 측정된 사용자의 안구 정보를 이용하여 사용자의 의도를 추측한다. 사용자의 뇌파와 안구정보를 통해 예측된 감정과 의도 정보를 종합하여 사용자가 원하는 방향으로 인터페이스를 변화 시켜주는 웹 사이트를 구현하였다. 뇌파를 실시간으로 처리하여 사용자의 감정상태를 추측하는 데 CNN모델을 사용하였고 안구정보는 실시간으로 웹 페이지와 통신하는 데 어려움이 있어 마우스 움직임을 조정하는 데 사용되었다. 뇌파 측정장비와 시선추적장비의 성능적 한계와 사람마다 다른 인터페이스 요구가 있어 완벽하다고 할 수는 없지만, 사람의 감정/의도/행위예측의 순환 인지 이해를 바탕으로 웹 환경에서 사용자의 감정, 의도 및 상황을 이해하여 사용자 반응에 따라 적응적인 서비스를 지속적으로 제공해주는 새로운 개념의 interactive web 엔진을 구현하였다.

□ 연구개발결과의 중요성
본 연구를 통해 미래에 뇌파 취득 장비와 시선 추적 장비의 상용화가 이루어 졌을 때, 생체신호를 이용하여 개인 사용자에게 특화된 능동적인 서비스를 제공해 줄 수 있는 원천 기술을 개발하였다. 이는 개인맞춤형 서비스가 늘어나고 효율성을 중요시하는 현대 사회에 가장 적합한 기술이다. 현재는 개인에게 특화된 서비스를 제공하기 위해선 그에 맞는 사전 준비를 따로 해야 하지만, 생체신호를 이용하여 수많은 불특정한 사용자들에 대하여 그에 맞게 특화된 능동적인 서비스를 제공 할 수 있는 기술은 생활의 새로운 패러다임을 제시 할 수 있는 혁신적인 기술이다. 나아가 새로운하드웨어만 적용가능한 기술이 아니라 생체신호를 측정할 수 있는 장비만 있다면, 기존의 하드웨어에도 적용 가능한 기술이라는 점에서도 의미가 있다.

(출처 : 연구결과 요약문 3p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 3
• 목차 ... 4
• 1. 연구개발과제의 개요 ... 5
• 2. 연구수행내용 및 연구결과 ... 5
• 2.1. 웹캠을 이용한 시선 추적장치 개발 ... 5
• 2.2. 시선 검출 알고리즘 및 화면과 시선을 매핑하는 시선 추적 알고리즘 고도화 ... 7
• 2.3. 생체신호로부터 추출한 감정 관련 특징들을 융합하여 사용자의 감정 인식 성능 개선 ... 9
• 2.4. 뇌 신호 기반 감정 인식 모델 고도화 ... 12
• 2.5. 사용자의 의도에 따른 마우스 패턴 예측 모델 개발 ... 14
• 2.6. 실시간 생체정보를 이용한 사용자–웹 상호작용 인터페이스 구축 ... 17
• 2.7. 수행 결과 요약 ... 18
• 3. 연구개발결과의 중요성 ... 19
• 4. 참고문헌 ... 19
• 5. 연구성과 ... 20
• 대표적 연구실적 ... 23
• 끝페이지 ... 38