초록 ▼

□ 연구개발 목표 및 내용
◎ 최종 목표
딥러닝을 이용한 비침습 BCI 기반의 뇌인지컴퓨팅 소프트웨어 기술 개발

o End Product
- 고성능 의도 인식이 가능한 딥러닝 기반 Intelligent BCI 패키지(SW)
- 고차원적 사용자 의도 인식이 가능한 Intuitive BCI 패키지(SW)
- 이동 환경에서 잡음에 강인한 뇌 신호 기반의 사용자 의도 인식 패키지(SW)
- 멀티모달 뇌 신호기반 뇌인지 상태 추정 Cognitive BCI 패키지(SW)
- 추가적인 훈련이 최

□ 연구개발 목표 및 내용
◎ 최종 목표
딥러닝을 이용한 비침습 BCI 기반의 뇌인지컴퓨팅 소프트웨어 기술 개발

o End Product
- 고성능 의도 인식이 가능한 딥러닝 기반 Intelligent BCI 패키지(SW)
- 고차원적 사용자 의도 인식이 가능한 Intuitive BCI 패키지(SW)
- 이동 환경에서 잡음에 강인한 뇌 신호 기반의 사용자 의도 인식 패키지(SW)
- 멀티모달 뇌 신호기반 뇌인지 상태 추정 Cognitive BCI 패키지(SW)
- 추가적인 훈련이 최소화되는 Zero-training BCI 패키지(SW)
- 글로벌 BCI 개발자 생태계 조성을 위한 대용량 뇌 신호 데이터베이스(DB)

◎ 전체 내용
o 주요 기능(또는 규격)
- 3D CNN-LSTM 기반의 뇌 신호 특징 추출을 통한 사용자 의도 인식 기능
- 패턴인식 및 기계학습 기반 직관적 상상 패러다임 최적 특징 추출 기능
- 이동환경에서 잡음에 강인한 뇌 신호기반 사용자 의도 인식 기능
- EEG 및 fNIRS 신호를 이용한 의식 상태(각성, 무의식, 졸림 등) 추정 기능
- 대화형 뉴로피드백 기반의 뇌 신호 발현 능력 훈련 기능
- Zero-Training BCI를 위한 딥러닝 기반의 지능형 뇌 신호 분석 기능

o 주요 성능치
－ 사용자 의도 발생 구간 실시간 검출 정확도 95% 이상
－ 실내 이동 환경에서의 실시간 의도 인식 정활도 85% 이상
－ 직관적 상상 패러다임의 다중 클래스 의도 인식 정확도 90% 이상
－ 멀티모달 뇌 신호 기반 실시간 뇌인지 상태 추정 정확도 95% 이상
－ 캘리브레이션 대비 Zero-Training 기반 의도 인식 정확도 비율 90% 이상

o 핵심 기술
- 딥러닝 기반의 뇌 신호 분석을 통한 의도 인식 기술(세계 최고 수준)
- 최적 특징 추출을 통한 직관적 사용자 의도 인식 기술(세계 최고 수준)
- 멀티모달 뇌 신호를 통한 사용자 뇌인지 상태 추정 기술(세계 최고 수준)
- 별도의 캘리브레이션 과정이 없는 Zero-Training BCI 기술(세계 최고 수준)

o 적용범위(또는 서비스)
- 몸이 불편한 환자의 능동적 재활 프로그램 개발에 활용 가능
- 집중력 향상이 가능한 교육용 게임 및 엔터테인먼트 개발에 활용 가능
- 의도 인식 기반의 실생활 기기 제어를 통한 생활 보조 서비스에 적용 가능

◎ 1단계
● 목표
정확도 74% 이상의 사용자 의도 인식 검출 기술 및 정확도 85% 이상의 이동환경의 잡음에 강인한 사용자 의도 인식 기술의 BCI 기반 뇌인지컴퓨팅 SW 기술 개발

■ 1단계 End product
◦ 고성능 의도 인식이 가능한 딥러닝 기반의 뇌 신호 분석 패키지(SW)
◦ 이동 환경에서 잡음에 강인한 뇌 신호 기반의 사용자 의도 인식 패키지(SW)
◦ 멀티모달 뇌 신호 기반의 사용자 뇌인지 상태 추정 패키지(SW)
◦ 추가적인 훈련이 최소화되는 Zero-Training을 위한 뇌 신호 분석 패키지(SW)
◦ BCI 개발자 생태계 조성을 위한 BCI 라이브러리 및 오픈소스 환경 구축

● 내용
◦ 1세부: 고성능 의도 인식이 가능한 딥러닝 기반 사용자 의도 인식 기술 연구
- 딥러닝 학습을 위한 데이터 확장 및 3D CNN 기반 특징 추출 기술 연구
- 3D CNN-LSTM 융합모델 기반 사용자 의도 인식 기술 연구
- DBN 기반의 준비 전위 분석을 통한 사용자 의도 발생 구간 자동 검출
- 실시간 의도 인식이 가능한 딥러닝 기반 뇌 신호 분석 프레임워크 설계
◦ 2세부: 이동 환경에서의 잡음에 강인한 통합적 잡음 필터링 기술 연구
- 이동 환경에서 발생하는 외부 요소에 의한 잡음 처리 기술 연구
- 이동 환경에서 발생하는 복합적 잡음에 강인한 통합적 잡음 필터링 기술 연구
- 주행 환경에서 운전자의 다양한 상태 인식 기술 연구
- 실생활 뇌 신호 잡음에 강인한 딥러닝 기반 의도 인식 기술 연구
◦ 3세부: 멀티모달 뇌 신호의 뇌인지 바이오마커 및 의식상태 추정기술 연구
- 뇌인지 상태 모니터링을 위한 뇌 신호 바이오마커 연구
- 멀티모달 뇌 신호의 상호보정을 통한 안정적인 의도 인식 기술 연구
- 멀티모달 뇌/생체 신호를 활용하는 딥러닝 기반 의식상태 추정기술 연구
- 멀티모달 딥러닝 기반의 사용자-맞춤형 의도 인식 기술 연구
◦ 4세부: 추가적 학습을 최소화하는 Zero-training BCI 연구
- 다양한 뇌 신호 패턴의 표현, 변형, 학습이 가능한 딥러닝 모델 설계
- 반복적 뇌 신호 측정이 필요없는 전이학습 기반 사용자 의도 인식 기술 연구
- BCI 문맹 추정 및 뉴로피드백 기반의 뇌 신호 발현 능력 훈련 기술 연구
- 분류기 모델을 지속적으로 개선하는 Zero-Training 기술 연구
◦ 5세부: BCI 데이터베이스 수집 및 BCI 라이브러리 오픈소스 공개 환경 구축
- GitHub 기반 공개 SW 개발환경 및 개발자 홈페이지 구축
- 딥러닝 기반 뇌 신호 특징 추출 SW 공개 및 대용량 뇌 신호 DB 구축
- 뇌인지 상태 분석 SW 공개 및 멀티모달 뇌/생체 신호 DB 구축
- Zero-Training 의도 인식 SW 및 기개발된 기술을 통합한 BCI SW 공개

◎ 2단계
● 목표
정확도 80% 이상의 직관적 상상 디코딩 기술 및 정확도 82% 이상의 멀티모달 뇌 신호 기반 상태 추정 기술의 BCI 기반 뇌인지컴퓨팅 SW 기술 개발

■ 2단계 End Product
◦ 고성능 의도 인식이 가능한 딥러닝 기반의 뇌 신호 분석 패키지(SW)
◦ 고차원적 의사소통이 가능한 직관적 사용자 의도 인식 패키지(SW)
◦ 다양한 뇌인지 상태 변화에 강인한 사용자-맞춤형 의식 상태 추정 패키지(SW)
◦ 사용자-맞춤형 뉴로 피드백 기반의 사용자 의도 인식 패키지(SW)
◦ BCI 개발자 생태계 활성화를 위한 대용량 뇌 신호 SW 및 DB 공개

● 내용
◦ 1세부: 주변 상황에 적응적인 딥러닝 기반의 지능형 의도 인식 기술 연구
- 주변 상황에 적응적인 딥러닝 기반의 지능형 의도 인식 기술 개발
- 딥러닝 기반 인식된 의도를 확률적으로 고려하는 베이지안 프레임워크 개발
- 고성능 실시간 사용자 의도 인식을 위한 딥러닝 기술 최적화
◦ 2세부: 직관적 의사소통이 가능한 다중 클래스 기반 고성능 사용자 의도 인식 기술 연구
- 직관적 패러다임에 최적화된 특징 추출 기반 사용자 의도 인식 개발
- 직관적 의사소통이 가능한 딥러닝 기반 다중 클래스 인식 성능 안정화
- 자연스러운 사용자 의도의 재생성이 가능한 BCI 의사소통 기술의 최적화
◦ 3세부: 다양한 뇌인지 상태 변화에 강인한 사용자-맞춤형 BCI 기술 연구
- 생체 변화에 강인한 인과학습 기반 의식 상태 추정 기술 개발
- 뇌 신호 발현 능력 강화를 위한 반복적 뇌 자기자극 프레임워크 설계
- 다양한 뇌인지 상태 변화에 강인한 사용자-맞춤형 BCI 기술 최적화
◦ 4세부: 사용자-맞춤형 뉴로피드백 기반의 사용자 의도 인식 기술 연구
- 사용자-맞춤형 피드백을 제공하는 뉴로피드백 시스템 개발
- 딥러닝 모델 강화를 통한 뇌 신호 패턴 분류 성능 향상
- 다수의 사용자가 안정적으로 사용 가능한 Zero-Training 기술 최적화
◦ 5세부: BCI 기술의 범용화를 위한 기술 홍보 및 글로벌 커뮤니티 활성화
- 개발자 생태계를 지원하기 위한 BCI 글로벌 커뮤니티 구축 및 운영
- 국내외 BCI 개발자를 위한 공개 SW 기반의 오픈소스 개발 협력체계 구축
- BCI 기술의 범용화를 위한 기술 홍보 및 글로벌 커뮤니티 활성화

□ 연구개발성과
■ 국제 학술논문 게재
- SCI 기준 상위 6.2% 저널인 Science Advances, 상위 2.3% 저널인 IEEE Transactions on Neural Networks and Learning Systems, 상위 7.5% 저널인 Nature Communications 등 상위 10% 이내 국외 SCI급 논문 98편을 포함한 총 226건의 국외 SCIE급 논문 게재

■ 학술대회 발표
- 최우수 학술대회인 AAAI Conference on Artificial Intelligence, 우수 학술대회인 IEEE International Conference on Systems, Man, and Cybernetics, 등을 포함하여 총 247건의 국제 및 국내학술대회 논문 발표

■ 특허 등록 및 출원
- 해외 특허는 8건의 등록, 22건의 출원, 국내 특허는 52건의 등록, 120건의 출원으로 총 202건의 특허 보유

□ 공개SW성과
■ 공개SW 저장소 개발 및 배포
- 홈페이지: http://deepbci.korea.ac.kr
- Github 페이지: https://github.com/DeepBCI/Deep-BCI
- Intelligent BCI, Ambulatory BCI, Intuitive BCI, Cognitive BCI, Zero-Training BCI, 총 5개의 SW로 이루어진 DeepBCI 공개
■ GitHub을 통한 공개 SW 활성화
- 포크 수 181건
- Star 수 356건
- 커밋 수 817건
- 컨트리뷰터 50명
■ 국제 BCI 학술회의 개최를 통한 글로벌 커뮤니티 구축
- IEEE가 후원하고 본 연구실에서 주관하는 국제 BCI 학회를 매년 개최하였으며, 이를 통해 세계 유수의 석학들을 초빙하여 기술 교류 및 인적 네트워크를 구축

□ 연구개발성과 활용계획 및 기대 효과
■ 성과 확산 및 활용 방안
- BCI 기반의 스마트 홈 시스템: 일상생활 보조 수단과 사용자 맞춤형 편의기능 제공을 위해 가정 내에서 생각만으로 다양한 기기를 제어할 수 있는 기술을 제공함으로써 장애인 및 일반인의 삶의 질 향상에 기여
- BCI 기반의 운전자 주행 보조 시스템: 뇌 신호 분석을 통해 순간적으로 변화하는 운전자의 상태 및 상황을 감지함으로써, 주행 중 발생할 수 있는 다양한 상황에 대해 신속하게 대응 가능
- 고차원적 사용자 의도 인식이 가능한 직관적 의사소통 시스템: 직관적인 BCI 패러다임을 사용하여 직관적으로 상상하는 것만으로 사용자 간의 의사소통이 가능한 시스템을 개발하여 장애인 및 일반인의 삶의 질 향상에 기여
- 딥러닝 기반의 생체신호 분석 기술 연구: 최근 이미지 및 영상 분석, 인공지능 분야에서 주목받고 있는 딥러닝을 활용하여 뇌 신호 분석에 활용하는 것을 시작으로, 생체신호 분석에 딥러닝을 적용하여 사용자의 다양한 상태를 실시간으로 모니터링하는 것이 가능

■ 공개SW 활용 계획
- 커뮤니티 홈페이지와 GitHub와의 연계를 통하여 내·외부 개발자들의 개발 참여 유도해 왔으며 앞으로도 지속적인 운영을 통해 개발 참여 유도
- Deep BCI SW를 기반으로 인공지능 기술 관련 산업체(현대모비스, 삼성전자 등) 및 연구기관들과의 기술 발표회 및 기술 이전을 통한 신산업 아이템 창출
- 세계 유수의 BCI 관련 주요 연구기관(Nanyang Technological University, University of Wisconsin, TU Berlin 등)과의 기술 교류를 통한 BCI SW 확장 방안 모색
- 국제 컴피티션에 참가하여 우수한 성과를 거둠으로써 개발한 SW를 공개하고 홍보하였으며 이후에도 지속적으로 참가하여 홍보 진행 예정

■ 기대 효과
<기술적 측면>
- BCI 기술 개발에 대한 진입장벽 완화: BCI 기술 비전문가들도 상대적으로 쉽게 뇌 신호를 분석할 수 있도록 함으로써 BCI 기술의 진입장벽을 낮추고 생산성 향상에 크게 기여함
- 뇌 신호 분석에 특화된 형태의 딥러닝 기술 개발: 다양한 분야에 널리 활용되고 있는 딥러닝을 기반으로 뇌 신호 분석 기술 개발을 통해 높은 성능의 사용자 의도 인식 성능 확보
- BCI 응용기술 개발 및 보급을 위한 미래원천기술 확보: 일반인을 위한 편의 기능을 포함하여 재활 분야나 군사 분야에서 활용될 수 있는 범용적인 BCI 기술 개발을 통해 국가 신성장 동력엔진 창출
<경제적, 산업적 측면>
- 공개 SW를 기반으로 다양한 BCI 기술 산업 증대: 원천기술의 SW 공개를 통해 더 고도화되고 실용적인 BCI 시스템을 구축하고 BCI 기술 산업에 정보 및 자원을 제공함으로써 산업적 이윤 증대
- 뇌 신호 기반 데이터 공개를 통한 데이터 확보 경제적 손실 감소: 고도의 기술개발을 위해 딥러닝 사용이 증가함에 따라 데이터의 양이 중요한데, 높은 양질의 데이터를 공개함으로써 데이터 수집에 대한 인적/물적 자원 손실을 줄임
<사회적 측면>
- 쉽고 편리한 서비스 제공을 통한 사회 복지 향상: 딥러닝 기반의 고성능 사용자 의도 인식이 가능한 스마트 제어 시스템을 개발하여 복잡한 기기 작동에 어려움을 느끼는 사용자들에게 편리한 서비스를 제공함으로써, 사회 복지 및 삶의 질 향상에 기여할 수 있음
- 뇌인지컴퓨팅 및 BCI 기술에 대한 사회적 관심 증대: 뇌인지컴퓨팅 및 BCI 기술을 최근 주목받고 있는 웨어러블 기기 산업에 함께 활용함으로써, 사회적인 관심이 급격히 증대될 것으로 예상

(출처 : 요약문 6p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 6
• 목차 ... 11
• 1. 연구개발과제의 개요 ... 12
• 1) 연구개발과제의 필요성 ... 12
• 2) 연차별 연구개발과제의 연구 내용 ... 14
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 33
• 1) 연구수행 과정 및 내용 ... 33
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 68
• 1) 연구수행 결과 ... 68
• 2) 목표 달성 수준 ... 168
• 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 169
• 1) 목표 미달 또는 미흡한 연구결과에 대한 원인(사유) 자체분석 내용 ... 169
• 2) 미달 또는 미흡한 결과물에 대한 보완 활동 ... 169
• 3) 연구개발 과정의 성실성 ... 169
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 169
• 6. 연구개발성과의 관리 및 활용 계획 ... 170
• 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 171
• 2) 주요 성과활용 (기대)성과목표 ... 176
• 3) 성과활용·관리 추진체계 ... 180
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 183
• 1) 지능형 BCI 원천 기술을 이용하여 언어전달 약자들의 의사소통을 도와주는 BCI 기술 개발 ... 183
• 2) 뇌인지 상태 변화에 강인한 BCI 원천 기술을 이용하여 수면 문제를 해결할 수 있는 BCI 기술 개발 ... 183
• 8. 연구개발비 사용실적 ... 184
• 1) 고려대학교 산학협력단 (주관연구개발기관) ... 184
• 2) 대구경북과학기술원 (공동연구개발기관) ... 185
• 3) 광주과학기술원 (공동연구개발기관) ... 186
• 4) 한국과학기술원 (공동연구개발기관) ... 187
• 5) 고려대학교 세종산학협력단 (공동연구개발기관) ... 188
• 6) 연세대학교 산학협력단 (공동연구개발기관) ... 189
• 7) 한림대학교 산학협력단 (공동연구개발기관) ... 190
• 8) 뉴로위즈텍 주식회사 (공동연구개발기관) ... 191
• 끝페이지 ... 194