초록 ▼

□ 연구개발 목표 및 내용
◎ 최종 목표
o 실생활 환경에서 사용자 시선의 제약 없이 실생활 기기 및 AR/VR 디바이스 제어 가능한 딥러닝 기반 최소구속형 BCI 뇌인지컴퓨팅 SW 플랫폼 개발
o 실생활 기기 및 AR/VR 디바이스의 실시간 제어를 위한 사용자 의도/감정과 제어 명령 간의 매핑이 가능한 사용자 인터페이스 개발
o 비침습 BCI 기반 실생활 기기 제어 SW 플랫폼 개발
o 비침습 BCI 기반 고정밀 외부기기 제어 SW 플랫폼 개발
o 개발 기술의 범용화 및 BCI 개발자 생태계 구축<

□ 연구개발 목표 및 내용
◎ 최종 목표
o 실생활 환경에서 사용자 시선의 제약 없이 실생활 기기 및 AR/VR 디바이스 제어 가능한 딥러닝 기반 최소구속형 BCI 뇌인지컴퓨팅 SW 플랫폼 개발
o 실생활 기기 및 AR/VR 디바이스의 실시간 제어를 위한 사용자 의도/감정과 제어 명령 간의 매핑이 가능한 사용자 인터페이스 개발
o 비침습 BCI 기반 실생활 기기 제어 SW 플랫폼 개발
o 비침습 BCI 기반 고정밀 외부기기 제어 SW 플랫폼 개발
o 개발 기술의 범용화 및 BCI 개발자 생태계 구축

◎ 전체 내용
o 사용자 뇌파특징에 기반한 최소/최적전극선택 기술 개발
o 사용자 의도 인식 기반의 실시간 로봇팔 고정밀제어 기술 개발
o AR/VR 환경에서 사용자의 실시간 감정 및 의도 인식 기술 개발
o Reactive BCI 기반의 실생활 기기 및 AR/VR 기기 제어 기술 개발
o 비침습 MI-BCI 기반 전동휠체어 및 드론 제어 기술 개발
o 실시간 보행 관련 의도 검출 기능 및 보행용 외골격로봇 BCI 제어 기술 개발
o 비침습 MI-BCI 기반 원격로봇 제어 기반 기술 개발
o AR-BCI를 위한 동기화 및 저작도구 개발
o AR 장착형 4채널/8채널 뇌파 디바이스 개발
o BCI 생태계 기반 조성(오픈 플랫폼 기반 BCI SW 플랫폼 제공, 다양한 뇌파 저장 및 분석 처리 기록)

◎ 1단계
● 목표
o Hybrid BCI 기반 실시간 원격로봇 및 외골격로봇 제어기술 개발
o 비침습 BCI 기반 로봇팔 제어 SW 플랫폼 개발
o 드론 및 전동휠체어 지능형 주행 보조 기술 개발
o 실생활 기기 제어를 위한 SSVEP 기반 BCI SW 개발
o 실생활 기기 제어를 위한 ERP 기반 AR-BCI 통합 SW 개발
o AR 기기 연동 8채널 뇌파 디바이스 개발

● 내용
o 최소전극 기반 사용자 뇌파특징 인식 기술 개발
o 사용자의 의도 및 감정에 따른 실생활 기기 및 AR/VR 제어기술 개발
o 사용자 의도 인식 기반의 실시간 로봇팔 고정밀제어 기술 개발
o 딥러닝 기반 전동휠체어 및 드론 제어 BCI 알고리즘 개발
o BCI 시스템의 장시간 사용을 위한 생체신호 기반의 온/오프 기술 및 제어 대상 실생활 기기 선택 기술 개발
o AR/VR 환경에서 사용자의 실시간 감정 및 의도 인식 기술 개발
o 실시간 보행 관련 의도 검출 기능 및 보행용 외골격로봇 정밀제어 기술 개발
o Hybrid-BCI 기반 원격 로봇의 협업 제어(방향 및 속도 보조) 기술 개발
o 4채널, 8채널 뇌파 측정 기기 프로토타입 개발

◎ 2단계
● 목표
o 고성능 BCI 기반 실시간 외부기기 제어 SW 플랫폼 기술 개발
o 실생활 기기 제어를 위한 Reactive BCI SW 플랫폼 개발
o AR 기기 연동 8채널 비침습 뇌파 디바이스 고도화 및 안정화
o 개발기술의 범용화 및 BCI 개발자 생태계 구축
o 비침습 BCI 응용 및 상용화 기술 개발

● 내용
o 딥러닝 기반 뇌신호 분석 및 팔 움직임 디코딩을 통한 로봇팔 제어 SW 플랫폼 개발
o 딥러닝 기반 전주기 프로세스 수행용 BCI 통합 SW 플랫폼 개발
o AR/VR 디바이스를 매개로 활용한 비침습 BCI 응용 SW 플랫폼 개발
o 실시간 보행 관련 의도 검출 기능 및 보행용 외골격로봇 정밀 BCI　SW 플랫폼 개발
o 원격지 동적 대상을 추종할 수 있는 모바일로봇 제어기술 SW 플랫폼 개발
o 이동환경에서도 즉각적인 보행 관련 의도 인식이 가능한 보행용 외골격로봇 정밀제어 SW 플랫폼 개발
o 비침습 8채널 건식 뇌파 측정 기기 고도화 및 안정화
o IoT 및 스마트폰 연동 헬스케어 App 응용 기술 개발
o BCI 기반 생태계 조성(오픈 플랫폼 기반 BCI SW 플랫폼 제공, 다양한 뇌파 저장 및 분석 처리 기록)

□ 연구개발성과
o 실생활 적용을 위한 원격 및 외골격로봇 제어 기술 고도화(한국과학기술연구원, KIST)
- 실용화를 위한 무선 EEG 장비 기반 전처리 알고리즘 개발(4종 운동방향 제어 정확도: 82.65%, 10명 기준)
- BCI 기반 스마트 원격로봇 주행 제어 시스템 성능 검증: 공인시험 완료(100.4%/목표 120% 이내)
- BCI 기반 외골격로봇 제어 시스템 성능 검증: 공인시험 완료(외골격로봇 제어 정확도 111.51%/목표 130% 이내; 자극 유발 시각 정보 피드백 유; 생체신호 처리 오류개수 0%/목표 1% 이내)
- BCI 통합 SW 패키지 제작
- (논문) SCIE 22건, 국제학술회의 24건, (특허) 국제등록 3건, 국제출원 6건 국내등록 6건, 국내 출원 10건, (기술이전) 2건, (홍보) 30건의 성과 달성
o 고성능 로봇팔 제어 기술의 융합을 통한 실용적 BCI 기술 개발(고려대학교산학협력단)
- 비침습 뇌-컴퓨터 인터페이스 기반 로봇팔 제어 SW 플랫폼 성능 검증: 공인시험 완료(52.25초/목표 60초 이내)
- 다양 BCI 패러다임용 자동 최적전극선택 기술 개발(다수 채널 기반 성능 대비 최소채널 기반 온라인 실시간 뇌파특징 인식 정확도 비율 107.28%/목표 95% 이상)
- 비침습 BCI 및 AR 기반 로봇팔-전동휠체어 통합 시스템 실용화 기술 개발 완료
- (논문) SCIE 15건, (학술회의) 국제 54건, 국내 8건 (특허) 국제등록 4건, 국제출원 8건, 국내등록 14건, 국내출원 32건, (SW등록) 15건, (기술문서) 15건의 성과 달성
o 실생활 적용을 위한 통합 BCI 제어 SW 플랫폼 개발(한국과학기술원, KAIST)
- BCI 기반 전동휠체어 성능 검증: 공인시험 완료(이동시간, 127.6% 달성/목표 150% 미만; 이동거리, 118.49%)
- BCI 기반 드론 주행 제어 시스템 성능 검증: 공인시험 완료(이동시간, 113.4%/목표 150% 미만; 이동거리, 125.4%)
- VR 및 AR 헤드셋과 연동하여 Unity로 구현한 VR 환경과 AR 테스트베드에서 BCI로 주변기기 제어 시스템 개발
- (논문) SCIE 16건, 국제학술회의 21건, (특허) 국제등록 1건, 국제출원 3건, 국내등록 5건, 국내 출원 5건, (SW) 등록 6건 (기술문서) 5건의 성과 달성
o 실생활 적용을 위한 SSVEP-BCI 기반 의도인식 기술 고도화(한양대학교산학협력단)
- AR-SSVEP BCI 실생활 기기 제어 성능 검증: 공인시험 완료(제어기기 8개, 제어의도 34개, 정확도 100.00%, ITR 49.93 bits/min, 울산과학기술원 개발 결과 통합 시 제어기기 목표 15개 대비 15개 달성, 제어의도 45개 대비 50개 달성, 정확도 94% 대비 98.57% 달성, ITR 33 bits/min 대비 40.21 bits/min 달성)
- (논문) SCIE 30건, 국제학술회의 16건, (특허) 국내등록 7건, 출원 13건의 성과 달성
o 실생활 적용을 위한 ERP 기반 실생활 기기 제어 기술 고도화 (울산과학기술원, UNIST)
- 실생활 환경을 고려한 ERP 기반 Home BCI 시스템 기술 구축 (온라인 BCI 2회 반복: 정확도 92.08%, 31명 기준) 및 상용 프로그램 공유
- ERP 기반 iOS 모바일 BCI 서비스 구현 및 스마트폰을 통한 실시간 구동 가능한 BCI 개발
- ERP BCI 실생활 기기 제어 성능 검증: 공인시험 완료 (제어기기 7개, 제어의도 29개, 정확도 97.14%, ITR 30.48 bits/min, 한양대 통합시 제어기기 15개/목표 15개, 제어의도 63개/목표 50개, 정확도 98.57%/목표 95%, ITR 40.21 bits/min/목표 35 bits/min 달성)
- (기술이전) 2건 (논문) SCIE 11건, 국제학술회의 20건, (특허) 국내등록 2건, 국내출원 5건, (SW) 국내등록 4건의 성과 달성
o 최소채널 디바이스 고도화 및 연구결과 반영 솔루션 개발(㈜소소에이치앤씨)
- AR기기 연동 4채널 / 8채널 무선 뇌파 디바이스 개발 및 제작
- 사용자 편의성 및 양산을 위한 다채널 무선 뇌파 디바이스 고도화 개발 및 제작
- LSL을 통한 BCI 장비 통합 및 독립 SSVEP 자극기 연동 BCI 통합 SW 개발
- 사용자의 힐링과 숙면을 위한 환경 제어 BCI 감성 헬스케어 솔루션 “M+” 개발
- 4/8채널 무선 뇌파디바이스 성능 공인시험 검증 완료 (1단계 2회, 2단계 최종 제품 1회)
- (특허) 국제등록 2건,국제출원 4건, 국내등록 3건, 국내출원 8건 (사업화) 매출 4.72억원의 성과 달성
o BCI-MR SmartRobot 콘텐츠 제작(㈜토탈소프트뱅크. TSB)
- 시제품 7건(스마트로봇, 스마트홈, 스마트케어 연동 시제품 등) 제작 및 실내 테스트베드 구축
- VR/AR 관련 매출 4.93억원의 성과 달성
- BCI-MR SmartRobot 콘텐츠 제작 및 공동연구개발기관과의 협업을 통한 드론, 휠체어, 스마트 로봇 등 BCI 통합 테스트 및 시연 완료
- BCI-AR IoT 실생활기기 제어 콘텐츠 제작 및 IoT 테스트베드 구축을 통한 시범 운영 완료
- (SW) 등록 8건, (홍보) 12건, (특허) 국내등록 2건, 국내출원 3건, (공인인증) 3건, (상표) 출원 1건의 성과 달성
o BCI 기반 보행보조로봇 및 식사보조로봇 개발 및 사용성 평가((주)엔티로봇)
- 외골격 보행보조 로봇 및 식사보조로봇의 기구부, 제어부, 제어 SW 개발 및 시제품 제작
- 장애인/비장애인 10인에 대해 외골격 보행보조 로봇 사용성 평가 및 상용화 서비스 모델 개발
- 장애인/비장애인 5인에 대해 식사보조로봇 사용성 평가 및 상용화 서비스 모델 개발
- (시제품) 제작 5건의 성과 달성

□ 연구개발성과 활용계획 및 기대 효과
o 연구개발성과의 수요처
- Google, Apple, 삼성, LG 등 웨어러블, AR/VR/XR,모바일 인터페이스 관련 회사
- Emotive(미국), Advanced Brain Monitoring(캐나다), G.Tec(오스트리아) 등 뇌파측정시스템 제조기업
- 서울재활병원, 국립재활원, 한국뇌연구원, NIH(미국), RERC(미국) 등 BCI 기반 재활 관련 의료 및 연구기관
o 활용계획
- 지체/뇌병변 장애인들의 BCI 실사용 수요를 반영한 상지/하지 보조 가능한 생활보조시스템의 실용화
- BCI 무선 뇌파디바이스를 활용한 스트레스, 불면, 우울증 등 관련 디지털 헬스케어 사업화 및 뇌질환 진단용 의료기기 분야 사업화
- BCI 감성솔루션을 활용한 심리상담 등 멘탈헬스케어 분야 사업화
- BCI-AR기기를 연동한 인지기능 향상 및 뇌질환 등 디지털 치료제 서비스 사업화
- SmartHome BCI, SmartHome AR 콘텐츠로 장애인을 위한 가정용 제품 홍보 및 판매
- 헬스케어 BCI, 헬스케어 AR, 산업용 BCI로 헬스케어 및 재활치료 시장과 연계하여 다양한 제품과 연계하여 활용
- SmartDrone, 산업용 제조 BCI로 국방/제조 산업과 연계하여 활용
- VR, AR, XR형 가상훈련시스템 및 메타버스 지원 기술로 XR 형 안전/운전 가상훈련시스템 BCI UI/UX 인터페이스 및 제조분야 메타휴먼 실감형 인터랙션 협업서비스에 활용
o 기대효과
- 다양한 서비스 및 시장에서 새로운 의사소통 수단으로 활용함으로써 기존에 없던 다양한 인터페이스 개발 지원
- 장애인 또는 노약자의 생활 보조 수단으로 활용하여 삶의 질 향상
- 양손이 제한적인 상황에서 추가적인 제어를 위한 기술로 활용하여 위급상황 대처 및 효율적 업무 수행에 기여
- 오픈 플랫폼 기반 BCI SW 공유를 통한 국내 기업과 비장애인의 BCI 기술 접근성 향상 및 이를 통한 여러 산업에서의 BCI 기술 활용성 제고
o 경제적 파급 효과
- 미래원천기술 개발을 통한 국제경쟁력 확보
- 국내 BCI 및 뇌과학 관련 산업의 전반적 도약 계기 마련
- 뇌과학 기술 개발을 통한 사물인터넷 산업 다변화
- 많은 잠재적 기술 수요자에 의한 시장 확대

(출처 : 요약문 12p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 12
• 목차 ... 16
• 1. 연구개발과제의 개요 ... 17
• 가. 연구개발의 개요 ... 17
• 나. 연구개발의 필요성 ... 18
• 다. 연구개발의 목표 ... 19
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 20
• 가. Hybrid BCI 기반 실시간 원격 및 외골격로봇 제어기술 개발(한국과학기술연구원, KIST) ... 20
• 나. 비침습 BCI 기반 로봇팔 제어 SW 플랫폼 개발(고려대학교) ... 57
• 다. 드론 및 전동휠체어 지능형 주행 보조 기술(한국과학기술원, KAIST) ... 101
• 라. 실생활 기기 제어를 위한 SSVEP 기반 BCI SW 플랫폼 개발(한양대학교) ... 118
• 마. 실생활 기기 제어를 위한 ERP 기반 AR-BCI SW 플랫폼 개발(울산과학기술원, UNIST) ... 140
• 바. AR 기기 연동 8채널 뇌파 디바이스 업그레이드 개발((주)소소에이치앤씨) ... 160
• 사. 생각만으로 실생활 기기 및 AR/VR 디바이스를 제어하는 비침습 BCI 통합 뇌인지 컴퓨팅 SW 플랫폼 기술 개발((주)토탈소프트뱅크) ... 180
• 아. 비침습 BCI 상용화 기술 개발((주)엔티로봇) ... 209
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 214
• 1) 연구수행 결과 ... 214
• 2) 목표 달성 수준 ... 268
• 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 270
• 1) 목표 미달 또는 미흡한 연구결과에 대한 원인(사유) 자체분석 내용 ... 270
• 2) 미달 또는 미흡한 결과물에 대한 보완 활동 ... 270
• 3) 연구개발 과정의 성실성 ... 270
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 271
• 6. 연구개발성과의 관리 및 활용 계획 ... 272
• 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 273
• 2) 주요 성과활용 (기대)성과목표 ... 273
• 3) 성과활용·관리 추진체계 ... 274
• 4) 기타 ... 275
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 276
• 1) 다채널 뇌파 디바이스 사업화를 위한 애플리케이션 개발 ... 276
• 2) AR-BCI 콘텐츠를 활용한 사업화를 위한 애플리케이션 개발 ... 276
• 3) BCI 외골격로봇 및 식사보조로봇 사업화를 위한 실용화/사용성평가/후속 연구 수행 ... 276
• 4) 모바일 BCI 뇌파지표를 활용한 사업화를 위한 애플리케이션 개발 ... 276
• 5) BCI 통합 SW 최신화 및 지속적인 기술 업데이트 ... 276
• 8. 연구개발비 사용실적 ... 277
• 1) 주관연구개발기관: 한국과학기술연구원 ... 277
• 2) 공동연구개발기관: 고려대학교산학협력단 ... 278
• 3) 공동연구개발기관: 한국과학기술원 ... 279
• 4) 공동연구개발기관: 한양대학교산학협력단 ... 280
• 5) 공동연구개발기관: 울산과학기술원 ... 281
• 6) 공동연구개발기관: (주)소소에이치앤씨 ... 282
• 7) 공동연구개발기관: (주)토탈소프트뱅크 ... 283
• 8) 공동연구개발기관: (주)엔티로봇 ... 284
• 끝페이지 ... 285