초록 ▼

□ 연구개발 목표 및 내용
◼ 최종 목표
혼합현실(MR)과 사물인터넷(IoT)을 융합한 MR-IoT융합 플랫폼 기술 및 이를 기반으로 하는 인공지능(AI)의 의사결정 지원기술을 재난 상황에 대비하고 대응하기 위한 응용기술 연구·개발 및 이의 전문인력 양성
o MR-IoT융합 플랫폼, 플랫폼 연계 인공지능(AI) 응용기술, MR-IoT융합 시뮬레이터, 탈착식 센서 부가 HMD 시스템 등의 핵심기술 연구
o 지자체 등 재난부서들과 협력을 통한 재난 시나리오 도출 및 AI 응용으로 재난 현장을 고려한 현실성 있는 재

□ 연구개발 목표 및 내용
◼ 최종 목표
혼합현실(MR)과 사물인터넷(IoT)을 융합한 MR-IoT융합 플랫폼 기술 및 이를 기반으로 하는 인공지능(AI)의 의사결정 지원기술을 재난 상황에 대비하고 대응하기 위한 응용기술 연구·개발 및 이의 전문인력 양성
o MR-IoT융합 플랫폼, 플랫폼 연계 인공지능(AI) 응용기술, MR-IoT융합 시뮬레이터, 탈착식 센서 부가 HMD 시스템 등의 핵심기술 연구
o 지자체 등 재난부서들과 협력을 통한 재난 시나리오 도출 및 AI 응용으로 재난 현장을 고려한 현실성 있는 재난 예측/예방 기술 연구개발
o 재난지휘소, 재난현장 구조팀, 구조팀 도달이 불가한 지역에 파견되는 드론, 로봇, 생존자의 신속한 구조를 위한 AI 기술 등 재난대응 응용 기술 연구 및 구현

◼ 전체 내용
연구목적 달성을 위해 본 연구진의 현실적 접근성, 사회적 관심도, 연구기술의 활용성, 구현 제품의 효과성 등을 고려한 주요 연구 요소를 대상으로 5개의 세부 프로젝트 연구팀을 구성, 3개 프로젝트는 대학 중심의 핵심기술 연구를 수행하고, 2개 프로젝트는 참여기업 중심의 시스템 구현을 수행하는 등 연구개발과 구현이 상호보완적으로 이루어지는 연구체계 운영
o 제1프로젝트:실시간 분산 재난대응 MR-IoT융합 플랫폼 연구개발
o 제2프로젝트:재난 대응 협업을 위한 인공지능 기술 연구개발
o 제3프로젝트:재난 대응 지능형 디바이스 응용 기술 연구개발
o 제4프로젝트:MR-IoT융합 시뮬레이터 및 실시간 지원 응용기술 제품화
o 제5프로젝트:MR-IoT융합 임베디드 HW 설계 및 산업응용 기술 제품화 연구의 질적, 글로벌 성과를 높이기 위한
o UNLV(미), Telecom ParisTech(프) 대학의 전문연구진과 국제 공동연구 수행
o 연구 결과의 적용 및 인력교류 확대를 위한 국내 14개 전문기업들 과의 산학 협력 컨소시움 구성 및 기술이전 등 사업화 추진

◼ 1단계
❏ 목표
인공지능(AI) 의사결정 지원기술을 응용한 재난 상황 대비/대응 기술연구 개발 및 AI 응용의 효과적 지원을 위한 MR-IoT 융합 기술과 AI 기반 MR-IoT 융합 공공서비스 확장기술 등 4차 산업기술을 활용한 다양한 재난대응 기술을 개발하고 이를 통한 AI,IoT,MR 기술의 융합능력, 재난대비/대응 등 공공 분야 기여 가능한 전문인력 양성에 있음
❏ 내용
◾ 제1프로젝트: MR-IoT 실시간 분산 재난대응 MR-IoT 융합플랫폼 개발
o 지능형 MR-IoT 융합플랫폼 기술
• 다양한 IoT, AI 시스템 또는 서비스 등의 융합에 대한 한계 분석
• 범용성과 확장성을 갖는 MR-IoT/AI융합 플랫폼 설계
• OneM2M 표준, IoT플랫폼 기반의 MR-IoT융합 구조 분석 및 설계
o 시민감 재난 및 상황 정보의 고 신뢰 수집 및 전달 기술
• MR-IoT융합 연동 재난 시 발생 가능한 시민감 데이터 분석
• 대상 데이터의 MR-IoT융합 플랫폼 수용 모듈
• MR-IoT융합 게이트웨이에서의 정보 수집 및 연산 모듈
o 재난 대비·대응 시나리오 및 가상 콘텐츠 기술
• 화재 재난대응 시나리오 기반의 가상훈련 콘텐츠 시나리오 기획
• 몰입형 4D 화재대응 가상훈련 시뮬레이션을 위한 VR 트레이드밀 적용
◾ 제2프로젝트: 재난대응 협업을 위한 인공지능 기술 개발
o MR-IoT융합 정보 기반 상황 인식 및 대응 지원 딥러닝 기술
• 복잡한 재난 상황 해석용 푸앙카레 공간을 이용한 학습 모델 개발
• 재난 상황 케이스에 대한 내재적 자기 레이블링 기반 이상 탐지 연구
• 잠재공간에서의 곡률 기반의 재난 위협 탐지 모델 개발
o 재난 상황 케이스에 대한 내재적 자기 레이블링 기반 이상 탐지 연구
• 딥러닝 기반 Scene 분석/검출 핵심 기술 개발
• 딥러닝 기반 Scene segmentation / Recognition 기술 개발
• 동영상 학습에 적합한 normalization layer 개발
o 재난대응 협업을 위한 지능형 의사결정 지원 기술
• 재난 대응 협업 사례 조사-비교 및 시나리오 제작
• 멀티에이전트 시스템 모델링을 위한 이해관계자 요구사항 분석
• 재난상황下 강화학습 기반의 의사 결정 알고리즘 개발
◾ 제3프로젝트: 재난대응 지능형 MR-IoT융합 디바이스 응용기술 개발
o IoT 연동형 MR 디바이스 Edge Intelligence 기술
• ANN기반 상황 적응적 task offloading 알고리즘 개발
• 분산 영상처리를 이용한 저전력, 경량화 전처리 기술 개발
• UWB와 Vision-inertial Odometry 융합 기반 상대 측위 기술 개발
o IoT 연동형 MR 디바이스 인터렉티브 UI/UX
• 소방훈련 VR 시스템 및 IoT 기반 소방 장비 개발
• 선행연구 기반 VR 소방훈련 조사 및 시나리오 개발
• 시나리오 기반 VR 소방훈련 시스템 개발
o 지능형 영상입력 필터 및 공간/행위 인지기술
• 캘리브레이션 물체 자동 검출 알고리즘 개발
• 다중 RGB-D 카메라 자동 캘리브레이션 기술 개발
• 다중 RGB-D 카메라 자세, 깊이 보정 알고리즘 개발
◾ 제4프로젝트: MR-IoT융합 시뮬레이터 및 실시간 지원 응용기술 개발
o MR기반 융합 재난 대비·대응 통합훈련 시뮬레이터 제작
• MR기반 융합 재난 대비·대응 통합훈련 시뮬레이터 제작
• MR-IoT융합 디바이스 기술 운영
• 재난모델의 증강모델링과 MR 기술 분석
o 시나리오별 재난 대비·대응 훈련지침 전자 매뉴얼 및 콘텐츠 구현
• 홀로렌즈/HMD에서 캘리브레이션 기술 개발
• 재난대비-대응 교육/지원관리 인터렉티브 기술 개발
• 서비스전달 프레임워크 구축
o 재난 대비-대응-예방 단계별 실증 체감형 MR 기술 개발
• 재난대비-대응 통합 실시간 로케이션관리 개발
• 재난정보의 실시간 운영 협업시스템 설계 및 구현
• 홀로렌즈 기반 재난 대비-대응 시뮬레이터
◾ 제5프로젝트: MR-IoT 임베디드 HW 설계 및 산업 응용기술 개발
o MR-IoT융합 임베디드 IoT 하드웨어 플랫폼 개발
• 제작한 통신 모듈의 동작지원 디바이스 드라이버 개발
• 임베디드 IoT 센서 디바이스를 위한 센서 연동 제작
• 임베디드 IoT 센서 디바이스를 위한 디바이스 드바이버 설계, 개발
o MR-IoT융합 임베디드 IoT 하드웨어 제어시스템 연구
• CoAP/LwM2M 통신 프로토콜 사용 임베디드 IoT 게이트웨이 및 임베디드 IoT 센서 디바이스 간 통신 알고리즘 설계 및 구현
• CoAP/LwM2M 통신 프로토콜을 사용하여 임베디드 IoT 센서 디바이스 제어 및 관리를 위한 RestAPI 설계
o 임베디드 IoT 디바이스 기반 MR-IoT 융합 산업 서비스 구현
• 임베디드 IoT 센서 디바이스 추후 추가될 수 있는 특수 센서를 위한 RS485, RS232, 이더넷 커넥터 및 인터페이스 추가 설계/개발
• 임베디드 리눅스에 기존에 개발된 IoT 통신프로토콜 포팅

◼ 2단계
❏ 목표
1단계의 MR-IoT/AI 융합플랫폼을 재난·안전 현장에서 운영관리 및 대응능력을 고도화하기 위한 핵심기술 확장 연구와 지자체(경기도 안전관리실)와의 협력으로 재난·안전 현장에서의 적용 가능한 유즈케이스 도출 및 실증, 이에 기반한 안정화 기술을 연구·개발하고 MR-IoT/AI 융합 전문능력과 재난현장 실무 지식을 겸비한 전문인력 양성에 있음
❏ 내용
◾ 제1프로젝트: MR-IoT/AI 융합플랫폼의 유즈케이스 응용기술
o 현장-중앙관제간 분산 및 협업 지원 MR-IoT/AI융합 확장 플랫폼 응용기술
• 플랫폼 확장에 최적인 엣지 컴퓨팅 플랫폼 선정 및 이들 간 연동 구조 설계
• 딥러닝 모듈과 데이터를 엣지 디바이스에 이식 및 제어 기술
• 분산된 엣지 디바이스들과 중앙관제소간 협업지원 응용기술
o MR 인터렉티브 상황의 몰입도 증진을 위한 Human+AI 기술 개발 및 효과성 검증
• Human+AI 기술 효과성 검증 및 고도화
• 움직임 및 어지러움 예측 모델 소방 훈련시스템에 적용
• MR 환경 몰입감 증진 요소가 적용된 통합 소방 훈련시스템 개발
o 지자체 연계 유즈케이스 지원 콘텐츠 기술
• MR-IoT/AI 융합플랫폼 활용 재난 훈련 시나리오 설계 및 프로토타입 개발
• 유즈케이스를 기반으로 한 3D 가상훈련 콘텐츠 개발
• 지자체 유관부서 대상 제작 콘텐츠의 적용 및 의견 수렴을 통한 개선 및 확장
◾ 제2프로젝트: 재난대응 적응형 AI융합 플랫폼 및 응용 기술
o 스트림 데이터 기반 재난 예측 및 대응 시스템 적용
• 미정렬된 시계열 모달리티 데이터를 통합하는 재난 예측 시스템 개발
• 복수의 IoT 영상기기로부터의 그래프 기반 딥러닝 시스템 개발
• 다양한 플랫폼에 적용 가능한 모듈형 실 왜곡 디노이징 시스템 개발
o 영상 기반 재난·안전 상황 인지 및 대응 시스템 적용
• 물체 검출기의 실시간성 확보를 위한 Knowledge Distillation 기술
• 재난 상황에서 실시간 세그멘테이션을 위한 Knowledge Distillation 기술
• 재난상황 인지를 위해 지속적으로 학습하는 Continual learning 기술
o 센서 융합 기반 Semantic Navigation 연구
• 이종 센서 데이터 좌표 보정을 위한 AI 기반 캘리브레이션 기술 고도화
• 이종 센서 데이터 AI 기반 융합을 통한 인식 기술 고도화
• 이종 센서 데이터 기반 AI 적응적 융합 기술 응용 및 개발
◾ 제3프로젝트: 재난·안전 유즈케이스에서의 시스템 응용 및 검증
o 안전 Use case에서의 MEC 기반 협업 측위 플랫폼 고도화
• 다중 디바이스 협업 정밀 측위 고도화
• 다중 모바일 엣지 디바이스를 위한 저전력 측위 및 확장성 연구
• 재난 안전 Use case를 고려한 다중 협업 측위 테스트베드 개발
o 재난대응을 위한 엣지 클라우드 MLOps 시스템 고도화
• 효과적인 딥러닝 모델 배포를 위한 컨테이너 마이그레이션 기법
• MR-IoT 기기의 특성 및 네트워크 환경을 고려한 모델 병렬화 기법
• MLOps 기반의 자동화 학습 파이프라인 고도화
o 독립형 AI 프로세서 딥러닝 애플리케이션 혼합 중요도를 위한 플랫폼 연구
• 딥러닝 애플리케이션 실행 패턴을 통한 시스템 변화를 감지하는 기술
• 중요도 변화에 따른 적응형 실시간 스케줄링 정책 변환 기술
• 혼합 중요도를 고려한 다중 기기 기반의 딥러닝 실행 가속화 기술
◾ 제4프로젝트: 재난대응 유즈케이스 맞춤형 MR 기반 응용기술
o 모델링된 실감콘텐츠 객체 모듈화 및 응용기술
• 상황별 요구되는 전자 매뉴얼 컴포넌트 분석 및 모델링
• 상황별 전자 매뉴얼 효과적 시각화를 위한 UI/UX 구조 설계
o 실감콘텐츠 객체와 전자 매뉴얼 연동 UI
• MR디바이스와 유즈케이스 상황에 맞춘 전자 매뉴얼 증강 UI 설계
• ZeroMQ 미디어 스트리밍 전자메뉴얼 연동을 위한 UI 설계 및 구현
o 현실공간과 전자 매뉴얼의 증강 시각화 연동 기술
• 현장과 중앙관제소 간 MR 기반 협업 시각화 환경 설계
• 실감콘텐츠 객체와 전자 매뉴얼 연동 응용 구조
◾ 제5프로젝트: 재난·안전 임베디드 IoT 하드웨어 제어 시스템 개발
o 실제 재난·안전 현장에 적용하기 위한 유즈 케이스 분석
• 1차년도 유즈케이스들 중 시제품 제작이 가능한 시나리오 분석
• 선택한 시나리오의 재난 상황 및 현장 분석 모델링
o 지자체의 현장 요구사항을 반영한 임베디드 IoT 시제품 개발
• 실제 현장에 적용 가능한 임베디드 IoT 시제품 회로 설계
• 재난환경에 간섭받지 않도록 EMC/EMI 회로 보강
o MR-IoT/AI 융합 확장 플랫폼과의 연동을 위한 제어 시스템 개발
• 상위 MR-IoT/AI 융합플랫폼간 연동을 위한 제어시스템 개발/테스트
• 타 세부 프로젝트의 연구내용과 연동

□ 연구개발성과
o 주요 연구개발 정성 성과
- oneM2M과 마이크로서비스 구조 채용 재난대응 MR-IoT/AI 융합플랫폼
- 멀티모달 데이터, 영상, 행위 기반 재난 예측 및 대응 지원 인공지능 기술
- UWB-MR 융합 재난대응 정밀 실내 측위 기술
- 재난현장 디바이스의 경량화 운용 지원 저전력 지능형 제어 기술
- 재난대응 인터랙티브 UI/UX 설계 및 실감 체험형 소방훈련 VR 시스템
- 4D 체험형 화재재난 대응 가상훈련 시스템
- 재난대비, 대응 시나리오별 MR 훈련지침 전자매뉴얼 및 콘텐츠 저작 기술
- MR-IoT 융합 임베디드 센서 및 제어 디바이스 시제품
o 주요 연구개발 정량 성과
- 기술이전 16건 9.33억, 사업화 9건, 기술창업 2건
- 특허출원:85건(국제 24건, 국내 61건), 특허등록: 50건(국제 5건, 국내 45건)
- SCIE 논문 55편 (교수 1인당 3.0편), SW등록 48건

□ 연구개발성과 활용계획 및 기대 효과
o 기술적 측면
- 국가 재난기관과의 연계 연구를 통한 재난 안전 도메인 이해 및 핵심기술(IoT, AR/VR,AI 등)의 첨단 연구역량을 갖춘 고급 개발자 양성으로 세계적 기술 역량 확보 기대
o 경제적, 산업적 측면
- 4차 산업기술들과 이를 융합하는 신기술 연구를 통한 재난대비·대응 체계의 신속성/효과성 제공으로 사회적 안정감 기대 상승 및 안전 사회 구축에 기여
o 사회적 측면
- 재난예방 사전 훈련 지원, 재난대응 상황에서의 신속한 의사결정을 지원 최신 기술 제공으로 사회적 안전 기반 조성, 전문인력 확충, 재난대응 산업 인프라 형성에 기여
o 산업·경제·기술·고용 측면
- AI, IoT, VR/AR/MR과 이들을 융합한 MR-IoT/AI 융합플랫폼의 범용성, 확장성 기능 보유로 다양한 산업·경제·기술적 분야 적용 가능
- 유관 산업체와의 협력 및 기술이전을 통한 경쟁력 강화 및 이를 통한 고용 증대 효과 기대

(출처 : 요약문 3p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 3
• 목차 ... 8
• 표목차 ... 10
• 그림목차 ... 11
• Ⅰ. 계획 대비 달성도 ... 15
• 1. 연구개발 목표 및 내용 ... 15
• 2. 연차별 추진계획 및 실적 ... 17
• 3. 연구개발 결과 ... 88
• 4. 추진전략 및 체계 ... 105
• Ⅱ. 사업수행 실적 ... 121
• 1. 센터의 연구 인프라 구축실적 ... 121
• 2. 정책 중점추진사항 추진실적 ... 128
• Ⅲ. 연구개발 성과 ... 137
• 1. 연구성과 총괄 ... 137
• 2. 지표별 대표성과 ... 139
• 3. 연구성과의 우수성 ... 158
• Ⅳ. 인력양성 성과 ... 159
• 1. 인력양성 추진전략 및 방안 ... 159
• 2. 인력양성 실적 ... 163
• Ⅴ. 향후 계획(요약) ... 171
• 1. 연구계획 ... 171
• 2. 인력양성 ... 176
• Ⅵ. 기대효과 ... 177
• 1. 연구결과의 산업적/경제적 기여도 ... 177
• 2. 연구결과의 기술적 기여도 ... 177
• 3. 연구결과의 활용 가능성 ... 177
• Ⅶ. 연구개발비 사용실적 ... 178
• 끝페이지 ... 180