초록 ▼

□ 연구개요
본 연구는 카메라를 통해 수집되는 영상에 대해 물체/환경 검출 및 인식과 3D 모델링을 수행하고 “시각의 청각화” 개념을 기반으로 물체/환경에 대한 3D orchestraic sound를 생성하여 시각장애인이 주변 환경에 대한 3차원 인식이 가능하게 하는 딥러닝 시스템 및 wearable 디바이스를 개발함. 또한, 피험자들을 모집하여 fMRI를 이용하여 “시각의 청각화”에 대한 뇌과학적 탐구를 통해 3차원으로 생성된 소리를 청취 후 시각 및 공간 감각과 관련된 신경 피질의 활성화 정도를 관찰함. 뇌과학적 탐구를 통

□ 연구개요
본 연구는 카메라를 통해 수집되는 영상에 대해 물체/환경 검출 및 인식과 3D 모델링을 수행하고 “시각의 청각화” 개념을 기반으로 물체/환경에 대한 3D orchestraic sound를 생성하여 시각장애인이 주변 환경에 대한 3차원 인식이 가능하게 하는 딥러닝 시스템 및 wearable 디바이스를 개발함. 또한, 피험자들을 모집하여 fMRI를 이용하여 “시각의 청각화”에 대한 뇌과학적 탐구를 통해 3차원으로 생성된 소리를 청취 후 시각 및 공간 감각과 관련된 신경 피질의 활성화 정도를 관찰함. 뇌과학적 탐구를 통해 본 연구를 통해 개발된 시스템을 활용하는 데 필요한 사전 훈련 방법 중 가장 효과적인 훈련 방법에 대해 정의하였음.

□ 연구 목표대비 연구결과
1) 시각장애인이 감각전이에 의하여 3D 동적 주변 환경을 실시간으로 정밀하게 인지할 수 있도록 하는 딥러닝 기반 고속/고정밀 “시각의 청각화”원천 핵심기술 개발
⦁ 실시간 Panoptic Segmentation을 수행하는 Cascaded YOLO-YOLACT 딥러닝 네트워크 개발: 99.37%, mIoU 92.23%, 62.32 FPS.
⦁ 실시간 3D Scene Modeling을 수행하는 Dual Associative PointAE 딥러닝 네트워크 개발: ADD 91.14%, 343.11 FPS.
⦁ 두 개의 음색을 audio affordance가 가능하도록 합성하는 CAESynth 딥러닝 네트워크 및 Grid 알고리즘으로 audio attention 기능을 통한 3D Audio AR/MR 기술 개발.
2) “시각의 청각화”에 의한 감각전이(Cross-Sensory Transfer)가 두뇌의 기능적 소성(plasticity)에 기반, 연관된 시, 청, 촉각 신경 피질을 어떻게 활성화하고 변화시키는가에 대한 과학적 탐구
⦁ 효과적인 “시각의 청각화”에 의한 감각전이를 위한 음원의 위치 추정 훈련 수행: 실제 음원과 Hololens2를 통해 생성된 음원 각각에 대해 음원 위치를 예측하고 청각, 시각, 운동감각을 기반으로 예측 오차를 피드백하는 훈련법 개발.
⦁ Hololens2를 이용한 음원 위치 추정 실험 과정에서 실험 시작과 제일 마지막에 fMRI를 측정하고 “시각의 청각화”에 의한 감각전이가 훈련에 의해 두뇌의 기능적 소성이 어떻게 변화하였는지에 대해 탐구.
3) 딥러닝 기반 고속/고정밀 시각의 청각화를 구현하는 착용형(Wearable) 디바이스 시제품 개발 및 User Study
⦁ 개발된 “시각의 청각화” 딥러닝 시스템을 탑재한 “시-청각 감각전이” wearable-AI 디바이스를 제작: 백팩 형태로 제작되었으며, 배터리를 통해 Jetson AGX Orin, L515 카메라 센서와 Hololens2에 전원 공급. 디바이스 무게는 약 5kg 임.
⦁ “시-청각 감각전이” wearable-AI 디바이스를 착용한 채로 실환경에서 물체의 종류, 위치, 거리를 예측 및 훈련하는 실험을 통해 디바이스와 시스템이 갖는 효과성 검증.

□ 연구개발성과의 활용 계획 및 기대효과 (연구개발결과의 중요성)
1) 비디오 scene의 3D model을 3D 오디오(오디오 AR/MR 형태의 orchestraic music)로 변환하는 “시-청각 감각전이” wearable-AI 시스템 및 기술은 현재 전 세계적으로 유니크한 아직 개발되지 않은 분야로써 인공지능과 시각장애인 보조를 연결하는 새로운 장르의 연구 분야를 개척함.
2) 2D Panoptic Segmentation 기술과 3D Modeling 기술, 그리고 3D Virtual Orchestra Sound 기반 3D Audio AR/MR 기술을 하나의 시스템으로 통합하여 엣지디바이스인 Jetson AGX Orin에서 실시간으로 시각장애인에게 정확하면서 높은 수준의 정보를 전달하는 기술은 기존에는 연구되지 않았던 연구로 본 과제를 통해 새로운 분야를 확장함.
3) “시-청각 감각전이” wearable-AI 기술은 시각장애인에게 보다 디테일한 공간 인지 효과를 제공할 뿐만 아니라, 이 연구 결과를 휴먼 증강(Augmented Human)과 연계시킴으로써 그 응용범위가 확대됨. 예를 들어 전투기 조종사, 제조업 종사자 등의 휴먼 증강 등. 이를 통하여 미래 컴퓨팅 환경에 적합한 지능형 인간 증강 기술 개발로 확장하여 활용할 수 있음.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 4
• 1) 비디오 영상을 딥러닝 기반으로 Semantic 및 Instance Segmentation을 동시에 수행하는 기술 ... 4
• 2) 상기에서 획득한 Semantic-Instance 통합 Segmented 영상을 딥러닝 기반으로 Segmented 3D Point Cloud 환경 모델로 직접 변환하는 기술 ... 5
• 3) 얻어진 주변 정적 환경의 Segmented 3D Point Cloud 환경 모델을 “Virtual 3D Sound Orchestra”로 합성하는 Sound Landscape 기술 ... 7
• 4) 시각장애인이 청취하는 현장의 실제 Sound와 합성된 “Virtual 3D Sound Orchestra”가 자연스럽게 융합되는 3D Audio AR(Augmented Reality)/MR(Mixed Reality) 기술 ... 9
• 5) 감각전이에 따른 두뇌의 시, 청, 촉각 신경피질의 활성화를 fMRI를 통해 고찰. 특히, 시각 장애의 종류(선천/후천) 그리고 Virtual Sound의 선정 및 표현이 감각전이에 미치는 효과 고찰 ... 10
• 6) 시, 청, 촉각이 공유하는 High Level 감각(예를 들어, 3D 구조, 언어적 표현 등)과 공유하지 않는 Low Level 감각(예를 들어, 색상 등)에 대한 시, 청, 촉각 신경 피질의 부위별 활성화 수준 및 변화를 최초로 탐구 ... 12
• 7) 딥러닝 기반 고속/고정밀 “시각의 청각화”를 구현하는 착용형(wearable) 디바이스 시제품 개발 ... 13
• 8) 딥러닝 기반 고속/고정밀 “시각의 청각화”를 구현하는 착용형(wearable) 디바이스의 User Study ... 14
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 15
• 1) 정성적 연구개발성과(연구개발결과) ... 15
• 2) 세부 정량적 연구개발성과 ... 17
• 3) 목표 달성 수준 ... 17
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 18
• 5. 연구개발성과의 관리 및 활용 계획 ... 18
• 6. 자체점검표 ... 19
• 7. 참고문헌 ... 19
• 붙임1. 세부 정량적 연구개발성과 ... 21
• 붙임2 연구책임자 대표적 연구실적 및 증빙(요약문 및 사본) ... 23
• 끝페이지 ... 71