초록 ▼

□ 연구개요
최근 3D 프린터나 홀로렌즈, 오큘러스, 기어VR 과 같은 가상현실, 증강현실 기기들이 소개되면서 점차 3차원 정보의 활용 폭은 넓어지고 있다. 지금까지의 3차원 데이터는 (3차원 형상 + Color 정보)에 국한되어 있었다. 본 연구는 현재의 3차원 정보에 사물의 재질 정보까지 포함하는 것이 가능한 새로운 방식의 3D 영상 정보 인식 및 추출 기술을 개발한다. 즉, (3차원 형상 + Color 정보 + 표면의 재질 느낌 정보)까지 확장된 다차원 데이터를 동시에 획득한다.
이러한 연구의 성공적 수행을 위하여,

□ 연구개요
최근 3D 프린터나 홀로렌즈, 오큘러스, 기어VR 과 같은 가상현실, 증강현실 기기들이 소개되면서 점차 3차원 정보의 활용 폭은 넓어지고 있다. 지금까지의 3차원 데이터는 (3차원 형상 + Color 정보)에 국한되어 있었다. 본 연구는 현재의 3차원 정보에 사물의 재질 정보까지 포함하는 것이 가능한 새로운 방식의 3D 영상 정보 인식 및 추출 기술을 개발한다. 즉, (3차원 형상 + Color 정보 + 표면의 재질 느낌 정보)까지 확장된 다차원 데이터를 동시에 획득한다.
이러한 연구의 성공적 수행을 위하여, 본 과제에서는 ToF 카메라와 같은 Active Sensor를 이용하여 비교적 용이하게 표면의 Reflectance를 측정하는 방식을 최초로 제안하고 기초 실험 결과를 첨부하였다. Infrared를 이용하여 측정한 Monochromatic Reflectance가 실제 가시광의 Reflectance 특성을 모두 표현할 수는 없지만, Infrared Reflectance의 재질 및 거칠기에 따른 변화를 머신러닝 방식을 이용하여 학습하고 재질 정보를 추출하는 방식은 유효한 것으로 증명된다. 이러한 접근 방법은 새로운 장치의 개발 없이 비교적 저가인 Off the Shelf Color + Depth 카메라를 이용하면서도 혁신적인 멀티미디어 데이터 Modality 확장이 가능함을 제시한다.

□ 연구 목표대비 연구결과
본 연구 에서는 다음과 같은 연구 결과를 획득 할 수 있었다.
1. 딥러닝 기술을 활용하여 Color + Depth 영상을 이용한 재질 정보 인식 및 분류 알고리즘을 개발
2. 해당 연구 결과를 이용한 3차원 객체의 재질 속성이 포함된 3차원 복원 실험을 통한 기술 유효성 검증
3. 세계 최대 그래픽스 학술대회인 SIGGRAPH 2019에서 개발 기술에 대한 포스터 발표 및 전시 수행
4. ICPR 2020에 논문 제출하여 발표 확정

□ 연구개발결과의 중요성
o Color 또는 Depth 카메라를 이용하여 떨어진 거리에서 재질, 거칠기 등의 속성을 인식하는 연구는 Visual 정보의 Dimension을 한 차원 확장 시켜주는 중요한 전환점이 될 것이다. 이러한 연구 결과는 본 과제에서 제시하는 객체인식 연구뿐 아니라, 디지털 데이터를 활용하는 모든 응용 연구에 새로운 데이터의 Modality를 제공함으로써 무한한 확장성을 제공한다.
o 그래픽스의 모든 3D 모델들은 형상+칼라에 더하여 재질 속성 정보를 포함하여 보다 실사와 같은 렌더링이 가능하게 될 것이며, 보기만 하는 것이 아니라 만지면서 촉감을 느낄 수 있는 AR/VR 콘텐츠 생성이 가능해진다.
o 시각 정보에만 의존하는 것이 아니라 Reflectance 추출을 통한 촉각 정보까지 제공하는 원격 진료가 가능해 진다.
o 자율주행 자동차는 전면 객체의 재질을 실시간 확인하여 비상시 가장 안전한(완충가능한) 재질을 가진 물체 쪽으로 회피 기동할 수 있다.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 3
• 2. 연구수행내용 및 연구결과 ... 4
• 3. 연구개발결과의 중요성 ... 15
• 4. 참고문헌 ... 15
• 5. 연구성과 ... 17
• 끝페이지 ... 17