초록 ▼

□ 연구개요
본 과제의 목표는 비강체 복원 가정을 활용하여 영상으로부터 3차원 구조 정보를 추정하는 심층신경망을 학습하고 그 심층 신경망을 활용하여 환경의 완전하게 3차원으로 복원해내는 방법을 개발하는 것이었다. 기존 방식들은 이를 위해서 환경에 대한 강한 가정이 필요하거나 이미지 정보를 충분히 활용하지 못하는 문제가 있었고, 이를 극복할 수 있는 심층신경망을 고안하는 것을 연구하였다. 초기 연구에서는 포인트 클라우드와 depth map을 동시에 출력하여 이 둘의 조합으로 3차원 형상을 표현하는 네트워크를 고안하였으며 Proc

□ 연구개요
본 과제의 목표는 비강체 복원 가정을 활용하여 영상으로부터 3차원 구조 정보를 추정하는 심층신경망을 학습하고 그 심층 신경망을 활용하여 환경의 완전하게 3차원으로 복원해내는 방법을 개발하는 것이었다. 기존 방식들은 이를 위해서 환경에 대한 강한 가정이 필요하거나 이미지 정보를 충분히 활용하지 못하는 문제가 있었고, 이를 극복할 수 있는 심층신경망을 고안하는 것을 연구하였다. 초기 연구에서는 포인트 클라우드와 depth map을 동시에 출력하여 이 둘의 조합으로 3차원 형상을 표현하는 네트워크를 고안하였으며 Procrustes low-rank loss를 새롭게 제안하여 MDS 네트워크와 호환 가능하면서도 복원 성능을 높이는데 초점을 두었다. 한편, 비강체의 움직임을 표현하는 trajectory space가 shape space보다 강력하며 trajectory vector를 사용하면 움직임을 간결하게 나타낼 수 있어 이를 활용하는 연구 역시 수행되었다. Transformer는 비강체의 shape과 trajectory 정보를 sequence 형태로 입력받는 문제에 효과적인 해결 방안이 될 수 있기 때문에, 이를 활용하여 문제를 해결하였다.

□ 연구 목표대비 연구결과
1차년도 연구에서는 희소한 표현형인 포인트 클라우드와 고밀도 표현형인 depth map을 동시에 출력하여 이 둘의 조합으로 3차원 형상을 표현하는 네트워크를 고안헀다. 또한 새로 개발된 네트워크와 호환이 가능하면서 동시에 복원 성능을 높일 수 있는 procruestes low-rank loss를 새롭게 제안하였다. 기 수행과제에서는 쌍선형 보간과 같은 단순한 보간법을 사용해 복잡한 3차원 형상을 표현하지 못하는 결과를 보였다. 이를 해결하기 위해 이미지 위의 점에 대하여 가중치를 계산하는 커널함수를 학습해 보다 정밀한 depth 표현이 가능하게 되었다.
2차년도 연구에서는 trajectory space에서 각 sequence의 연관성을 계산하기 위한 연구가 진행되었다. 이를 위해 설계한 Transformer module은 self-attention을 통해서 sequence의 연관성을 계산할 수 있으며 이를 활용해 trajectory들 사이의 연관성을 계산하고자 했으며 이를 바탕으로 PointNet 구조의 네트워크를 설계했다. PointNet은 본래 point cloud를 입력으로 받지만 본 연구에서는 trajectory를 입력으로 받아 이를 분석할 수 있도록 했다. 위와 같은 연구를 통해 trajectory space에서의 sequence 간의 유사성을 계산하는 새로운 방법을 제안하였으며 이를 활용하여 유용한 정보를 추출할 수 있는 기반을 마련하였다.
3차년도 연구에서는 trajectory basis에서 shape basis 기반 가정을 포함하도록 연구를 확장시켰다. 이를 위해 spatial information과 temporal information을 동시에 고려할 수 있도록 Transformer module을 수정해 trajectory 사이의 연관성과 shape 사이의 연관성을 모두 연산할 수 있게 했다. 또한 네트워크가 입력 데이터의 연결성을 학습할 수 있도록 입력 데이터에서 연결되어있는 point들 사이의 벡터를 입력 데이터에 추가시켜 보다 비강체의 역동적인 변화를 정확히 분석할 수 있도록 했다.
실험은 Human3.6M, HumanEva, MPI-INF-3DHP 데이터 세트를 통해 성능평가를 진행했고 대부분의 실험에서 상위권의 성능을 보여주었으며 최고 성능을 달성한 실험도 다수 존재한다.

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
본 과제에서 제안된 방법은 변형하는 대상의 3차원 복원에 대한 기존 연구들에 대비해 우수한 성능을 보여준다. 이를 통해 증강현실 또는 가상현실 분야와 의료 분야, 보안 분야 등에서 응용기술로 활용될 수 있으며, 핵심적인 원천 기술로써 관련 어플리케이션을 응용될 수 있을 것이다.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 5
• [1차년도] ... 5
• [2차년도] ... 6
• [3차년도] ... 7
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 9
• 1) 정성적 연구개발성과(연구개발결과) ... 9
• 2) 세부 정량적 연구개발성과 ... 11
• 3) 목표 달성 수준 ... 12
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 13
• 5. 연구개발성과의 관리 및 활용 계획 ... 14
• 6. 자체점검표 ... 14
• 7. 참고문헌 ... 14
• 붙임1. 세부 정량적 연구개발성과 ... 16
• 붙임2 연구책임자 대표적 연구실적 및 증빙(요약문 및 사본) ... 18
• 끝페이지 ... 26