초록 ▼

연구의 목적 및 내용
본 연구는 동영상 속에 변형하는 불체가 하나 있을 때 3차원 형상을 고해상도로 복원할 수 있는 방법을 개발하는 것이 주된 목표였다. 이때 해당 방법이 자동으로 적용될 수 있도록 배경과 물체를 자동으로 구분하는 방법, 물체의 궤적이 불완전하거나 순차적으로 입력될 때에도 적용할 수 있는 방법, 또 해당 기술에 대한 응용연구를 수행하는 것 역시 목표였다. 본 과제의 수행 결과, 이 목표를 대부분 달성할 수 있었는데, 당초 계획했던 아이디어를 뛰어넘는 방법 또한 발견할 수 있었다.

연구결과
본

연구의 목적 및 내용
본 연구는 동영상 속에 변형하는 불체가 하나 있을 때 3차원 형상을 고해상도로 복원할 수 있는 방법을 개발하는 것이 주된 목표였다. 이때 해당 방법이 자동으로 적용될 수 있도록 배경과 물체를 자동으로 구분하는 방법, 물체의 궤적이 불완전하거나 순차적으로 입력될 때에도 적용할 수 있는 방법, 또 해당 기술에 대한 응용연구를 수행하는 것 역시 목표였다. 본 과제의 수행 결과, 이 목표를 대부분 달성할 수 있었는데, 당초 계획했던 아이디어를 뛰어넘는 방법 또한 발견할 수 있었다.

연구결과
본 연구는 동영상 속 변형하는 물체의 3차원 복원을 수행하는 비강체 복원 연구를 고해상도 영상으로 확장하여 높은 성능을 얻어내는 것이 주된 목적이었다. 구체적으로는 당초 본 연구진이 제안한 프로크루스티안 분포 (PND)를 이용해 고해상도 영상에서 비강체 복원을 성공시키는 것이 목적이었다. 이를 달성하기 위해 원래 계획에 따라 PND의 성질에 대해 심층적인 분석을 수행하고, 여기에 마코프 체인을 바탕으로 한 시간적 연속성 가정을 추가하는 연구를 수행하였다. 또한 PND의 단점인 느린 복원 속도를 개선하기 위해 회귀분석의 형태로 알고리듬을 변경하고, 물체 단위로 적용되는 PND를 실제 데이터에 적용하기 용이하게 하기 위해 궤적 분리 방법을 개발하였다.
그런데 이와 별개로, 연구의 과정을 통해 본 연구진은 실제 동영상의 경우, 비강체 복원에서 전통적으로 사용되는 가정인 저차원 가정이 잘 들어맞지 않음을 발견했다. 이는 비단 동영상 속에 여러 개의 물체와 배경이 공존하기 때문만이 아니라, 한 물체 안에서도 복잡한 변형이 존재할 수 있어 이것이 저차원으로 잘 표현될 수 없기 때문이었다. 이를 해결하기 위해 본 연구진은 전체 동영상에서 저차원으로 잘 표현될 수 있을 것 같은 작은 영역들을 확률적으로, 중복되도록 많이 뽑아서 각각을 복원한 후, 이를 다시 확률적으로 결합하는 새로운 방식을 제안했다. 이 방법은 복잡한 데이터에 대해 기존의 방법들을 크게 뛰어넘는 성능을 보였으며, 여러 물체가 공존하고 가려지는 문제까지 해결할 수 있는 장점이 있었다. 또한 복원의 각 세부 과정이 간단하고 병렬화 가능해, 구현의 측면에서도 매우 효율성이 높았다. 해당 방법은 현재 비강체 복원에서 핵심 알고리듬으로서는 세계적으로 가장 우수한 수준에 속한다고 할 수 있다.
본 연구의 결과, 동영상 고해상도 3차원 복원의 핵심 문제를 해결하였고, 이는 이후 좀더 난이도 있는 복원 환경을 위해 사용될 수 있다.

연구결과의 활용계획
- 고정되어 있지 않고 변형하는 물체가 하나 이상 존재하는 2차원 동영상에서 상당 부분을 고해상도로 3차원 복원할 수 있음.
- 가상현실/증강현실을 위한 핵심 알고리듬으로 사용될 수 있어, 사람의 몸의 움직임을 3차원으로 복원하여 옷을 입혀본다던가, 이색적인 배경과 합성하는 등의 응용에 사용될 수 있음.
- 또한 영화 CG를 위한 모션 캡쳐 기술의 성능을 높이거나, 좀더 적은 비용으로 달성하는 데에도 핵심 기술로 사용될 수 있음.
- 본 연구를 통해 발견된 새로운 비강체 복원 방법은 기존 이론의 근본적인 난점을 해결한 획기적인 결과로, 추후 더욱 발전된 연구의 기반이 될 것임.

(출처 : 요약문 4p)

Abstract ▼

Purpose& contents
The main purpose of this research was to develop a dense 3D reconstruction method for a video containing a deforming object. In order to make the method fully automatic, we have also aim to develop schemes for background/object separation and incomplete/sequential data adaptatio

Purpose& contents
The main purpose of this research was to develop a dense 3D reconstruction method for a video containing a deforming object. In order to make the method fully automatic, we have also aim to develop schemes for background/object separation and incomplete/sequential data adaptation. As a result of this project, we achieved most of the goals, and moreover, we discovered a method that surpasses the original idea.

Result
This study aimed to extend nonrigid-structure-from-motion (NRSfM), which reconstructs the 3D structure of a deforming object in a video, to a dense video data with high performance. Specifically, we planned to extend the Procrustean Normal Distribution (PND), developed by our team, in a dense video. In order to achieve this goal, we analyzed the detailed properties of PND, and added a Markov assumption to our model. Furthermore, to improve the slow processing time of our model, we altered the algorithm into a form of regression, and developed a scheme to separate object and background trajectories.
During the research, on the other hand, we found out that the low-rank assumption, used frequently in NRSfM, does not fit well for real videos. This is because complex deformations not only exist in a scene with multiple objects, but also within a single object. In order to resolve this issue, we sampled numerous small regions that may satisfy the low-rank assumption with overlaps, and combined their individual reconstructions in a probabilistic manner. This method showed the state-of-the-art performance for complex data, and was applicable to a scene with multiple objects and occlusions. Moreover, the steps of the proposed method is simple and parallelizable, which makes it very practical.
In summary, we solved the most critical issues of NRSfM in this project, of which the result can be utilized for more difficult, challenging problems.

Expected Contribution
- Major regions of a 2D video with more than one deforming objects can be reconstructed to a dense 3D video.
- The proposed algorithm can be used as a core algorithm for VR and AR; reconstructing 3D movement of a human for artificial cloth fitting, or for computer graphics.
- Can improve the quality or reduce the cost of motion capture technology.
- This project has resolved the crucial issues in the conventional NRSfM theory, which will become a cornerstone for future research.

(출처 : SUMMARY 5p)

목차 Contents

• 표지 ... 1
• 목차 ... 2
• 연구계획 요약문 ... 3
• 연구결과 요약문 ... 4
• 한글요약문 ... 4
• SUMMARY ... 5
• 연구내용 및 결과 ... 6
• 1. 연구개발과제의 개요 ... 6
• 2. 국내외 기술개발 현황 ... 6
• 3. 연구수행 내용 및 결과 ... 9
• 4. 목표달성도 및 관련분야에의 기여도 ... 11
• 5. 연구결과의 활용계획 ... 12
• 6. 연구과정에서 수집한 해외 과학기술정보 ... 13
• 7. 주관연구책임자 대표적 연구실적 ... 13
• 8. 참고문헌 ... 13
• 9. 연구성과 ... 15
• 10. 국가과학기술지식정보서비스에 등록한 연구시설‧장비 현황 ... 15
• 11. 연구개발과제 수행에 따른 연구실 등의 안전조치 이행실적 ... 16
• 12. 기타사항 ... 16
• 별첨1. 대 표 연 구 성 과 ... 17
• 별첨2. 세부 목표 관련 증빙 ... 27
• 끝페이지 ... 42