초록 ▼

연구의 목적 및 내용
본 과제의 3차년도에서는 적응적 계산광학 기반 광정보 획득과 다차원 영상처리/이해 기술 분야를 융합하여 기존 영상의 한계를 극복하는 적응적 계산영상의 취득/처리/이해 기술을 연구하여 다음의 목표를 달성한다.- 계산광학 초영상처리 결과의 실제 디스플레이에의 적용
- 장면 적응형 계산광학 알고리즘과 해상도 향상 기술 결합 및 고도화
- 계산광학 기반 고수준(high level) 영상이해 알고리즘 개발
- GPU를 이용한 계산광학 영상의 고속 처리

연구결과
- 3차년도에는 기존

연구의 목적 및 내용
본 과제의 3차년도에서는 적응적 계산광학 기반 광정보 획득과 다차원 영상처리/이해 기술 분야를 융합하여 기존 영상의 한계를 극복하는 적응적 계산영상의 취득/처리/이해 기술을 연구하여 다음의 목표를 달성한다.- 계산광학 초영상처리 결과의 실제 디스플레이에의 적용
- 장면 적응형 계산광학 알고리즘과 해상도 향상 기술 결합 및 고도화
- 계산광학 기반 고수준(high level) 영상이해 알고리즘 개발
- GPU를 이용한 계산광학 영상의 고속 처리

연구결과
- 3차년도에는 기존의 1, 2차년도에서 개발된 알고리즘 (light field 영상 해상도 향상, light field 중간수준 영상처리 기법 개발)의 결과를 실제 디스플레이에 적용하기 위한 연구를 수행하였다. 마이크로 렌즈 배열과 스마트폰의 화면을 이용하여 light field 영상을 디스플레이 할 수 있는 기법을 개발하였으며 다양한 light field 영상에 대하여 시점 변화가 동작함을 보였다.
- 본 연구에서는 폐색에 더 강하고 잡음에 덜 민감한 light field 깊이 추정 방법을 개발하여 RGB의 3채널 light field 영상을 RGBD의 4채널 영상으로 확장하였다. 제안하는 기법에서는 두 가지 새로운 데이터 비용이 고안되었으며, 그것들은 각각의 각 패치(angular patch) 와 영상 재초점 기법을 사용해 측정된다. Constrained Angular Entropy (CAE)는 낮은 비용으로 각 패치의 잡음과 폐색의 영향을 줄인다. Constraint Adaptive Defocus (CAD) 비용은 잡음에 강건함을 유지하면서 폐색 부분에 낮은 비용을 제공한다. 두 가지 데이터 비용의 통합을 통해 깊이 영상 추정은 폐색과 잡음에 강인하도록 동작한다.
- 본 연구에서는 Light field 영상에서의 멀티뷰 속성에 기반하여 새로운 기술자를 제안하고, 이를 이용하여 얼굴인식을 위한 SVM 분별기를 학습하였다. 실험 결과를 통해 제안하는 Light field 영상에서의 특징 검출 기법이 단일 영상에서 검출한 특징에 비교하여 더욱 강건한 성능을 보이는 것을 확인 할 수 있다.
- GPU에서의 대용량 병렬처리를 이용하여 개발된 알고리즘의 고속 처리를 수행한다. 전체 알고리즘 중에서 병렬처리에 적합한 구조를 갖춘 부분을 NVIDIA의 CUDA 플랫폼을 이용하여 구현하였으며, 이 때 다양한 최적화 알고리즘을 적용하였다.

연구결과의 활용계획
- 본 과제 연구내용 최근 각광받고 있는 증강현실/가상현실 분야에 직접적으로 이용될 수 있다. 최근 HMD 개발 동향은 계산광학을 기초로 한 저피로도(인지부조화문제 해결), 사용자 적응적(자동 초점, 시야각 등) 디스플레이 기술 개발이 가장 시급한 문제이며, light field는 이 분야에서 중요한 역할을 할 것으로 생각한다. 따라서 본 연구의 결과물은 light field 형식의 영상처리 도구를 제공하므로 직접적으로 활용될 수 있다.
- 본 과제의 후속으로서 정보통신기술진흥센터(IITP) 주관의 상용화/기술이전을 지향하는 정부과제를 후속 수행하거나 직접 상용화를 추구하는 산업체 과제를 수행한다면 상용화에 근접하게 활용될 수 있을 것으로 기대한다.


(출처 : 한글요약문 4P)

Abstract ▼

Purpose & contents
In the third year, this project integrates the adaptive computational optics based light field acquisition and the multidimensional image processing and understanding. This project perform researches on adaptive computational image acquisition, processing, and understanding to

Purpose & contents
In the third year, this project integrates the adaptive computational optics based light field acquisition and the multidimensional image processing and understanding. This project perform researches on adaptive computational image acquisition, processing, and understanding to overcome the limitation of the conventional image. The contributions of this project are listed as follows.- Applying the results of computational image processing on real light field display
- Integrating the scene aware algorithm and super resolution techniques
- Developing computational optics based high level image understanding algorithm
- Optimizing computational superimage processing methods on GPU

Result
- In the third year, we apply the results of the algorithms developed in the first and second years on the real light field display. A light field image can be displayed by utilizing micro lenses and smartphone display. Thus, viewers are able to experience viewpoint changes.
- In this study, we develop a light field depth estimation method that is robust to occlusion and noise. Then, we extend the 3 channels (RGB) light field to 4 channels (RGBD) light images. The proposed work utilizes two novel data costs that are measured using each angular patch and spatial patch in refocused image. Constrained Angular Entropy (CAE) is robust against the occlusion region and less sensitive to noise. Constraint Adaptive Defocus (CAD) is robust against noise and less sensitive to occlusion. By combining both data costs, the proposed method demonstrates that it is robust to both occlusion and noise.
- This project introduces a novel multiview feature extractor and descriptor for light field image. The extracted features and descriptors are then utilized for face recognition by training them on SVM. Experimental results show that the proposed light field features are more robust than conventional 2D image features.
- In the end, we optimize the developed algorithms using parallelization techniques on GPU. We select parallel friendly parts from the whole algorithms and implement the parallelization using NVIDIA CUDA platform. Various optimization techniques are applied on this step.

Expected Contribution
- This research content is able to be directly applied on the augmented or virtual reality applications. It is urgent to develop display technology that has low fatigue degree (solution for cognitive dissonance theory problem) and user adaptiveness (Automatic focus, angle view, etc) in HMD development. Thus, light field has an important role on the recent trend on the development. This research results provide the tools of light field image processing which can be directly applied.
- As the follow up process of this project, we can expect that the results can be applied for industry project or government project which requires technology transfer or directly usage from the Institute for Information and Communications Technology Promotion (IITP)


(출처 : SUMMARY 5P)

목차 Contents

• 표지 ... 1
• 목차 ... 2
• 연구계획 요약문 ... 3
• 연구결과 요약문 ... 4
• 한글요약문 ... 4
• SUMMARY ... 5
• 연구내용 및 결과 ... 6
• 1. 연구개발과제의 개요 ... 6
• 2. 국내외 기술개발 현황 ... 7
• 3. 연구수행 내용 및 결과 ... 8
• 4. 목표달성도 및 관련분야에의 기여도 ... 14
• 5. 연구결과의 활용계획 ... 15
• 6. 연구과정에서 수집한 해외 과학기술정보 ... 16
• 7. 주관연구책임자 대표적 연구실적 ... 17
• 8. 참고문헌 ... 17
• 9. 연구성과 ... 19
• 10. 국가과학기술지식정보서비스에 등록한 연구시설‧장비 현황 ... 19
• 11. 연구개발과제 수행에 따른 연구실 등의 안전조치 이행실적 ... 19
• 12. 기타사항 ... 20
• 별첨1. 대 표 연 구 성 과 ... 21
• 끝페이지 ... 45