[논문]플렌옵틱 영상처리 기술동향

손욱호; 장호욱; 배성준; 박성진; 김재우; 김도형

플렌옵틱 영상처리 기술동향
Plenoptic Image Processing Technology Trends 원문보기

전자통신동향분석 = Electronics and telecommunications trends, v.31 no.4, 2016년, pp.1 - 12

손욱호 (감성디자인콘텐츠연구실) , 장호욱 (감성디자인콘텐츠연구실) , 배성준 (감성디자인콘텐츠연구실) , 박성진 (감성디자인콘텐츠연구실) , 김재우 (감성디자인콘텐츠연구실) , 김도형 (감성디자인콘텐츠연구실)

초록
AI-Helper

깊이감, 시점 등의 3차원 영상정보 제공 방법에는 양안 시차에 의한 스테레오 방식, 다시점 기반의 스테레오 방식, 라이트필드 기반의 스테레오 방식, 체적 내에 실제 발광점들을 물리적으로 형성하는 체적형 방식, 빛의 간섭과 회절현상을 이용하여 실제 물체의 파면을 재현하는 홀로그래피 방식 등이 존재한다. 본고에서는, 3차원 영상기술로써 최근 이슈화되고 있는 플렌옵틱 영상기술의 개념을 다시점 영상생성 및 재초점 기능의 관점에서 소개하고, 동시에 관련 국내외 기술개발 동향을 파악하고자 한다. 또한, 플렌옵틱 영상기술의 고도화를 위한 최신 연구개발 이슈 및 응용 가능한 서비스 시나리오에 대해 탐구해 봄으로써, 향후 플렌옵틱 영상처리 기술의 발전 및 활용도를 전망해 보고자 한다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

(2). 본고에서는 집적영상에 의한 플렌옵틱 영상처리 기술을 다루고자 한다,
본고에서는, 플렌옵틱 기술을 방향정보 및 깊이 정보처리 관점에서의 기본적인 개념과 기술개발 현황을 파악하였다. 특별히, 플렌옵틱 영상획득, 처리, 재생 측면에서 관련 기술개발의 현 이슈들을 살펴봄으로써 향 후지 향해야 될 연구개발 방향에 대해 탐구를 해 보았으며, 나아가 기존 영상기술과는 다른 플렌옵틱 영상의 특성을 반영한 유망 응용 기술 발굴을 통하여 신 서비스 분야 개척을 시도하였다.
본고에서는, 플렌옵틱 영상처리 기술의 국내외 기술개발 동향을 살펴보고 또한, 해당 영상기술의 콘텐츠 기술로서의 활용에 요구되는 향후 관련 기술개발 이슈 및 서비스 시나리오를 파악해봄으로써, 기존 2차원 영상이 제공하지 못하는 신차원의 콘텐츠 서비스 및 시장을 전망하고자 한다.
플렌옵틱 영상의 이러한 기능들을 응용 영역에서 잘 활용하기 위해서는 해결되어야 할 기술적 난제들이 많이 존재하는데, 이에 대해서도 탐구하고자 한다. 우선, 영상 취득 단계에서 다차원인 플렌옵틱 정보를 2차원 센서 (통상 디지털카메라의 Complimentary Metal- Oxide-Semiconductor(CMOS) 센서)로 취득하므로, 공간영역과 각영역 간의 상호 의존적인 관계로 인해 존재하는 해상도 제약 문제가 있다.

제안 방법

재초점 과정과 연결된 플렌옵틱 영상에서 깊이정보 획득은 다음과 같다. 우선, 플렌옵틱 영상 재초점 기술을 이용하여 다양한 초점위치에서의 영상을 생성한다. 이를 초점스택 (focal stack)이라 부른다.
객체 정위에 있어서 가장 중요한 것은 객체의 회전에 따라 객체의 형태가 프레임마다 달라 보이는 것을 해결하는 것이다. 이를 위해 검출하고자 하는 객체의 3차원 모델을 구축하고, 해당 3차원 모델의 각 시점으로부터 보여지는 2차원 정보를 합성한 후 객체 정위를 위한 원본 영상의 객체와 비교하게 된다. 이를 위하여 플렌옵틱 영상으로부터 3차원 모델을 구축하여 객체 정위의 문제를 극복할 수 있다.
특별히, 플렌옵틱 영상획득, 처리, 재생 측면에서 관련 기술개발의 현 이슈들을 살펴봄으로써 향 후지 향해야 될 연구개발 방향에 대해 탐구를 해 보았으며, 나아가 기존 영상기술과는 다른 플렌옵틱 영상의 특성을 반영한 유망 응용 기술 발굴을 통하여 신 서비스 분야 개척을 시도하였다.

성능/효과

방향 및 깊이정보를 동시에 지니고 있는 플렌옵틱을 기반으로 하기에, 기존 3차원 영상기술 보다 더욱 자연스러운 3차원 객체 표현에 적합한 기술이라 할 수가 있다. 하지만, 현재의 플렌옵틱 영상입력 및 출력장치 기술의 한계 및 대용량 데이터 처리에 대한 이슈 등으로 인해.

후속연구

가능하다. 두 번째로, 시청각도 및 시점수에 구애 받지 않는 임의의 시점 디스플레이에 대한 콘텐츠 생성에 활용할 수 있다. 또한, 실내외에서의 자유로운 깊이 정보 획득 및 조정이 가능함에 따라 실외 환경에서 획득된 객체에 대한 3D 프린팅 서비스가 가능하다.
디바이스의 스케일 및 형태와 상관없이 3D 입체영상 콘텐츠를 촬영, 수정, 편집할 수 있는 기능이 지원될 人], 과 같이 스마트 디바이스 상에서의 무궁무진한 응용 서비스 발굴이 가능할 것이다.
장착 가능한 렌즈 개수 및 크기, 그리고 디스플레이 패널의 해상도 제약에 의해 제한된 입력 영상정보량에서 각영역 해상도가 증가하면 상반되게 공간영역 해상도가 감소할 수밖에 없기 때문이다. 또한, 이러한 하드웨어적인 제약요소 외에, 응용콘텐츠 상에서 폭넓게 활용하기 위해서는 플엔옵틱 영상정보 자체를 효과적으로 편집할 수 있는 기능들이 필요한데, 깊이정보 생성, 시점이동, 재초점, 스티칭 등의 단순한 기능에서부터 객체 분리, 삽입 및 추적 등의 고차원적 저작기능 개발이 필요하다. 그뿐만 아니라, 전 방향에서의 광 정보를 제공하는 대용량 플렌옵틱 데이터의 특성에 의해 실시간 영상처리를 위한 가속화 문제도 해결해야 된다.
플렌옵틱 영상기술이 기존 스마트폰 상에서의 신규영상서비스를 창출하는 등, 향후 활용성은 더욱 극대화될 것이다. 향후 수년 내로 스마트 디바이스 및 노트북에 플렌옵틱 카메라 센서모듈이 탑재될 것으로 예상되고 궁극적으로는 기존의 컬러 카메라 기반의 영상처리기술은 대부분 플렌옵틱 영상처리 기술로 모두 대치됨에 따라, 기존의 영상 관련 서비스 및 산업 생태계는 모두 큰 변화를 맞이하게 될 전망이다.
것이다. 향후 수년 내로 스마트 디바이스 및 노트북에 플렌옵틱 카메라 센서모듈이 탑재될 것으로 예상되고 궁극적으로는 기존의 컬러 카메라 기반의 영상처리기술은 대부분 플렌옵틱 영상처리 기술로 모두 대치됨에 따라, 기존의 영상 관련 서비스 및 산업 생태계는 모두 큰 변화를 맞이하게 될 전망이다.
집중되어 왔다. 획득한 플렌옵틱 영상 데이터는 일반영상 데이터와 비교하여 추가 정보를 제공하기 때문에 객체 검출 객체 분리, 객체 추적 등을 포함한 다양한 분야로의 응용이 가능하다.

참고문헌 (17)

박재형, "3차원 디스플레이 기술," 컴퓨터정보통신연구, 제20권 제2호, 2012. 10, pp. 1-7.
민성욱, "Light Field 3D Display," TTA Journal, vol. 140, 2013, pp. 65-70.
B. Wilburn et al., "High Performance Imaging Using Large Camera Arrays," ACM Trans. Graph., vol. 24, July 2005, pp. 765-776.

상세보기
J. Fiss et al., "Refocusing Plenoptic Images using Depth-Adaptive Splatting" ICCP, vol. 34, no. 4, May 2014.
D.G. Dansereau and L.T. Bruton, "A 4D Frequency-Planar IIR Filter and Its Application to Light Field Processing, " Proc. Intl. Symposium on Circuits and Systems, vol. 4, , May 2003, pp. 476-479.
B. Goldlucke et al., "A Super-Resolution Framework for High-Accuracy Multiview Reconstruction," Int. J. Comp. Vision, vol. 106, Jan. 2014, pp. 172-191.

상세보기
J. Perez et al., "Super-Resolution in Plenoptic Cameras Using FPGAs," Sensors, vol. 14, no. 5, May 2014, pp. 8669-8685.

상세보기
D. Lanman and D. Luebke, " Near-Eye Light Field Displays," ACM Transactions on Graphics, vol. 32, no. 6, Nov. 2013, Article no. 220.

상세보기
F.-C. Huang, K. Chen, and G. Wetzstein, "The Light Field Stereoscope," SigGraph, vol. 34, no. 4, Aug. 2015, Article no. 60.
한국전자통신연구원, "모바일 기기 환경에서의 고품질 입체영상 콘텐츠 제작 플랫폼 개발 최종보고서," 2016. 4. 15.
R. Ng, "Digital Light Field Photography," A Dissertation Submitted to the Department of Computer in Stanford University, 2006.
J. G. Marichal-Hernandez, " Obtencion de Infor macion Tridimensional de una Escena a partir de Sensores Plenopticos usando Procesamiento de Senales con Hardware Grafico," PhD Thesis, University of La Laguna, 2012.
S. Wanner, C. Straehle, and B. Goldluecke, "Globally Consistent Multi-label Assignment on the Ray Space of 4D Light Fields," Proc. International Conference on Computer Vision and Pattern Recognition, 2013, pp. 1011-1018.
A. Shimada et al., "Change Detection on Light Field for Active Video Surveillance," Advanced Video and Signal Based Surveillance(AVSS), Aug. 2015, pp. 25-28.
J. Denzler et al., "Plenoptic Models in Robot Vision," Kunstliche Intelligenz, vol. 17, no. 3, 2003, pp. 62-68.
M. Zobel, M. Friz, and I. Scholz., "Object Tracking and Pose Estimation Using Light-Field Object Models," Vision, Modeling, and Visualization, Erlangen, Germany, 2002. pp. 371-378.
M. Fleder, S. Pillai, and J. Scott., "3D Object Tracking Using the Kinect," https://people.csail.mit.edu/spillai/data/papers/cvclass-project-paper.pdf

LOADING...

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증