[논문]시차의 신뢰도를 이용한 플렌옵틱 영상의 초고해상도 복원 방법

정민창; 김송란; 강현수

doi:10.6109/jkiice.2018.22.3.425

[국내논문] 시차의 신뢰도를 이용한 플렌옵틱 영상의 초고해상도 복원 방법
Super-resolution Reconstruction Method for Plenoptic Images based on Reliability of Disparity 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.22 no.3, 2018년, pp.425 - 433

정민창 (Graduate School of Information and Communication Engineering, Chungbuk National University) , 김송란 (Graduate School of Information and Communication Engineering, Chungbuk National University) , 강현수 (Graduate School of Information and Communication Engineering, Chungbuk National University)

초록
AI-Helper

본 논문에서는 시차의 신뢰도를 기반으로 플렌옵틱 영상의 초고해상도 복원 알고리즘을 제안한다. 그리고 플렌옵틱 카메라 영상으로부터 생성한 서브어퍼처(sub-aperture) 이미지는 TV_L1알고리즘에 기반한 시차 추정과 초고해상도 영상 복원에 활용된다. 특히 제안된 알고리즘은 시차가 부정확하게 나타날 수 있는 경계 역역에서 향상된 성능을 보인다. 시차 벡터의 신뢰도는 서브어퍼처 이미지의 상하좌우 각 위치별 영역에 따른 분산을 고려하여 판단한다. 신뢰도가 낮은 시차벡터는 초고해상도 영상 복원시 제외된다. 제안된 방법은 바이큐빅 보간 방법과 기존의 시차기반방법 그리고 사전기반 방법과 비교하여 평가되었다. 성능 평가에서 초고해상도 영상복원의 결과는 PSNR, SSIM 관점에서 성능을 비교하여 최상의 성능을 보여준다.

Abstract ▼ AI-Helper

In this paper, we propose a super-resolution reconstruction algorithm for plenoptic images based on the reliability of disparity. The subperture image generated by the Flanoptic camera image is used for disparity estimation and reconstruction of super-resolution image based on TV_L1 algorithm. In particular, the proposed image reconstruction method is effective in the boundary region where disparity may be relatively inaccurate. The determination of reliability of disparity vector is based on the upper, lower, left and right positional relationship of the sub-aperture image. In our method, the unreliable vectors are excluded in reconstruction. The performance of the proposed method was evaluated by comparing to a bicubic interpolation method, a conventional disparity based method and dictionary based method. The experimental results show that the proposed method provides the best performance in terms of PSNR(Peak Signal to noise ratio), SSIM(Structural Similarity).

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 다중 프레임 기반 방법을 바탕으로 플렌옵틱 영상 정보를 이용하여 시차를 추정하고 초고해상도 영상을 복원하는 방법을 제안한다. 본 논문에서 사용하는 영상은 플렌옵틱 영상으로부터 생성한 subaperture (SA) 이미지이다.
본 논문에서는 플렌옵틱 카메라 영상에 적용할 수 있는 신뢰도 기반의 초고해상도 영상 재복원 알고리즘을 제안하였다. 플렌옵틱 카메라의 저해상도 문제를 해결하기 위해 상하좌우에 위치한 SA 영상과의 시차벡터의 신뢰도를 측정하고 이를 초고해상도 영상 복원에 활용함으로써 복원 성능을 향상시켰다.
플렌옵틱 카메라의 영상처리 기술에는 시점 이동, 재초점, 3차원 깊이정보 추출, 시차 분석, 영상 화질 개선 등 다양한 영상처리 분야가 있다. 하지만 플렌옵틱 카메라는 하드웨어적 특성상 해결되어야 할 기술적 문제점을 가지고 있고, 본 논문에서는 이와 관련하여 해상도 문제를 개선하고자 한다. 플렌옵틱 카메라의 해상도 문제는 CCD카메라와 달리 센서 어레이 앞에 마이크로 렌즈 어레가 배치되어 발생한다.

가설 설정

수식 설명은 편의상 수평으로 이웃한 SA영상간의 시차를 추정하는 것으로 가정한다. 먼저 시차를 추정하기 위해서는 3차원 공간상의 한 점이 두 개의 SA영상의 서로 다른 위치에 사영되며 이 점의 밝기 값은 동일한 값을 가진다고 가정한다.
여기서부터 설명은 참고논문[2]에 의하여 증명된 내용을 요약 설명한다. 수식 설명은 편의상 수평으로 이웃한 SA영상간의 시차를 추정하는 것으로 가정한다. 먼저 시차를 추정하기 위해서는 3차원 공간상의 한 점이 두 개의 SA영상의 서로 다른 위치에 사영되며 이 점의 밝기 값은 동일한 값을 가진다고 가정한다.

제안 방법

SA이미지의 센터뷰를 기준으로 상하좌우 방향으로 나누어서 그림 1처럼 시차 그룹을 분류한다. 각 그룹의 시차 벡터 분산을 계산하고, 분산값에 따라서 시차의 정확도를 판단한다. 분산값이 기준값보다 작을 경우 시차의 신뢰도가 높다고 판단하고, 기준값보다 큰 경우 해당 방향의 시차는 신뢰도가 낮다고 판단한다.
그래서 λ값을 0.05~0.95까지 0.05단위로 변화시키면서 초고해상도 영상을 재복원하여 SSIM, PSNR을 비교하였고, 최적의 λ값을 결정하였다.
다음 성능평가는 초고해상도 이미지 생성 알고리즘 중에서 사전(dictionary) 기반 방법을 활용한 대표적인 방법을 간단히 소개하고 제안된 방법과 PSNR, SSIM을 비교한다.
초고해상도 영상 추정은 다중뷰간의 대응 관계를 나타내는 시차를 이용한다. 다중뷰에 해당하는 SA영상들과 시차를 이용하여 워핑이미지를 생성한다. 우선 초고해상도 영상을 생성하는데 사용되는 비용 함수는 다음과 같다
기존의 방법은 시차 추정 과정 후 SA영상을 워핑하고 초고해상도 영상을 생성한다. 본 논문에서 제안하는 방법은 시차 추정 후 시차의 신뢰도를 판단하는 과정을 추가함으로써 보다 정확한 초고해상도 영상을 생성한다. 그림 3의 점선사각형부분은 제안하는 방법인 시차의 신뢰도를 판단하는 과정을 나타낸다.
본 논문에서 제안하는 알고리즘과 기존의 알고리즘은 TV_L1 알고리즘을 기반으로 초고해상도 영상을 추정한다[5]. 플렌옵틱 영상으로부터 생성한 여러 SA영상을 가지고 다중 프레임을 이용한 초고해상도 영상 추정방법을 사용한다.
초고해상도 영상의 성능 평가를 위해서 모든 SA영상들을 5배 다운 샘플링한 후 사용한다. 이 중에서 센터에 있는 뷰에 대해 5배만큼 해상도를 증가시키고 초고해상도 영상을 재복원 하여 비교한다.
시차 추정은 SA이미지 간에 기하학적 관계를 규명하고, 초고해상도 이미지를 재복원하는데 활용된다. 제안된 알고리즘은 기존의 재복원 하는 알고리즘 과정에서 시차의 신뢰도를 판단하여 초고해상도 이미지 생성의 활용 여부를 결정한다. 특히 제안된 방법은 시차가 부정확 할 수 있는 경계면 부근에서 기존의 방법과 비교하여 품질 향상을 보인다.
본 논문에서 제안하는 알고리즘과 기존의 알고리즘은 TV_L1 알고리즘을 기반으로 초고해상도 영상을 추정한다[5]. 플렌옵틱 영상으로부터 생성한 여러 SA영상을 가지고 다중 프레임을 이용한 초고해상도 영상 추정방법을 사용한다.
본 논문에서는 플렌옵틱 카메라 영상에 적용할 수 있는 신뢰도 기반의 초고해상도 영상 재복원 알고리즘을 제안하였다. 플렌옵틱 카메라의 저해상도 문제를 해결하기 위해 상하좌우에 위치한 SA 영상과의 시차벡터의 신뢰도를 측정하고 이를 초고해상도 영상 복원에 활용함으로써 복원 성능을 향상시켰다.

대상 데이터

501×501 크기의 영상을 입력하여 스케일을 5배 향상시킨 2505× 2505 크기의 초고해상도 영상을 생성하였다.
본 논문에서는 다중 프레임 기반 방법을 바탕으로 플렌옵틱 영상 정보를 이용하여 시차를 추정하고 초고해상도 영상을 복원하는 방법을 제안한다. 본 논문에서 사용하는 영상은 플렌옵틱 영상으로부터 생성한 subaperture (SA) 이미지이다. 시차 추정은 SA이미지 간에 기하학적 관계를 규명하고, 초고해상도 이미지를 재복원하는데 활용된다.
성능 평가를 위해서 그림 4와 같이 플렌옵틱 영상의 RAW영상을 생성하여 인공영상을 사용한다. 이 플렌옵틱 카메라 영상은 [6], [7], [8]의 플렌옵틱 카메라 모델을 사용하여 만들었다.
센터뷰의 SA 영상을 중심으로 25장의 주변 SA 영상들이 사용되었으며 그 결과 2505×2505 크기의 영상으로 복원하였다.
이 플렌옵틱 카메라 영상은 [6], [7], [8]의 플렌옵틱 카메라 모델을 사용하여 만들었다. 인공영상은 카메라 메인렌즈를 기준으로 서로 다른 거리에 떨어진 세 개의 사진을 위치시켜 생성하였다. RAW영상을 각 센서의 위치별로 모아서 생성하면 SA이미지를 생성할 수 있다.
해상도를 5배 향상시키는 복원과정에서 총 25장의 SA영상이 사용되었다. 여기서 해상도 향상에 사용된 SA 영상들의 크기는 501×501이다.

데이터처리

마지막으로 LANR, LANR_NLM 방법은 LR과 HR 예제 사전을 기반으로 매핑함수를 학습하여 유사성 SR알고리즘을 적용하는 것이다[12]. 단일 입력 영상으로는 센터뷰의 SA영상을 사용하였고, 그 결과를 본 논문에서 제안한 방법과 비교하여 성능평가를 수행하였 다.

이론/모형

표 5의 결과는 노이즈(Noise)영향에 따른 초고해상도 영상 추정 성능을 비교 실험한 것이다. 노이즈는 가우시안 노이즈(Gaussian Noise)를 이용하여 SA영상에 생성하였다. 노이즈의 강도는 평균 0이고, 표준편차(ð) 는 0.
성능 평가를 위해서 그림 4와 같이 플렌옵틱 영상의 RAW영상을 생성하여 인공영상을 사용한다. 이 플렌옵틱 카메라 영상은 [6], [7], [8]의 플렌옵틱 카메라 모델을 사용하여 만들었다. 인공영상은 카메라 메인렌즈를 기준으로 서로 다른 거리에 떨어진 세 개의 사진을 위치시켜 생성하였다.

성능/효과

TV_L1 알고리즘을 기반의 기존방법의 결과와 비교한 결과 제안한 방법의 PSNR이 33.2321로 기존 방법인 32.3540보다 높게 나타났다. 또한 SSIM도 각각 0.
표 4는 영상1에서 5까지의 성능평가 평균값을 나타낸다. 그 결과 또한 PSNR, SSIM이 35.5117, 0.9852로 기존의 방법보다 향상된 성능을 보여준다.
표 2 는 바이큐빅 기법, 기존의 TV_L1방법 그리고 제안하는 방법의 성능평과 결과를 나타낸다. 그 결과 제안하는 방법의 PSNR, SSIM이 33.2321, 0.9834으로 보다 우수한 성능을 보였다.
노이즈 정도에 따른 성능 비교 실험 결과 제안된 방법이 기존의 방법에 비해 PSNR 0.0171, SSIM 0.0006 정도 높게 나타났다. 따라서 위 실험결과 일반적인 촬영과정에서 발생할 수 있는 노이즈에서도 강인함을 알 수 있다.
501×501 크기의 영상을 입력하여 스케일을 5배 향상시킨 2505× 2505 크기의 초고해상도 영상을 생성하였다. 사전 (dictionary)기반 방법을 활용한 대표적인 방법들과 비교해본 결과 표 3의 영상 1의 경우 PSNR, SSIM이 33.2321, 0.9834로 제안된 방법이 비교적 높은 품질을 보였다. 표 4는 영상1에서 5까지의 성능평가 평균값을 나타낸다.
9834 으로 성능향상을 보였다. 특히 제안된 방법은 경계면 부근에서 기존의 방법보다 선명한 영상을 얻을 수 있었다.
제안된 알고리즘은 기존의 재복원 하는 알고리즘 과정에서 시차의 신뢰도를 판단하여 초고해상도 이미지 생성의 활용 여부를 결정한다. 특히 제안된 방법은 시차가 부정확 할 수 있는 경계면 부근에서 기존의 방법과 비교하여 품질 향상을 보인다. 성능평가는 PSNR, SSIM 두 가지 방법으로 수행한다.

후속연구

따라서 실제 플렌옵틱 카메라로 촬영한 영상에서도 신뢰도가 높은 시차를 선별하여 적용함으로써 개선된 초고해상도 영상을 얻을 수 있을 것이라 예상한다.
다만 플렌옵틱 카메라로 얻어진 실제 영상의 경우에는 초고해상도에 대한 ground-truth가 존재하지 않음에 따라 초고해상도 복원에 대한 성능 평가가 어렵고 다양한 요인으로 인한 시차 추정의 부정확성 문제가 존재한다. 따라서 향후 연구에서는 실제 영상에 대한 적절한 성능 평가기준을 마련하고 보다 강건한 시차 추정 방법을 적용함으로써 제안된 방법을 재평가할 필요가 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	플렌옵틱 카메라의 단점은 무엇인가?	플렌옵틱 카메라의 영상처리 기술에는 시점 이동, 재초점, 3차원 깊이정보 추출, 시차 분석, 영상 화질 개선등 다양한 영상처리 분야가 있다. 하지만 플렌옵틱 카메라는 하드웨어적 특성상 해결되어야 할 기술적 문제 점을 가지고 있고, 본 논문에서는 이와 관련하여 해상도 문제를 개선하고자 한다. 플렌옵틱 카메라의 해상도 문제는 CCD카메라와 달리 센서 어레이 앞에 마이크로 렌즈 어레가 배치되어 발생한다. 그래서 플렌옵틱 영상의 해상도는 하드웨어적 공간상의 제약으로 마이크로 렌즈 수만큼의 해상도 밖에 얻지 못한다.
	라이트필드 또는 플렌옵틱 카메라의 활용분야는?	기록된 정보는 카메라 센서에 입력된각 방향에 대한 빛의 세기와 컬러를 획득하여 목적에 맞는 영상 생성에 활용된다. 이와 같이 플렌옵틱 영상의 빛의 세기와 방향정보는 촬영한 영상을 재초점하여 재구성하거나, 3차원 공간의 깊이 정보를 추정하는 등다양한 영상처리를 구현하는데 활용 될 수 있다.
	초고해상도 영상 복원 기술에는 어떠한 것이 있는가?	초고해상도(Super Resolution) 기술은 여러 분야에서 다양하게 연구되고 있다[1]. 초고해상도 영상 복원 기술 로는 크게 보간(interpolation) 기반 방법, 다중프레임 (multi-frame) 기반 방법, 단일영상(single image) 기반 방법 등이 있다. 먼저 보간에 의한 방법으로는 전통적인 신호처리로써 Bilinear, Bicubic 보간 등의 처리가 이루어진다.

참고문헌 (12)

I. H. Choe, H. J. Lee, and B. C. Song. "Super Resolution Image Reconstruction Technique for Digital video devices," The Magazine of the IEIE, vol. 39, no. 10, pp. 36-44, Oct. 2012.
J. Sanchez, E. M-Llopis, and G. Facciolo, "TV-L1 optical flow estimation," IPOL(Image Processing On Line), vol. 3, pp. 137-150, July. 2013.

상세보기
L. I. Rudin, S. Osher, and E. Fatemi. "Nonlinear total variation based noise removal algorithms," Physica D, vol. 60, pp. 259-268, Nov. 1992.

상세보기
A. Chambolle, "An Algorithm for Total Variation Minimization and Applications," Journal of Mathematical Imaging and Vision, vol. 20, no. 1-2, pp. 89-97, Jan. 2004.

상세보기
Sven Wanner and Bastian Goldluecke, "Variational Light Field Analysis for Disparity Estimation and Super-Resolution," IEEE Transactions of Pattern Analysis and Machine Intelligence, vol. 36, no. 3, pp. 606-619, March. 2014.

상세보기
D. Dansereau, O. Pizarro, and S. Williams. "Decoding, calibration and rectification for lenselet-based plenoptic cameras," in Proceeding of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1027-1034, June 2013.
S. R. Kim, M. C. Jeong, H. S. Kang, "Calibration Method of Plenoptic Camera using CCD Camera Model", in Proceedings of The Korea Institute of Information and Communication Engineering, Journal of the Korea Institute of Information and Communication Engineering, vol. 22, no. 2, pp. 261-269, Feb. 2018.
D. H. Kim, "SVD-based Image Enhancement Method using Weighted Average of Histogram Stretching and Equalization," in Proceeding of Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, vol.5, no.5, pp. 77-85, Oct. 2015
J. Yang, J. Wright, T. Huang, and Y. Ma, "Image superresolution via sparse representation," IEEE Trans. Image Processing, vol. 19, no. 11, pp. 2861-2873, Nov. 2010.

상세보기
R. Zeyde, M. Elad, and M. Protter, "On single image scale-up using sparse-representations," Lecture Note in Computer Science, vol. 6920, pp. 711-730, 2012.
R. Timofte, V. De, and L. Van Gool, "Anchored neighborhood regression for fast example-based superresolution," in Proceeding of IEEE International Conference Computer Vision, pp. 1920-1927, Dec. 2013.
J. Jiang, X. Ma, C. Chen, L. Tao, Z. Wang, and J. Ma, "Single Image Super-Resolution via Locally Regularized Anchored Neighborhood Regression and Nonlocal Means," IEEE Trans. on Multimedia, vol. 19, no. 1, pp. 15-26, Aug. 2016.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증