[논문]깊이 정보를 이용한 영역분할 기반의 다시점 영상 조명보상 기법

강근호; 고민수; 유지상

doi:10.6109/jkiice.2013.17.4.935

깊이 정보를 이용한 영역분할 기반의 다시점 영상 조명보상 기법
Illumination Compensation Algorithm based on Segmentation with Depth Information for Multi-view Image 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.17 no.4, 2013년, pp.935 - 944

강근호 (광운대학교) , 고민수 (광운대학교) , 유지상 (광운대학교 전자공학과)

초록
AI-Helper

본 논문에서는 영상 분할을 이용한 다시점 영상의 조명보상 기법을 제안한다. 제안하는 기법에서는 깊이 정보를 이용하여 일정 거리에 따라 참조 영상의 깊이 영상을 레이어로 분리한다. 분리된 레이어에서 서로 다른 객체를 분리하기 위하여 각 레이어에 레이블링 과정을 수행한다. 레이블링 된 참조 영상의 깊이 영상은 3D 워핑 기법을 통하여 왜곡 영상의 시점으로 변환되고 레이블링 된 영역을 찾아 히스토그램을 이용한 조명 보상을 각 영역에서 독립적으로 수행한다. 3D 워핑으로 발생하는 가려짐 영역은 전역적인 방법을 이용하여 보상하게 된다. 다양한 실험을 통해 제안하는 기법으로 조명보상 전처리를 수행한 다시점 영상의 부호화 효율이 향상되는 것을 확인할 수 있었다.

Abstract ▼ AI-Helper

In this paper, a new illumination compensation algorithm by segmentation with depth information is proposed to improve the coding efficiency of multi-view images. In the proposed algorithm, a reference image is first segmented into several layers where each layer is composed of objects with a similar depth value. Then we separate objects from each other even in the same layer by labeling each separate region in the layered image. Then, the labeled reference depth image is converted to the position of the distortion image view by using 3D warping algorithm. Finally, we apply an illumination compensation algorithm to each of matched regions in the converted reference view and distorted view. The occlusion regions that occur by 3D warping are also compensated by a global compensation method. Through experimental results, we are able to confirm that the proposed algorithm has better performance to improve coding efficiency.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 논문에서는 깊이 정보를 이용한 영상 분할을 통하여 새로운 조명보상 기법을제안한다. 먼저참조 시점의 깊이 지도를 이용하여 1차 영역 분할을 수행한다.
본 논문에서는 3D 워핑 기법을 이용하여 조명 보상하는 방법을 제안한다. 먼저 3.
본 논문에서는 깊이 정보에 따른 영상 분할을 이용한 다시점 영상의 조명보상 기법을 제안하였다. 여러 대의 카메라간의 내부 특성 또는 촬영 조건 등이 다른 이유로 발생하는 조명 불일치 현상은 시점간의 상관도를 저하시키고 부호화 효율 또한 저하시킨다.

제안 방법

각 테스트 시퀀스에 대하여 세 개 시점의 색상영상과 깊이영상을 부호화 하여 제안하는 기법을 적용하기 전과 후의 부호화 효율을 비교하였다. 각 QP(quantization parameter)값을 25, 35, 45로 변화시키며 실험을 하였다. 표 2~4는 각 QP값의 대한 부호화 효율을 나타낸다.
1에 적용하여 부호화효율이 얼마나 향상되는지를 실험하였다. 각 테스트 시퀀스에 대하여 세 개 시점의 색상영상과 깊이영상을 부호화 하여 제안하는 기법을 적용하기 전과 후의 부호화 효율을 비교하였다. 각 QP(quantization parameter)값을 25, 35, 45로 변화시키며 실험을 하였다.
여러 대의 카메라간의 내부 특성 또는 촬영 조건 등이 다른 이유로 발생하는 조명 불일치 현상은 시점간의 상관도를 저하시키고 부호화 효율 또한 저하시킨다. 제안하는 기법에서는 깊이값에 따라 영상 분할을 먼저 수행하고 레이블링 과정을 통해 독립적인 객체 정보를 반영하여 지역적인 조명 보상을 수행할 수 있다. 레이블링 된 영상은 3D 워핑 기법으로 왜곡된 영상으로 재투영하여 두 영상간의 같은 객체간의 조명 불일치 현상을 효율적으로 해결 할 수 있었다.
제안하는 기법의 성능을 객관적으로 증명하기 위해 현재 표준화 진행 중인 3D 비디오 코덱 중 HEVC를 이용한 HTM 5.1에 적용하여 부호화효율이 얼마나 향상되는지를 실험하였다. 각 테스트 시퀀스에 대하여 세 개 시점의 색상영상과 깊이영상을 부호화 하여 제안하는 기법을 적용하기 전과 후의 부호화 효율을 비교하였다.
따라서 레이블링 과정을 수행하여 같은 깊이값을 갖지만 위치가 다른 레이어는 분리한다. 최종 분할된 레이어를 각각 왜곡 시점의 위치로 3D 워핑을 수행하여 왜곡 시점 영상에서 대응되는 위치를 찾아 히스토그램 매칭을 통한 조명보상을 수행한다. 분리된 레이어간 조명 보상을 통해 기존의 기법보다 더 정밀한 조명 보상을 수행하고 이를 통해 부호화 효율도 증가시킬 수 있다.

대상 데이터

본 논문에서 제안하는 조명 조상 기법의 성능을 비교하기 위해서 표 1과 같이 MPEG에서 제공되는 3개의 다시점 시퀀스에서 100장의 프레임을 테스트 영상으로 사용하였다. 먼저 제안하는 기법에 의해 조명 보상된 영상의 화질을 비교하기 위해, 각 테스트시퀀스의 특정프레임에 대하여 조명 보상된 결과를 그림 8, 그림 9, 그림 10에 보였다.

데이터처리

먼저 제안하는 기법에 의해 조명 보상된 영상의 화질을 비교하기 위해, 각 테스트시퀀스의 특정프레임에 대하여 조명 보상된 결과를 그림 8, 그림 9, 그림 10에 보였다. 성능 비교를 위해서 히스토그램 매칭 기법의 대표적인 기법인 Fecker[21]의 기법과 비교하였다.

이론/모형

그림 7(b) 영상이 하나의 왜곡된 영상의 시점으로 변환된 참조영상의 레이블링 영상을 보여준다. 시점 변환된 참조영상의 레이블링 영상에 대응되는 각각의 레이어에 해당되는 영역을 왜곡영상에서 찾아 각 영역에서 히스토그램 매칭 기법을 적용하게 된다. 이때 시점이 변환된 참조영상의 레이블링 영상에는 3D 워핑 기법으로 가려짐 영역(occlusion region)이 발생하게 되고, 이 가려짐 영역은 전체 영상의 영역에 대하여 전역적으로 히스토그램 매칭 기법을 적용하여 채우게 된다.

성능/효과

제안하는 기법에서는 깊이값에 따라 영상 분할을 먼저 수행하고 레이블링 과정을 통해 독립적인 객체 정보를 반영하여 지역적인 조명 보상을 수행할 수 있다. 레이블링 된 영상은 3D 워핑 기법으로 왜곡된 영상으로 재투영하여 두 영상간의 같은 객체간의 조명 불일치 현상을 효율적으로 해결 할 수 있었다. 실험을 통해 제안하는 기법을 적용하여 조명보상 전처리 과정을 수행한 다시점 영상의 부호화 효율이 향상되는 것을 확인할 수 있었다.
최종 분할된 레이어를 각각 왜곡 시점의 위치로 3D 워핑을 수행하여 왜곡 시점 영상에서 대응되는 위치를 찾아 히스토그램 매칭을 통한 조명보상을 수행한다. 분리된 레이어간 조명 보상을 통해 기존의 기법보다 더 정밀한 조명 보상을 수행하고 이를 통해 부호화 효율도 증가시킬 수 있다. 실험결과 제안하는 기법의 성능이 우수하다는 것을 입증하였다.
실험 결과를 통해 제안하는 기법을 통한 조명보상 후의 부호화 효율이 약 1% 정도 향상된 것을 확인 할 수 있다. 따라서 눈으로 확인하기 어려웠던 시점간의 상관도 향상이 어느 정도 성과를 거두었다는 것을 확인할 수 있다.
분리된 레이어간 조명 보상을 통해 기존의 기법보다 더 정밀한 조명 보상을 수행하고 이를 통해 부호화 효율도 증가시킬 수 있다. 실험결과 제안하는 기법의 성능이 우수하다는 것을 입증하였다.
그림 9와 10은 ‘Balloons’ 시퀀스와 ‘Kendo’ 시퀀스에 대하여 같은 실험을 반복한 결과를 보여주고 있다. 실험에 사용된 테스트 시퀀스가 MPEG에서 제공되는 시퀀스이라서 이미 시점 간 조명 보상이 잘 된 영상이어서 왜곡시점 영상과 참조시점 영상간의 차이가 크지 않다는 것을 알 수 있다.
레이블링 된 영상은 3D 워핑 기법으로 왜곡된 영상으로 재투영하여 두 영상간의 같은 객체간의 조명 불일치 현상을 효율적으로 해결 할 수 있었다. 실험을 통해 제안하는 기법을 적용하여 조명보상 전처리 과정을 수행한 다시점 영상의 부호화 효율이 향상되는 것을 확인할 수 있었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	양안방식의 3D 비디오는 어떠한 단점이 있는가?	현재 서비스 중인 대부분의 3D 비디오는 스테레오 카메라를 이용하여 획득하는 양안방식이다. 하지만 양안방식의 3D 비디오는 시점이 하나로 시야각이 좁고 안경을 착용해야 하는 단점이 있다. 이를 보완하기 위하여 필요한 시점 수만큼의 영상을 사용하는 다시점 3D 입체 비디오에 대한 연구가 활발히 이루어지고 있다.
	다시점 영상을 생성하는 방법 두 가지는 무엇인가?	다시점 영상을 생성하는 방법에는 크게 두 가지가 있다. 첫 번째는 필요한 시점 수만큼의 카메라를 이용하여 다시점의 영상을 동시에 획득하는 방법이다. 두 번째 방법은 소수의 카메라만을 이용하여 영상을 획득하고 필요한 시점의 영상을 생성하여 시점수를 맞추는 방법이다. 이때 가상시점 영상을 생성하기 위해서는 영상간의 변이추정을 통해 변이지도(disparity map)를 생성하거나 추가로 깊이 카메라를 이용하여 깊이지도(depth map)를 획득하여야 한다[1-5].
	히스토그램 매칭(histogram matching) 기법의 단점은 무엇인가?	참조 영상의 누적 히스토그램을 이용하여 왜곡 영상의 누적 히스토그램을 보상하는 히스토그램 매칭(histogram matching) 기법을 통해 다시점 영상의 휘도 및 색차를 보상하는 기법은 그중의 하나이다[21]. 하지만 이 기법은 프레임 마다 독립적으로 적용되어 한 시점에서 시간적 중복성을 저하시키는 단점이 있다. 따라서 모든 프레임의 누적 히스토그램을 생성하고 모든 프레임을 동시에 조명 보상하여 시간적 중복성을 유지하는 기법이 제안되었다[22].

참고문헌 (26)

ISO/IEC JTC1/SC29/WG11, "Introduction to 3D video," M9784, May. 2008.
M. Tanimoto, M. P. Tehrani, T. Fujii, and T. Yendo, "Free-viewpoint TV," IEEE Signal Processing Magazine, vol.28, pp.67-76, Jan. 2011.

상세보기
ISO/IEC JTC1/SC29/WG11, "Applications and Requirments on FTV," N9466, Oct. 2007.
Y. Mori, N. Fukushima, T. Yendo, T. Fujii, and M. Tanimoto, "View generation with 3D warping using depth information for FTV," Signal Processing : Image Communication, vol.24, pp.65-72, Jan. 2009.

상세보기
D. Scharstein and R. Szeliski, "A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms," IEEE Workshop on Stereo and Multi-Baseline Vision, pp.131-140, 2001.
ITU-T RECOMMENDATION "H.264 Advanced Video Coding for Generic Audiovisual Services," May, 2003.
http://mpeg.chiariglione.org/standards.htm
Joint Video Team (JVT) ISO/IEC MPEG &ITU& T VCEG, "Joint draft 3 Multi-view video coding," JVT-V209-M, Jan. 2007.
Y. Su, A. Vetro, and A. Smolic, "Common test conditions for multiview video coding," Doc. JVT-U211, [Online]. Available: http://ftp3.itu.ch/ av-arch/jvt-site/, 2005.
ISO/IEC JTC1/SC29/WG11, "Call for proposals on 3D video coding technology," n12036, March 2011.
ISO/IEC JTC1/SC29/WG11, "Test model for AVC-based 3D video coding v2.0," n12743, July 2012.
ISO/IEC JTC1/SC29/WG11, "Test model under consideration for HEVC based 3D video coding v3.0," n12744, April 2012.
S. Yea and A. Vetro, "View synthesis prediction for multiview video coding," Signal Processing : Image Communication, vol.24, pp.89-100, Jan. 2009.

상세보기
C. Lee, B.H. Choi, and Y.S. Ho, "Efficient multiview depth video coding using depth synthesis prediction," Optical Engineering, vol.50, no.7, pp.1-14, July 2011.
H. Schwarz, C. Bartnik, S. Bosse, H. Brust, T. Hinz, H. Lakshman, D. Marpe, P. Merkle, K. Muller, H. Rhee, G. Tech, M. Winken, and T. Wiegand, "3D video coding using advanced prediction Depth modeling, and encoder control methods," Picture Coding Symposium, pp.1-4, May 2012.
M. Gilge, "Motion estimation by scene adaptive block matching and illumination correction," Image Process. Algorithms and Techni., R. J. Moorhead and K. S. Pennington, Eds., Canada, vol. 1244, pp. 355-366, June 1990.
K. Kamikura, H. Watanabe, H. Jozawa, H. Kotera, and S. Ichinose, "Global brightness-variation compensation for video coding," IEEE Trans. Circuits Syst. Video Technol., vol.8, no.8, pp.988-1000, Dec. 1998.

상세보기
J. Lopez, J. Kim, A. Ortega, and G. Chen, "Block-based illumination compensation and search techniques for multiview video coding," in Proceeding of Picture Coding Symp. (PCS), Dec. 2004.
J. H. Kim, et al., "New coding tools for illumination and focus mismatch compensation in multiview video coding," IEEE Trans. on Circuits and Systems for Video Technology, vol.17, no.11, pp.1519-1534, Nov. 2007.

상세보기
P. L. Lai, A. Ortega, P. Pandit, P. Yin, and C. Gomila, "Adaptive Reference Filtering for MVC," JVT-W065.doc, pp.21-27, San Jose, USA, April 2007.
U. Fecker, M. Barkowsky, and A. Kaup, "Histogram-based pre-filtering for luminance and chrominance compensation of multi-view video," IEEE Trans. Circuits Syst. Video Technol., vol.18, no.9, pp.1258-1267, Sep. 2008.

상세보기
U. Fecker, M. Barkowsky, and A. Kaup, "Timeconstant histogram matching for colour compensation of multi-view video sequences," in Proceeding of Picture Coding Symp. (PCS), Nov. 2007.
박성희, 유지상, "다시점 비디오의 색상 성분 보정을 위한 특징점 기반의 전처리 방법," 한국정보통신학회 논문지, 제15권, 제12호, pp.2527-2533, 2011.

원문보기 상세보기
Dong-Seok Lee, Min-Soo Ko, Young-Ho Seo, Dong-Wook Kim, Jisang Yoo, "Illumination compensation for multi-view video based on layered histogram matching with depth information," optics communication, Vol.286, pp.74-84, Jan. 2013.

상세보기
황선규, "영상처리 프로그래밍 by Visual C++", 한빛미디어, 2007.
Y. Mori, N. Fukushima, T. Yendoa, T. Fujii and M. Tanimotoa, "View generation with 3D warping using depth information for FTV," ELSEVIER Signal Processing : Image Communication, vol. 24, no. 1-2, pp. 65-72, Jan. 2009.

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증