본 논문에서는 MPEG3차원 비디오 표준 깊이정보 맵에 대한 효율적인 무손실 압축 방법을 제안한다. 일반적으로 깊이정보 맵을 부호화할 때 자연영상에 적용되는 H.264 등의 동영상 부호화 방법을 그대로 사용하고 있는데, 이러한 부호화 방법은 깊이정보 맵의 영상특성을 고려하지 않은 방법이다. 본 논문에서는 깊이정보 맵의 무손실 압축 방법으로 MPEG-4 Part-2 Visual의 이진 형상 부호화를 이용한 비트평면 부호화 방법을 제안하였다. 실험결과로서 제안하는 방법이 28.91:1의 압축률을 실현하였고, 화면 내 예측만을 수행한 경우에 JPEG-LS보다 24.84%, JPEG-2000보다 39.35%, H.264 (CAVLC 적용)보다 30.30% 그리고 H.264 (CABAC 적용)보다 16.65% 정도의 비트량 절감을 실현하였고, 또한 화면 내 예측뿐만 아니라 화면 간 예측을 모두 수행한 경우에 H.264 (CAVLC 적용)보다 36.22% 그리고 H.264 (CABAC 적용)보다 23.71% 정도의 비트량 절감을 실현할 수 있었다.
본 논문에서는 MPEG 3차원 비디오 표준 깊이정보 맵에 대한 효율적인 무손실 압축 방법을 제안한다. 일반적으로 깊이정보 맵을 부호화할 때 자연영상에 적용되는 H.264 등의 동영상 부호화 방법을 그대로 사용하고 있는데, 이러한 부호화 방법은 깊이정보 맵의 영상특성을 고려하지 않은 방법이다. 본 논문에서는 깊이정보 맵의 무손실 압축 방법으로 MPEG-4 Part-2 Visual의 이진 형상 부호화를 이용한 비트평면 부호화 방법을 제안하였다. 실험결과로서 제안하는 방법이 28.91:1의 압축률을 실현하였고, 화면 내 예측만을 수행한 경우에 JPEG-LS보다 24.84%, JPEG-2000보다 39.35%, H.264 (CAVLC 적용)보다 30.30% 그리고 H.264 (CABAC 적용)보다 16.65% 정도의 비트량 절감을 실현하였고, 또한 화면 내 예측뿐만 아니라 화면 간 예측을 모두 수행한 경우에 H.264 (CAVLC 적용)보다 36.22% 그리고 H.264 (CABAC 적용)보다 23.71% 정도의 비트량 절감을 실현할 수 있었다.
This paper proposes a method for efficient lossless depth map coding for MPEG 3D-Video coding. In general, the conventional video coding method such as H.264 has been used for depth map coding. However, the conventional video coding methods do not consider the image characteristics of the depth map....
This paper proposes a method for efficient lossless depth map coding for MPEG 3D-Video coding. In general, the conventional video coding method such as H.264 has been used for depth map coding. However, the conventional video coding methods do not consider the image characteristics of the depth map. Therefore, as a lossless depth map coding method, this paper proposes a bit-plane based lossless depth mar coding method by using the MPEG-4 Part 2 shape coding scheme. Simulation results show that the proposed method achieves the compression ratios of 28.91:1. In intra-only coding, proposed method reduces the bitrate by 24.84% in comparison with the JPEG-LS scheme, by 39.35% in comparison with the JPEG-2000 scheme, by 30.30% in comparison with the H.264(CAVLC mode) scheme, and by 16.65% in comparison with the H.264(CABAC mode) scheme. In addition, in intra and inter coding the proposed method reduces the bitrate by 36.22% in comparison with the H.264(CAVLC mode) scheme, and by 23.71% in comparison with the 0.264(CABAC mode) scheme.
This paper proposes a method for efficient lossless depth map coding for MPEG 3D-Video coding. In general, the conventional video coding method such as H.264 has been used for depth map coding. However, the conventional video coding methods do not consider the image characteristics of the depth map. Therefore, as a lossless depth map coding method, this paper proposes a bit-plane based lossless depth mar coding method by using the MPEG-4 Part 2 shape coding scheme. Simulation results show that the proposed method achieves the compression ratios of 28.91:1. In intra-only coding, proposed method reduces the bitrate by 24.84% in comparison with the JPEG-LS scheme, by 39.35% in comparison with the JPEG-2000 scheme, by 30.30% in comparison with the H.264(CAVLC mode) scheme, and by 16.65% in comparison with the H.264(CABAC mode) scheme. In addition, in intra and inter coding the proposed method reduces the bitrate by 36.22% in comparison with the H.264(CAVLC mode) scheme, and by 23.71% in comparison with the 0.264(CABAC mode) scheme.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 3차원 비디오 표준의 일부분인 깊이 정보 맵의 무손실 부호화 방법에 대한 연구를 수행하였다. 깊이 정보 맵은 일반적인 실제 영상과는 다르게 상당히 완만한 영상 특성을 지니며, 그것을 블록으로 나누어 비트평면 분리를 수행하면 비트평면 간 이진영상이 완전 일치 또는 반전되게 일치하는 특성이 자주 발생하였다.
또한 그림 4의 깊이정보 맵 블록을 그레이코드로 변환한 후 비트평면으로 분리했을 경우, 깊이정보 맵의 화소 값간의 변화가 상당히 완만하고 그레이코드에 의해 각 비트평면 단위에서 화소 값 간의 유사도가 높아짐으로 인해 분리된 비트평면의 이진 영상들 중에서 블록 내 모든 화소값이 동일한 경우가 자주 발생하였다. 본 논문에서는 이 러한 특성을 이용한 깊이정보 맵의 효율적인 부호화 방법을제안하고자 한다.
제안 방법
1 단계. 먼저, 움직임 예측 과정은 시간 방향 예측을 사용하여 현재 비트평면을 부호화하고자 할 경우에 수행되는 것으로써 현재 부호화하려는 비트평면 블록과가장 유사한 부분을 참조 비트평면에서 검색하여가장 잘 매칭이 되는 영역과의 움직임 변위(움직임벡터)를 계산하여 출력한다. 이때 참조 비트평면은시간 방향으로 이전에 부호화된 비트평면 영상으로써 참조 영상을 그레이 코드로 변환한 후 비트평면분리하여 현재 부호화하려는 비트평면과 동일한 수준의 비트평면을 가져옴으로써 얻어진다.
3 단계. 분리한 n개의 비트평면 블록은 각각 비트평면 부호화 단계로 MSB 비트평면부터 MSB-1, MSB-2,NCB-3, MSB-4, MSB-5, MSB-6, LSB 비트평면 순으로 입력되어 비트평면 수(n)만큼 비트평면 부호화를 반복해서 수행하며, 비트평면 부호화를 수행한 결과로 비트스트림을 출력한다. 이때 각각의 비트평면을 부호화하는 방법은 그림 5의 예와 같이비트평면 블록 내의 화소 값이 모두 동일할 경우에는 그 블록이 모두, 인지 혹은 모두 255(1)'인지에 대한 정보만 부호화하고, 비트평면 블록 내의화소 값이 다를 경우에는 이진 영상 압축 방법을 이용하여 부호화를 수행한다.
깊이 정보 맵은 일반적인 실제 영상과는 다르게 상당히 완만한 영상 특성을 지니며, 그것을 블록으로 나누어 비트평면 분리를 수행하면 비트평면 간 이진영상이 완전 일치 또는 반전되게 일치하는 특성이 자주 발생하였다. 이러한 특성을 이용하여 본 논문에서는 블록으로 나누어진 깊이정보 맵을 그레이코드로 변환하고 비트평면 단위로 분리한 후 각각의 비트 평면에 이진 형상 부호화를 이용한 비트평면 기반 무손실 압축 방법을 제안하였다. 부호화 성능 비교 평가에서, 제안된 방법은 기존의 부호화 방법들에 비해 월등히 높은 28.
데이터처리
표 2. 제안하는 방법과 JPEG-LS, JPEG-2000 그리고 H.264와의 무손실 압축율 비교.
성능/효과
영상특성 분석 결과, “Beer Garden" 실사 영상의 깊이 정보 맵에서는 "Ballet"과 “Breakdancers" 영상에서 분석된 비트 평면 간 완전일치/반전일치 하는 특성이 존재하였지만, 컴퓨터 그래픽을 이용해서 생성한 배경 영상의 깊이 정보 맵은 실사 영상을 이용해서 생성한 깊이정보 맵의 특성(비트 평면 간 완전일치 혹은 반전일치)이 잘 나타나지 않았다. 그 결과 본 논문에서 제안한 방법의 경우, 실사영상의 깊이 정보 맵과 컴퓨터 그래픽으로 인위적으로 생성된 깊이 정보 맵이 혼재한 "Beer Garden" 깊이정보 맵에서 그레이코드변환을 이용한 비트평면 부호화 효율이 감소하게 된 것으로 분석된다.
264(CABAC 적용)와 JPEG-LS에 비해 낮았다. 영상특성 분석 결과, “Beer Garden" 실사 영상의 깊이 정보 맵에서는 "Ballet"과 “Breakdancers" 영상에서 분석된 비트 평면 간 완전일치/반전일치 하는 특성이 존재하였지만, 컴퓨터 그래픽을 이용해서 생성한 배경 영상의 깊이 정보 맵은 실사 영상을 이용해서 생성한 깊이정보 맵의 특성(비트 평면 간 완전일치 혹은 반전일치)이 잘 나타나지 않았다. 그 결과 본 논문에서 제안한 방법의 경우, 실사영상의 깊이 정보 맵과 컴퓨터 그래픽으로 인위적으로 생성된 깊이 정보 맵이 혼재한 "Beer Garden" 깊이정보 맵에서 그레이코드변환을 이용한 비트평면 부호화 효율이 감소하게 된 것으로 분석된다.
그리고 깊이정보 맵을 비트평면 단위로 분리하여 각각의 분리된 비트평면의 영상을 실사 영상의 비트 평면 영상과 비교해보면, 실사 영상의 비트평면 영상에 비해 상당히 단조로운 비트평면 영상 형태를 보여준다. 또한 깊이 정보 맵을 블록으로 나누고 그 블록을 비트평면 단위로 나누었을 때, 비트평면의 이진 영상 간 완전히 일치되거나 혹은 반전되게 일치하는 경우가 자주 발생하였다.
그리고 표 3의 제안하는 방법과 비교한 비트량 절감율을살펴보면, 화면 내 예측만을 수행하여 부호화한 경우 제안하는 방법이 JPEG-LS보다 24.84%, JPEG2000보다 39.35 %, H.264 (CAVLC 적용)보다 30.30% 그리고 H.264 (CABAC 적용)보다 16.65% 정도의 비트량을 절감을 실현할 수 있었다. 또한 화면 내 예측뿐만 아니라 화면 간 예측을 모두 수행하여 부호화한 경우 제안하는 방법이 H.
91:1 의 압축률을 실현하였다. 따라서 깊이정보 맵에 대한 무손실 압축에서는 본 논문에서 제안하는 그레이코드변환을 이용한 비트평면 단위 부호화 방법이 기존의 압축 방법들을 적용한 것보다 상당히 높은 압축률을 얻을 수 있음을 확인할 수 있었다. 앞으로는 깊이정보 맵의 특성을 고려한 손실 압축에 대한 연구가 향후 이루어져야 할 것이다.
65% 정도의 비트량을 절감을 실현할 수 있었다. 또한 화면 내 예측뿐만 아니라 화면 간 예측을 모두 수행하여 부호화한 경우 제안하는 방법이 H.264 (CAVLC 적용)보다 36.22 % 그리고 H.264 (CABAC 적용) 보다 23.71 % 정도의 비트량 절감을 실현할 수 있었다.
또한, 화면 내 예측만(Intra only)을 수행하여 부호화한 경우 “Ballet”과 “Breakdamcers” 영상에서 제안하는 방법의 압축률이 각각 18.29:1, 16.88:1 로 가장 높았다. 반면 “Beer Garden” 영상에서는 H.
88:1 로 가장 높았다. 반면 “Beer Garden” 영상에서는 H.264(CABAC 적용) 방법의 압축률이 8.60:1 로써 가장 높았고 제안하는 방법의 압축률은 7.69:1 로써 H.264(CABAC 적용)와 JPEG-LS에 비해 낮았다. 영상특성 분석 결과, “Beer Garden" 실사 영상의 깊이 정보 맵에서는 "Ballet"과 “Breakdancers" 영상에서 분석된 비트 평면 간 완전일치/반전일치 하는 특성이 존재하였지만, 컴퓨터 그래픽을 이용해서 생성한 배경 영상의 깊이 정보 맵은 실사 영상을 이용해서 생성한 깊이정보 맵의 특성(비트 평면 간 완전일치 혹은 반전일치)이 잘 나타나지 않았다.
이러한 특성을 이용하여 본 논문에서는 블록으로 나누어진 깊이정보 맵을 그레이코드로 변환하고 비트평면 단위로 분리한 후 각각의 비트 평면에 이진 형상 부호화를 이용한 비트평면 기반 무손실 압축 방법을 제안하였다. 부호화 성능 비교 평가에서, 제안된 방법은 기존의 부호화 방법들에 비해 월등히 높은 28.91:1 의 압축률을 실현하였다. 따라서 깊이정보 맵에 대한 무손실 압축에서는 본 논문에서 제안하는 그레이코드변환을 이용한 비트평면 단위 부호화 방법이 기존의 압축 방법들을 적용한 것보다 상당히 높은 압축률을 얻을 수 있음을 확인할 수 있었다.
비트평면의 이진 영상들을 살펴보면, 어떤 블록은 비트평면의 이진영상 간 완전히 일치하거나 또는 반전되게 일치되는 영상 특성이 자주 발생됨을 발견할 수 있었다. 또한 그림 4의 깊이정보 맵 블록을 그레이코드로 변환한 후 비트평면으로 분리했을 경우, 깊이정보 맵의 화소 값간의 변화가 상당히 완만하고 그레이코드에 의해 각 비트평면 단위에서 화소 값 간의 유사도가 높아짐으로 인해 분리된 비트평면의 이진 영상들 중에서 블록 내 모든 화소값이 동일한 경우가 자주 발생하였다.
후속연구
따라서 깊이정보 맵에 대한 무손실 압축에서는 본 논문에서 제안하는 그레이코드변환을 이용한 비트평면 단위 부호화 방법이 기존의 압축 방법들을 적용한 것보다 상당히 높은 압축률을 얻을 수 있음을 확인할 수 있었다. 앞으로는 깊이정보 맵의 특성을 고려한 손실 압축에 대한 연구가 향후 이루어져야 할 것이다.
참고문헌 (17)
ISO/IEC JTC1/SC29/WG11, 'Text of ISO/IEC 14496-10:200X/FDAM 1 Multi-view Video Coding,' N9978, Hannover, Germany, July 2008
ISO/IEC JTC1/SC29/WG11, 'Introduction to 3D Video, N9784, Archamps, France, May 2008
M. Tanimoto, 'Overview of Free Viewpoint Television,' Signal Processing: Image Communication, vol.21, no.6, pp.454-461, July 2006
A. Smolic, K. Mueller, P. Merkle, N. Atzpadin, C. Fehn, M. Mueller, O. Schreer, R. Tanger, P. Kauff, T. Wiegand, 'Multiview video plus depth (MVD) format for advanced 3D video systems,' ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-W100, San Jose, USA, 21-27, April, 2007
ISO/IEC JTC1/SC29/WG11, 'Applications and Requirements on 3D Video Coding,' N10358, Lausanne, Switzerland, February 2009
ISO/IEC JTC1/SC29/WG11, 'Text of ISO/IEC FDIS 23002-3 Representation of Auxiliary Video and Supplemental Information.' N8768, Marrakech, Moroco, January 2007
A. Smolic, K. Mueller, N. Stefanoski, J. Ostermann, A. Gotchev, G.B. Akar, G.A. Triantafyllidis and A.Koz. 'Coding Algorithms for 3DTV - A Survey,' IEEE Trans. on Circuits and Systems for Video Technology, Vol 7, Issue 11, pp. 1606-1621, November 2007
ISO/IEC 14496-2, 'Information technology - Coding of audio-visual objects - Part 2: Visual,' Version 1: April 1999, Version 2: February, 2000, Version 3: May 2004
N. Brady, and F. Bossen, 'Shape compression of moving objects using context-based arithmetic encoding.' Signal Processing: Image Communication, Volume 15, pp. 601-617(17), Number 7, May 2000
N. Brady, F. Bossen, and N. Murphy, 'Context-based arithmetic encoding of 2D shape sequences.' Special session on shape coding(ICIP '97), vol. 1, pp, 29-32, 1997
ISO/IEC 14496-5/FDAM1, 'MPEG-4 Video Reference Software,' N3895, Pisa, Italy, January 2001
M. J.Weinberger, 'The LOCO-I lossless image compression algorithm: principles and standardization into JPEG-LS,' IEEE Trans. Image Process., vol. 9, no. 8, pp. 1309 - 1324, Aug. 2000
C. Christopoulos, A. Skodras, and T. Ebrahimi, 'The JPEG 2000 still image coding system: An overview,' IEEE Transactions on Consumer Electronics, Vol. 46, pp. 1103-1127, 2000
M. S. Adams, and R.K. Ward, 'JasPer: a portable flexible open-source software tool kit for image coding/process,' in IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASS'04), pp. 241-244, May 2004
F. Heinrich-Hertz-Institut, 'H.264/AVC JM Reference Software, version JM 13.2,' http://iphome.hhi.de/suehring/tml, May 2008
Y.L. Lee, K.H. Han, and G.J. Sullivan, 'Improved Lossless Intra Coding for H.264/Mpeg-4 AVC,' IEEE Trans. Image Proc., vol. 15, no. 9, pp. 2610-2615, Sept. 2006
※ AI-Helper는 부적절한 답변을 할 수 있습니다.