MPEG-2가 발표된 이후 Digital-TV나 DVD등 멀티미디어 분야에서 폭넓게 사용되어 왔다. 그 후 2004년도에 H.264가 발표된 이후 MPEG-2를 대체할 차세대 비디오 압축 표준으로 각광받으며 IPTV나 DMB등의 방송 표준으로 채택되었다. 그러나 지금까지 MPEG-2를 가장 많이 사용해 왔기 때문에 현재는 MPEG-2관련 장비들이 많이 사용되고 있으며 이 장비들로는 H.264방송을 시청할 수 없게 되었다. 본 논문에서는 효율적인 H.264 to MPEG-2 트랜스코더를 제안한다. 또한 화질의 열화를 줄이기 위해 기본적으로 직렬 화소 영역기반 트랜스코더(CPDT: Cascaded Pixel Domain Transcoder)구조를 이용하였고 변환속도를 높이기 위해 복호기에서 사용된 SKIP블록이나 INTRA 블록, 움직임벡터 등의 정보들을 재사용 한다. H.264의 가변블록의 움직임벡터들중 최적의 값을 선택하기 위해 수정된 경계정합알고리즘(BMA: Boundary Matching Algorithm)을 사용한다. 실험결과, MPEG-2 인코더의 'Full Search'와 비교하였을 때 PSNR측면에서는 0.1dB정도 감소되었지만, 부호화 시간에서는 약 66% 개선되었다. 제안한 방법은 기존방법과 비교하였을 때, 우수한 화질을 확보함과 동시에 연산시간을 단축할 수 있음을 확인하였다.
MPEG-2가 발표된 이후 Digital-TV나 DVD등 멀티미디어 분야에서 폭넓게 사용되어 왔다. 그 후 2004년도에 H.264가 발표된 이후 MPEG-2를 대체할 차세대 비디오 압축 표준으로 각광받으며 IPTV나 DMB등의 방송 표준으로 채택되었다. 그러나 지금까지 MPEG-2를 가장 많이 사용해 왔기 때문에 현재는 MPEG-2관련 장비들이 많이 사용되고 있으며 이 장비들로는 H.264방송을 시청할 수 없게 되었다. 본 논문에서는 효율적인 H.264 to MPEG-2 트랜스코더를 제안한다. 또한 화질의 열화를 줄이기 위해 기본적으로 직렬 화소 영역기반 트랜스코더(CPDT: Cascaded Pixel Domain Transcoder)구조를 이용하였고 변환속도를 높이기 위해 복호기에서 사용된 SKIP블록이나 INTRA 블록, 움직임벡터 등의 정보들을 재사용 한다. H.264의 가변블록의 움직임벡터들중 최적의 값을 선택하기 위해 수정된 경계정합알고리즘(BMA: Boundary Matching Algorithm)을 사용한다. 실험결과, MPEG-2 인코더의 'Full Search'와 비교하였을 때 PSNR측면에서는 0.1dB정도 감소되었지만, 부호화 시간에서는 약 66% 개선되었다. 제안한 방법은 기존방법과 비교하였을 때, 우수한 화질을 확보함과 동시에 연산시간을 단축할 수 있음을 확인하였다.
After the launch of MPEG-2, it is widely used in multimedia applications like a Digital-TV or a DVD. Then, After the launch of H.264 at 2004, it has been expected to replace MPEG-2 and services IPTV and DMB. As we have been used to MPEG-2 devices by this time, we can not access H.264 Broadcast with ...
After the launch of MPEG-2, it is widely used in multimedia applications like a Digital-TV or a DVD. Then, After the launch of H.264 at 2004, it has been expected to replace MPEG-2 and services IPTV and DMB. As we have been used to MPEG-2 devices by this time, we can not access H.264 Broadcast with MPEG-2 device. So We propose a new approach to transcode H.264 video into MPEG-2 form which can facilitate to display H.264 video with MPEG-2 device. To reduce the quality loss by transcoding, we use CPDT(Cascaded Pixel Domain Transcoder) structure. And to minimize processing time, SKIP block, INTRA block and motion vectors obtain from decoding process is employed for transcoding. we use BMA(Boundary Matching Algorithm) to select only one from candidate motion vectors. Experimental results show a considerable improved PSNR with reduction in processing time compared with existing methods.
After the launch of MPEG-2, it is widely used in multimedia applications like a Digital-TV or a DVD. Then, After the launch of H.264 at 2004, it has been expected to replace MPEG-2 and services IPTV and DMB. As we have been used to MPEG-2 devices by this time, we can not access H.264 Broadcast with MPEG-2 device. So We propose a new approach to transcode H.264 video into MPEG-2 form which can facilitate to display H.264 video with MPEG-2 device. To reduce the quality loss by transcoding, we use CPDT(Cascaded Pixel Domain Transcoder) structure. And to minimize processing time, SKIP block, INTRA block and motion vectors obtain from decoding process is employed for transcoding. we use BMA(Boundary Matching Algorithm) to select only one from candidate motion vectors. Experimental results show a considerable improved PSNR with reduction in processing time compared with existing methods.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
기존연구와는 다르게 본 논문에서는 INTER 모드에서 주변 움직임벡터의 평균이나 Full Search 에 의한 탐색범위 조정과는 달리 BMA를 사용하여 후보 벡터 중의 가장 좋은 벡터를 찾는 방법을 사용한다[10, 11]. BMA를 사용함으로써 Full Search보다 연산시간을 줄이면서 동시에 우수한 화질을 확보하고자 한다. 또한 기존연구에서는 H.
264와 MPEG-2표준의 부호화 차이로 움직임추정 및 보상, INTRA픽쳐 예측, 적응적인 필드 및 프레임코딩, 트랜스폼 코딩, 슬라이스 스트럭쳐, 디블러킹 필터 등에 관한 연구가 진행중이다[5, 6]. 그러나 본 논문에서는 Baseline프로파일 H.264방송을 기존에 사용하던 MPEG-2 디바이스를 이용해서 시청이 가능하도록 하는 H.264에서 MPEG-2로의 트랜스코더를 제안한다. 이때 화질의 열화를 줄이기 위해서 CPDT방식을 사용하고, 중복된 움직임 보상연산으로 인한 CPDT의 느린 수행속도를 개선하기 위해 복호기측에서 사용한 움직임벡터 및 매크로블록 정보를 부호기에서 재사용하는 방법을 제안한다.
그러나 기존에 사용되고 있는 MPEG-2장비들이 교체되기까지는 상당한 시간이 걸릴 것으로 예상된다. 따라서 본 논문에서는 H.264방송을 기존의 MPEG-2장비에서 재생할 수 있는 트랜스코더를 제안한다.
264에서 16x16이외의 매크로블록들은 2개～16개의 움직임벡터를 갖고 있고, 이 움직임 벡터들은 MPEG-2에서 얻은 움직임 벡터와 거의 유사한 움직임 벡터들이 존재한 다. 따라서 본 논문에서는 이 움직임 벡터들을 찾기 위해 수정한 BMA를 이용하여 최적의 움직임벡터를 선택하는 방법을 제안한다. 이때 (그림 3)과 같이 현재 매크로블록내의 움직임 벡터들마다 매크로블록 내부의 경계면 영역과 참조 영상과의 MAD를 통해 식(1)과 식(2)의 오차 값을 계산한 다.
본 논문에서는 Baseline 프로파일 H.264방송을 기존에 사용하던 MPEG-2 디바이스를 이용해서 시청이 가능하도록 하는 H.264에서 MPEG-2로의 트랜스코더를 제안하였다. 실험환경은 AMD 4600 CPU, 1G RAM의 PC에서 VC++ 2005 를 이용하였고, 테스트 영상은 CIF크기의 영상들을 가지고각 300프레임씩 테스트하였다.
본 논문에서는 H.264 to MPEG-2 Transcoder에 적용할수 있는 P프레임 변환 방법을 제안하였다. H.
본 논문에서는 H.264 스트림을 MPEG-2로 변환하는 과정에서 P-프레임을 효율적으로 변환하기 위한 방법을 제안한다. 기존연구와는 다르게 본 논문에서는 INTER 모드에서 주변 움직임벡터의 평균이나 Full Search 에 의한 탐색범위 조정과는 달리 BMA를 사용하여 후보 벡터 중의 가장 좋은 벡터를 찾는 방법을 사용한다[10, 11].
가설 설정
(1) H.264의 움직임벡터들 중에는 중복되는 값들이 상당수 존재한다. 그러므로 이 중복되는 값들은 연산을 하지 않고 다음 움직임벡터로 넘어감으로서 수행시간을 단축시킬 수 있다.
제안 방법
본 논문에서는 H.264 INTRA 블록에 대해서도 INTER모드 부호화 가능성을 비교하여 INTER/INTRA 중에서 보다 효율적인 모드를 결정한다. INTRA모드는 움직임 보상을 적용한 오차값이 움직임 보상을 적용하지 않은 오차값 보다 클 때 발생한다.
264 INTRA 블록은 모두 MPEG-2 INTRA 블록으로 부호화하였지만, 본 논문에서는 H.264 INTRA 블록의 경우에도 MPEG-2에서 INTER 모드와 INTRA 모드 부호화량을 비교하여 최소 부호화량을 갖는 모드를 선택하게 함으로써 화질을 높이게 하였다. 그리고 SKIP 모드에 있어서도 H.
264스트림은 H.264 JM 10.2 인코더를 이용하여 메인 프로파일, 1Mbits/sec의 비트율, B프레임을 제외한 15프레임의 GOP 크기의 환경으로 인코딩 하였다. 트랜스코더의 구성은 JM 10.
만약 주변에 인접한 상단 및 좌측 매크로블록이 존재하지 않거나 또는 INTRA 블록인 경우, 하단 및 우측의 매크로블록의 움직임벡터를 이용하여 제안한 BMA를 수행한다. 그리고 최종적으로 움직임 벡터가 결정되면, 이 위치를 기준으로 MSD(Mean Square Difference)를 이용하여 반화소 탐색을 실행하고, 이 오차값을 기준으로 INTRA모드로 할 것인지 INTER모드로 할 것인지 선택하게 한다.
264 스트림을 MPEG-2로 변환하는 과정에서 P-프레임을 효율적으로 변환하기 위한 방법을 제안한다. 기존연구와는 다르게 본 논문에서는 INTER 모드에서 주변 움직임벡터의 평균이나 Full Search 에 의한 탐색범위 조정과는 달리 BMA를 사용하여 후보 벡터 중의 가장 좋은 벡터를 찾는 방법을 사용한다[10, 11]. BMA를 사용함으로써 Full Search보다 연산시간을 줄이면서 동시에 우수한 화질을 확보하고자 한다.
사용할 수 있는 후보 움직임벡터들이 존재하고 이 값들 중 한 개의 움직임 벡터를 선택한다는 점에서 본 논문에 적용할 수 있다고 판단하였다. 따라서 본 논문에서는 H.264에서 MPEG-2로의 P-프레임 변환에 이 방법을 수정하여 사용한다.
본 논문에서 제안한 주변매크로블록의 움직임 벡터는 (그림 5)와 같이 MPEG-2에서 부호화할 매크로블록의 상단과 좌측 블록들의 움직임 벡터를 사용한다. 만약 주변에 인접한 상단 및 좌측 매크로블록이 존재하지 않거나 또는 INTRA 블록인 경우, 하단 및 우측의 매크로블록의 움직임벡터를 이용하여 제안한 BMA를 수행한다. 그리고 최종적으로 움직임 벡터가 결정되면, 이 위치를 기준으로 MSD(Mean Square Difference)를 이용하여 반화소 탐색을 실행하고, 이 오차값을 기준으로 INTRA모드로 할 것인지 INTER모드로 할 것인지 선택하게 한다.
264에서 SKIP 블록인 경우에는 고정 위치 SKIP형태와 움직임 SKIP형태로 구분하여 MPEG-2에 적용하였다. 매크로블록의 모드가 16x16인 경우에는 움직임 벡터를 그대로 적용하였고, 그 외 16x8, 8x16, 8x8, 8x4, 4x8, 4x4 모드와 INTRA모드인 경우에는 경계정합알고리즘을 적용하였다. 실험 결과, ‘Full Search’와 비교하였을 때 PSNR에서는 약 0.
264 INTRA 블록에 대해 MPEG-2 의 INTER/INTRA 모드결정을 위해 움직임벡터를 찾아 부호화량을 비교하여야 하며, 이를 위해서는 적절한 움직임벡터를 빠른 시간 내에 찾아야 하며 이를 위해 BMA를 수행한다. 본 논문에서 제안한 주변매크로블록의 움직임 벡터는 (그림 5)와 같이 MPEG-2에서 부호화할 매크로블록의 상단과 좌측 블록들의 움직임 벡터를 사용한다. 만약 주변에 인접한 상단 및 좌측 매크로블록이 존재하지 않거나 또는 INTRA 블록인 경우, 하단 및 우측의 매크로블록의 움직임벡터를 이용하여 제안한 BMA를 수행한다.
그러므로 이 오차를 구하는 과정에서 오차 값이 앞에서 계산된 가장 작은 값보다 크면 연산을 수행할 필요가 없다. 본 논문에서는 좌, 우 수직 화소들을 먼저 계산한 후 즉, 식(1)을 먼저 계산하고 이 값을 현재 계산된 최소값과 비교한다. 식(1)에서 계산된 오차 값이 최소값 보다 더 클 경우 연산을 중단하고 다음 움직임 벡터를 실행한다.
본논문에서는 연산량을 줄이기 위해 H.264의 매크로블록이 고정 위치 SKIP 모드인 경우에는 MPEG-2에서도 움직임벡터를 ‘0’으로 하였다.
264에서 MPEG-2로의 트랜스코더를 제안한다. 이때 화질의 열화를 줄이기 위해서 CPDT방식을 사용하고, 중복된 움직임 보상연산으로 인한 CPDT의 느린 수행속도를 개선하기 위해 복호기측에서 사용한 움직임벡터 및 매크로블록 정보를 부호기에서 재사용하는 방법을 제안한다.
대상 데이터
264에서 MPEG-2로의 트랜스코더를 제안하였다. 실험환경은 AMD 4600 CPU, 1G RAM의 PC에서 VC++ 2005 를 이용하였고, 테스트 영상은 CIF크기의 영상들을 가지고각 300프레임씩 테스트하였다. H.
트랜스코더의 구성은 JM 10.2 H.264 디코더와 MPEG-2 표준 인코더(‘Full Search’)를 사용하였고, Full Search의 범위는 -15 ～ 15 pixel, GOP 크기와 비트율은 H.264 인코딩환경과 동일하다.
성능/효과
다음 (그림 8)과 (그림 9)는 ‘SOCCER’ 영상에 대한 PSNR 및 부호화 시간을 ‘가변적인 탐색영역법’과 비교한 것이다. PSNR 측면에서는 거의 차이가 없으나 부호화 시간은 제안한 방법이 약 6%이상 감소되었다. 또한 ‘SOCCER’ 영상은 100～150번 프레임과 200～250번 프레임에서 카메라가 급격하게 이동하므로 ’가변적인 탐색영역법‘은 움직임 벡터가 커지면서 탐색영역이 넓어지게 되고 연산량이 증가된다.
PSNR측면에서 기존 방법인 ‘가변적인 탐색영역법’, ‘가중치평균법’, ‘평균법’은 ‘Full Search’에 비해 평균적으로 각각 0.08dB, 1.95dB, 3.11dB 정도 감소하였다.
그리고 ‘가변적인 탐색영역법’과 비교했을 때, PSNR은 거의 차이가 없으면서도 부호화 시간은 약 5%정도 감소되었다.
그리고 ’가중치평균법‘ 및 ’평균법’의 부호화 시간은 제안한 방법과 거의 비슷하였으나 PSNR는 2～3dB 감소하였다.
그리고 부호화 시간 측면에서는 ‘Full Search’에 비해 평균적으로 각각 61.91%, 67.43%, 67.49% 정도 감소하였다.
그리고 ’가중치평균법‘ 및 ’평균법’의 부호화 시간은 제안한 방법과 거의 비슷하였으나 PSNR는 2～3dB 감소하였다. 따라서 제안한 방법이 우수한 성능을 가지고 있다고 말할 수 있다.
또한 ‘가변적인 탐색영역법’과 비교 하였을 때에도 PSNR은 거의 차이가 나지 않으면서도 부호화 시간은 약 5%감소되었고, ‘가중치 평균법’이나 ‘평균법’을 이용한 방법과도 비교하였을때 크게 개선되었음을 확인할 수 있었다.
마지막으로 본 논문에서 제안한 방법은 'Full Search' 방법에 비하여 PSNR는 평균적으로 0.09dB가 감소하였지만, 부호화 시간은 움직임 벡터가 큰 영상이나 작은 영상에 상관없이 평균적으로 약 66%가 감소되었다.
실험 결과, ‘Full Search’와 비교하였을 때 PSNR에서는 약 0.1dB정도 감소되었으나 부호화 시간에서는 약 66%이상 감소되었다.
질의응답
핵심어
질문
논문에서 추출한 답변
Baseline 프로파일이란?
264에는 Baseline, Main, Extended등 3종류의 프로파일이 존재한다. Baseline 프로파일은 네트워크 환경에서의 사용을 위해 최소의 복잡 도와 높은 에러내성, 유연성을 강조하여 정의되었다. 우리나라의 지상파 DMB(Digital Multimedia Broadcasting)의 표준 으로도 사용되고 있다.
Extended 프로파일의 목표는?
우리나라의 지상파 DMB(Digital Multimedia Broadcasting)의 표준 으로도 사용되고 있다. Main 프로파일은 높은 압축능력을 강조하여 정의되었고, Extended 프로파일은 스트리밍 서비 스를 목표로 하여 정의 되었다. 현재 H.
이종 간 트랜스코더중 CPDT의 장점은?
CPDT는 복호기와 부호기가 직렬로 연결되어 있으며 입력영상을 YUV형태로 완전히 복호한 뒤 다시 부호화하는 형태이다. 가장 간단한 형태이며 트랜스코더들 중 가장 화질이 좋다는 장점이 있다. 그러나 부호화하는 과정에서 다시 움직임 보상연산을 수행하기 때문에 연산량이 많아진다는 단점이 있다[2, 3].
참고문헌 (12)
Gary J. Sullivan, Pankaj Topiwala, and Ajay Luthra, “The H.264/AVC Advanced Video Coding Standard: Overview and Introduction to the Fidelity Range Extensions,” SPIE Conference, 2004.
S. Sharmat, K.R. Rao, “Transcoding of H.264 bitstream to MPEG-2 bitstream,” APCC 2007, pp.391-396, 2007.
신익경, “비디오 트랜스코더에서 움직임벡터를 이용한 효율적 매크로블록 모드 결정 기법 연구,” 석사학위 논문, 2003.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.