H.264/AVC는 최신의 비디오 코딩 표준으로, MPEG-2나 MPEG-4에 비해 50% 정도의 높은 압축 효율을 가지고 있다. H.264/AVC에 포함된 여러 기술 중에서 다양한 모드를 이용한 부호화 기능은 높은 압축률이 가능한 기술이지만, 부호화 과정을 복잡하게 만드는 큰 요인이기도 하다. 이러한 단점을 개선하기 위해서 본 논문에서는 H.264/AVC에서 빠른 부호화를 위한 3단계 모드 선택 기법을 제안한다. 1단계에서는 시간적 공간적 상관성을 고려하여 SKIP 모드 또는 INTER 모드를 선택한다. 2단계에서는 1단계의 결과가 INTER일 경우 세부모드들을 2개의 그룹으로 나누어 그 중에서 하나의 그룹을 선택한다. 3단계에서는 2단계에서 선택된 그룹에 따라 오차 매크로블록의 픽셀 값 방향성 또는 주변 매크로블록의 모드를 고려하여 최종 모드를 선택한다. 제안한 기법의 성능을 실험한 결과, 기존의 JM10.2 표준과 비교했을 때, 적은 PSNR의 저하와 적은 비트율의 상승으로 평균 42%의 부호화 시간을 단축하였다.
H.264/AVC는 최신의 비디오 코딩 표준으로, MPEG-2나 MPEG-4에 비해 50% 정도의 높은 압축 효율을 가지고 있다. H.264/AVC에 포함된 여러 기술 중에서 다양한 모드를 이용한 부호화 기능은 높은 압축률이 가능한 기술이지만, 부호화 과정을 복잡하게 만드는 큰 요인이기도 하다. 이러한 단점을 개선하기 위해서 본 논문에서는 H.264/AVC에서 빠른 부호화를 위한 3단계 모드 선택 기법을 제안한다. 1단계에서는 시간적 공간적 상관성을 고려하여 SKIP 모드 또는 INTER 모드를 선택한다. 2단계에서는 1단계의 결과가 INTER일 경우 세부모드들을 2개의 그룹으로 나누어 그 중에서 하나의 그룹을 선택한다. 3단계에서는 2단계에서 선택된 그룹에 따라 오차 매크로블록의 픽셀 값 방향성 또는 주변 매크로블록의 모드를 고려하여 최종 모드를 선택한다. 제안한 기법의 성능을 실험한 결과, 기존의 JM10.2 표준과 비교했을 때, 적은 PSNR의 저하와 적은 비트율의 상승으로 평균 42%의 부호화 시간을 단축하였다.
The H.264/AVC provides gains in compression efficiency of up to 50% over a wide range of bit rates and video resolutions compared to previous standards. However, to achieve such high coding efficiency, the complexity of H.264/AVC encoder is also increased drastically than previous ones, mainly becau...
The H.264/AVC provides gains in compression efficiency of up to 50% over a wide range of bit rates and video resolutions compared to previous standards. However, to achieve such high coding efficiency, the complexity of H.264/AVC encoder is also increased drastically than previous ones, mainly because of mode decision. In this paper, we propose a three-step mode decision algorithm for fast encoding in H.264/AVC. In the first step, we select skip mode or inter mode by considering the temporal correlation and spatial correlation. In the second step, if the result of the first step is INTER mode, we select one group between two groups for final mode. In the third step, we select final mode by exploiting the pixel values of error macroblock or the modes of adjacent macroblocks. Simulations show that the proposed method reduces the encoding time by 42% on average without any significant PSNR losses.
The H.264/AVC provides gains in compression efficiency of up to 50% over a wide range of bit rates and video resolutions compared to previous standards. However, to achieve such high coding efficiency, the complexity of H.264/AVC encoder is also increased drastically than previous ones, mainly because of mode decision. In this paper, we propose a three-step mode decision algorithm for fast encoding in H.264/AVC. In the first step, we select skip mode or inter mode by considering the temporal correlation and spatial correlation. In the second step, if the result of the first step is INTER mode, we select one group between two groups for final mode. In the third step, we select final mode by exploiting the pixel values of error macroblock or the modes of adjacent macroblocks. Simulations show that the proposed method reduces the encoding time by 42% on average without any significant PSNR losses.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
앞서 설명한 바와 같이 부호화 모드를 선택할 때 SKIP 모드를 빠르게 선택하면 전체 부호화의 계산 복잡도를 줄일 수 있다. 따라서 본 절에서는 시간적 상관성과 공간적 상관성을 이용하여 빠르게 SKIP 모드를 선택하는 방법을 설명한다. 부호화 모드의 정확한 선택을 위해 프레임 간 시간적 모드 상관성 관계를 이용하여 임시적으로 모드를 결정하고, 여기에 공간적 모드 상관성을 이용하여 빠르게 SKIP 모드를 선택한다.
본 논문에서는 H.264/AVC 부호화기의 계산 복잡도를 줄이기 위한 시·공간적 상관성, 픽셀 값 정보 이용 및 방향성을 이용한 새로운 방식의 3단계 빠른 모드 선택 기법을 제안한다.
본 논문에서는 H.264/AVC의 계산 복잡도를 줄이기 위한 3단계 빠른 모드 선택 기법을 제안하였다. 우선, 통계적인 실험 결과를 바탕으로 시·공간적 상관성을 이용하여 SKIP 모드와 INTER 모드 중 한 가지 모드를 선택한다.
기존연구 [11]에서는 복잡한 모드 선택 과정을 줄이기 위해서 각 모드별로 사용되는 빈도를 이용하여 모드 선택 시간을 줄였다. 이 연구에서는 복잡한 계산 과정을 줄이기 위해 각 모드별로 가변블록의 사용 빈도를 조사하여, 사용빈도에 따라 모드 선택할 때 검사하는 우선순위를 정하는 방법을 제시하였다. 사용빈도는 모드 분포 확률의 분석 결과를 이용하였으며 표 1은 8개의 비디오에서 사용되는 다양한 모드의 분포 확률을 나타낸다.
가설 설정
그림 4는 현재 매크로블록 E 및 인접 매크로블록 A, B, C를 나타낸다. E는 현재의 매크로블록, A는 E의 바로 왼쪽에 있는 매크로블록, B는 E의 바로 위쪽에 매크로블록, C는 E의 바로 오른쪽 위에 있는 매크로블록이라고 가정한다. A, B, C 매크로블록의 파티션을 모두 16×16으로 가정할 경우 아래의 수식 (1)에 따라 주위 매크로블록들의 움직임 벡터의 중간 값을 사용한다[13,14].
그 후, 최종 모드를 결정하기 위해 프레임 내의 공간적 상관성인 A, B, C, D의 매크로블록 모드 정보를 확인하게 된다. 이웃 매크로 블록의 모드에서 SKIP 모드를 0으로, INTER 모드를 1로 가정하고, 1과 0의 개수에 따라 현재 부호화할 매크로블록의 모드를 결정한다.
제안 방법
현재 부호화할 매크로블록 E는 시간적 상관성을 이용하여 SKIP 모드인지 INTER 모드인지를 잠정적으로 결정한 상태이다. 그 후, 최종 모드를 결정하기 위해 프레임 내의 공간적 상관성인 A, B, C, D의 매크로블록 모드 정보를 확인하게 된다. 이웃 매크로 블록의 모드에서 SKIP 모드를 0으로, INTER 모드를 1로 가정하고, 1과 0의 개수에 따라 현재 부호화할 매크로블록의 모드를 결정한다.
즉, 평균 모드의 확률만을 근거로 선택하면 다른 모드가 선택되지 않기 때문에 모드 선택의 정확도를 떨어뜨리는 주된 이유가 된다. 따라서 본 논문에서는 표 5와 같이 확률 분석을 통해 모드를 선택한 후, 공간적 상관성을 이용하여 SKIP 모드 또는 INTER 모드를 선택함으로써 모드 선택의 정확도를 높였다.
본 장에서는 시·공간적 상관성과 픽셀 값의 변화 정도를 이용하여 빠르게 매크로블록의 부호화 모드를 결정함으로써, 부호화 과정의 전체 계산 복잡도를 줄이는 방법을 제안한다.
따라서 본 절에서는 시간적 상관성과 공간적 상관성을 이용하여 빠르게 SKIP 모드를 선택하는 방법을 설명한다. 부호화 모드의 정확한 선택을 위해 프레임 간 시간적 모드 상관성 관계를 이용하여 임시적으로 모드를 결정하고, 여기에 공간적 모드 상관성을 이용하여 빠르게 SKIP 모드를 선택한다. 최종 부호화 모드가 SKIP 모드로 선택될 경우 추가적인 계산과정이 필요 없고, INTER 모드로 선택될 경우 뒤에서 설명하게 될 2단계, 3단계 과정을 제외한 추가적인 계산과정을 제거함으로써 빠른 모드 선택이 가능하다.
2 표준과 관련 기법을 대상으로 하였다. 성능 확인을 위해 다양한 특성을 가진 시퀀스를 대상으로 화질, 비트율, 그리고 부호화 시간을 비교하였다. 실험 결과 제안한 기법은 비트율에 있어 JM10.
시간적 상관성에 따른 모드 선택의 단점을 보안하기 위해 이웃 매크로블록과의 공간적 상관성을 이용하여 SKIP 모드 또는 INTER 모드를 선택한다. 그림 7은 현재 부호화할 매크로블록 E와 같은 프레임에서 이미 부호화된 이웃 매크로블록 A, B, C, D를 나타낸다.
우선, 통계적인 실험 결과를 바탕으로 시·공간적 상관성을 이용하여 SKIP 모드와 INTER 모드 중 한 가지 모드를 선택한다.
본 장에서는 제안하는 모드 선택 기법을 평가하기 위한 실험 환경과 실험 결과에 대해 기술한다. 제안하는 모드 선택 기법은 JM 표준 소프트웨어에서 제공하는 JM10.2를 수정하여 구현하였다[16]. 제안하는 기법의 실험 결과는 표준 JM10.
마지막 3단계는 공간 적인 상관성 및 16×16 크기의 오차 매크로블록에 있어서 픽셀 값의 차이를 적용하여 최종 모드를 선택한다. 제안한 기법은 JM10.2 표준 소프트웨어를 수정하여 실험하였고, 실험 결과는 JM10.2 표준과 관련 기법을 대상으로 하였다. 성능 확인을 위해 다양한 특성을 가진 시퀀스를 대상으로 화질, 비트율, 그리고 부호화 시간을 비교하였다.
대상 데이터
1절의 표 4와 같다. 실험에 사용된 참조 소프트웨어는 JM 표준 소프트웨어이며, 비디오들은 움직임이 작은 비디오들(akiyo, clarie)부터 움직임이 많은 비디오들(foreman, football)까지 다양하게 실험하였다. 화질을 비교하기 위한 측정 단위는 PSNR (Peak Signal to Noise Ratio)을 사용하였다.
데이터처리
성능 평가는 JM10.2 표준 소프트웨어를 수정한 제안 기법과 참고 논문에서 제안하는 기법을 각각 JM10.2와 비교하였다.
2를 수정하여 구현하였다[16]. 제안하는 기법의 실험 결과는 표준 JM10.2의 실험 결과와 최신의 참고 논문[5] 에서 제시하는 실험 결과에 대해 화질(PSNR), 비트율(Bit Rate), 그리고 부호화 시간으로 비교하여 성능을 평가한다.
모둠 1인 SKIP 모드와 INTER 16×6 모드는 16×16크기의 오차 매크로블록의 차이 값을 이용하여 최종 모드를 선택하고, 모둠 2인 INTER 16×8, 8×16, 8×8 모드는 이웃 매크로블록의 테두리 방향성에 따라 부호화할 매크로블록의 최종 모드를 선택한다. 제안한 기법의 평가를 위해 JM10.2 및 관련 기법을 통한 실험 결과를 이용하여 성능을 비교․분석하였다. 실험 결과, JM10.
이론/모형
실험에 사용된 참조 소프트웨어는 JM 표준 소프트웨어이며, 비디오들은 움직임이 작은 비디오들(akiyo, clarie)부터 움직임이 많은 비디오들(foreman, football)까지 다양하게 실험하였다. 화질을 비교하기 위한 측정 단위는 PSNR (Peak Signal to Noise Ratio)을 사용하였다. 객관적인 화질 측정을 위해서 사용되는 단위인 PSNR은 단위가 크면 화질이 상대적으로 우수하고, 그렇지 않으면 화질이 상대적으로 떨어짐을 나타낸다.
성능/효과
6kbps 감소되었다. 계산 복잡도는 크게 줄여 부호화 시간을 JM10.2에 비해 약 42%, 관련 기법에 비해 약 16% 단축시켰다.
그 이유는 다양한 시퀀스를 통해 실험한 결과, 이전 프레임이 모두 INTER 모드인 경우에 현재 프레임의 모드는 INTER 모드 또는 SKIP 모드가 될 수 있는데, 공간적 상관 정보와 관계없이 최종 모드가 INTER 모드로 선택되는 경우가 대부분이었기 때문이다. 또한, INTER 모드는 2단계와 3단계 과정을 거치면서 세부적인 모드를 찾아서 선택되게 되고, 그 중에 SKIP 모드가 포함되어 있으므로 최종적으로 선택된 모드의 정확성을 높였다.
2와 비교한 결과를 나타낸 것이다. 비트율과 PSNR은 JM10.2와 제안 기법이 비슷했으며, 관련 기법과는 어느 정도 차이가 있었고, 부호화 시간은 제안 기법과 관련 기법이 비슷했으며, JM10.2와는 많은 차이를 보였다.
성능 확인을 위해 다양한 특성을 가진 시퀀스를 대상으로 화질, 비트율, 그리고 부호화 시간을 비교하였다. 실험 결과 제안한 기법은 비트율에 있어 JM10.2 표준보다 약 2.9kbps 증가했으며, 관련된 기법보다는 약 0.6kbps 감소되었다. 계산 복잡도는 크게 줄여 부호화 시간을 JM10.
2 및 관련 기법을 통한 실험 결과를 이용하여 성능을 비교․분석하였다. 실험 결과, JM10.2와 비교하여 관련 기법보다 적은 PSNR의 감소와 적은 비트율의 증가를 보였고, 부호화 시간은 7개의 비디오에서 평균적으로 JM10.2와 비교하여 약 42%정도, 관련 기법과 비교하여 약 16%정도 감소시켰다. 향후에는 모바일뿐만 아니라 SD/HD급의 고화질 영상도 대상으로 하여 8×4, 4×8, 4×4까지 더욱 세분화된 모드를 낮은 비트율과 높은 PSNR을 유지하면서 단축된 계산 시간을 갖는 효율적인 모드 선택 기법에 관해 연구하고자 한다.
비트율은 30프레임당 비트율을 나타낸다. 실험 결과, 제안 기법은 표 8에 나타난 바와 같이 JM10.2와 비교하여 관련 기법보다 적은 PSNR의 감소와 적은 비트율의 증가를 보였고, 부호화 시간은 7개의 비디오에서 평균적으로 JM10.2와 비교하면 약 42%정도 감소시켰고 관련 기법과 비교하면 약 16%정도 감소시켰다.
SKIP 모드가 최종 선택되면 다른 크기의 모드는 고려하지 않고 SKIP 모드로 현재 매크로블록을 부호화한다. 이러한 방법으로 빠르게 SKIP 모드를 선택하면, 계산 복잡도를 높이는 주요 원인이었던 다양한 모드의 움직임 추정, 움직임 보상, 모드 선택의 과정을 제거함으로써 전체 계산 복잡도를 줄일 수 있다.
표 1에서 확인할 수 있는 유용한 정보는 다음과 같다. 첫 번째는 비디오 별로 평균 70%이상이 SKIP 모드로 부호화된 것으로, 빠른 시간 내에 SKIP 모드로 선택할 수 있다면 부호화 시간을 줄일 수 있다. 두 번째는 8×8 하위 매크로블록에서의 8×8의 평균 사용빈도가 제일 높다는 것으로, 그 이유로서 이동 통신 등에서 세부 움직임을 표현하기에는 8×8 크기로도 충분하기 때문으로 풀이된다.
표 5에서 확인할 수 있는 정보는 이전 프레임 매크로블록 T-2, T-1이 SKIP 모드로 부호화 되었을 때와 T-2, T-1이 INTER 모드로 부호화 되었을 때 현재 프레임에서의 매크로블록도 동일한 모드로 부호화될 확률이 아주 높다는 것이다. 이와 같은 확률을 근거로 현재 프레임 T에서 부호화 할 매크로블록의 모드를 선택할 수 있다.
후속연구
향후에는 모바일뿐만 아니라 SD/HD급의 고화질 영상도 대상으로 하여 8×4, 4×8, 4×4까지 더욱 세분화된 모드를 낮은 비트율과 높은 PSNR을 유지하면서 단축된 계산 시간을 갖는 효율적인 모드 선택 기법에 관해 연구하고자 한다.
질의응답
핵심어
질문
논문에서 추출한 답변
H.264/AVC에서 프레임 간의 오차를 효율적으로 압축하여 전체 성능을 향상시키기 위해 사용한 기법들은 무엇인가?
H.264/AVC는 가변블록크기 (variable block size) 지원, 다중참조프레임(multiple reference frames), 가중예측(weighted prediction) 등의 다양한 기법들을 사용하여 프레임 간의 오차를 효율적으로 압축하여 전체 성능을 향상시켰다[1,2].
H.264/AVC에서 빠르게 SKIP 모드를 결정하게 되면 부호화시 많은 연산의 효율성을 얻는 이유는 무엇인가?
다양한 블록크기의 지원은 비디오에서 움직임의 표현을 더욱 세밀하게 표현할 수 있게 한다. 이 중에서 SKIP 모드는 다른 가변블록크기와 달리 움직임 정보 또는 오차 정보가 부호화되지 않기 때문에 빠르게 SKIP 모드를 결정하게 되면 부호화시 많은 연산의 효율성을 얻게 된다.
H.264/AVC의 전체 부호화 과정에서 90% 이상을 차지하고 있는 부분은 무엇인가?
앞 장에서 살펴본 바와 같이, H.264/AVC의 부호화 과정 중에서 움직임 추정과 움직임 보상, 모드 결정 부분은 전제 부호화 과정의 90% 이상을 차지하고 있다. 그림 5는 H.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.