선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구에서는 H.263 소스 부호화기에서 선택 사 양으로 제공되는 비제한 움직임 벡터 모드의 동적인 선택 방법에 관하여 기술하였다. 제안된 방법은 DPM 이나 UMV 모드를 전체 영상 데이터에 적용한 경우에 비해 PSNR 관점에서 부호화 효율이 향상 되었다.
- 움직임 추정 시 구해지는 움직임 벡터의 크기는 생략되는 화면 수에 따라 커진다. 하지만, 이 양은 영상의 특성에 따라 달라지며, 본 논문에서는 이러한 정도를 파악하기 위하여 움직임 성분이 작은 영상과 움직임 성분이 큰 영상에 대하여 움직임 벡터의 크 기의 확률 분포를 살펴보았다. 이 결과를 생략 화면 수 2(Skip2, 에 대한 결과를 [그림 6]에 나타내었으며, 이를 살펴9■면 움직임 성분이 큰 영상의 움직임 벡 터의 확률 분포가 작은 영상에 비해 오른쪽으로 갈 수록 큰 분포를 가진다.
가설 설정
- 기존의 움직임 추정 기법에서는 움직임 벡터가 화면의 경계를 초과하는 경우에 대하여는 움직임 추정을 수행하지 않는다. UMV모드에서는 이러한 제 한이 사라지는데 [그림 1]과 같이 B 영역의 움직임 추정 및 보상에는 화면의 경계에 접하고 있는 E 영역 의 화소를 경계와 수직인 방향으로 확장한。영역에 있다고 가정하고 움직임 추정과 보상을 수행한다. D 영역의 화소는 다음 식 (1) 을 이용하여 확장된다.
제안 방법
- 본 논문에서는 움직임 벡터의 평균을 구하고, 이 값이 임계값을 초과하는 경우에 비제한 모드가 적용 되도록 하고 반대의 경우 기본 모드로 동작하도록 하였다. 이 과정에서 움직임 벡터의 평균은 이전 화 면에 대한 영향을 반영할 수 있는데, 이는 현재 화 면만의 움직임 벡터의 평균만을 고려하면, 영상의 전반적인 특성을 반영하기 어렵다.
- 이를 위하여 몇 개의 화면에 대한 영향을 반영할 것인가를 결정하는 문제가 중요하게 된다. 이를 위하여, 고려의 대상이 되는 이전 화면의 수를 탭으로 하여 이 값의 변화에 따른 화질의 개선 정도를 실험하였다. 그 결과를 [그림 8]에 나타내었다.
- 263의 실험 모델인 TMN 8(Test Model Number 8)과 비교하였으며, TMN 8에서 선택 사양으로 주어진 부호화 방식중 UMV모드를 전체 화면에 적용한 결과를 UMW모드로 나타내고 제안한 알고리듬인 동적 UMV모드와 비교하였다. 화면모드의 동적 선택의 결과를 각각의 고정된 모드와 DP모드와 비교하였으며, H.263의 대역폭인 8Kbps ~ 64Kbps의 목표 비트율에 대하여 비교하였다.
대상 데이터
- 본 논문의 제안 알고리듬의 성능 평가를 위하여 QCIF 형식(176 lines x 144 pels)의 영상 시퀀스를 사용하였으며, 실험 영상으로 Suzie(150화면), Fore- man(300화면)영상을 사용하였다. 원 영상은 초당 30Hz의 화면으로 구성되어 있으며, 저 전송률 부호 화에 적합하도록 2화면씩을 생략하면서 부호화 하도 록 하여 초당 10 Hz의 시퀀스로 부호화 하였다.
- [그림 4]는 블록 매칭 알고리즘(Block Matching Algoithm, BMA)으로 보상된 이미지의 평균 예측 오 차에 대해 블록의 중심으로부터의 거리에 대한 그래 프를 나타낸 것이다. 블록의 크기는 16시6이고, 두 가지 QCIF(Quadrature Common Intermediate Format) 영상에 대해 실험한 것이다. 이 결과는 블록의 중심에 가까울수록 더 작은 예측 오차를 갖게 됨을 나타낸다[7].
- 본 논문의 제안 알고리듬의 성능 평가를 위하여 QCIF 형식(176 lines x 144 pels)의 영상 시퀀스를 사용하였으며, 실험 영상으로 Suzie(150화면), Fore- man(300화면)영상을 사용하였다. 원 영상은 초당 30Hz의 화면으로 구성되어 있으며, 저 전송률 부호 화에 적합하도록 2화면씩을 생략하면서 부호화 하도 록 하여 초당 10 Hz의 시퀀스로 부호화 하였다. 각 영상 시퀀스는 256 화소 값의 Y(himfaiance)성분과 Cr, Cb(chron血na咬ce) 성분올 가진다.
- 상대적으로 움직임 벡터 의 분산은 UMV모드의 특성을 반영하지 않는다고 할 수 있다. 이러한 실험결과를 바탕으로 본 논문에서는 UMV모드의 동적 선택을 움직임 벡터의 평 균값만을 대상으로 결정한다.<표 1>에서 움직임 벡 터의 평균이 1이하인 경우는 Mother and Dau앙iter영 상을 제외하고는 UMV모드를 적용하여 얻어지는 이 득이 적다.
데이터처리
- 제안된 알고리즘은 H.263의 실험 모델인 TMN 8(Test Model Number 8)과 비교하였으며, TMN 8에서 선택 사양으로 주어진 부호화 방식중 UMV모드를 전체 화면에 적용한 결과를 UMW모드로 나타내고 제안한 알고리듬인 동적 UMV모드와 비교하였다. 화면모드의 동적 선택의 결과를 각각의 고정된 모드와 DP모드와 비교하였으며, H.
이론/모형
- 각 영상 시퀀스는 256 화소 값의 Y(himfaiance)성분과 Cr, Cb(chron血na咬ce) 성분올 가진다. 원 영상과 복원 영상의 평가를 위하여 식 (9)와 같은 PSNR(Peak signal to noise ratio)을 사용하였다.
성능/효과
- 263의 경우, 그 이하의 목표 비트율에서의 부호화가 정상 적으로 진행되지 않기 때문에 제외하였다. 결과적으 로, 동적 UMV모드는 UMV 모드의 PSNR 곡선을 따르며, DP모드가 선택됨으로써, UMV 모드가 적용 되는 경우에 추가적으로 발생하는 계산을 줄일 수 있다. 모드를 나타내는 점들은 위로 올라간 경우가 UMV모드가 선택된 화면이며, 아래로 내려간 점들 의 화면이 DP모드가 선택된 것이다.
- Foreman 영 상은 PSNR의 변화는 그리 크지 않으며, 모드 선택 비율이 비트율이 높아짐에 따라 증가한다. 결과적으 로, 탭 수의 결정은 PSNR의 개선정도가 두드러지고, 모드의 선택 비율이 최소가 되는 4 정도가 되는 것이 바람직하다는 것을 확인할 수 있었다. [그림 10] 에서는 주어진 목표 비트율에서 제안한 동적 UMV 모드 알고리즘의 성능을 H.
- 이 결과를 [그림 5] 에 나타내었다. 결과적으로 움직임 벡 터의 평균이 UMV모드의 성능 개선을 살펴볼 수 있는 파라미터가 될 수 있다. 상대적으로 움직임 벡터 의 분산은 UMV모드의 특성을 반영하지 않는다고 할 수 있다.
- 적용하여 부호화 한 결과의 화질의 개선 정도로 단위는 [dB]이다. 결과적으로 움직임 벡터의 평 균이 큰 영상에 대하여 화질의 이득이 크며, 움직임 벡터의 평균이 작은 경우는 얻어지는 이득이 상대적으로 작음을 알 수 있다. 또한 Mother and Daughter 영상의 경우, 움직임 벡터의 평균은 작으나 화질의 이득이 큰 경우가 있는데 이러한 경우는 움직임 벡 터의 분산이 상대적으로 작음을 알 수 있다.
- 결과적으로 제안한 UMV모드의 동적 선택에 의한 부호화 방식은 UMV모드가 적용됨으로써 발생하는 추가적인 계산량을 줄이며, 화질은 UMV모드가 전체 비디오 열에 적용되어 부호화된 결과와 유사한 결과를 얻을 수 있었다. 부분적으로 화질의 열화가 심한 부분에서는 DP모드나 UMV모드에 비하여 성 능이 향상된다.
- [그림 11]에는 60 Kbps의 목표 비트율 에 대하여 부호화 한 결과를 나타내었으며, 앞에서 기술한 내용과 동일하며, 부분적으로 화질이 크게 저하되는 부분에서 UMV 모드에 비하여 향상된 결과를 얻을 수 있음을 나타낸다. 결과적으로, 움직임 이 적은 화면에 대하여 DP모드로 부호화하고, 움직 임이 커지는 영역에 대하여 UMV모드를 적용하여 부호화함으로써, 전체적인 화질은 UMV 모드를 전체 비디오 열에 적용하여 부호화한 결과와 같도록유지하며 계산량은 UMV모드에 비하여 줄일 수 있었다. 이러한 계산 량은 [그림 12]에서 8Kbps에서 64Kbps까지 나타내었으며, UMV모드를 적용함으로 써 발생하는 추가적인 계산량의 50%에서 60%정도의 계산량으로 UMV모드와 유사한 성능을 얻을 수 있었다.
- 복원된 결과 영상은 UMV 모드가 단독 전체 영상에 적용된 결과 영상에 대해 거의 같은 화질을 얻을 수 있었다. 두 번째로 UMV 모드가 전체 영상 데이터에 고정적으로 적용되는 것에 비해 움직임 추정에 소요되는 계산량을 줄일 수 있다. 세 번째로 제안된 방법은 다양한 이 미지 특성을 갖는 시간적으로 긴 영상 데이터에 보다 효율적으로 적용될 수 있으며, 화면 경계를 가로지르는 물체의 이동을 포함하는 영상이나 카메라의 이동이 포함된 영상 데이터에 보다 효과적으로 적용될 수 있다.
- UMV모드는 DP모드에 비해 23% 정도의 추가적인 계산이 필요함을 알 수 있다. 따라서 본 논문에서 제안하고자 하는 동적 UMV모드는 이러한 추가적인 계산량을 DP모드가 적용되는 경우에 대하여 줄일 수 있다. 즉, UMV모드가 적용되어 도 부호화 효율의 개선이 두드러지지 않는 화면에 대하여 DP모드로 부호화 하도록 하여 추가적으로 발생하는 계산량을 줄이면서 화질 면에서 UMV모드 를 전체 비디오열에 적용하여 부호화 한 결과와 같은 결과를 얻을 수 있을 것이다.
- 제안된 방법은 DPM 이나 UMV 모드를 전체 영상 데이터에 적용한 경우에 비해 PSNR 관점에서 부호화 효율이 향상 되었다. 또한 UMV 모드가 적용되는 경우에 비해 움직임 추정 시 탐색점의 수를 줄임으로써 부호화 효율을 높일 수 있었다. 이 방법은 부분적으로 카메 라의 움직임올 포함하는 영상 데이터에 보다 효율적 이며, 영상 경계에서 물체가 이동하는 경우에 효율 적이다.
- 첫 번째로, 영상 데이터의 부분적인 성질을 이용하여 부호화 할 수 있다. 복원된 결과 영상은 UMV 모드가 단독 전체 영상에 적용된 결과 영상에 대해 거의 같은 화질을 얻을 수 있었다. 두 번째로 UMV 모드가 전체 영상 데이터에 고정적으로 적용되는 것에 비해 움직임 추정에 소요되는 계산량을 줄일 수 있다.
- [그림 9]에는 UMV모드를 적용하기 위하여 이용한 화면 내의 움직임 벡터의 평균값에 대하여 이전 화면의 영향을 고려하는 정도인 탭 수에 대하여 보이는 PSNR의 변화와 UMV모드의 선택 비율을 나타내었다. 실험은 24, 36, 48, 64 Kbps의 목표 전송률 에 대하여 수행하였으며, 목표 전송률이 높아질수록 PSNR의 변화나 모드 선택 비율의 변화의 정도가 감 소되는 것을 살펴볼 수 있다. 이는 저 전송률에서 부호화 방식의 동적 선택이 보다 효율적으로 적용될 수 있음을 반영하며, 실제 결과에 있어서도 저 전송 률에서의 성능 개선이 많이 이루어짐을 나타내고 있다.
- 실험은 24, 36, 48, 64 Kbps의 목표 전송률 에 대하여 수행하였으며, 목표 전송률이 높아질수록 PSNR의 변화나 모드 선택 비율의 변화의 정도가 감 소되는 것을 살펴볼 수 있다. 이는 저 전송률에서 부호화 방식의 동적 선택이 보다 효율적으로 적용될 수 있음을 반영하며, 실제 결과에 있어서도 저 전송 률에서의 성능 개선이 많이 이루어짐을 나타내고 있다. Suzie 영상의 경우, PSNR의 변화는 탭 수의 변화에 따라 감소하다가 증가하는 모습을 보이다가 일정한 형태를 유지하며, 모드 선택 비율은 비트율이 높아짐에 따라 증가하는 모습을 보인다.
- 263 소스 부호화기에서 선택 사 양으로 제공되는 비제한 움직임 벡터 모드의 동적인 선택 방법에 관하여 기술하였다. 제안된 방법은 DPM 이나 UMV 모드를 전체 영상 데이터에 적용한 경우에 비해 PSNR 관점에서 부호화 효율이 향상 되었다. 또한 UMV 모드가 적용되는 경우에 비해 움직임 추정 시 탐색점의 수를 줄임으로써 부호화 효율을 높일 수 있었다.
- 본 논문에서 제안된 방법은 다음과 같은 이점을 갖는다. 첫 번째로, 영상 데이터의 부분적인 성질을 이용하여 부호화 할 수 있다. 복원된 결과 영상은 UMV 모드가 단독 전체 영상에 적용된 결과 영상에 대해 거의 같은 화질을 얻을 수 있었다.
후속연구
- 또한, 이러한 전략은 H.263O] 지원하는 개선된 예 측 모드(Advanced Predicticm Mode) 나 P-B 화면 모드 (P-B ftame Mode)등과 같은 다른 선택 사양에 대해서 도 적용이 가능하며, 이들 모드의 조합에서 보다 폭 넓은 방식의 적용을 연구해 볼 수 있을 것이다.
- 두 번째로 UMV 모드가 전체 영상 데이터에 고정적으로 적용되는 것에 비해 움직임 추정에 소요되는 계산량을 줄일 수 있다. 세 번째로 제안된 방법은 다양한 이 미지 특성을 갖는 시간적으로 긴 영상 데이터에 보다 효율적으로 적용될 수 있으며, 화면 경계를 가로지르는 물체의 이동을 포함하는 영상이나 카메라의 이동이 포함된 영상 데이터에 보다 효과적으로 적용될 수 있다.
- 앞으로의 연구방향으로는 H.263의 다른 선택 사 양에 대한 동적 선택을 위한 요소를 찾아 적용함으 로써 부호화기의 동작을 영상의 특성을 반영하여 동 적으로 운용할 수 있도록 하는 방안에 대해 고찰할 것이다.
- 따라서 본 논문에서 제안하고자 하는 동적 UMV모드는 이러한 추가적인 계산량을 DP모드가 적용되는 경우에 대하여 줄일 수 있다. 즉, UMV모드가 적용되어 도 부호화 효율의 개선이 두드러지지 않는 화면에 대하여 DP모드로 부호화 하도록 하여 추가적으로 발생하는 계산량을 줄이면서 화질 면에서 UMV모드 를 전체 비디오열에 적용하여 부호화 한 결과와 같은 결과를 얻을 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.