서로 다른 프레임 율을 가진 영상매체 사이의 프레임 호환을 위해, 움직임 추정 (motion estimation, ME)과 움직임 보상을 이용한 중간 영상 삽입 (합성) 기법 (motion compensated interpolation, MCI)이 활용되는데, 본 논문에서는 MCI에 적합한 움직임 추정기법을 제안하고, 제안한 움직임 추정 기법을 종래의 MCI에 적용한다. 종래의 방법에선 움직임 추정 블록과 MCI 블록의 크기가 동일하나, 본 논문에서 사용된 움직임 추정 블록은 MCI 블록과 같은 중심 축을 가지고, MCI 블록보다 더 크기 때문에 인접 블록과 중첩된 특성을 가진다. 제안한 움직임 추정 블록에 의한 계산량 증가를 줄이기 위해, 제안한 움직임 추정 블록내의 화소를 샘플링 하여 움직임 추정을 실행하였다. 제안한 방식을 검증하기 위해, 움직임 추정 블록을 다양한 샘플 계수로 샘플링 한 후 움직임 추정을 실행하였다. 제안한 방식으로 추정된 움직임 벡터 (motion vector, MV)를 활용하여 MCI를 수행하였으며, 수행된 결과를 종래의 방식에 의한 결과와 비교하였다.
서로 다른 프레임 율을 가진 영상매체 사이의 프레임 호환을 위해, 움직임 추정 (motion estimation, ME)과 움직임 보상을 이용한 중간 영상 삽입 (합성) 기법 (motion compensated interpolation, MCI)이 활용되는데, 본 논문에서는 MCI에 적합한 움직임 추정기법을 제안하고, 제안한 움직임 추정 기법을 종래의 MCI에 적용한다. 종래의 방법에선 움직임 추정 블록과 MCI 블록의 크기가 동일하나, 본 논문에서 사용된 움직임 추정 블록은 MCI 블록과 같은 중심 축을 가지고, MCI 블록보다 더 크기 때문에 인접 블록과 중첩된 특성을 가진다. 제안한 움직임 추정 블록에 의한 계산량 증가를 줄이기 위해, 제안한 움직임 추정 블록내의 화소를 샘플링 하여 움직임 추정을 실행하였다. 제안한 방식을 검증하기 위해, 움직임 추정 블록을 다양한 샘플 계수로 샘플링 한 후 움직임 추정을 실행하였다. 제안한 방식으로 추정된 움직임 벡터 (motion vector, MV)를 활용하여 MCI를 수행하였으며, 수행된 결과를 종래의 방식에 의한 결과와 비교하였다.
A new motion compensated frame Interpolation (MCI) algorithm by block based motion estimation (BME) is proposed. The block for the BME is composed of a large overlapped block for practical object motion estimation (ME) and a small block (which has a coinciding center with the ME-block) for the more ...
A new motion compensated frame Interpolation (MCI) algorithm by block based motion estimation (BME) is proposed. The block for the BME is composed of a large overlapped block for practical object motion estimation (ME) and a small block (which has a coinciding center with the ME-block) for the more precise motion compensated image description. Pixels in the block for the ME are sub-sampled to reduce computational complexity. The proposed method is executed with the various ME-blocks which have different size and sub-sampling ratio, and compared to the conventional method.
A new motion compensated frame Interpolation (MCI) algorithm by block based motion estimation (BME) is proposed. The block for the BME is composed of a large overlapped block for practical object motion estimation (ME) and a small block (which has a coinciding center with the ME-block) for the more precise motion compensated image description. Pixels in the block for the ME are sub-sampled to reduce computational complexity. The proposed method is executed with the various ME-blocks which have different size and sub-sampling ratio, and compared to the conventional method.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 영상 프레임내의 물체의 실제적인 움직임 추정 효율을 높이기 위해, 표준 BME를 수정한 새로운 형태의 BME방법을 제안한다. 아래 II장에서는 종래의 BME가 가지는 특성 및 종래의 BME를 MCI에 적용하였을 때 발생하는 문제점에 대해 설명하였다.
본 논문에서는 움직임 합성을 이용한 중간영상합성 (MCI)에 적합한 블록 기반 움직임 추정 방법을 제안하였다. 제안한 움직임 추정 방법은 프레임 내의 이미지의 실제 적인 움직임 추정 효율을 높이기 위한 방법으로 MCI 블록 의 크기보다 더 큰 인접한 블록과 중첩되는 움직임 추정 블록을 사용하여 움직임 추정을 실행하였으며, 종래의 방법 보다 더 큰 움직임 추정 블록을 사용함으로써 발생하는 계 산량 증가를 줄이기 위해 추정 블록 내의 화소값을 샘플링 하여 사용하였다.
본 논문에서는 종래의 방법에서 발생하는 실제적인 움직 임에 대한 MV의 오류를 최소화하는 방법으로. 표준 BME에 의해 결정된 MV에 부가적인 기능을 사용하는 대신, 표준 BME를 수정한 새로운 형태의 BME방법을 제안한다.
움직임 추정 이 불가한 경우가 많기 때문이다. 비록 완전한 MCI는 불가 하지만 BME를 통한 MCI의 경우 영상의 왜곡을 최소화하고, 관찰자로 하여금 합성에 의해 발생되는 왜곡을 감지하기 못하게 하는 것을 목표로 하고 있다.
가설 설정
그림 1(a)와 (b)는 인접한 영상 시퀀스 (sequence) 중 각각 이전 프레임과 현재 프레임을 보여준다. 그림 1(a)와 (b)는 'H' 형태의 이미지가 왼쪽에서 오른쪽으로 수평 이동 한 경우를 보여주는 그림인데, 그림 1(b) 프레임을 기준으로 하고, 그림 1(a) 프레임을 참조하여 BME를 실행하였을 때, 'H 형태의 이미지 중 대부분의 블록에서는 MAD 연산 에 의해 추정된 MV와 실제 물체의 움직임을 나타내는 MV가 서로 일치하지만, 그림 1(a)의 우측 상단의 블록에서 움 직임 추정 오류가 발생하였다고 가정하고 있다. 이때 그림 1(c) 와 (d)는 각각 'True motion 과 'MADmin'을 사용하여 그림 1(a)를 이용하여 그림 1(b)를 압축하기 위해 합성된 프레임을 나타내며, 이때 그림 1(c)와 (d)에서는 두 프레임 이 거의 유사하며, 블록 아티팩트가 발생하지 않았다.
제안 방법
그림 2에서와 같이, 중첩된 움직임 추정 블록을 사용함으 로써 움직임 추정 시 발생되는 계산량의 증가를 줄이기 위 해, 실제 적용 시에는 샘플링된 화소값들로 구성된 움직임 추정 블록을 사용하여 움직임 추정을 실행한다. 그림 3에서는 샘플링 계수가 2인 움직임 추정 블록과, MCI를 위해 사용되는 블록을 나타내고 있다.
동일한 영상프레임에 대해 움직임 추정을 실행하고 MCI 블록의 크기가 같으며, 움직임 추정 범위가 같다는 가정하 에 제안한 방식과 종래의 방식에 대한 움직임 추정 계산 량을 비교하면 다음과 같다. 먼저 움직임 추정영역을 S라 고 하고, MAD방법을 수행하기 위한 각각의 화소에 대한 단위 계산량을 K라고 할 때 종래의 방법을 사용하였을 때, 임의의한 움직임 추정 블록에 대해 MV를 구하기 위한 총계산량은 SKMM이며, 제안한 방법에 대한 계산량은 SK(M1M2/a2)로 나타낼 수 있다.
제안한 방식의 성능을 검증하기 위해 'Bus, ' 'Football: *Tennis, ' 그리고 'Susie'와 같은 영상시퀀스를 이용하여 MCI을 실행하였다. 두 인접한 영상 프레임들 사이에서 전 역 탐색 블록 움직임 추정 (full search BME) 기법을 적용하여 움직임 추정을 하였으며, 이때 탐색 영역은 수평과 수 직방향으로 각각 ±16 화소 거리만큼 탐색하였다. 움직임 추 정과 MCI을 위해 사용된 블록의 크기는 아래 표 1에 나타내었다.
종래의 방법에서는, 주로 16x16 화소로 이뤄진 움직임 추정 블록과 MCI 블록을 이용하여 MCI를 실행하였다. 반 면, 제안한 방법 1'과 제안한 방법2'에서는 각각 32x32 화소로 구성된 움직임 추정블록과 48x48 화소로 구성된 움직임 추정 블록을 사용하여 움직임 추정을 실행한 후, 그때 구해 진 MV를, 움직임 추정 블록과 같은 중심점을 가지는 16x16 화소로 구성된 MCI 블록에 대응시켜 MCI를 실행하였다.
본 논문에서 종래의 방법과 제안한 방법에 의한 MCI 성능을 비교하는데 있어서, 제안한 블록기반 움직임 추정 방법이 MCI 성능에 미치는 영향을 공정하게 평가하기 위해 종래의 방법과 제안한 방법에 대해 같은 MCI 수식을 적용 하였으며, 적용한 수식은 참조논문 [2]에서 응용된 것이며 아래 수식 5와 같이 간단히 표현될 수 있다.
위 수식에서 a는 추정블록 내부 화소에 대한 샘플링 계수를 나타내며, [M/α]는 0%보다 크지 않은 최대 의 정수값을 나타낸다. 수식 3에서 M1×M2는 제안한 방 식을 위한 블록의 크기를 나타내며, 제안한 방식에서는 MxM 크기의 블록을 샘플링 계수 Q의 크기만큼 수평 과 수직방향으로 균일하게 샘플링된 화소로 구성된 블 록으로 움직임 추정을 실행함으로써 움직임 추정에 대한 계산량을 감소시킨다. 수식 3에서 M 과 M는 각각 수식 1에서의 N1과 N2보다 큰 값으로 설정되며, M1×M2으로 이뤄진 임의의 블록은 좌우 상하의 인접 블록 에 대해 수평과 수직 방향으로 각각과 만큼 떨어 져 있기 때문에, 제안한 방식에서 사용되는 움직임 추 정 블록은 인접 블록들과 중첩하는 특성을 지니며, 합 성 블록의 크기가 종래의 방식과 같다고 가정한다면,
움직임 주정 블록 내부의 화소들에 대해 샘플링 계수, a 를 2에서 9까지 변화시켜가면서 움직임 추정을 하였다. 'Bus' 프레임 시퀀스에 대해, 종래의 방법과 a=2인 제안한 방법1을 사용하여 움직임 추정을 한 후, 각각의 추정을 통해 구해진 MV들을 참고문헌 [2] 에서 제안한 동일한 MCI 수식에 적용하여 합성한 결과를 그림 4에 나타내었다.
제안된 BME에서는 이 두 가지 특성의 장점만을 살려, 그림 2와 같이, MV의 정확도를 높이기 위해 MCI 블록과 같은 중심축을 가지 며 MCI 블록보다 큰 서로 중첩되는 블록을 사용하여 움직 임 추정을 실행한다. 이렇게 하여 추정된 MV와 균일하게 분할된 MCI 블록을 이용하여 MCI를 실행한다.
반면, 블록의 크기가 작을수록 이미지의 세밀한 표현은 가 능하나, 추정 정확도는 떨어지게 된다[7]. 제안된 BME에서는 이 두 가지 특성의 장점만을 살려, 그림 2와 같이, MV의 정확도를 높이기 위해 MCI 블록과 같은 중심축을 가지 며 MCI 블록보다 큰 서로 중첩되는 블록을 사용하여 움직 임 추정을 실행한다. 이렇게 하여 추정된 MV와 균일하게 분할된 MCI 블록을 이용하여 MCI를 실행한다.
제안한 BME에서는 움직임 추정 블록과 움직임 합성 블 록을 서로 다른 크기의 블록을 사용하여 구현하였다. BME 에서 움직임 추정 블록의 크기에 따라 움직임 추정 및 합 성에 있어서 다른 특성을 보이는데, 흔히 추정 블록의 크기가 클수록 움직임 추정 정확도는 높아지나, 단위 합성 블록 이 큰 만큼 합성된 이미지의 세밀한 표현이 힘들어 진다.
제안한 방식의 성능을 검증하기 위해 'Bus, ' 'Football: *Tennis, ' 그리고 'Susie'와 같은 영상시퀀스를 이용하여 MCI을 실행하였다. 두 인접한 영상 프레임들 사이에서 전 역 탐색 블록 움직임 추정 (full search BME) 기법을 적용하여 움직임 추정을 하였으며, 이때 탐색 영역은 수평과 수 직방향으로 각각 ±16 화소 거리만큼 탐색하였다.
본 논문에서는 움직임 합성을 이용한 중간영상합성 (MCI)에 적합한 블록 기반 움직임 추정 방법을 제안하였다. 제안한 움직임 추정 방법은 프레임 내의 이미지의 실제 적인 움직임 추정 효율을 높이기 위한 방법으로 MCI 블록 의 크기보다 더 큰 인접한 블록과 중첩되는 움직임 추정 블록을 사용하여 움직임 추정을 실행하였으며, 종래의 방법 보다 더 큰 움직임 추정 블록을 사용함으로써 발생하는 계 산량 증가를 줄이기 위해 추정 블록 내의 화소값을 샘플링 하여 사용하였다. 실험 결과 제안한 방법을 이용하였을 경우 종래의 방법에 비해, 더 낮은 계산량으로도 더 높은 성능을 보임을 확인하였으며, 제안한 방법에 의해 구해진 MV를 MCI에 적용하였을 경우 종래의 방법에서 발생하던 블록 아티팩트를 줄이는데 상당한 효과가 있으며, 더 높은 PSNR특성을 보임을 확인하였다.
제안한 방법의 성능을 양적으로 측정하기 위해, 삽입된 영상프레임에 대한 피크 신호 대 잡음비 (peak: signal-to-noise ratio, PSNR) 을 계산해 보았다. 측정 방법에 대해 좀더 자 세히 설명하자면, 원본 프레임 시퀀스에서 짝수번째 프레임 을 제거하고 남은 프레임 시퀀스에 대해, 종래의 방법과 제안한 방법을 사용하여 MCI를 실행한 후, 합성된 프레임들 과 이전에 제거된 짝수번째 프레임에 대해 아래 수식 (5) 에서와 같이 PSNR을 계산하였다.
표 2에서는 위 그림 5와 6에서와 같이 'Football: 'Susie' 그리고 'Terris' 시퀀스들에 대한 제안한 방법과 종래의 방법에 의한 PSNR 특성을 정리하였으며, 각각의 방식을 사 용하였을 때 필요한 계산량의 비를 비교하였다.
본 논문에서는 종래의 방법에서 발생하는 실제적인 움직 임에 대한 MV의 오류를 최소화하는 방법으로. 표준 BME에 의해 결정된 MV에 부가적인 기능을 사용하는 대신, 표준 BME를 수정한 새로운 형태의 BME방법을 제안한다. 자세한 내용은 아래 장에서 설명한다.
데이터처리
제안한 방법의 성능을 양적으로 측정하기 위해, 삽입된 영상프레임에 대한 피크 신호 대 잡음비 (peak: signal-to-noise ratio, PSNR) 을 계산해 보았다. 측정 방법에 대해 좀더 자 세히 설명하자면, 원본 프레임 시퀀스에서 짝수번째 프레임 을 제거하고 남은 프레임 시퀀스에 대해, 종래의 방법과 제안한 방법을 사용하여 MCI를 실행한 후, 합성된 프레임들 과 이전에 제거된 짝수번째 프레임에 대해 아래 수식 (5) 에서와 같이 PSNR을 계산하였다.
제안한 방법의 성능을 평가하기 위해 다양한 크기와 샘 플링 계수를 가진 움직임 추정 블록들을 이용하여 움직임 추정을 하였으며, 추정된 MV를 MCI에 적용하여 보았으며, 이를 종래의 방법에 의한 결과와 비교하였다.
수식 (5)에서 FS는 한 프레임 내의 총 화소 개수를 의미하며, u와 V는 프레임내의 각각의 화소들에 대한 수평, 수직 방향의 좌표값을 나타낸다. 종래의 방식과 제안한 방식의 성능을 비교하기 위해 'Football, ' 'Susie, ' 그리고 'Tennis 시 퀀스들을 사용하여, 각각의 프레임들 중 초기 50프레임에 대해 PSNR을 계산하였으며 그 결과를 그림 4와 5에 나타내었다.
성능/효과
반면 제안한 방법을 사용한 결과인 4(d) 에서는, 그림 4(c) 에서 원으로 표시한 부분에서 발생한 블록 아티팩트가 많은 부분 사라졌음을 알 수 있다. 제안한 방법을 사용하였을 때 블록 아티팩트가 사라 진 이유를 정성적으로 살펴보면, 그림 4(a)와 (b)를 이용하여 블록단위 움직임 추정을 할 때, 16x16 화소 크기의 블록으로 움직임 추정을 하였을 때는, 탐색 영역 이내에 같은 블록으로 오인될 수 있는 비슷한 모양의 블록이 확률적으로 많이 존재 하였으나, 16x16보다 가로 및 세로로 두 배 더 큰 32x32 화 소 크기의 블록으로 움직임 추정을 하였을 때는, 종래의 블록 보다는 4배로 넓은 영역에 대해 유사도를 비교하기 때문에, 종래의 방법에 비해 움직임 추정 정확도가 높아져, 합성 시 블록 아티펙트가 적은 것으로 생각할 수 있다. 뿐만 아니라 같은 크기의 합성 블록으로 MCI을 하였기 때문에 이미지를 표현하는 단위 블록에 대한 정밀도에서는 차이가 없다.
제안한 방법2에서 a=3을 적용하였을 때, 실험에 사용한 3가지 시퀀스들에 대해, 종래의 방법에 비해 우수한 성능을 보여주고 있으며, a=6인 경우에 대해, 그림 5와 같이, 제안한 방법이 'Football'과 'Susie' 시퀀스에서 더 나은 결과를 보임을 알 수 있다. a=9를 적용한 경우, 제안한 방식이 'Football'과 'Tennis'시퀀스에서 종래의 방법을 적용한 경우에 비해 더 열악한 결과를 보여주지만, 'Susie' 시퀀스에 대 해선 더 나은 결과를 보여줌을 알 수 있다. 그림 5와 6의 결과를 통해 제안한 방법1과 2를 적용하였을 때, 종래의 방 법보다 낮은 계산량으로도 같거나 더 높은 성능을 낼 수 있음을 확인하였으며, 'Susie'시퀀스와 같은 낮은 영상 주파 수를 가진 이미지에 제안한 방법을 적용하였을 때 더 높은 성능을 보여줌을 확인할 수 있었다.
a=9를 적용한 경우, 제안한 방식이 'Football'과 'Tennis'시퀀스에서 종래의 방법을 적용한 경우에 비해 더 열악한 결과를 보여주지만, 'Susie' 시퀀스에 대 해선 더 나은 결과를 보여줌을 알 수 있다. 그림 5와 6의 결과를 통해 제안한 방법1과 2를 적용하였을 때, 종래의 방 법보다 낮은 계산량으로도 같거나 더 높은 성능을 낼 수 있음을 확인하였으며, 'Susie'시퀀스와 같은 낮은 영상 주파 수를 가진 이미지에 제안한 방법을 적용하였을 때 더 높은 성능을 보여줌을 확인할 수 있었다.
그림 5는, 제안한 방법1에 대한 PSNR을 비교한 것인데, 제안한 방법1에 a=2를 적용한 결과, 실험에 사용한 3가지 시퀀스들에 대해, 종래의 방법에 비해 우수한 성능을 보여 줌을 확인할 수 있으며, a=3인 경우, 제안한 방법이 'Football'과 'Susie 시퀀스에서 더 나은 결과를 보임을 알 수 있다. 그림 5의 결과를 통해 제안한 방법1을 적용하였을 때, 종래의 방법보다 낮은 계산량으로도 같거나 더 높은 성능을 낼 수 있음을 알 수 있다.
위에서 언급했던 실험결과를 통해, 제안한 블록 기반 움직임 추정 방법을 통해 움직임 추정을 하였을 경우, 종래의 움직임 추정 방법을 적용한 결과에 비해 영상 이미지의 실제 움직임을 추 정하는데 탁월한 효과를 보이며, 또한 종래의 방법에서 필요한 계산량보다 훨씬 낮은 계산량으로도 더 우수하거나 비슷한 결과를 얻을 수 있음을 확인하였다. 또한 제안한 움직임 추정 방법을 MCI에 적용하였을 경우, 종래의 추정 방법에 의해 합성된 영상 프레임 보다 더 높은 PSNR특성을 보임을 확인하였다. 제안한 방법1과 2를 비교하였을 때, MCI에 대한 성능은 움직임 추정 블록의 크기에 비례 하며, 두 가지 크기의 움직임 추정 블록을 샘플링하여 사용할 경우, 같은 계산량을 가진다고 가정하였을 때, 더 작은 추정 블록에 낮은 샘플링 계수를 적용하였을 경우보다, 더 큰 추정블록에 대해 높은 샘플링 계수로 샘플링된 추 정 블록을 사용하는 경우에 더 우수한 성능을 가짐을 알 수 있었다.
동일한 영상프레임에 대해 움직임 추정을 실행하고 MCI 블록의 크기가 같으며, 움직임 추정 범위가 같다는 가정하 에 제안한 방식과 종래의 방식에 대한 움직임 추정 계산 량을 비교하면 다음과 같다. 먼저 움직임 추정영역을 S라 고 하고, MAD방법을 수행하기 위한 각각의 화소에 대한 단위 계산량을 K라고 할 때 종래의 방법을 사용하였을 때, 임의의한 움직임 추정 블록에 대해 MV를 구하기 위한 총계산량은 SKMM이며, 제안한 방법에 대한 계산량은 SK(M1M2/a2)로 나타낼 수 있다. 이때 종래의 방법에 대한 제안한 방법의 계산량의 비를 CR이라고 한다면, 아래 의 수식 (4)와 같이 나타낼 수 있다.
제안한 움직임 추정 방법은 프레임 내의 이미지의 실제 적인 움직임 추정 효율을 높이기 위한 방법으로 MCI 블록 의 크기보다 더 큰 인접한 블록과 중첩되는 움직임 추정 블록을 사용하여 움직임 추정을 실행하였으며, 종래의 방법 보다 더 큰 움직임 추정 블록을 사용함으로써 발생하는 계 산량 증가를 줄이기 위해 추정 블록 내의 화소값을 샘플링 하여 사용하였다. 실험 결과 제안한 방법을 이용하였을 경우 종래의 방법에 비해, 더 낮은 계산량으로도 더 높은 성능을 보임을 확인하였으며, 제안한 방법에 의해 구해진 MV를 MCI에 적용하였을 경우 종래의 방법에서 발생하던 블록 아티팩트를 줄이는데 상당한 효과가 있으며, 더 높은 PSNR특성을 보임을 확인하였다. 제안한 방법1과 2를 비교 하였을 때, MCI에 대한 성능은 움직임추정 블록의 크기에 비례하며, 샘플링 계수에 반비례하지만, 적합한 샘플링 계 수로 추정 블록을 샘플링하여 사용할 경우, 종래의 방법보다 더 낮은 계산량으로도 더 높은 MCI 성능을 가짐을 알 수 있었다.
제안한 방법 1에 a=3을 적용하였을 때, 종래의 방법에 비해 45%의 계산량을 가지며 종래의 방법에 비해 더 나은 성능을 보임을 알 수 있으며 제안한 방법 2에 a=6을 적용 하였을 때, 종래의 방법에 비해 25%의 계산량을 가지면서 도 종래의 방법에 비해 더 나은 성능을 보임을 알 수 있 다, 뿐만 아니라, 제안한 방법 2에 a=9를 적용하였을 때, 종래의 방법에 비해 11%의 계산량만으로도 종래의 방법 과 비슷한 성능을 보임을 알 수 있다. 위에서 언급했던 실험결과를 통해, 제안한 블록 기반 움직임 추정 방법을 통해 움직임 추정을 하였을 경우, 종래의 움직임 추정 방법을 적용한 결과에 비해 영상 이미지의 실제 움직임을 추 정하는데 탁월한 효과를 보이며, 또한 종래의 방법에서 필요한 계산량보다 훨씬 낮은 계산량으로도 더 우수하거나 비슷한 결과를 얻을 수 있음을 확인하였다. 또한 제안한 움직임 추정 방법을 MCI에 적용하였을 경우, 종래의 추정 방법에 의해 합성된 영상 프레임 보다 더 높은 PSNR특성을 보임을 확인하였다.
표 2에서, '평균 PSNR'을 기준으로 비교하였을 때, 제안한 방법 1에 a=2를 적용하였을 때, 종래의 방법과 같은 계산량을 가지며 종래의 방법에 비해 대략 IdB의 성능 향상을 보였으며, 제안한 방법 2에 a=3을 적용하였을 때, 종래의 방법과 같은 계산량을 가지며 종래의 방법에 비해 대략 2dB의 성능 향상을 보인다. 제안한 방법 1에 a=3을 적용하였을 때, 종래의 방법에 비해 45%의 계산량을 가지며 종래의 방법에 비해 더 나은 성능을 보임을 알 수 있으며 제안한 방법 2에 a=6을 적용 하였을 때, 종래의 방법에 비해 25%의 계산량을 가지면서 도 종래의 방법에 비해 더 나은 성능을 보임을 알 수 있 다, 뿐만 아니라, 제안한 방법 2에 a=9를 적용하였을 때, 종래의 방법에 비해 11%의 계산량만으로도 종래의 방법 과 비슷한 성능을 보임을 알 수 있다. 위에서 언급했던 실험결과를 통해, 제안한 블록 기반 움직임 추정 방법을 통해 움직임 추정을 하였을 경우, 종래의 움직임 추정 방법을 적용한 결과에 비해 영상 이미지의 실제 움직임을 추 정하는데 탁월한 효과를 보이며, 또한 종래의 방법에서 필요한 계산량보다 훨씬 낮은 계산량으로도 더 우수하거나 비슷한 결과를 얻을 수 있음을 확인하였다.
실험 결과 제안한 방법을 이용하였을 경우 종래의 방법에 비해, 더 낮은 계산량으로도 더 높은 성능을 보임을 확인하였으며, 제안한 방법에 의해 구해진 MV를 MCI에 적용하였을 경우 종래의 방법에서 발생하던 블록 아티팩트를 줄이는데 상당한 효과가 있으며, 더 높은 PSNR특성을 보임을 확인하였다. 제안한 방법1과 2를 비교 하였을 때, MCI에 대한 성능은 움직임추정 블록의 크기에 비례하며, 샘플링 계수에 반비례하지만, 적합한 샘플링 계 수로 추정 블록을 샘플링하여 사용할 경우, 종래의 방법보다 더 낮은 계산량으로도 더 높은 MCI 성능을 가짐을 알 수 있었다.
또한 제안한 움직임 추정 방법을 MCI에 적용하였을 경우, 종래의 추정 방법에 의해 합성된 영상 프레임 보다 더 높은 PSNR특성을 보임을 확인하였다. 제안한 방법1과 2를 비교하였을 때, MCI에 대한 성능은 움직임 추정 블록의 크기에 비례 하며, 두 가지 크기의 움직임 추정 블록을 샘플링하여 사용할 경우, 같은 계산량을 가진다고 가정하였을 때, 더 작은 추정 블록에 낮은 샘플링 계수를 적용하였을 경우보다, 더 큰 추정블록에 대해 높은 샘플링 계수로 샘플링된 추 정 블록을 사용하는 경우에 더 우수한 성능을 가짐을 알 수 있었다.
그림 6은 제안한 방법2에 대한 PSNR을 비교한 것인데. 제안한 방법2에서 a=3을 적용하였을 때, 실험에 사용한 3가지 시퀀스들에 대해, 종래의 방법에 비해 우수한 성능을 보여주고 있으며, a=6인 경우에 대해, 그림 5와 같이, 제안한 방법이 'Football'과 'Susie' 시퀀스에서 더 나은 결과를 보임을 알 수 있다. a=9를 적용한 경우, 제안한 방식이 'Football'과 'Tennis'시퀀스에서 종래의 방법을 적용한 경우에 비해 더 열악한 결과를 보여주지만, 'Susie' 시퀀스에 대 해선 더 나은 결과를 보여줌을 알 수 있다.
'CR'는 종래의 방법으로 움직임 추정을 할 때 필요한 계산량에 대한 제안한 방법에 의한 움직임 추정 시의 계산량 비를 나타낸 것인데, 종래의 방법을 100%라 가정하였을 때 상대적인 계산량을 나타낸 것이다. 표 2에서, '평균 PSNR'을 기준으로 비교하였을 때, 제안한 방법 1에 a=2를 적용하였을 때, 종래의 방법과 같은 계산량을 가지며 종래의 방법에 비해 대략 IdB의 성능 향상을 보였으며, 제안한 방법 2에 a=3을 적용하였을 때, 종래의 방법과 같은 계산량을 가지며 종래의 방법에 비해 대략 2dB의 성능 향상을 보인다. 제안한 방법 1에 a=3을 적용하였을 때, 종래의 방법에 비해 45%의 계산량을 가지며 종래의 방법에 비해 더 나은 성능을 보임을 알 수 있으며 제안한 방법 2에 a=6을 적용 하였을 때, 종래의 방법에 비해 25%의 계산량을 가지면서 도 종래의 방법에 비해 더 나은 성능을 보임을 알 수 있 다, 뿐만 아니라, 제안한 방법 2에 a=9를 적용하였을 때, 종래의 방법에 비해 11%의 계산량만으로도 종래의 방법 과 비슷한 성능을 보임을 알 수 있다.
참고문헌 (13)
Ojo, O.A. and de Haan, G.: 'Robust motion-compensated video up-conversion', in IEEE Trans. on Consum. Electron., Nov. 1997, Vol. 43, (4), pp. 1045 -1056
Pelagotti, A. and de Haan, G.: 'A new algorithm for high quality video format conversion', in Proc. of Image Processing, Oct. 2001, Vol. 2, pp. 375 -378
Byung-Tae Choi, Sung-Hee Lee and Sung-Jea Ko: 'New frame rate up-conversion using bi-directional motion estimation' in IEEE Transactions on Consum. Electron., Vol. 46, (3) , Aug. 2000, pp. 603 -609
Sung-Hee Lee, Oh-jae Kwon, Rae-Hong Park: 'Weighted-adaptive motion-compensated frame rate up-conversion' in IEEE Transactions on Consum. Electron., Vol. 49, Aug. 2003, pp. 485-492
B. W. Jeon, G. I. Lee, S. H. Lee, and R. H. Park: 'Coarse-to-fine frame interpolation for frame rate up-conversion using pyramid structure' in IEEE Transactions on Consum. Electron., Vol. 49, (3), Aug. 2003, pp. 499 - 508
Ng, A.C.K.; Zeng, B.: 'A new fast motion estimation algorithm based on search window sub-sampling and object boundary pixel block matching' in ICIP 98, Oct. 1998, Vol. 3, pp. 605 -608
Liu, B.; Zaccarin, A.: 'New fast algorithms for the estimation of block motion vectors' in IEEE Trans. on , Circuits and Systems for Video Tech., Vol. 3, April 1993, pp. 148 -157
Sugiyama, K., Nakamura, H.: 'A method of de-interlacing with motion compensated interpolation' in IEEE Trans. on Consumer Elect., Vol. 45, Aug. 1999, pp. 611 -616
Dufaux, F. and Moscheni, F.: 'Motion estimation techniques for digital TV: a review and a new contribution', in Proc. of the IEEE, June 1995, Vol. 83, pp. 858 -876
Jong-Nam Kim and Tae-Sun Choi: 'A fast three-step search algorithm with minimum checking points using unimodal error surface assumption' in IEEE Trans. on Consumer Elect., Vol. 44, Aug. 1998, pp. 638 -648
Chun-Ho Cheung and Lai-Man Po: 'A novel cross-diamond search algorithm for fast block motion estimation' in IEEE Trans. on , Circuits and Systems for Video Tech., Vol. 12, Dec. 1993, pp. 1168-1177
Gao, X.Q., Duanmu, C.J. and Zou, C.R.: 'A multilevel successive elimination algorithm for block matching motion estimation' in IEEE Trans. on Image Processing, Vol. 9, March 2000, pp. 501-504
G. de Haan, P. Biezen: 'An efficient true-motion estimator using candidate vectors from a parametric motion model' in IEEE Trans. on , Circuits and Systems for Video Tech., Vol. 8, Feb. 1998, pp. 85 -91
※ AI-Helper는 부적절한 답변을 할 수 있습니다.