선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 기존 SAD와 달리, R-SAD는 원 영상의 표현 레벨 수를 줄여 블록 정합결과를 계산하기 때문에 BPM을 이용한 기존 방법들과 유사하게 논리 연산을 통해 정합 결과를 계산할 수 있으며, 이로 인해 기존 SAD에 비해 계산량과 하드웨어 복잡도를 줄일 수 있다. 또한, R-SAD는 비트 플레인의 수를 증가 시킬수록 정합결과의 정확도를 향상시킬 수 있지만, 본 논문에서는 하드웨어의 복잡도와 블록 정합 결과의 정확도를 고려하여 R-SAD2-bit와 R-SAD3-bit에 대해서 다룬다.
- 본 논문에서는 기존의 BPM에서 주로 사용하는 NNMP 블록 정합방법들 보다 정합 정확도가 높으면서 동시에 조합논리회로로 구현이 가능한 Reduced-bit SAD(R-SAD)블록 정합 방법을 제안한다. 이 방법은 입력 영상들을 저 비트의 비트 플레인들로 변환하고, 비트 플레인들간 절대오차 계산 결과에 대한 입출력 관계를 이용하여 진리표를 획득한다.
제안 방법
- 이러한 문제점을 최소화하기 위해 1BT에서는 대역통과 필터를 이용하여 원 영상의 중간 주파수 영역을 가지는 에지를 사용한다[4]. 이를 위해, 먼저 원 영상의 효과적인 한 개의 비트 플레인 생성을 위한 다중 밴드패스 필터링된 영상과 원 영상을 비교한다. 원 영상에 대한 하나의 비트 플레인 획득은 다음의 식에 의해 결정된다.
- 8-bit의 원 영상을 4개의 표현레벨을 가진 2-bit영상으로 변환하기 위해서는 3개의 임계값이 필요하다. 이를 위해, 우리는 다양한 테스트 영상들에 대한 오차영상의 히스토그램을 분석하였다. 그 결과, 대부분의 실험 영상들이 0을 기준으로 좌우 대칭되는 오차 영상의 히스토그램 분포를 보였다.
- . 이를 위해, 픽셀들의 평균값과 표준편차를 구한 후, 다음의 식을 통해 원 영상을 두 개의 비트 플레인으로 변환한다.
- 제안된 블록 정합 방법은 2-bit 또는 3-bit영상의 절대오차 합을 이용하는 방법으로 기존의 비트 플레인을 사용하는 블록 정합 방법과 같이 조합논리 회로로 구현이 가능하다. 이 방법은 기존의 비트 플레인 기반의 블록 정합방법들과 비교해 정합결과의 표현범위가 넓어 비교적 정확한 블록 정합결과를 획득할 수 있었으며, 특히, R-SAD3-bit의 경우 8-bit의 원 영상을 사용하는 전형적인 SAD방법과 비교해 블록의 정합 정확도가 유사한 실험결과들을 획득할 수 있었다.
대상 데이터
- (i, j)는 각각 현재 영상과 참조 영상으로부터 얻어진 비트 플레인들이고, ⊕는 Boolean exclusive-OR(XOR)연산을 나타낸다. NNMP1BT(m, n)은 Bt와 Bt-1에 해당하는 블록 내 픽셀 간 서로 동일하지 않은 픽셀들의 수를 누적하여 블록 정합 결과를 획득한다. 이를 통해, 1BT는 한 번에 여러 개의 픽셀들을 병렬로 연산할 수 있는 조합 논리 회로로 하드웨어를 구성할 수 있어 기존의 SAD에 비해 블록 정합 간 계산량과 하드웨어 복잡도를 현저히 저감할 수 있지만, 사용할 수 있는 데이터가 한정적이므로 비교적 블록 정합의 정확도가 낮은 단점을 가지고 있다.
- 이 실험을 위해 우리는 한 개의 CIF(352×288)포맷의 “Forman”과 네 개의 SIF(352× 240)포맷의 ”Football”, "Tennis”, "Mobile”, "Garden”의 영상 시퀀스들을 이용하여 실험결과를 획득하였다.
데이터처리
- R-SAD의 성능 평가를 위해 우리는 기존의 블록 정합방법들과 제안된 블록 정합방법을 이용하여 움직임 보상(motion compensation)결과를 획득하고, 원 영상과 재생성된 영상간의 PSNR(peak signal to noise ratio)을 계산 하여 성능을 비교 분석한다.
- 이와 함께, 하드웨어 복잡도 측면을 평가하기 위해 2-bit의 값을 사용하는 BPM블록 정합 방법들 중 가장 간단한 하드웨어 구조를 가지는 2BT방법과 제안된 방법의 하드웨어 구조를 그림 3과 4에 각각 나타내어 비교하였다. 그림 3의 왼쪽 부분은 입력된 서로 다른 두 프레임을 2개의 비트 플레인으로 각각 변환한 결과 영상이며, 16× 16블록의 정합 과정을 계산하기 위해 16×1의 블록정합 결과값을 16번 누적하여 최종 블록의 정합결과를 획득한다.
성능/효과
- (e)의 실험결과와 유사하게 하나의 비트 플레인을 사용함에도 불구하고 16×16픽셀의 블록을 사용한 대부분의 실험결과에서 평균 PSNR이 2BT방법보다 좋은 결과를 획득하였다.
- 하지만, 달력의 일부 글자가 보상 되지 못하였고, 몸과 머리 부분의 오차는 여전히 발생하였다. 그림 2(f)의 ENNMP는 2BT와 유사한 결과를 획득하였지만, 그림 2(g)의 WNNMP(L)은 달력의 글자 부분을 적절히 표현하였고, 기존 방법들 중 가장 좋은 움직임 보상결과를 획득할 수 있었다. 이들과는 대조적으로, 제안된 R-SAD2-bit는 기존의 비트 플레인 방법들과 동일한 개수의 비트 플레인을 사용함에도 불구하고 오차가 많이 제거된 움직임 보상 결과를 획득할 수 있었다.
- 그 외의 실험 결과에서는 전반적으로 16×16픽셀의 블록을 사용한 실험결과와 유사한 경향을 보였으며, 제안된 R-SAD2-bit와 R-SAD3-bit는 대체적으로 기존의 블록 정합방법들과 비교해 높은 평균 PSNR을 보이고 있어 비교적 적은 오차로 움직임 보상을 수행한 것을 알 수 있다.
- (i, j)는 각각 현재 영상과 참조 영상에서의 (i, j)위치에 대한 픽셀값을 나타내고, s와 N은 블록의 검색 영역과 분할된 블록의 크기를 나타낸다. 기존 SAD와 달리, R-SAD는 원 영상의 표현 레벨 수를 줄여 블록 정합결과를 계산하기 때문에 BPM을 이용한 기존 방법들과 유사하게 논리 연산을 통해 정합 결과를 계산할 수 있으며, 이로 인해 기존 SAD에 비해 계산량과 하드웨어 복잡도를 줄일 수 있다. 또한, R-SAD는 비트 플레인의 수를 증가 시킬수록 정합결과의 정확도를 향상시킬 수 있지만, 본 논문에서는 하드웨어의 복잡도와 블록 정합 결과의 정확도를 고려하여 R-SAD2-bit와 R-SAD3-bit에 대해서 다룬다.
- 진리표는 Karnaugh map을 통해 간소화 되어 논리식으로 표현할 수 있으며, 이를 통해 절대오차를 계산한다. 따라서 기존 SAD의 8-bit 뺄셈기를 사용하는 방법보다 하드웨어 복잡도가 낮은 조합논리 회로를 이용하여 절대 오차계산이 가능하다. 이와 함께, R-SAD는 기존 BPM방법들과 동일하게 비트 플레인을 사용하지만 블록 정합결과의 표현 레벨이 기존의 NNMP보다 많아 비교적 정확한 블록 정합결과를 획득할 수 있는 장점이 있다.
- 게다가 R-SAD는 기존의 SAD를 근사화한 방법으로 2BT방법의 비트 플레인 분할 방법과 달리 오차 히스토그램의 균등한 분할로 임계값 설정이 가능하기 때문에 원 영상에 대한 저 비트 변환 영상을 쉽게 획득할 수 있다. 따라서 제안된 방법은 2-bit와 3-bit의 변환보다 높은 n-bit의 변환도 쉽게 구현이 가능하다.
- C-1BT는 그림 2(d)와 (e)의 실험결과와 유사하게 하나의 비트 플레인을 사용함에도 불구하고 16×16픽셀의 블록을 사용한 대부분의 실험결과에서 평균 PSNR이 2BT방법보다 좋은 결과를 획득하였다. 또한, 최근에 제안된 ENNMP와 WNNMP도 블록 정합 결과의 표현 범위를 확장하여 기존의 2BT방법보다 좋은 결과를 획득할 수 있었다. 이와 함께, 제안된 R-SAD2-bit는 기존의 2BT기반의 블록 정합기준들 중 가장 좋은 성능을 보여주었으며, 특히, R-SAD3-bit의 PSNR값은 단지 3개의 비트 플레인 만을 사용했음에도 불구하고 모든 실험결과에서 8-bit 데이터를 사용한 기존 SAD와 유사한 PSNR을 가진다.
- 또한, 상위 및 하위 임계값은 E 히스토그램의 양과 음의 값들의 평균값 또는 각 영역의 히스토그램 분포상에 median 값을 이용하여 상위와 하위 임계값을 결정할 수 있다. 본 논문에서는 적절한 임계값 설정을 위해 양과 음의 각 영역에 대한 평균값을 이용하여 상위와 하위 임계값을 결정하는 것을 추천하며, 다양한 영상들에 대한 E 히스토그램 분포에서 평균값을 이용한 방법을 통해 상위 및 하위 임계값을 각각 +30, -30으로 고정 할 수 있었다. 이를 통해, 원 영상을 비트 플레인으로 변환하는 계산량을 최소화할 수 있다.
- 블록 크기가 16×16과 4×4이고, 검색 영역이 각각 16 픽셀과 4 픽셀로 설정할 때, 다양한 실험 영상에 대한 기 존 방법들과 제안된 방법의 평균 PSNR(dB)결과.
- 제안된 블록 정합 방법은 2-bit 또는 3-bit영상의 절대오차 합을 이용하는 방법으로 기존의 비트 플레인을 사용하는 블록 정합 방법과 같이 조합논리 회로로 구현이 가능하다. 이 방법은 기존의 비트 플레인 기반의 블록 정합방법들과 비교해 정합결과의 표현범위가 넓어 비교적 정확한 블록 정합결과를 획득할 수 있었으며, 특히, R-SAD3-bit의 경우 8-bit의 원 영상을 사용하는 전형적인 SAD방법과 비교해 블록의 정합 정확도가 유사한 실험결과들을 획득할 수 있었다. 이처럼 제안된 블록 정합방법은 비교적 높은 정확도의 블록 정합결과를 획득할 수 있음에도 불구하고, 조합 논리 회로로 구현이 가능하기 때문에 하드웨어 복잡도가 낮은 장점을 가지고 있다.
- 그림 2(f)의 ENNMP는 2BT와 유사한 결과를 획득하였지만, 그림 2(g)의 WNNMP(L)은 달력의 글자 부분을 적절히 표현하였고, 기존 방법들 중 가장 좋은 움직임 보상결과를 획득할 수 있었다. 이들과는 대조적으로, 제안된 R-SAD2-bit는 기존의 비트 플레인 방법들과 동일한 개수의 비트 플레인을 사용함에도 불구하고 오차가 많이 제거된 움직임 보상 결과를 획득할 수 있었다. 특히, R-SAD3-bit는 영상의 표현 레벨이 현저히 감소되었음에도 불구하고, 기존의 8-bit 영상을 사용한 SAD와 유사한 결과를 획득할 수 있었다.
- 최근에는 다양한 응용분야에서 움직임 추정 방법을 사용하는데 하드웨어의 복잡도 보다는 정확한 움직임 정보를 찾는 것을 보다 중요시하는 경향이 있다. 이러한 측면에서 제안된 방법은 기존의 다양한 2BT 방법들과 비교해 하드웨어 복잡도 대비 블록 정합 정합도가 높은 알고리즘으로 평가된다.
- 또한, 최근에 제안된 ENNMP와 WNNMP도 블록 정합 결과의 표현 범위를 확장하여 기존의 2BT방법보다 좋은 결과를 획득할 수 있었다. 이와 함께, 제안된 R-SAD2-bit는 기존의 2BT기반의 블록 정합기준들 중 가장 좋은 성능을 보여주었으며, 특히, R-SAD3-bit의 PSNR값은 단지 3개의 비트 플레인 만을 사용했음에도 불구하고 모든 실험결과에서 8-bit 데이터를 사용한 기존 SAD와 유사한 PSNR을 가진다.
- 이와 함께, 제안된 방법은 절대 오차합을 조합논리회로로 표현할 수 있을 뿐만 아니라 기존의 BPM보다 블록정합 결과를 표현 할 수 있는 레벨의 수가 많아 블록정합의 정확도가 비교적 높다. 왜냐하면 기존의 2BT는 입력으로 각 픽셀의 2개의 비트 플레인들을 통해 4개의 서로 다른 값을 사용할 수 있지만, NNMP2BT의 계산 과정에서 두 비트플레인간 OR연산을 사용하기 때문에 블록 정합 결과의 표현 가능한 레벨 수는 N×N크기의 블록일 때 0≤ NNMP2BT≤N×N으로 1BT방법의 블록 정합 결과를 표현하는 레벨 수와 동일하다.
- 그림 4는 그림 3과 비교해 2-bit의 값을 두 개 입력받을 수 있는 16개의 조합논리회로(combinational logic circuit)들이 존재하며, 조합논리회로를 거쳐 출력되는 값은 2-bit 의 값이며 16개의 2-bit값을 합하여 블록의 16 ×1에 해당하는 값을 계산할 수 있다. 이처럼 제안된 방법은 기존 2BT방법과 비교해 조합논리회로가 비교적 복잡한 단점이 있지만, 하드웨어 복잡도에 비해 상대적으로 높은 블록정합 정확도를 가진다. 최근에는 다양한 응용분야에서 움직임 추정 방법을 사용하는데 하드웨어의 복잡도 보다는 정확한 움직임 정보를 찾는 것을 보다 중요시하는 경향이 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.