초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문에서는 영상 시퀀스 내의 흔들림을 제거하는 고속 알고리즘을 제안한다. 프레임 지터 제거에 관한 연구는 영상 취득과정에서 발생하는 손떨림에 의한 영향을 제거하거나 오래된 영화필름에서 녹화장치의 기구적인 문제로 인해 발생한 흔들림을 제거하기 위해 많이 연구되었다. 제안하는 알고리즘은 영상 프레임을 배경과 전경 영역으로 나누고 움직임 벡터를 이용하여 천역 움직임을 구한다. 전역 움직임을 구하는 과정에서 잘못된 움직임 예측이 발생할 가능성이 높은 블록을 사전에 제거하여 속도를 개선하였으며 알고리즘을 실제 영상에 적용하여 영상 프레임 정합됨을 보였다.

본 논문에서는 영상 시퀀스 내의 흔들림을 제거하는 고속 알고리즘을 제안한다. 프레임 지터 제거에 관한 연구는 영상 취득과정에서 발생하는 손떨림에 의한 영향을 제거하거나 오래된 영화필름에서 녹화장치의 기구적인 문제로 인해 발생한 흔들림을 제거하기 위해 많이 연구되었다. 제안하는 알고리즘은 영상 프레임을 배경과 전경 영역으로 나누고 움직임 벡터를 이용하여 천역 움직임을 구한다. 전역 움직임을 구하는 과정에서 잘못된 움직임 예측이 발생할 가능성이 높은 블록을 사전에 제거하여 속도를 개선하였으며 알고리즘을 실제 영상에 적용하여 영상 프레임 정합됨을 보였다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 영상복원은 영상 시퀀스에 대해 동일한 2차원 영상처리 알고리즘을 적용하여 동영상의 주관적 화질을 개선하는 것을 목표로 한다. 동영상인 경우 시간축상에 많은 잉여 정보가 포함되어 있으므로 2차원 처리를 단독으로 사용하는 것보다 시간 정보를 포함하는 3차원 처리를 행하는 것이 유리하다.
• 특히 실시간 처리가 필요한 모바일 화상통신은 하드웨어 및 소프트웨어적인 자원의 제약으로 고속 알고리즘의 개발이 필요하다. 본 논문은 영상 프레임의 정합을 위해 지터를제거하는 고속 알고리즘을 제안한다. 제안하는 알고리즘은 영상 영역을 분할하여 통계적으로 전역 움직임이 발생할 확률이 높은 영역의 움직임 베 터만을 계산하여 다수결의 방법으로 전역 움직임을 결정한다.
• 즉, 화면전체에 대한 움직임 벡터를 찾는 것은 화면 내에 움직임이 많거나 비교적 큰 물체가 움직이는 경우 영상의 지터를 정확히 계산하지 못하는 경우가 발생한다. 본 연구에서는 이를 해결하기 위해 영상을 배경영역과 전경 영역으로 분리하였다. 영상에서의 배경/전경 영역은 다음으로 정의된다.
• 부영상의 구성이 평이한 계조도 분포를 가지면 정확한 움직임 벡터를 찾지 못해 오류 움직임 벡터들이 많이 생겨나게 된다. 본 연구에서는 이러한 문제점을 해결하기 위해 움직임 벡터를 찾기 위한 부영상 블록에서 주파수 영역상의 고주파 성분이 많은 블록에 대해서만 위상차를 이용한 움직임 추정을 수행하였다.
• 이루어진다. 본 연구에서는 화면의 복잡도를 계산하기 위해 블록 영상의 에너지에서 중간 주파수 대역의 크기를 구하였으며 DC를 포함한 저주파 대역의 에너지는 고려하지 않는다. 또한 영상의 가장자리와 노이즈에 의해 고주파 성분이 발생할 수 있으므로 고주파 성분의 에너지도 제거한다.
• 본 논문에서는 영상의 혼들림을 제거하는 알고리즘을 제안하였다. 제안한 알고리즘은 프레임을 전경과 배경영역으로 나누고 배경영역에 대해서만 움직임 벡터를 구하여 움직임 벡터의 오류 발생 확률을 줄였다 움직임 벡터는 위상차 검출방식을 이용하여 블록의 복잡도를 판단하고 복잡도가 단순한 블록에 대해서는 움직임 벡터를 구하는 후보에서 제외하여 정확성을 높이고 계산량을 줄였다.

가설 설정

• 영상 시퀀스에 대한 정확한 수학적 모델은 없으나 본 연구에서는 영상 복원을 위해 영상 시퀀스의 모델을 선형이동모델로 가정하였다. 선형이동모델은 현재 영상의 오브젝트가 이전 프레임의 한 부분으로부터 이동되어 나타난 것으로 간주한다.
• 또한 영상의 가장자리와 노이즈에 의해 고주파 성분이 발생할 수 있으므로 고주파 성분의 에너지도 제거한다. 대역 통과 필터를 취한 뒤의 에너지가 임계치 T를 넘는 경우는 화면이 움직임 예측을 수행할 수 있을 정도의 복잡성을 가진 것으로 가정한다.

제안 방법

• 본 논문은 영상 프레임의 정합을 위해 지터를제거하는 고속 알고리즘을 제안한다. 제안하는 알고리즘은 영상 영역을 분할하여 통계적으로 전역 움직임이 발생할 확률이 높은 영역의 움직임 베 터만을 계산하여 다수결의 방법으로 전역 움직임을 결정한다. 또한 각 영상 블록에서의 움직임 벡터들의 신뢰성을 판단하여 전역 움직임 벡터의 정확성을 높였다.
• 대부분의 화면 구성에서 주가 되는 물체는 화면 중앙부에 위치하고 움직이는 물체 역시 화면의 중심부에 위치하고 있으므로 움직임 예측은 전경 영역에 대해서는 수행하지 않는다. 또한 영상 시퀀스의 지터는 영상의 가장자리에서 눈에 잘 드러나므로 가장자리를 포함하는 배경영역에 대해서만 움직임 예측을 수행한다. 이러한 과정을 통해 연산량을 더욱 줄일 수 있다.
• 제안하는 알고리즘을 검증하기 위해 정합되지않은 프레임 시퀀스와 알고리즘을 적용해서 정합된 시퀀스에 대해 블로치(blotch) 제거 실험을 행하였다. 블로치는 필름 베이스의 유제인 젤라틴이 벗겨져 떨어져 나가 발생하며 화면상에는 노이즈와는 달리 얼룩 혹은 백색 계통의 점이 명멸하는 것으로 나타난다.

이론/모형

• 본 실험에서 블로치 검출기는 SDIa(spike detection index-a)를 이용하였다[5], SDIa 검출기는 영상 계조도에서 시간축상의 불연속성을 검출하는 휴리스틱한 방법이며 식 (9)로 표현된다. SDIa의 값은 현재 영상의 화소 계조도와 움직임 예측을 통해 얻어진 전후 프레임의 계조 도와의 차이에서 적은 값을 취한 것이다.

성능/효과

• 제안하는 알고리즘은 영상 영역을 분할하여 통계적으로 전역 움직임이 발생할 확률이 높은 영역의 움직임 베 터만을 계산하여 다수결의 방법으로 전역 움직임을 결정한다. 또한 각 영상 블록에서의 움직임 벡터들의 신뢰성을 판단하여 전역 움직임 벡터의 정확성을 높였다.
• 결정한다. 제안하는 알고리즘은 오류 발생확률이 높은 영상 블록에 대해서는 움직임 예측을 수행하지 않아 발생 빈도수에 대한 기여도를 제거함으로써 전역 흔들림에 의한 화면 지터의 정확성을 높이고 계산량을 줄일 수 있다.
• 에지가 분명하지 않은 블록은 오류 움직임 벡터의 수를 증가시키게 되고 결과적으로 다수결의 원칙으로 지터에 의한 전역 움직임을 결정하는 알고리즘에서 전체적인 오류를 유발시킬 수 있다. 실험결과 제안한 블록내 화면의 복잡도를 사용한 적응적 움직임 예측 알고리즘으로 오류가 발생할 가능성이 높은 블록의 발생을 억제할 수 있었다.
• 제안하였다. 제안한 알고리즘은 프레임을 전경과 배경영역으로 나누고 배경영역에 대해서만 움직임 벡터를 구하여 움직임 벡터의 오류 발생 확률을 줄였다 움직임 벡터는 위상차 검출방식을 이용하여 블록의 복잡도를 판단하고 복잡도가 단순한 블록에 대해서는 움직임 벡터를 구하는 후보에서 제외하여 정확성을 높이고 계산량을 줄였다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기