선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 적분 영상에 의한 디지털 영상 안정화를 수행하는 새로운 기법을 제안하였다. 제안된 기법에서는 매 프레임마다 적분 영상을 생성하고, 생성된 적분 영상에서 영상의 블록 움직임의 정합을 평가하여 지역 움직임을 추정하며, 이를 사용해서 전역 움직임을 추정하여 보정한다.
- 본 연구에서는 적분 영상을 사용해서 실시간으로도 영상을 안정화 할 수 있는 알고리즘을 제안한다. 제안된 알고리즘은 매 프레임마다 적분 영상을 생성하고, 생성된 적분 영상에서 영상의 일부분 즉 블록 움직임의 정합을 평가하여 지역 움직임을 추정하며, 이를 사용해서 전역 움직임을 추정하여 보정한다.
제안 방법
- 표 4와 같이 의도적인 패닝이 존재할 경우에 대해서도 평가를 하였다. 떨림과 패닝이 같이 있을 경우에는 식 6에서 설명된 것과 같이 감쇄 상수를 경우에 따라 다르게 적용하는 적응 기법을 사용하였다. 표 4에서 나타난 것처럼 원 데이터 보다 제안된 알고리즘이 떨림을 보정하는 것을 알 수 있다.
- 본 연구에서는 알고리즘이 정확하게 동작하는 것을 분석하기 위해서 실험 데이터를 생성하여 사용하였다. 또한 이 실험 데이터를 사용해서 제안한 알고리즘의 계산 속도도 측정하였다.
- 특히 이 연구에서는 적응 감쇄 상수 δ를 식 6과 같이 적응적으로 사용하였고 이 값은 마지막 2개의 전역 움직임 벡터의 합에 의존한다. 만일 마지막 2개의 값의 합이 작으면 정지된 카메라 영상으로 간주하여 감쇄 상수의 값을 크게 설정하였다. 반면에 GMV 합의 값이 크면 패닝과 같은 의도적인 움직임으로 간주하여 감쇄 상수의 값을 작게 설정하였다.
- 먼저 떨림만 있는 데이터를 사용해서 알고리즘의 효율성을 떨림 보정 성능과 수행 시간으로 평가했다. 알고리즘의 떨림 보정 성능 평가는 식 10에서 설명했던 ITF 방법을 사용하였고 그 결과를 표 2에 나타낸다.
- 만일 마지막 2개의 값의 합이 작으면 정지된 카메라 영상으로 간주하여 감쇄 상수의 값을 크게 설정하였다. 반면에 GMV 합의 값이 크면 패닝과 같은 의도적인 움직임으로 간주하여 감쇄 상수의 값을 작게 설정하였다. 이 필터링은 GMV의 x와 y 성분에 대해서 독립적으로 적용하였다.
- 본 연구에서는 그레이 영상 대신에 적분 영상을 사용해서 SAD를 계산한다. 만일 이전의 그레이 영상을 사용해서 계산하면 (2p + 1)× (2q+ 1)× (M × N)의 가감산 연산이 필요하다.
- 이동 움직임은 (Tx, Ty)로, 회전 움직임은 회전각 θ로, 줌(Zoom) 움직임은 크기 요소인 r로 모델링하였다.
- 제안한 알고리즘의 효율성을 평가하는 방법이 필요하다. 이를 위해서 2개의 동영상을 제작하였다. 첫 번째 동영상은 고정된 위치에서 카메라의 떨림 움직임만 있는 경우이고 두 번째 동영상은 패닝(panning)과 떨림 움직임이 같이 있는 경우이다.
- 본 논문에서는 적분 영상에 의한 디지털 영상 안정화를 수행하는 새로운 기법을 제안하였다. 제안된 기법에서는 매 프레임마다 적분 영상을 생성하고, 생성된 적분 영상에서 영상의 블록 움직임의 정합을 평가하여 지역 움직임을 추정하며, 이를 사용해서 전역 움직임을 추정하여 보정한다. 제안된 기법의 효율성을 평가하기 실험 데이터를 다양한 떨림 패턴과 의도적인 패닝을 직접 제작하였고, 기존 안정화 알고리즘과의 떨림 보정과 수행 시간 성능을 평가하였다.
- 제안된 기법에서는 매 프레임마다 적분 영상을 생성하고, 생성된 적분 영상에서 영상의 블록 움직임의 정합을 평가하여 지역 움직임을 추정하며, 이를 사용해서 전역 움직임을 추정하여 보정한다. 제안된 기법의 효율성을 평가하기 실험 데이터를 다양한 떨림 패턴과 의도적인 패닝을 직접 제작하였고, 기존 안정화 알고리즘과의 떨림 보정과 수행 시간 성능을 평가하였다. 실험 결과를 통해서 제안한 기법이 기존 방식들에 비해서 빠른 시간에 떨림을 검출하여 보정할 수 있음을 확인하였다.
- 본 연구에서는 적분 영상을 사용해서 실시간으로도 영상을 안정화 할 수 있는 알고리즘을 제안한다. 제안된 알고리즘은 매 프레임마다 적분 영상을 생성하고, 생성된 적분 영상에서 영상의 일부분 즉 블록 움직임의 정합을 평가하여 지역 움직임을 추정하며, 이를 사용해서 전역 움직임을 추정하여 보정한다. 이 방법이 실시간으로 사용할 수 있는 이유는 적분 영상을 생성하기 위한 시간은 O(n)이기 때문이다.
- 4단계에서는 먼저 흔들림을 필터링하고 집적 움직임 벡터를 구하는데 본 연구에서는 식 6를 사용하였다. 즉 이전의 집적 움직임 벡터에 감쇄 상수를 곱하고 현재의 전역 움직임 벡터를 더하여 현재의 집적 움직임 벡터를 구한다. 그런 후에 식 7을 사용하여 보상할 값은 구하고 이를 사용해서 보상한다.
대상 데이터
- 실험 데이터를 생성하기 전에 먼저 손 떨림과 같은 떨림(Jitter)을 표 1과 같은 패턴으로 정의하였다. 그런 후에 먼저 떨림만 있는 실험 데이터를 만들었으며, 실험 데이터의 이름은 Jitter23과 같은 방식으로 명명하였다. 이 이름에서 앞에 있은 숫자 2는 패턴을 뜻하고 뒤에 있는 숫자 3은 움직인 픽셀 수를 뜻한다.
- 실험 데이터는 모두 256 그레이 레벨을 갖고 480 x 272의 공간 해상도를 갖는다. 떨림만 있는 영상과 떨림과 패닝 동작이 함께 있는 영상은 각각 100 프레임과 240 프레임으로 구성하였다. 떨림만 있는 영상은 표1에서처럼 8종류의 패턴을 움직인 픽셀수를 다르게 정의하여 총 24개의 떨림 패턴을 생성하였다.
- 본 연구에서는 알고리즘이 정확하게 동작하는 것을 분석하기 위해서 실험 데이터를 생성하여 사용하였다. 또한 이 실험 데이터를 사용해서 제안한 알고리즘의 계산 속도도 측정하였다.
- 실험 데이터는 모두 256 그레이 레벨을 갖고 480 x 272의 공간 해상도를 갖는다. 떨림만 있는 영상과 떨림과 패닝 동작이 함께 있는 영상은 각각 100 프레임과 240 프레임으로 구성하였다.
이론/모형
- 이동 움직임은 (Tx, Ty)로, 회전 움직임은 회전각 θ로, 줌(Zoom) 움직임은 크기 요소인 r로 모델링하였다. 그런 후에 LMS(Least Mean Square) 방법을 사용하여 매개 변수의 값을 찾았다.
- 또한, 다른 연구에서처럼 알고리즘의 성능을 평가하기 위해서 ITF(Interframe Transformation Fidelity)를 사용하였으며 이는 식 10과 같다. 여기서 Nframe은 비디오 파일의 총 프레임 수이다.
- 먼저 떨림만 있는 데이터를 사용해서 알고리즘의 효율성을 떨림 보정 성능과 수행 시간으로 평가했다. 알고리즘의 떨림 보정 성능 평가는 식 10에서 설명했던 ITF 방법을 사용하였고 그 결과를 표 2에 나타낸다. 또한 Jitter22에 대한 PSNR 그래프를 그림 8에 나타내었다.
- 이 기법에서는 영상에서 특징 점을 검출하고 검출된 특징 점의 정합을 사용해서 움직임을 평가한다. 특징 점은 Lowe가 제안한 SIFT(Scale-Invariant Feature Transform) 기법[5]을 사용하며, 이는 영상의 크기, 회전 등에 불변인 특징을 가지고 있다.
성능/효과
- 수행 시간 평가는 관련 연구에서 언급한 다른 알고리즘과 비교하여 표 3에 나타내었다. 결과에서 알 수 있듯이 제안한 알고리즘이 다른 2개의 알고리즘과 비교 했을 때, 모든 다양한 떨림 패턴에 대해서 수행 시간이 빠른 것을 볼 수 있었다. 비트 평면을 사용하여 안정화 수행 시간을 빠르게 했던 그레이 코드 비트 평면 알고리즘보다 본 연구에서 제안한 적분 영상을 이용한 안정화 기법의 실행 시간이 더 빠른 것을 알 수 있었다.
- 즉 적분 영상을 사용하면 수행 시간이 상당히 빠름을 확인할 수 있었다. 결론적으로 제안한 적분 영상을 사용해서 떨림을 보정할 수 있고, 수행 시간도 다른 기법보다 빠르다는 것을 확인하였다.
- 그림 8의 결과에서 알 수 있듯이 제안된 알고리즘을 수행해서 일정한 패턴에 의한 떨림을 보정하는 것을 확인할 수 있었다. 그리고 24개의 떨림 패턴을 모두 실험하여 확인하였으며, 모든 떨림 패턴에 대해서 원 데이터 보다 제안된 알고리즘을 수행하고 난 뒤에 떨림이 보정되어 ITF 수치가 높은 것을 확인할 수 있었다. 그 중에서 8개의 떨림 패턴에 대한 ITF 값을 표 2에 나타내었다.
- 또한 Jitter22에 대한 PSNR 그래프를 그림 8에 나타내었다. 그림 8의 결과에서 알 수 있듯이 제안된 알고리즘을 수행해서 일정한 패턴에 의한 떨림을 보정하는 것을 확인할 수 있었다. 그리고 24개의 떨림 패턴을 모두 실험하여 확인하였으며, 모든 떨림 패턴에 대해서 원 데이터 보다 제안된 알고리즘을 수행하고 난 뒤에 떨림이 보정되어 ITF 수치가 높은 것을 확인할 수 있었다.
- 실험 결과를 통해서 제안한 기법이 기존 방식들에 비해서 빠른 시간에 떨림을 검출하여 보정할 수 있음을 확인하였다. 또한 의도적인 패닝이 존재할 경우에도 이 기법을 적용할 수 있음을 확인하였다.
- 결과에서 알 수 있듯이 제안한 알고리즘이 다른 2개의 알고리즘과 비교 했을 때, 모든 다양한 떨림 패턴에 대해서 수행 시간이 빠른 것을 볼 수 있었다. 비트 평면을 사용하여 안정화 수행 시간을 빠르게 했던 그레이 코드 비트 평면 알고리즘보다 본 연구에서 제안한 적분 영상을 이용한 안정화 기법의 실행 시간이 더 빠른 것을 알 수 있었다. 즉 적분 영상을 사용하면 수행 시간이 상당히 빠름을 확인할 수 있었다.
- 제안된 기법의 효율성을 평가하기 실험 데이터를 다양한 떨림 패턴과 의도적인 패닝을 직접 제작하였고, 기존 안정화 알고리즘과의 떨림 보정과 수행 시간 성능을 평가하였다. 실험 결과를 통해서 제안한 기법이 기존 방식들에 비해서 빠른 시간에 떨림을 검출하여 보정할 수 있음을 확인하였다. 또한 의도적인 패닝이 존재할 경우에도 이 기법을 적용할 수 있음을 확인하였다.
- 이 2개의 동영상을 가지고 실험한 결과 떨림 움직임만 있는 경우와 패닝과 떨림 움직임이 있는 경우 둘 다 정확히 움직임 벡터를 검출하여 보정되어지는 것을 얻을 수 있었다. 아울러 제안된 알고리즘은 기존 알고리즘보다 연산 양이 적어 수행시간이 짧다. 즉, 이 실험은 빠른 수행 속도로 실시간에도 적합한 알고리즘인 것을 검증하였다.
- 즉, 두 개의 시험 동영상에는 회전 움직임은 없다. 이 2개의 동영상을 가지고 실험한 결과 떨림 움직임만 있는 경우와 패닝과 떨림 움직임이 있는 경우 둘 다 정확히 움직임 벡터를 검출하여 보정되어지는 것을 얻을 수 있었다. 아울러 제안된 알고리즘은 기존 알고리즘보다 연산 양이 적어 수행시간이 짧다.
- 표 4에서 나타난 것처럼 원 데이터 보다 제안된 알고리즘이 떨림을 보정하는 것을 알 수 있다. 이 경우에도 제안한 알고리즘이 의도적인 패닝을 검출하고, 떨림만을 보정하는 것을 확인할 수 있었다.
- 아울러 제안된 알고리즘은 기존 알고리즘보다 연산 양이 적어 수행시간이 짧다. 즉, 이 실험은 빠른 수행 속도로 실시간에도 적합한 알고리즘인 것을 검증하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.