최근 들어 개인용 컴퓨터 성능의 향상과 인터넷 기술의 발전에 따라서 이미지 모자익은 가상 환경 구축, 관광, 광고, 의료 영상 등, 많은 응용 분야에서 관심을 모으고 있다. 이미지 모자익의 주된 문제점은 이미지들 간의 정확한 대응점을 찾는 것이다. 그러나 기존의 대부분의 모자익 기법들은 정확한 대응점을 찾기 위해서 복잡한 계산과 많은 처리 시간을 요구했으며 모자익 이미지 생성을 위해 사물이나 배경 주위를 360$^{\circ}$ 회전하면서 여려 차례 반복 촬영을 해야 하는 어려움을 가지고 있었다. 본 논문에서는 일반 비디오 카메라를 이용하여 단 한번의 촬영에 의해 생성된 연속 프레임을 사용하였고 프레임간의 모자익에 있어서 방향성을 고려한 새로운 방법의 3단계 블록매칭 방법을 적용함으로써 전체적인 모자익 처리 속도를 단축하는 방법을 제안한다. 실험 결과에 의하면 본 논문에서 제안된 방법이 기존의 블록매칭 방법인 전역 탐색이나 K단계 탐색에 비하여 보다 효과적임을 알 수 있었다.
최근 들어 개인용 컴퓨터 성능의 향상과 인터넷 기술의 발전에 따라서 이미지 모자익은 가상 환경 구축, 관광, 광고, 의료 영상 등, 많은 응용 분야에서 관심을 모으고 있다. 이미지 모자익의 주된 문제점은 이미지들 간의 정확한 대응점을 찾는 것이다. 그러나 기존의 대부분의 모자익 기법들은 정확한 대응점을 찾기 위해서 복잡한 계산과 많은 처리 시간을 요구했으며 모자익 이미지 생성을 위해 사물이나 배경 주위를 360$^{\circ}$ 회전하면서 여려 차례 반복 촬영을 해야 하는 어려움을 가지고 있었다. 본 논문에서는 일반 비디오 카메라를 이용하여 단 한번의 촬영에 의해 생성된 연속 프레임을 사용하였고 프레임간의 모자익에 있어서 방향성을 고려한 새로운 방법의 3단계 블록매칭 방법을 적용함으로써 전체적인 모자익 처리 속도를 단축하는 방법을 제안한다. 실험 결과에 의하면 본 논문에서 제안된 방법이 기존의 블록매칭 방법인 전역 탐색이나 K단계 탐색에 비하여 보다 효과적임을 알 수 있었다.
In these days, image mosaic is getting interest in the field of advertisement, tourism, game, medical imaging, and so on with the development of internet technology and the performance of personal computers. The main problem of mage mosaic is searching corresponding points correctly in the overlappe...
In these days, image mosaic is getting interest in the field of advertisement, tourism, game, medical imaging, and so on with the development of internet technology and the performance of personal computers. The main problem of mage mosaic is searching corresponding points correctly in the overlapped area between images. However, previous methods requires a lot of CPU times and data processing for finding corresponding points. And they need repeated recording with a revolution of 360 degree around objects or background. This paper presents a new image mosaic method which generates a panorama image from a video sequence recorded by a general video camera. Our method finds the corresponding points between two successive images by using a new direction oriented 3step block matching methods. Experimental results show that the suggested method is more efficient than the methods based on existing block matching algorithm, such as full search and Kstep search algorithm.
In these days, image mosaic is getting interest in the field of advertisement, tourism, game, medical imaging, and so on with the development of internet technology and the performance of personal computers. The main problem of mage mosaic is searching corresponding points correctly in the overlapped area between images. However, previous methods requires a lot of CPU times and data processing for finding corresponding points. And they need repeated recording with a revolution of 360 degree around objects or background. This paper presents a new image mosaic method which generates a panorama image from a video sequence recorded by a general video camera. Our method finds the corresponding points between two successive images by using a new direction oriented 3step block matching methods. Experimental results show that the suggested method is more efficient than the methods based on existing block matching algorithm, such as full search and Kstep search algorithm.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 논문에서 K-단계 탐색 알고리즘의 단점을 보완하는 새로운 방법의 3-단계 탐색 알고리즘을 제안한다. 제안된 3단계 탐색 알고리즘은 K-단계 탐색 알고리즘의 탐색 반복 단계를 블록의 사이즈와는 상관없이 3단계로 제한하는 대신 블록 안의 대응점을 찾기 위한 탐색점의 간격을 좁혀서 블록 내에서 정밀 탐색하여 K-단계 탐색 방법에서 발생할 수 있는 대응점의 오차를 줄이고자 하는 방법이다.
한다. 따라서 본 논문에서는 이웃한 두 프레임에 존재하는 블록 내의 픽셀에 대한 평균 편차를 계산하여 편차의 값이 큰 값을 나타내는 곳이 다양한 픽셀 값을 가진 영역이라고 판단하고 그 곳을 비교 영역으로 선정하도록 하였다,
카메라 이동의 방향성이 오른쪽일 경우 프레임간 사물의 이동은 왼쪽의 방향성을 갖게 되고 현재 프레임에 기준하여 이전 프레임에 대한 모션벡터도 왼쪽의 방향성을 갖게 된다. 따라서, 현재 프레임에 대응되는 블록의 대웅점을 찾기 위하여 지정된 블록 안에서 이전의 모션벡터의 방향을 찾아서 더욱 많은 탐색점을 위치시키고 그 영역에서 정밀 탐색하는 방법을 적용하여 모자익에 필요한 대응점을 찾는데 존재하는 오차를 줄이고 모자익의 정확성을 높이고자 하였다. 그림 10은 카메라 이동에 따른 블록매칭의 방향성 고려에 대한 개념도이다.
" data-before="있다" data-ocr-fix="">있다 [14][15][16]. 본 논문에서는 K-단계 탐색 방법을 수정한 3단계 탐색 방법을 제안한다. 실험을 통하여 본 논문에서 제안한 3단계 탐색 방법이 전체적인 모자익 처리 과정의 처리시간과 계산량에 있어서 전역탐색 방법이나 K-단계 탐색 방법에 비하여 보다 효과적임을 알 수 있었다.
본 논문에서는 블록매칭을 이용한 비디오 시퀀스의 이미지 모자익 기법에 대하여 설계하고 구현하였다. 모자익을 위한 이미지는 일반적으로 쉽게 사용할 수 있는 비디오카메라를 이용하여 단 한 번의 촬영에 의해 생성된 연속 프레임 이미지를 사용하였고, 프레임 이미지간의 중복된 영역에 일정한 크기의 블록을 지정하고 그 블록 안에서 3단계의 픽셀값 비교를 통하여 대응점을 찾는 3-단계탐색 알고리즘을 제안하고 구현하였다.
제안 방법
따라서 본 논문에서는 일반적인 비디오카메라를 이용하여 한번의 촬영으로 생성되는 연속 프레임들을 이용하였고, 연속 프레임간의 모자익에 필요한 대응점을 찾기 위하여 블록매칭 방법을 적용하였다. 블록매칭 방법에는 가장 기본적인 방법인 전역 탐색(full-search) 방법과 K-단계 탐색 방법, 그리고 이를 응용한 다양한 방법 등이
또한, 카메라의 이동방향에 따른 사물의 이동성, 즉, 블록매칭의 방향성을 고려하여 이전 프레임의 모션벡터 방향으로 블록을 정밀 탐색함으로써 프레임 간의 모자익 처리의 정확성을 높일 수 있도록 하였다. 본 논문에서 제안하는 모자익시스템의 전체적인 흐름도는 그림 7과 같다.
모자익을 위한 이미지는 일반적으로 쉽게 사용할 수 있는 비디오카메라를 이용하여 단 한 번의 촬영에 의해 생성된 연속 프레임 이미지를 사용하였고, 프레임 이미지간의 중복된 영역에 일정한 크기의 블록을 지정하고 그 블록 안에서 3단계의 픽셀값 비교를 통하여 대응점을 찾는 3-단계탐색 알고리즘을 제안하고 구현하였다. 또한 카메라의 이동에 따른 방향성을 고려하여 모션 벡터의 방향에 대하여 더욱 많은 탐색점을 정렬시켜 정밀탐색 함으로써 모자익의 정확성을 높였다.
본 논문에서 구현한 블록매칭 모자익 시스템은 블록 간의 모션벡터의 방향성을 고려하였다. 카메라 이동의 방향성이 오른쪽일 경우 프레임간 사물의 이동은 왼쪽의 방향성을 갖게 되고 현재 프레임에 기준하여 이전 프레임에 대한 모션벡터도 왼쪽의 방향성을 갖게 된다.
본 논문에서 사용한 블록매칭 방법은 비디오카메라를 이용하여 촬영된 연속 프레임 이미지들을 나열하고 블록매칭의 3단계 탐색 알고리즘을 적용시켰다. 입력되는 현재 프레임에 일정한 크기의 블록을 지정하고 다음 프레임 안에서 현재 프레임과 대응되는 블록의 좌표를 찾음으로써 두 프레임 사이의 모션벡터를 구할 수 있다.
본 논문에서 제안하는 모자익 시스템은 특수한 장비의 이용을 배제한 일반적인 비디오카메라를 이용하여 단 한번의 촬영으로 생성되는 연속 프레임 이미지를 사용하였고, 효율적인 블록매칭 알고리즘을 이용하여 처리시간을 줄일 수 있도록 구성되었다. 또한, 카메라의 이동방향에 따른 사물의 이동성, 즉, 블록매칭의 방향성을 고려하여 이전 프레임의 모션벡터 방향으로 블록을 정밀 탐색함으로써 프레임 간의 모자익 처리의 정확성을 높일 수 있도록 하였다.
본 논문에서는 일반적인 비디오카메라를 이용하여 학교주변 건물과 배경을 촬영하였고 전역 탐색 알고리즘과, K-단계 탐색 알고리즘, 본 논문에서 제안한 방향성을 고려한 3-단계 탐색 알고리즘을 이용하여 블록매칭을 수행하였다. 실험 환경은 표 2와 같다.
기본이 되는 방법이다. 이 알고리즘은 입력으로 들어오는 프레임들에서 현재 프레임에 대응되는 블록을 참조 프레임에서 찾기 위하여 대웅블록이 존재 할 수 있는 탐색공간 (-d<u<d, -d Mvwd)의 모든 위치에서 두 프레임의 블록 간의 픽셀에 대한 불일치도 D(u, V)를 계산하여 그 중에서 D(u, V)값이 최소가 되는 위치의 블록을 대웅 블록으로 선택한다. 이 방법은 탐색 영역의 모든 위치에서 D(u, V)값을 계산하기 때문에 모자익의 정확도는 우수하지만 식(2)와 같은 회수의 블록 비교를 하기 때문에 모자익 처리 속도가 떨어지는 단점을 가지고 있다.
제안한다. 제안된 3단계 탐색 알고리즘은 K-단계 탐색 알고리즘의 탐색 반복 단계를 블록의 사이즈와는 상관없이 3단계로 제한하는 대신 블록 안의 대응점을 찾기 위한 탐색점의 간격을 좁혀서 블록 내에서 정밀 탐색하여 K-단계 탐색 방법에서 발생할 수 있는 대응점의 오차를 줄이고자 하는 방법이다. 제안된 3-단계 탐색 알고리즘은 입력되는 두 프레임에 지정된 블록 안의 점들의 거리가 단계별로 4 -> 2 -> 1 이나 3 -> 2 -> 1이 되도록 지정하여 3단계로 탐색을 진행되게 함으로써, 단 3번의 단계를 거치면서 두 블록 간의 픽셀에 대한 최소의 밝기 값의 차이를 갖는 대응점을 찾는 방법이다.
따라서 생성되는 프레임 이미지간의 사물의 이동거리가 매우 작음을 알 수 있고, 이로 인하여 프레임간의 모자익을 위한 중복영역을 충분히 획득 할 수 있게 된다. 중복되는 영역에서 두 프레임간의 대응점을 찾기 위하여 그림 8과 같이 두 프레임의 이미지에 일정한 크기의 블록을 설정하고 그 블록 안에서 픽셀들의 불일치도 값을 계산하여 불일치도 값이 최소가 되는 위치를 대응점으로 선정하는 방법을 이용하였다.
대한 평균편차를 계산하였다. 탐색영역 안에서 블록은 X방향과 Y방향으로 각각 5픽 셀과 10픽셀씩 이동을 하면서 블록 안의 픽셀들에 대한 편차를 계산하고 그 편차 값이 가장 큰 위치를 선정하여 블록매칭을 실행할 위치로 선정하게 하였다.
데이터처리
그림 9와 같이 입력되는 320 x 240 크기의 프레임에 블록매칭을 위한 블록의 크기는 최적의 크기로 40 X 40 으로 설정하고, 다양한 픽셀 값이 존재하는 영역을 선정하기 위하여 프레임 중심을 기준으로 절반을 차지하는 영역에서 블록 안의 픽셀들에 대한 평균편차를 계산하였다. 탐색영역 안에서 블록은 X방향과 Y방향으로 각각 5픽 셀과 10픽셀씩 이동을 하면서 블록 안의 픽셀들에 대한 편차를 계산하고 그 편차 값이 가장 큰 위치를 선정하여 블록매칭을 실행할 위치로 선정하게 하였다.
성능/효과
모자익을 위한 이미지는 일반적으로 쉽게 사용할 수 있는 비디오카메라를 이용하여 단 한 번의 촬영에 의해 생성된 연속 프레임 이미지를 사용하였고, 프레임 이미지간의 중복된 영역에 일정한 크기의 블록을 지정하고 그 블록 안에서 3단계의 픽셀값 비교를 통하여 대응점을 찾는 3-단계탐색 알고리즘을 제안하고 구현하였다. 또한 카메라의 이동에 따른 방향성을 고려하여 모션 벡터의 방향에 대하여 더욱 많은 탐색점을 정렬시켜 정밀탐색 함으로써 모자익의 정확성을 높였다. 전역 탐색, K-단계 탐색, 그리고 본 논문에서 제안한 3-단계 탐색 방법을 이용하여 실험한 결과, 방향성을 고려한 3-단계 탐색 블록매칭 방법이 전역 탐색 방법과 K-단계 탐색 방법에 비하여 정확한 대웅점을 찾는데 있어서 불필요한 픽셀 값들의 계산을 피할 수 있었고 전체적인 모자익 처리 시간을단축시킬 수 있었다.
본 논문에서는 K-단계 탐색 방법을 수정한 3단계 탐색 방법을 제안한다. 실험을 통하여 본 논문에서 제안한 3단계 탐색 방법이 전체적인 모자익 처리 과정의 처리시간과 계산량에 있어서 전역탐색 방법이나 K-단계 탐색 방법에 비하여 보다 효과적임을 알 수 있었다.
위의 결과에서도 알 수 있듯이 모션벡터의 방향성을 고려하지 않고 모자익된 결과이미지는 모자익 처리의 정확성이 어느정도 유지되다가 마지막 부분에서 정확한 대응점을 찾지 못하여 오차가 발생한 것을 알 수 있다. 이러한 원인은 카메라의 흔들림이나 촬영속도의 변화로 정확한 대웅점을찾지 못하고 잘못된 대응점을 선정했기 때문이다.
또한 카메라의 이동에 따른 방향성을 고려하여 모션 벡터의 방향에 대하여 더욱 많은 탐색점을 정렬시켜 정밀탐색 함으로써 모자익의 정확성을 높였다. 전역 탐색, K-단계 탐색, 그리고 본 논문에서 제안한 3-단계 탐색 방법을 이용하여 실험한 결과, 방향성을 고려한 3-단계 탐색 블록매칭 방법이 전역 탐색 방법과 K-단계 탐색 방법에 비하여 정확한 대웅점을 찾는데 있어서 불필요한 픽셀 값들의 계산을 피할 수 있었고 전체적인 모자익 처리 시간을단축시킬 수 있었다. 근래에 디지털 영상 장치의 발달과 대중화로 파노라마 영상의 모자익 기법에 관한 관심이 증대되고 있다.
테스트 결과에서 알 수 있듯이 블록매칭의 전역 탐색 방법과 방향성을 고려한 K-단계 탐색, 그리고 본 논문에서 제안한 방향성을 고려한 3-단계 탐색 방법을 이용하여 비디오 시퀀스의 이미지모자익을 수행했을 경우, 모자익 처리 결과의 정확성은 세 가지 방법 모두 동일한 결과가 나온 것을 알 수 있다. 하지만 모자익 처리에 소요되는 평균 처리 시간은 전역탐색 방법은 335초, 방향성을 고려한 K-단계 탐색방법은 58초, 그리고 본 논문에서 제안하는 방향성을 고려한 3-단계 탐색 방법은 25초가 소요된 것을 알 수 있다.
알 수 있다. 하지만 모자익 처리에 소요되는 평균 처리 시간은 전역탐색 방법은 335초, 방향성을 고려한 K-단계 탐색방법은 58초, 그리고 본 논문에서 제안하는 방향성을 고려한 3-단계 탐색 방법은 25초가 소요된 것을 알 수 있다.
후속연구
근래에 디지털 영상 장치의 발달과 대중화로 파노라마 영상의 모자익 기법에 관한 관심이 증대되고 있다. 본 논문에서 제시한 비디오 시퀀스의 3-단계 탐색 방법은 가상현실과 의료영상, 관광산업, 게임 둥, 디지털 영상 장치의 활용 영역에서 다양하게 적용이 가능 할 것으로 생각된다. 향후, 좀 더 향상된 모자익 기법을 위해서 연속적으로 생성되는 프레임 수를 줄여서 처리속도를 더욱 단축시키는 방법과 카메라의 혼들림에 의한 대응점 탐색의 오류에 더욱 강인한 모자익 방법에 대한 연구를 계속 진행 할 계획이다.
본 논문에서 제시한 비디오 시퀀스의 3-단계 탐색 방법은 가상현실과 의료영상, 관광산업, 게임 둥, 디지털 영상 장치의 활용 영역에서 다양하게 적용이 가능 할 것으로 생각된다. 향후, 좀 더 향상된 모자익 기법을 위해서 연속적으로 생성되는 프레임 수를 줄여서 처리속도를 더욱 단축시키는 방법과 카메라의 혼들림에 의한 대응점 탐색의 오류에 더욱 강인한 모자익 방법에 대한 연구를 계속 진행 할 계획이다.
참고문헌 (18)
S.E, Chen, 'QuickTime VR - An image based approach to virtual environment navigation,' (SIGGRAPH'95), pp.29-39, August 1995
Pohtovista panorama,'http://www.roxio.com'
Shum and Szeliski, 'Panoramic Image Mosaic,' Microsoft research, 1997
Szeliski, Richard. 'Video Mosaics for virtual Environment,' IEEE CG&A, March 1996, pp. 22-30
R.Szeliski and H.YShum, 'Creating full view panoramic image mosaic and environment maps,' Proc. SIGGRAPH'97, 1997
J. Meehan, 'Panoramic photography,' Waston-Guptill, 1990
S.Nayer, 'Catadioptric omnidirectional camera,' (CVPR'97), pp. 482-488, San Juan, Pureto Rico, June, 1997
Tom R. Halfhill. See you around. Byte Magazine, pp. 85-90, May 1995
Arun Krishnan and Narendra Ahuja. Panoramic image acquisition. In IEEE Conference on Computer Vision and Pattern Recognition, pp 379-384, San Fransisco, California, June 1996
Steve Mann and Rosalind Picard. Virtual bellows: Constructing high quality stills from video. In First IEEE International Conference on Image Processing, Austin, Texas, November 1994
Szeliski and Sing Bing Kang 'Direct Method for scene Reconstruction' In IEEE workshop, June 24, 1995
S.Gumustekin R. W. Hall Mosaic image generation on flattened gaussian sphere. In Proc. of IEEE Workshop on Application of Computer Vision, pp 50-55, 1996
H. Gharavi, and M. Mills, 'Block matching motion estimation algorithm - new results,' IEEE Trans. Circuits Syst, pp. 649-651, 1990
J. R. Jain and A. K. Jain, Displacement measurement and its application in interframe image coding, IEEE Trans.Commun, vol. Com-29, No.12, pp.1799-1808, Dec. 1981
※ AI-Helper는 부적절한 답변을 할 수 있습니다.