[논문]비보정 (un-calibrated) 영상으로부터 중간영상 생성을 위한 뷰 몰핑

송진영; 황용호; 홍현기

비보정 (un-calibrated) 영상으로부터 중간영상 생성을 위한 뷰 몰핑
View Morphing for Generation of In-between Scenes from Un-calibrated Images 원문보기

정보과학회논문지. Journal of KIISE. 시스템 및 이론, v.32 no.1, 2005년, pp.1 - 8

송진영 (중앙대학교 영상공학과) , 황용호 (중앙대학교 영상공학과) , 홍현기 (중앙대학교 영상공학과)

초록
AI-Helper

영상들 간의 2차원 변환을 표현하는 영상 몰핑(morphing)기술은 대상 물체의 위치나 카메라 시점 변화를 반영하지 않기 때문에 부자연스러운 왜곡현상이 발생한다. 또한 기존의 뷰(view) 몰핑 방법은 사후 워핑(postwarping)을 위한 제어점이 필요하고 영상 내 가려짐 등에 대한 제약이 존재한다. 본 논문에서는 비보정(un-calibrated)된 카메라로부터 취득된 두 영상을 이용하여 임의 중간(in-between) 시점에서의 영상을 자동으로 생성하는 새로운 몰핑 알고리즘이 제안된다. 제안된 방법은 두 영상의 기본행렬(fundamental matrix)을 구하여 영상을 교정(rectification)한 다음, 양방향 시차맵(disparity map)을 이용해 선형 보간(linear interpolation)한다. 그리고 대상 영상과 교정된 영상간의 변환행렬(homography)을 역투영(inverse projection)하여 중간영상들을 생성하였다. 제안된 방법은 카메라의 복잡한 보정(calibration)과정과 대상 장면에 대한 3차원 정보가 필요 없기 때문에 사진이나 그림 등에 효과적으로 적용될 수 있다. 다양한 영상에 대한 실험결과로부터 제안된 방법의 성능을 확인하였으며, 생성된 중간영상은 가상 시스템의 시뮬레이션 환경 및 영상통신 등의 분야에 활용될 수 있다.

Abstract ▼ AI-Helper

Image morphing to generate 2D transitions between images may be difficult even to express simple 3D transformations. In addition, previous view morphing method requires control points for postwarping, and is much affected by self- occlusion. This paper presents a new morphing algorithm that can generate automatically in-between scenes from un-calibrated images. Our algorithm rectifies input images based on the fundamental matrix, which is followed by linear interpolation with bilinear disparity map. In final, we generate in-between views by inverse mapping of homography between the rectified images. The proposed method nay be applied to photographs and drawings, because neither knowledge of 3D shape nor camera calibration, which is complex process generally, is required. The generated in-between views can be used in various application areas such as simulation system of virtual environment and image communication.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이를 제거하기 위해 라이브러리에서 제공되는 'D이eteMoire' 함수는 발생한 홀을 주위 영역의 화소값으로 단순하게 채우기 때문에 최종 영상의 화질이 떨어지게 된다. 본 논문에서는 교정된 두 영상의 대응 관계 및 가려짐 문제를 해결하기 위해 양방향 시차 맵을 구성하였으며, 정확한 보 간 결과를 얻을 수 있음을 실험 결과로부터 확인하였다. 제안된 방법은 입력 영상이 제한되어 있는 시퀀스로부터 다수의 중간 프레임을 생성할 수 있으며, 이는 가상 환경 구축, 영상 통신, 시각 효과(visual effects) 등에 유용하게 활용될 수 있다.
본 논문에서는 기존 방법의 문제점을 해결하기 위해 비보정(un-calibrated)된 카메라로부터 취득된 두 영상을 이용하여 임의 중간 시점에서의 영상을 자동으로 생성하는 새로운 몰핑 알고리즘이 제안된다」사전 워 핑 단계에서 비교정 카메라로부터 취득된 두 영상의 대응점 들을 통해 기본행렬 (fundamental matrix)을 구하여 영상을 교정(rectification)함으로써 영상교정을 위한 카메라 사전보정에 따른 제약점을 해결하였다. 교정된 영상에 대해 조밀한(dense) 스테레오 매칭으로 양방향 시차 맵(disparity map)을 얻고, 이로부터 선형 보간된 영상을 생성함으로써 영상 내 가려짐에 의한 영향을 줄일 수 있다.
본 논문에서는 비교정 카메라로부터 취득된 두 영상을 이용하여 중간영상을 자동으로 생성하는 새로운 몰 핑 방법이 제안되었다. 제안된 방법은 카메라의 자동보 정을 이용하기 때문에 카메라에 대한 사전 보정이나 3차원 정보를 필요로 하지 않으며, 또한 영상 내에서 가려짐으로 발생하는 홀에 의한 문제를 양방향 시차 맵으로 개선하였다.

제안 방법

식 (4) 에서 H]과 H? 는 유일한 해를 가지지 않기 때문에 최적화 방법을 통해서 최적의 변환행렬을 구하였다. 그림 3에서 了]과 了2은 八과 A가 교정된 영상이며, 여기서 평면 Hre Ci과를 연결하는 기저선에 평행하다.
5에서 임의의 장면과 카메라의 사영 관계를 설정하여 영상 시퀀스를 생성하였다. 렌더링 된 영상을 기준으로 제안된 방법에 의한 중간영상과의 PSNR(Peak Signal/ Noise Ratio)을 일련의 시퀀스 상에서 각각 비교하였다. 그림 6은 대상 영상이며, 그림 7은 단방향 및 양방향 시 차 맵을 이용한 보 간 영상의 PSNR 비교 그래프이다.
기존의 영상 몰핑 기술은 영상 사이의 중간영상을 생성할 수 있지만, 카메라 시점의 변화를 반영하지 않기 때문에 임의의 중간 시점의 몰핑에서 부자연스런 왜곡이나 화질의 저하가 발생할 수 있다. 이를 해소하기 위해 Seitz가 제안한 뷰(view) 몰핑은 영상 몰핑과 사영 기하학의 기본 원칙을 사용하며, 시점이 다른 스테레오 영상의 몰핑에 따른 왜곡을 최소화하기 위해 사전 워 핑 (prewarping), 영상 몰핑, 사후 워 핑(postwarping) 등의 3단계 알고리즘을 제안하였다[2]. 그러나 사후 워핑을 위해 사용자의 입력에 의한 제어점(control point)이 필요하고 중간 시점을 자동으로 생성하기 위해 카메라 시 점을 알아야 하며, 영상 내의 가려짐에 의해 영향을 많이 받는 문제점이 있다.
입력된 주변 영상으로부터 임의 시점의 장면을 생성하는 기존 연구를 표 1과 같이 입력 데이타로 영상 혹은 영상 및 3차원 정보를 동시에 이용하는 연구로 구분하였다. 영상만을 이용하는 연구는 제한된 시점의 영상을 생성하거나 대상 장면에 대한 가정이 존재하며, 다양한 시점을 표현하기 위한 연구의 경우, 카메라 파라미터와 대상 시퀀스 내에 존재하는 물체에 대한 사전 설정 등이 요구된다.
제안된 방법에 의해 생성된 영상의 정확도를 분석하기 위해 먼저, 3차원 애니메이션 S/W인 MAYA Ver. 4.5에서 임의의 장면과 카메라의 사영 관계를 설정하여 영상 시퀀스를 생성하였다. 렌더링 된 영상을 기준으로 제안된 방법에 의한 중간영상과의 PSNR(Peak Signal/ Noise Ratio)을 일련의 시퀀스 상에서 각각 비교하였다.
본 논문에서는 비교정 카메라로부터 취득된 두 영상을 이용하여 중간영상을 자동으로 생성하는 새로운 몰 핑 방법이 제안되었다. 제안된 방법은 카메라의 자동보 정을 이용하기 때문에 카메라에 대한 사전 보정이나 3차원 정보를 필요로 하지 않으며, 또한 영상 내에서 가려짐으로 발생하는 홀에 의한 문제를 양방향 시차 맵으로 개선하였다. 제안된 방법은 제한된 입력 영상으로부터 사실감이 높은 다수의 중간 프레임을 자동으로 생성하는 상황에 효과적으로 활용될 수 있다.
그리고 보간된 영상들을 교정과정에서 얻어진 변환행렬(homography)로 역사 영(inverse projection)하여 임의 시점에서의 중간영상을 생성한다. 제안된 방법은 캬메라의 사전보정 (pre-calibration) 작업이나 사용자의 입력 및 대상 장면에 대한 3차원 정보 등을 이용하지 않는 자동화된 새로운 뷰 몰핑 알고리즘이다. 제안된 방법의 블록 도를 그림 1에 보였다.
제안된 뷰 모핑 과정(그림 5)은, 입력영상(上, 上)을교정된 영상(石, 匕)을 만드는 사전 워 핑 과정, 사전 워 핑 된 영상을 선형 보간하여 중간영상(工)을 생성하는 몰핑 과정, 二L리고 몰핑된 영상(丄)을 역변환하여 임의 시점에서의 중간영상을 만드는 사후 워 핑 과정으로 정리된다.

대상 데이터

실사 영상에 제안된 방법을 적용하였으며, 본 실험에서는 Canon G-2 카메라로 취득된 800 x 600 크기의 영 상(그림 8)을 대상으로 하였다. 비 교정된 입력 영상을 대상으로 기본행렬을 이용하여 두 영상을 교정한 사전 워 핑 된 영상을 그림 9에 나타내었다.
그리고 다수의 카메라를 이용하여 대상 장면의 3차원 재구성 및 임의 시점에서 새로운 장면을 생성하는 연구도 있다. 제안된 알고리즘은 3차원 정보를 이용하지 않고 내부(intrinsic) 및 외부(extrinsic) 파라미터를 모르는 카메라에 의해 취득된 비보정 영상을 대상으로 한다. 또한 대상 장면의 3차원 형태 등에 대한 가정 또는 사용자의 입력 없이 자동으로 임의의 중간영상을 생성하는 새로운 뷰 몰핑 방법이며, 기존의 그림, 사진 등의 다양한 영상에도 효과적으로 적용할 수 있다.

데이터처리

실제 영상에서 제안된 방법의 정확도를 구체적으로 비교하기 위해 턴테이블에 의해 설정된 각도만큼 회전하여 실제로 취득된 중간영상과 제안된 방법에 의해 생성된 중간영상을 그림 11에 비교하였다. 제안된 방법은 물체의 회천 등에 대한 설정 조건, 카메라 보정 정보, 사용자의 입력 등을 전혀 이용하지 않았으며, 실험 결과로부터터 실제 취득된 영상과 매우 유사한 중간영상이 얻어 짐을 확인하였다.

성능/효과

그림 6 PSNR 비교 (a) 렌더링된 실제 영상 (b) 단방향 시차맵 및 (c) 양방향 시차맵을 이용한 중간영상 그림 6과 7의 결과로부터 양방향 시차 맵을 사용해 얻은 중간 영상이 단 향방의 결과보다 향상되었음을 정량적 및 정성적인 방법으로 확인하였다. 본 실험에서는 입력 영상의 취득 시점의 간격이 일반적인 영상통신에서 사용하는 프레임의 범위보다 훨씬 큼에도 불구하고, PSNR 결과가 비교적 높았다.
제안된 알고리즘은 3차원 정보를 이용하지 않고 내부(intrinsic) 및 외부(extrinsic) 파라미터를 모르는 카메라에 의해 취득된 비보정 영상을 대상으로 한다. 또한 대상 장면의 3차원 형태 등에 대한 가정 또는 사용자의 입력 없이 자동으로 임의의 중간영상을 생성하는 새로운 뷰 몰핑 방법이며, 기존의 그림, 사진 등의 다양한 영상에도 효과적으로 적용할 수 있다.
그림 6과 7의 결과로부터 양방향 시차 맵을 사용해 얻은 중간 영상이 단 향방의 결과보다 향상되었음을 정량적 및 정성적인 방법으로 확인하였다. 본 실험에서는 입력 영상의 취득 시점의 간격이 일반적인 영상통신에서 사용하는 프레임의 범위보다 훨씬 큼에도 불구하고, PSNR 결과가 비교적 높았다. 즉, 입력 영상은 설정된 공간에서 일정한 간격(0.
실제 영상에서 제안된 방법의 정확도를 구체적으로 비교하기 위해 턴테이블에 의해 설정된 각도만큼 회전하여 실제로 취득된 중간영상과 제안된 방법에 의해 생성된 중간영상을 그림 11에 비교하였다. 제안된 방법은 물체의 회천 등에 대한 설정 조건, 카메라 보정 정보, 사용자의 입력 등을 전혀 이용하지 않았으며, 실험 결과로부터터 실제 취득된 영상과 매우 유사한 중간영상이 얻어 짐을 확인하였다. 기존 방법[2]은 사용자의 입력 등을 필요로 하며, 두 영상 간의 가려짐이 존재하는 영역에 대한 추가적인 고려가 필요하다.
기존 방법[2]은 사용자의 입력 등을 필요로 하며, 두 영상 간의 가려짐이 존재하는 영역에 대한 추가적인 고려가 필요하다. 제안된 알고리즘은 OpenCV 라이브러리[1이의 뷰 몰핑 방법과 마찬가지로 기본행렬 정보를 이용하지만, 얻어진 기본행렬로부터 사 영행렬 및 기울임(shearing) 등의 다양한 변환 정보를 추가로 구할 수 있다[11L 또한 OpenCV 방법은 스캔 선분 상에 물체 간 가려짐을 충분히 고려하지 못해 몰핑 과정에서는 채울 수 없는 홀이 발생한다. 이를 제거하기 위해 라이브러리에서 제공되는 'D이eteMoire' 함수는 발생한 홀을 주위 영역의 화소값으로 단순하게 채우기 때문에 최종 영상의 화질이 떨어지게 된다.

후속연구

제안된 방법은 제한된 입력 영상으로부터 사실감이 높은 다수의 중간 프레임을 자동으로 생성하는 상황에 효과적으로 활용될 수 있다. 이후로는 가상 공간의 구현을 위한 실제적인 영상 지원 시스템 설계와 차세대 영상통신 분야로의 활용방안 등에 대한 연구가 계속될 예정이다.
본 논문에서는 교정된 두 영상의 대응 관계 및 가려짐 문제를 해결하기 위해 양방향 시차 맵을 구성하였으며, 정확한 보 간 결과를 얻을 수 있음을 실험 결과로부터 확인하였다. 제안된 방법은 입력 영상이 제한되어 있는 시퀀스로부터 다수의 중간 프레임을 생성할 수 있으며, 이는 가상 환경 구축, 영상 통신, 시각 효과(visual effects) 등에 유용하게 활용될 수 있다.
제안된 방법은 카메라의 자동보 정을 이용하기 때문에 카메라에 대한 사전 보정이나 3차원 정보를 필요로 하지 않으며, 또한 영상 내에서 가려짐으로 발생하는 홀에 의한 문제를 양방향 시차 맵으로 개선하였다. 제안된 방법은 제한된 입력 영상으로부터 사실감이 높은 다수의 중간 프레임을 자동으로 생성하는 상황에 효과적으로 활용될 수 있다. 이후로는 가상 공간의 구현을 위한 실제적인 영상 지원 시스템 설계와 차세대 영상통신 분야로의 활용방안 등에 대한 연구가 계속될 예정이다.
2°)으로 카메라가 이동하면서 렌더링 되었고, 일반적인 동영상 시퀀스보다 프레임 율이 떨어진다. 제안된 방법은 제한된 프레임으로부터 다수의 중간영상을 필요로 하는 상황에 효과적으로 활용될 수 있다.

참고문헌 (16)

S. E. Chen, 'Quicktime VR-An image-based approach to virtual environment navigation,' Proc. SIGGRAPH, pp. 29-38, 1995
S. M. Seitz and Charles R. Dye, 'View morphing,' Proc. SIGGRAPH. pp. 21-30, 1996
N. L. Chang and A. Zakhor, 'View generation for three-dimensional scenes from video sequences,' IEEE Transactions on Image Processing, vol. 6, no. 4, pp. 584-598, 1997

상세보기
D. Scharstein, 'Stereo vision for view synthesis,' Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp. 852-858, 1996
X. Sun and E. Dubois, 'A method for the synthesis of intermediate views in image-based rendering using image rectification,' Proc. of the Canadian Conference on Electrical & Computer Engineering, pp. 991-994, 2002
R. A. Manning and C. R. Dyer, 'Interpolating view and scene motion by dynamic view morphing,' Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp. 125-131, 1999
T. Kanade and P. Tander, 'Virtualized reality: constructing virtual worlds from real scenes,' IEEE Multimedia, vol. 4, pp. 34-47, 1997

상세보기
H. Huang, S. Nain, Y. Hung, and T. Cheng, 'Disparity-based view morphing - a new techniques for image-based rendering,' Proc. SIGGRAPH. pp. 9-16, 1998
S. E. Chen and L. Williams, 'View interpolation for image synthesis,' Proc. SIGGRAPH, pp. 279-288, 1993
W. R. Mark, L. McMillan, and G. Bishop, 'Post-rendering 3D warping,' Proc. Symposium on Interactive 3D Graphics, pp. 7-16, 1997
R. Hartley, 'In defense of the eight-point algorithm,' IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 19, pp. 580-593, 1997

상세보기
Z. Zhang, 'Computing rectifying homographies for stereo vision,' Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp. 125-131, 1999
C. J. Tasi and A. K. Katsaggelos, ' Dense Disparity Estimation with a Divide-and-Conquer Disparity Space Image Technique,' IEEE, Trans. Multimedia, Vol.1, No.1, pp.18-29, March, 1999

상세보기
S. S. Intille and A. F. Bobick, 'Disparity-space images and large occlusion stereo,' 2nd European Conference on Computer Vision, pp. 179-186, 1994
김대현, 최종수, '양방향 시차 몰핑을 이용한 중간 시점 영상 보간', 대한전자공학회 논문지, pp. 215-223, 제 35권 SP편 제 2호, 2002년 3월

원문보기 상세보기
Open Source Computer Vision Library Referece Manual, Intel Co., Dec. 2000

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증