[논문]파노라마 모자익에서의 정확한 초점거리 복원을 위한 접합 신뢰도 측정방법

김화성; 김창헌

파노라마 모자익에서의 정확한 초점거리 복원을 위한 접합 신뢰도 측정방법
Stitch Reliability Measurement for Recovering Accurate Camera Focal Length in Panoramic Mosaics 원문보기

정보과학회논문지. Journal of KIISE. 시스템 및 이론, v.28 no.3, 2001년, pp.125 - 133

초록
AI-Helper

본 논문은 파노라마 모자익의 접합 질을 판단하기 위해 접합 신뢰도라는 수량적 기준을 제시한다. 또한, 파노라마의 자동 생성과 따른 시각화를 위해 필요한 초점거리 측정에 접합 신뢰도가 유용함을 보인다. 이미지로부터 초점거리를 복원하는 기존 방법은 일반적인 파노라마 모자익에서 나타나는 잘못 접합된 부분을 초점거리 계산에 포함하기 때문에 부정확하다는 단점이 있다. 제안 방법은 높은 접합 신뢰도를 가진 일정 개수의 이미지를 선별할 수 있기 때문에 초점거리를 따르고 정확하게 자동 측정한다. 접합의 신뢰도를 계산하기 위해, 제안 방법은 카메라 회전 움직임 제약조건의 만족 여부를 판단할 수 있는 특징점을 정의하고, 이 특징점의 이상적인 위치와 실제 위치의 차이를 계산한다. 본 논문에서 제시한 제약조건은 카메라의 자유 회전 움직임에서 항상 만족하고, 이는 수학적으로 증명된다. 마지막으로, 실험을 통해 제안 방법이 기존 방법보다 초점거리의 편차가 작다는 것을 보이고, 파노라마 모자익의 접합 질을 높인다는 것을 보인다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 카메라의 회전에 의해 연속적으로 촬영된 이미지를 이용하여 파노라마 이미지를 사용자의 개입 없이 자동으로 생성하는 기법에 대해 기술하였다. 촬영이 미지의 접합 신뢰성을 측정하기 위해 카메라와 이미지를 고려한 3차원 기하학적 모델을 통해 이미지에서 측정 가능한 2차원 사영 기하적 제약조건을 정의하고, 카메라의 임의회전축에 대해서도 정의된 제약조건이 변하지 않다는 것을 증명하였다.
촬영이 미지의 접합 신뢰성을 측정하기 위해 카메라와 이미지를 고려한 3차원 기하학적 모델을 통해 이미지에서 측정 가능한 2차원 사영 기하적 제약조건을 정의하고, 카메라의 임의회전축에 대해서도 정의된 제약조건이 변하지 않다는 것을 증명하였다. 이러한 제한조건을 통해 부적절한 접합을 가려내는 접합 신뢰도 측정법을 제시한다. 접합의 신뢰성이 판별된 이미지로부터 정확한 초점거리를 측정하고, 이 초점거리를 이용하여 카메라의 회전모델에 의한 정교 접합 과정을 거쳐 속도 및 접합의 질이 개선된 파노라마를 생성하고, 카메라의 움직임에 대한 제한을 일부 허용하여 좀 더 쉬운 촬영을 가능하게 한다.

가설 설정

이미지를 3차원적으로 도식화한 것이다. 왼쪽 이미지 중심 G을 그림과 같이 Z축 상에 놓고, 임의의 위치에 G가 있다고 가정하고, 의 위치를 3개의 평면 방정식을 통해 풀면 카메라 회전 제약조건은 증명된다. 그림 5 는 그림 8에서 보이는 3차원 상의 이미지와 카메라의 성질을 초점거리를 반지름으로 하는 구 상에 이미지 평면이 항상 접한다는 성질을 이용해서 카메라 회전 평면을 기준으로 한 2차원 도식이다.

제안 방법

촬영은 카메라를 삼각대에 고정시켜 쵤-영하였다. 고정된 상태에서의 회전은 수평방향뿐만 아니라, 임의의 방향으로 회전하였다. 그림 10(a)는 8 파라미터 모델 기반의 접합이 잘못된 예를 보여준다.
고정된 카메라 시점에서 회전 촬영된 연속 이미지를 수작업 없이 매칭하기 위해 본 논문에서는 이미지 사이의 시각적 공통 부분을 이용하여 이미지의 명도 (intensity) 비교를 통한 자동 매칭 방법 [8] 을 일차적으로 사용한다. 이 방법은 해상도별 이미지를 만드는 피라미드 방법과 연속된 이미지를 저해상도에서 고해상도로 비교해 나가는 다단계 매칭 기법으로 구성된다.
피라미드 방법은 주어진 이미지를 계층적으로 저해상도에서 고해상도까지 계층적으로 만든다. 고해상도의 일정 영역의 픽셀값들은 평균화되어 한 단계 낮은 저해상도 이미지의 한 픽셀 값으로 나타난다, 본 시스템에서는 매 단계별로 4개의 픽셀을 1개의 픽셀로 평균하였다. 각 단계별 이미지는 따로 저장할 수 있으니-, 이미지의 해상도가 높을수록, 접합할 이미지 수가 많을수록 이미지의 메모리 점유율은 기하급수적으로 높아진다.
나눈다. 두 방법을 각 이미지 쌍에 적용하여 8 파라미터 변환 관계들을 도출하고, 단일 좌표계로 정렬시킨 후 파노라마를 생성한다.
파노라마 이미지를 자동 생성하기 위해서 이미지 명도 비교에 기반한 선형적인 매칭 빙电 과 비선형 수치해석 방법이 사용되고, 이미지 사이의 대응 관계를 나타내는 행렬을 계산한다. 또한, 그는 이미지에서 복원된 초점거리를 추출해서 대응관계를 나타내는 행렬의 계수의 수를 줄임으로서 좀 더 빠르고 견고한 파노라마 생성방법을 제안한다. 그러나, 이미지 사이의 대응관계 행렬의 계수들로부터 추측된 초점거리는 계수의 미세한 오차에 상당히 민감하고, 잘못 접합된 부분들도 계산에 포함되기 때문에 정확성이 낮다는 단점을 가지고 있다.
본 논문에서 제안하는 방법은 일련의 촬영 이미지 집합에서 8 파라미터 변환 모델에 기반한 접합을 통해 접합 신뢰도가 높은 이미지를 선별하는 과정과 선별된 접합 이미지로부터 초점거리를 측정하는 과정, 그리고, 3 파라미터 변환 모델에 기반한 접합 과정으로 크게 나눌 수 있다. 8 파라미터 변환에 기반한 접합 과정은 신뢰성이 검증을 위한 이미지만을 대상으로 하고, 촬영 이미지 전체에 대한 접합은 3 파라미터 변환 기반의 접합 과정에서 이루어진다.
두 장으로 이루어진 이미지 한 쌍은 각각 하나의 8 파라미터 변환 행렬, 접합 신뢰도, 그리고 초점거리를 가진다. 본 논문에서는 신뢰성 검사 방법을 통해 8 파라미터 모델을 이용해서 근사적으로 접합된 이미지 중 접합의 질이 높은 이미지를 선택하고, 검증된 이미지 쌍 2-3개에서 초점거리를 계산한다. 계산된 초점거리는 3 파라미터 파노라마 생성에 이용된다.
본 논문에서는 카메라 회전에 의한 제약조건을 정의하고, 사영변환 행렬을 3차원 기하적으로 해석한다. 이를 통해 이미지 상에서 접합 신뢰성을 판별할 수 있는 기준을 제안하고, 이미지로부터 정확한 초점거리를 측정하는 방법을 제시한다.
전체 이미지 스트림 중 일부를 선택하는 방법은 여러가지가 있다. 본 실험에서는 정교 접합을 통해 3개의 신뢰도 높 은 이미지 쌍을 찾기 위해 순서적으로 정교 접합을 하며, 그림 12에서 실험한 초점거리 측정에서는 5번째 쌍까지 접합을 수행한다. 평균 추정 초점거리는 497 (픽셀)이다.
McMillan[기은 카메라의 내부 파라미터를 모두 포함한 카메라 행렬을 정의하고, y축 회전만을 고려한 회전행렬을 사용한다. 이러한 내부, 외부 파라미터를 구하기 위해, 360도 완전 회전 이미지들의 2차원 이동량을 통해 초점거리를 추정한다. 그러나, 이 방법은 360도 시야의 이미지 스트림을 가져야 가능하며, 제한된 시각 도의 파노라마는 생성하지 못하고, 삼각대에 고정된 수평 회전 파노라마만 시각화한다.
이를 통해 이미지 상에서 접합 신뢰성을 판별할 수 있는 기준을 제안하고, 이미지로부터 정확한 초점거리를 측정하는 방법을 제시한다. 접합 신뢰도를 통해 근사접합의 사용범위를 명시적으로 제한할 수 있으며, 접합의 질을 계량적으로 측정해서 파노라마의 접합 질을 향상시키고접합 속도를 개선한다.

대상 데이터

실험은 Pentium Ⅲ 450Mhz와 128MB의 메모리를 장착한 PC에서 진행하였다. 사용 OS는 Windows NT 이며, 구현 언어는 C+十이다.
사용 OS는 Windows NT 이며, 구현 언어는 C+十이다. 이미지 촬영장비는 Kodak DC50 디지털 카메라를 사용하였고, 이 카메라로 얻은 약 30장의 사진 이미지들이 시-용되었다. 촬영은 카메라를 삼각대에 고정시켜 쵤-영하였다.

이론/모형

이 방식은 사용자의 수작업을 필요로 하지 않고, 이미지 매칭에서 도출된 결과를 초기치로 사용해서 통계적으로 최적화된 결과를 도출한다. 본 연구에서는 Levenberg-Marquardt 알고리즘⑹을 사용한다. 이 알고리즘은 이미지 명도 에러값에 대한 함수의 2차 테일러 급수를 이용한다.

성능/효과

계산된 초점거리는 3 파라미터 파노라마 생성에 이용된다. 3 파라미터 파노라마는 8 파라미터 파노라마를 위해 사용한 기법에 비해 최적의 해에 빠른 수렴을 보이며, 잘못된 해로 수렴할 확률을 줄인다.
이것은 접합이 지역적 최소화 문제가 나타남을 보여준다. 접합신뢰도 측정을 위해 계산된 〃尸의 실제위치는 G와 G사이에 존재하는 이상적인 〃尸의 위치와 차이가 있음을 알 수 있다. 그림 10(b)는 카메라 회전 모델을 적용한 정교 접합의 예를 보여준다.
촬영이 미지의 접합 신뢰성을 측정하기 위해 카메라와 이미지를 고려한 3차원 기하학적 모델을 통해 이미지에서 측정 가능한 2차원 사영 기하적 제약조건을 정의하고, 카메라의 임의회전축에 대해서도 정의된 제약조건이 변하지 않다는 것을 증명하였다. 이러한 제한조건을 통해 부적절한 접합을 가려내는 접합 신뢰도 측정법을 제시한다.

후속연구

따라서, 파노라마 생성과정에서 촬영 이미지로부터 렌즈의 뒤틀림 파라미터를 추출하는 연구가 추가되어야 한다.

참고문헌 (23)

Richard Szeliski and Heung-Yeung Shum, 'Creating Full View Panoramic Image Mosaics and Environment Maps,' SIGGRAPH'97
Chen, S. E., 'QuickTime VR : An Image-Based Approach to Virtual Environment Navigation,' Proc. Siggraph, ACM Press, New York, 1995
R. Szeliski, 'Video mosaics for virtual environments,' IEEE Computer Graphics and Applications, March 1996

상세보기
http://www.livepicture.com
http://www.ipix.com
W. H. Press, B. P. Flannery, S. A. Teukolsky, and W. T. Vetterling. 'Numerical Recipes in C : The Art of Scientic Computing,' Cambridge University Press Cambridge, England, second edition, 1992
McMillan and G. Bishop, 'Plenoptic modeling : An image-based rendering system. Computer Graphics,' SIGGRAPH'95
P. J. Burt and E. H. Adelson. A multiresolution spline with applications to image mosaics, ACM Transactions on Graphics, 1983

상세보기
Mengxiang Li and Jean-Marc Lavest, 'Some Aspects of Zoom-Lens Camera Calibration,' CAVP
Olivier Faugeras, 'Three-Dimesional Computer Vision,' MIT Press
N. Greene and P. Heckbert. Creating raster Omnimax image from multiple perspective views using the elliptical weighted average filter, IEEE Computer Graphics and Application, 6(6):21-27, June 1986

상세보기
G. Wolberg. Digital Image Warping, IEEE Computer Society Press, Los Alamitos, California, 1990
J. Meehan. Panoramic Photography, WatsonGuptill, 1990
Y. Xiong and K. Turkowski. Creating image-based VR using a self-calibrating fisheye lens, In IEEE computer Society Conference on computer Vision and Pattern Recognition (CVPR'97), pages 237-243, San Juan, Puerto Rico, June 1997
S. Nayar. Catadioptric omnidirectional camera, In IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'97), pages 482-488, San Juan, Puerto Rico, June 1997
Tsai, R.Y., 'A Versatile Camera Calibration Technique for High Accuracy 3D Machine Vision Metrology Using Off-the-shelf Cameras and Lenses,' IEEE Journal of Robotics and Automation 1983

상세보기
H.Y. Shum and R. Szeliski, Construction and refinement of panoramic mosaics with global and local alignment, In Sixth International Conference on computer Vision (ICCV'98)
M.C. Chiang and T. E. Boult. E_cient image warping and super-resolution, In IEEE Workshop on applications of Computer Vision (WACV'96), pages 56-61, Sarasota, Florida, December 1996. IEEE Computer Society
S. Chen and L. Williams. View interpolation for image synthesis, Computer Graphics (SIGGRAPH'93), pages 279-288, August 1993
S. J. Gortler, R. Grzeszczuk, R. Szeliski, and M. F. Cohen. The lumigraph, In Computer Graphics Proceedings. Annual conference Series, pages 43-54, Proc. SIGGRAPH'96, August 1996
G. Stein. Accurate internal camera calibration using rotation, with analysis of sources of error, In Fifth International Conference on computer Vision (ICCV'95), apges 230-236, Cambridge, Massachusetts, June 1995
R. Szeliski. Image mosaicing for tele-reality applications, In IEEE Workshop on Applications o Computer Vision (WACV'94), pages 44{53, Sarasota, Florida, December 1994. IEEE Computer Society
Sing Bing Kang, Characterization of Errors in Compositing Panoramic Images, CVIU, pages 269-280, 1999

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증