[논문]로봇파노라마헤드와 스티칭 기법을 활용한 기가픽셀 이미지의 생성과 기가픽셀카메라 기술

최연찬; 문희준; 김동영; 류재윤; 신예랑; 임천석

doi:10.3807/kjop.2015.26.1.044

[국내논문] 로봇파노라마헤드와 스티칭 기법을 활용한 기가픽셀 이미지의 생성과 기가픽셀카메라 기술
The Study of Gigapixel Camera Technology and the Stunning High-Resolution Gigapixel Image Created by Utilizing a Robotic Panoramic Head and an Image-Stitching Technique 원문보기

한국광학회지 = Korean journal of optics and photonics, v.26 no.1, 2015년, pp.44 - 53

최연찬 (한남대학교 컴퓨터통신무인기술학과) , 문희준 (한남대학교 컴퓨터통신무인기술학과) , 김동영 (한남대학교 컴퓨터통신무인기술학과) , 류재윤 (한남대학교 컴퓨터통신무인기술학과) , 신예랑 (한남대학교 컴퓨터통신무인기술학과) , 임천석 (한남대학교 컴퓨터통신무인기술학과)

초록
AI-Helper

현재의 이미지 센서기술은 메가픽셀 급에 한정되어 있는데 메가픽셀 급의 이미지 센서로 기가픽셀의 이미지를 생성하기 위해서는 필수적으로 중첩영역의 이미지를 하나로 합성하는 스티칭(stitching) 기법을 쓸 수밖에 없다. 본 논문에서는 로봇파노라마헤드와 스티칭 기법을 사용하여 기가픽셀카메라 기술의 전 과정을 탐구해 보았다. 그리고 이 과정을 통해서 얻어진 경험이나 이해를 바탕으로 듀크대와 BAE의 기가픽셀카메라 기술에 대해서도 설계해석을 시도해 보았다. 또 나아가, 새로운 기가픽셀카메라의 광학구조에 대한 모색도 시도해 보았다. 기가픽셀카메라 기술에서는 스티칭 작업과는 별도로 먼거리의 피사체 혹은 대기오염과 같은 원인으로 발생하는 흐릿한 영상부분을 보정하는 것이 필수적이라는 것도 파악되었다.

Abstract ▼ AI-Helper

Since the technology of current image sensors is limited to the megapixel class, it is necessary to use an image-stitching technique to create a gigapixel image from hundreds or thousands of photos taken by a megapixel image sensor. In this paper, we investigate the entire process of gigapixel camera technology employing a robotic panoramic head plus a stitching technique, and analyze the gigapixel camera technologies of Duke University and BAE Systems from the viewpoint of optical design structure. Hopefully this knowledge will lead to a new optical structure for a gigapixel camera. Meanwhile, we also perceive the need for additional image processing to reduce the noise of photos with a background of fog and mist, taken far from the camera lens.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

여기서 적용된 짐벌 마운팅시스템은, 듀크대의 기가픽셀카메라인 AWARE 카메라와는 달리, 무인항공기의 흔들림과 관계 없이 일정하게 주어진 영역을 카메라가 지향해야 하기 때문에 적용된 것으로 보인다. 광학적인 구조를 살펴보자. 기본 적으로 이 카메라는 평면상에 어레이로 카메라를 장착하는 구조이기 때문에 시차문제가 발생할 수밖에 없다는 단점이 있다.
판단컨대, 컴퓨터 프로그램적인 해법으로 시차문제를 해결하는 것은, 가능한지는 모르겠지만, 스마트한 솔루션은 아니라고 생각되고 광학구조적으로 해결해야 한다고 본다. 그러기 위해서는 ARGUS-IS의 카메라구조와 AWARE의 카메라구조를 적절히 조합한 하이브리드형의 구조가 적절할 것으로 판단되어지는데, 본 논문에서 모두 다루기에는 적절하지 않기 때문에 다음 기회로 미루기로 한다.
다음으로 BAE 시스템스의 ARGUS-IS 카메라에 대해서 논의해 보자. BAE 시스템스의 ARGUS-IS 카메라는 1.
본 논문에서는 로봇파노라마헤드와 스티칭 기법을 사용하여 기가픽셀 급의 초고해상도 파노라마 이미지를 만드는 전과정을 탐구해 보았다. 이 과정을 통해서 기가픽셀카메라에 대한 광학구조 및 영상처리기술의 여러 맥락을 파악해 볼 수 있었고 나아가 듀크대와 BAE의 기가픽셀카메라에 대한 설계구조적인 분석도 시도해 볼 수 있었다.
본 논문은 기가픽셀카메라를 개발하기 위한 기초연구의 성격으로써, 우선적으로, 로봇파노라마헤드를 사용하여 기가픽셀 이미지를 생성하였다. 그리고 이 과정을 통해서 축적되고 이해된 여러 기술적인 지식을 바탕으로 듀크대나 BAE Systems와 같은 첨단의 기가픽셀카메라기술을 이해하게 되었고, 나아가 새로운 방식의 고해상도 카메라를 구상하는 것도 모색할 수 있게 되었다.
본 실험에 사용한 카메라와 줌렌즈의 스펙을 살펴보자. 카메라의 바디는 니콘 D7100 DSLR 카메라로써 화소수는 2,400만 화소이고 센서크기는 1/1.
① 카메라와 로봇파노라마헤드의 이동과 설치, ② 원활한 촬영을 위해 3인 1조 정도의 팀 구성 ③ 날씨 문제 ④ 촬영장소의 허가문제 ⑤ 촬영오류에 의한 재촬영 문제 ⑥수많은 연습촬영과 기가픽셀 급의 이미지를 처리하기 위한 컴퓨팅 파워의 한계 문제, 등등. 본 연구 중에 수행된 모든 결과를 논문에서 전부 다룰 수는 없지만 의미 있다고 생각되는 대표적인 두 가지의 케이스에 대해서 설명하고자 한다.

제안 방법

다음으로 BAE 시스템스의 ARGUS-IS 카메라에 대해서 논의해 보자. BAE 시스템스의 ARGUS-IS 카메라는 1.8기가 픽셀의 동영상을 촬영할 수 있는 카메라로 무인항공기인 MQ-1 프레데터에 장착하여 6km 상공에서 직경 7km를 15cm 분해능으로 테러방지나 정찰을 위해 실시간으로 관찰한다. Figure 22를 보아라.
본 실험에서는 켄코(Kenko)사의 2× 텔레컨버터 렌즈를 줌렌즈와 함께 장착하여 초점길이를 2배 늘림으로써 시야각을 반으로 줄였다.

대상 데이터

2012년 6월 네이처에 발표된 듀크대의 기가픽셀카메라는 앞서 언급했다시피 공통되는 공심의 대물렌즈와 분할된 98개의 마이크로카메라렌즈로 구성되어 있다.^[8-12]
11. 4.1 gigapixel panoramic photo stitched together with 317 photos taken from the 12th floor of college of engineering at Hannam University.
5.9 gigapixel panoramic photo stitched together with 426 photos taken from the 30th floor of Main Headquarter Building of Korean Rail Network Authority located at Daejeon.
로봇파노라마헤드는 Celestron사의 Sky-Watcher AllView Mount를 사용하였고 경도(360°)와 위도(180°) 두 방향으로 회전이 가능한 천체탐사용 삼각대를 갖추고 있다.
7 mm)의 CMOS 센서이다. 장착한 줌렌즈는 탐론(Tamron)사의 제품으로 F/2.8, 70-200 mm의 가변초점 망원렌즈이다. 촬영하고자 하는 전체 회전각도의 범위에서 요소 이미지의 수를 최대한 늘리기 위해서는 줌렌즈의 시야각을 줄여야 하는데, 그 해법은 줌렌즈의 초점길이를 늘리는 것이다.
총 317장의 사진이 사용되었고 렌즈는 화각 8°인 탐론 200mm 망원줌렌즈만을 사용했다.
총 426장의 사진이 사용되었고 렌즈는 화각 4°의 탐론 200 mm + 켄코 2× 텔레컨버터를 사용하였다.
카메라의 바디는 니콘 D7100 DSLR 카메라로써 화소수는 2,400만 화소이고 센서크기는 1/1.5 크롭(23.5×15.7 mm)의 CMOS 센서이다.

성능/효과

ARGUS-IS 카메라의 초점길이는 대략 80 mm 정도로 추정되는데, 렌즈로부터 피사체의 거리가 6 km 떨어져 있기 때문에 초점길이 대비 물체거리(l/f ')는 75,000배로 각각의 어레이 카메라는 자동 초점맞춤이 필요 없을 것으로 판단된다. 결론적으로 듀크대의 AWARE 카메라의 광학구조는 지상용의 고해상도 혹은 기가픽셀카메라로 적합하고 BAE 시스템스의 ARGUS-IS 카메라의 광학구조는 무인항공기용의 기가픽셀카메라로 적합하다고 볼 수 있다. 요약하면, 광학구조적으로 볼 때 고해상도카메라 혹은 기가픽셀카메라를 개발하기 위해서는 반드시 고려해야할 핵심사항으로써 다음의 2가지를 들 수 있겠다: ① 시차문제를 없앨 수 있게 마이크로 카메라렌즈들을 배치하는 것과 ② 마이크로카메라렌즈들의 인접 시야각끼리 중첩도가 20-30%는 되게 배치하는 것이다.
이 과정을 통해서 기가픽셀카메라에 대한 광학구조 및 영상처리기술의 여러 맥락을 파악해 볼 수 있었고 나아가 듀크대와 BAE의 기가픽셀카메라에 대한 설계구조적인 분석도 시도해 볼 수 있었다. 결론적으로, 듀크대의 AWARE 기가픽셀카메라의 광학구조는 지상용으로 사용하기에 적합하고 BAE 시스템스의 ARGUS-IS는 지상에서 수 km 떠 있는 무인항공기용에 적합한 구조임을 알 수 있었다. 또 기가픽셀 급 카메라는 아니지만 초고해상도의 카메라를 개발하고자 한다면 듀크대와 BAE의 광학구조를 이해하는 것이 무엇보다도 주요한 출발점이 될 것으로 기대한다.
본 논문은 기가픽셀카메라를 개발하기 위한 기초연구의 성격으로써, 우선적으로, 로봇파노라마헤드를 사용하여 기가픽셀 이미지를 생성하였다. 그리고 이 과정을 통해서 축적되고 이해된 여러 기술적인 지식을 바탕으로 듀크대나 BAE Systems와 같은 첨단의 기가픽셀카메라기술을 이해하게 되었고, 나아가 새로운 방식의 고해상도 카메라를 구상하는 것도 모색할 수 있게 되었다.
기가픽셀의 이미지를 생성하고 연구하기 위한 가장 효과적인 방법으로는, 구글의 아트 프로젝트에서 사용된 것처럼, 자동제어 방식의 로봇파노라마헤드를 사용하는 것으로 판단된다. 본 논문의 4장에서 구체적으로 논의되고 분석되겠지만, 듀크대와 BAE 시스템스의 기가픽셀카메라의 광학구조와 설계특성, 개선방향, 그리고 개발전략에 대해서는 본 장에서 실험되고 논의된 기술적인 경험과 심층적인 이해가 필수적으로 요구된다고 하겠다.
특별히 Celestron사의 제품을 선정한 이유는 로봇파노라마헤드의 삼각대가 스테인리스강철로 되어있고 천체탐사용으로 사용될 정도로 견고하고 흔들림이 적고 튼튼해서이다. 본 논문에서 생성하고자 하는 기가픽셀 이미지는 런던시내전경과 같은 원거리의 피사체를 목표로 하기 때문에 삼각대의 진동이나 바람과 같은 외부환경에 의한 흔들림을 최소로 해야 보다 선명한 이미지를 얻을 수 있다고 판단하였다. 카메라렌즈로부터 피사체의 거리가 멀어지면 질수록 미소한 흔들림에 의해서도 촬영된 요소이미지의 품질이 저하되거나 이미지 간 편차가 커질 수 있다고 보았다.
전체적인 구조는 이해가 되었더라도, 시야각을 어느 정도 중첩시킬지에 대한 기준은 아직 모호하게 남아 있다. 본 논문에서의 실험적인 결과가 말해주는 것은 대략 20-30% 정도의 시야각을 겹치게 하면 이미지 스티칭 과정에서 큰 문제없이 합성이 잘되었다는 것이다. 그러므로 마이크로카메라렌즈의 위치는 Fig.

후속연구

실제로 Fig. 7에서 (a)와 (b)는 거의 일치하지만 (c)와는 약간의 차이를 보이고 있는데, 만약, 좀 더 미세하게 조정해서 회전축과 무시차점을 더욱 일치시키면 보다 완전하게 시차를 제거할 수 있을 것이다. 보통, 근거리의 피사체를 대상으로 기가픽셀 이미지를 얻고자 하면 무시차점을 되도록 완벽하게 찾아야겠지만 도시전경과 같은 원거리의 피사체에 대해서는 약간의 시차가 있더라도 그리 큰 문제를 일으키지는 않는다.
특히, 대기오염이 심한 조건에서는 더욱 이런 현상이 두드러지리라고 예상된다. 기가픽셀카메라를 개발하는데 있어 하드웨어적인 문제도 있겠지만 이 문제를 특히 유념하여 영상처리의 솔루션을 개발하는데도 동시에 주력해야 할 것으로 판단된다. 마지막으로 이미지 스티칭 소프트웨어는 Kolor사의 autopano giga와 autopano tour pro를 사용했음을 밝혀둔다.
결론적으로, 듀크대의 AWARE 기가픽셀카메라의 광학구조는 지상용으로 사용하기에 적합하고 BAE 시스템스의 ARGUS-IS는 지상에서 수 km 떠 있는 무인항공기용에 적합한 구조임을 알 수 있었다. 또 기가픽셀 급 카메라는 아니지만 초고해상도의 카메라를 개발하고자 한다면 듀크대와 BAE의 광학구조를 이해하는 것이 무엇보다도 주요한 출발점이 될 것으로 기대한다. 그리고 스티칭과 관련한 영상처리 기술에서 눈여겨 봐야할 핵심사항은 먼 거리의 피사체 혹은 대기오염과 같은 원인으로 발생하는 흐릿한 사진요소의 선 보정 기술일 것이고 이에 특히 유념하기를 바란다.
본 논문의 4장에서 구체적으로 논의되고 분석되겠지만, 듀크대와 BAE 시스템스의 기가픽셀카메라의 광학구조와 설계특성, 개선방향, 그리고 개발전략에 대해서는 본 장에서 실험되고 논의된 기술적인 경험과 심층적인 이해가 필수적으로 요구된다고 하겠다. 로봇파노라마헤드를 사용하여 기가픽셀 이미지 생성의 전 과정을 경험함으로써 기가픽셀 기술에 대한 절차적이고 전반적인 이해가 얻어질 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	이미지 스티칭의 3단계는 어떻게 나누어지는가?	보통, 이미지 스티칭(image stitching)이라고 불리는 이 과정은 3 단계로 구성되어 있는데 이미지를 등록하는 과정, 이미지를 캘리브레이션하는 과정, 그리고 이미지를 블랜딩하는 과정으로 나누어진다.[4] 이미지등록(image registration) 과정이란 중첩 픽셀들 간의 차이가 최소가 되는 조건으로 수백, 수천 장의 요소사진들을 인접한 순서대로 정렬하여 매칭하는 과정이고 일반적으로 컴퓨터비전에서 많이 활용되는 RANSAC(RANdom SAmple Consensus)이라는 반복법에 의한 알고리즘을 사용한다.
	기가픽셀 이미지란?	기가픽셀 이미지란 109개의 픽셀 이상으로 구성된 초고해상도의 디지털 이미지를 말하는데, 제작방식은 메가픽셀 급의 이미지 센서로부터 얻은 수백에서 수천 장의 요소사진들을 하나의 사진으로 합성하여 만들어 낸다. 구체적으로는, 메가픽셀 급의 이미지 센서로부터 촬영되는 인접한 요소사진들을 일정부분 서로 중첩시키고 중첩된 영역들을 이어 붙임으로써 전체적으로는 거대한 스케일의 픽셀사진이 완성된다는 것이다.
	ARGUS-IS 카메라의 특징은?	8기가 픽셀의 카메라도 발표되었다.[13-14] 이 카메라는 듀크대의 렌즈어레이 방식과는 다르게 센서어레이 방식으로 되어있고 1.8기가 픽셀의 동영상을 실시간으로 얻을 수 있다. 실제 무인항공기인 MQ-1 프레데터에 장착하여 실시간으로 1.

참고문헌 (17)

M. Brown and D. G. Lowe, "Automatic panoramic image stitching using invariant features," International Journal of Computer Vision 74, 59-73 (2007).

상세보기
R. Szeliski, "Image alignment and stitching: A tutorial," Foundations and Trends in Computer Graphics and Vision 2, 1-10 (2006).

상세보기
M. Uyttendaele, A. Eden, and R. Szeliski, "Eliminating ghosting and exposure artifacts in image mosaics," Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2, II509-II516 (2001).
http://en.wikipedia.org/wiki/Image_stitching
J.-W. Hsieh, "Fast stitching algorithm for moving object detection and mosaic construction," Image and Vision Computing 22, 291-306 (2004).

상세보기
http://en.wikipedia.org/wiki/Gigapixel_image
http://en.wikipedia.org/wiki/Largest_photographs_in_the_world
D. J. Brady, M. E. Gehm, R. A. Stack, D. L. Marks, D. S. Kittle, D. R. Golish, E. M. Vera, and S. D. Feller, "Multiscale gigapixel photography," Nature 486, 386-389 (2012).

상세보기
Wall Street Journal, "Next cameras come into view," June 21 (2012).
Chosunilbo, "Gigapixel camera of Duke university," June 21 (2012).
E. J. Tremblay, D. L. Marks, D. J. Brady, and J. E. Ford, "Design and scaling of monocentric multiscale imagers," Appl. Opt. 51, 4691-4702 (2012).

상세보기
D. J. Brady and N. Hagen, "Multiscale lens design," Opt. Express 17, 10659-10674 (2009).

상세보기
B. Leininger, J. Edwards, and K. H. Shafique, "Autonomous real-time ground ubiquitous surveillance-imaging system (ARGUS-IS)," Proc. SPIE-The International Society for Optical Engineering 6981, 69810H (2008).
http://www.youtube.com/watch?vQGxNyaXfJsA
W. J. Smith, Modern Optical Engineering (McGraw-Hill Inc., NY, USA, 2001), Chapter 5.
http://en.wikipedia.org/wiki/Parallax
C.-S. Rim, "Optical structural design using Gaussian Optics for multiscale gigapixel camera," Korean J. Opt. Photon. 24, 311-317 (2013).

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format