이미지 스티칭 기술은 일반 카메라로부터 촬영된 영상을 파노라마와 같이 넓은 화각(Field of View)으로 만들어주는 기술이다. 약 20년정도 연구되어 왔으며, 최근에 특히 상용화 시스템들이 소개되고 있다. 그러나, 많은 제안 된 알고리즘에도 불구하고 객관적인 품질 평가 방법이 개발되지 않았으므로 알고리즘의 비교는 거의 주관적인 방식으로 만 수행되었다. 이 논문은 스티칭 또는 뒤틀린 이미지의 기하학적 및 광도 측정 왜곡을 평가하기위한 Delaunay 삼각분할방식을 사용하여 객관적 평가 방법을 제안한다. 기준 이미지와 대상 이미지는 두 이미지 사이의 일치 지점을 기반으로 하는 델라 네이 - 삼각 측량에 의해 세그먼트 화되고, 평균 유클리드 거리가 기하학적 왜곡 측정에 사용되며, 측광 측정을 위한 PSNR의 평균 또는 막대 그래프가 사용됩니다. 우리는 몇 가지 테스트 이미지와 스티칭 방법을 통해 예비 결과를 보여줌으로써 이점과 적용을 입증한다.
이미지 스티칭 기술은 일반 카메라로부터 촬영된 영상을 파노라마와 같이 넓은 화각(Field of View)으로 만들어주는 기술이다. 약 20년정도 연구되어 왔으며, 최근에 특히 상용화 시스템들이 소개되고 있다. 그러나, 많은 제안 된 알고리즘에도 불구하고 객관적인 품질 평가 방법이 개발되지 않았으므로 알고리즘의 비교는 거의 주관적인 방식으로 만 수행되었다. 이 논문은 스티칭 또는 뒤틀린 이미지의 기하학적 및 광도 측정 왜곡을 평가하기위한 Delaunay 삼각분할방식을 사용하여 객관적 평가 방법을 제안한다. 기준 이미지와 대상 이미지는 두 이미지 사이의 일치 지점을 기반으로 하는 델라 네이 - 삼각 측량에 의해 세그먼트 화되고, 평균 유클리드 거리가 기하학적 왜곡 측정에 사용되며, 측광 측정을 위한 PSNR의 평균 또는 막대 그래프가 사용됩니다. 우리는 몇 가지 테스트 이미지와 스티칭 방법을 통해 예비 결과를 보여줌으로써 이점과 적용을 입증한다.
Recently, stitching techniques are used for obtaining wide FOV, e.g., panorama contents, from normal cameras. Despite many proposed algorithms, the no objective quality evaluation method is developed, so the comparison of algorithms are performed only in subjective way. The paper proposes a 'Delauna...
Recently, stitching techniques are used for obtaining wide FOV, e.g., panorama contents, from normal cameras. Despite many proposed algorithms, the no objective quality evaluation method is developed, so the comparison of algorithms are performed only in subjective way. The paper proposes a 'Delaunay-triangulation based objective assessment method' for evaluating the geometric and photometric distortions of stitched or warped images. The reference and target images are segmented by Delaunay-triangulation based on matched points between two images, the average Euclidian distance is used for geometric distortion measure, and the average or histogram of PSNR for photometric measure. We shows preliminary results with several test images and stitching methods for demonstrate the benefits and application.
Recently, stitching techniques are used for obtaining wide FOV, e.g., panorama contents, from normal cameras. Despite many proposed algorithms, the no objective quality evaluation method is developed, so the comparison of algorithms are performed only in subjective way. The paper proposes a 'Delaunay-triangulation based objective assessment method' for evaluating the geometric and photometric distortions of stitched or warped images. The reference and target images are segmented by Delaunay-triangulation based on matched points between two images, the average Euclidian distance is used for geometric distortion measure, and the average or histogram of PSNR for photometric measure. We shows preliminary results with several test images and stitching methods for demonstrate the benefits and application.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 절에서는 이미지 스티칭 방식을 통하여 얻어진 스티칭 이지지의 왜곡정도를 수치화하는 방식을 제안한다. 앞서 설명한 바와 같이 스티칭하는 이미지들 외에 기준 이미지가 필요하며, 이들간의 비교는 Delaunay 삼각분할방식에 의하여 구성된 세그먼트들을 매핑하여 이를 통한 구조적인 왜곡과 화소값의 왜곡을 계산한다.
이미지 스티칭 연구가 지난 20여 년간 많은 발전이 있었다는 것은 분명하지만, 수치화할 수 있는 기준없이 연구된 한계점을 가지고 있다. 이에 본 연구에서 이미지 스티칭 결과를 수치적으로 평가할 수 있는 방법을 제안하였다. 제안하는 방식은 단순히 평가 수치를 제공하는데 그치지 않고, 성능을 분석하여 문제점을 해결할 수 있는 도구로서의 역할도 할 수 있다.
가설 설정
스티칭에 사용되는 입력 이미지의 개수 N에는 특별한 제약이 없으나, 설명의 편의를 위하여, Fig 1과 같이 좌, 우 두개의 이미지만 있는 경우로 예를 들어 설명한다. 기준 영상은 스티칭하는 영상의 겹쳐지는 영역을 포함하여야 하므로 중앙에 위치한다고 가정한다. 좌우 이미지를 정렬하여 스티칭하는 과정에서, 기준 영상도 동일한 방식으로 정렬을 수행하여 비교가 가능하도록 한다.
기존의 스티칭에 대한 연구에서 수치화된 결과를 보일 수 없었던 이유는 성능을 비교할 만한 기준 영상이 없었고, 기하학적인 차이가 있는 두영상을 비교하는 방법이 없었기 때문이다. 우선, 본 연구에서는 평가의 측면에서 스티칭되는 영역을 포함하는 추가적인 이미지가 존재한다고 가정하였다. 이를 통해서 스티칭된 결과와 참고 이미지의 차이를 정량화 할 수 있다.
제안 방법
일부 논문에서는 그리드 방식을 사용하는 경우도 있는데 효용성 면에서 이 경우와의 비교도 필요할 것으로 생각된다. 마지막으로, 본 연구에서는 방법론을 확인하기위하여 AutoStitch 한가지의 경우만을 사용하였다. 추후 연구로 기존의 다양한 스티칭 알고리즘들의 평가하여 그 차이점의 분석하는 연구를 진행하고 있다.
제 II절에서는 제안하는 스티칭 이미지의 정량적 왜곡 측정방법에 대하여 기술한다. 제 III 절에서 이 방식을 전역 homography 스티칭 이미지에 적용한 결과에 적용한 예를 통하여 사용법과 효율성을 확인한다. 끝으로 제 IV절에서 논문의 결론과 추후 연구 방향에 대하여 기술한다.
기준 영상은 스티칭하는 영상의 겹쳐지는 영역을 포함하여야 하므로 중앙에 위치한다고 가정한다. 좌우 이미지를 정렬하여 스티칭하는 과정에서, 기준 영상도 동일한 방식으로 정렬을 수행하여 비교가 가능하도록 한다. 즉, 기준 이미지와 스티칭 이미지는 동일한 카메라 좌표 공간 안에 정렬되어 놓이게 된다.
특징점 추출방식은 SIFT 나 SURF등 다양한 방식이 있지만, 이미 영상의 스케일은 일치된 상태이므로 FAST 알고리즘으로 충분히 원하는 정확도를 유지할 수 있으므로, 본 연구의 실험에서는 FAST (Features from Accelerated Segment Test) 와 ORB (Oriented FAST and Rotated BRIEF)를 사용하였다. 매칭 알고리즘으로는 K-Nearest Neighbor를 사용하였다.
대상 데이터
본 연구의 또 하나의 목표는 기존의 스티칭 알고리즘들의 평가하여 분석하는 것이나, 일부만 구현을 접근 할 수 있어서, 이 부분은 추후 연구로 계획하고 있다. 평가에 사용한 입력 영상들은 관련 논문들의 저자들이 인터넷에 공개하고 있는 영상들[11,12] 중에 선택하였으며 그 이미지는 Fig 5과 같다.
이론/모형
이렇게 매칭된 특징점 쌍들을 이용하여 Delaunay 삼각 분할 방식[13]을 사용하여 영역을 분할한다. 구현에는 Delaunay 삼각 분할은 OpenCV Subdiv2D API를 사용하였다.
특징점 추출방식은 SIFT 나 SURF등 다양한 방식이 있지만, 이미 영상의 스케일은 일치된 상태이므로 FAST 알고리즘으로 충분히 원하는 정확도를 유지할 수 있으므로, 본 연구의 실험에서는 FAST (Features from Accelerated Segment Test) 와 ORB (Oriented FAST and Rotated BRIEF)를 사용하였다. 매칭 알고리즘으로는 K-Nearest Neighbor를 사용하였다. 이렇게 매칭된 특징점 쌍들을 이용하여 Delaunay 삼각 분할 방식[13]을 사용하여 영역을 분할한다.
본 절에서는 이미지 스티칭 방식을 통하여 얻어진 스티칭 이지지의 왜곡정도를 수치화하는 방식을 제안한다. 앞서 설명한 바와 같이 스티칭하는 이미지들 외에 기준 이미지가 필요하며, 이들간의 비교는 Delaunay 삼각분할방식에 의하여 구성된 세그먼트들을 매핑하여 이를 통한 구조적인 왜곡과 화소값의 왜곡을 계산한다.
매칭 알고리즘으로는 K-Nearest Neighbor를 사용하였다. 이렇게 매칭된 특징점 쌍들을 이용하여 Delaunay 삼각 분할 방식[13]을 사용하여 영역을 분할한다. 구현에는 Delaunay 삼각 분할은 OpenCV Subdiv2D API를 사용하였다.
성능/효과
실험 결과 본 방식이 어느정도 객관성을 갖는 평가기준이 될 수 있다고 판단되나. 몇가지 좀더 연구할 부분 또한 존재한다.
이에 본 연구에서 이미지 스티칭 결과를 수치적으로 평가할 수 있는 방법을 제안하였다. 제안하는 방식은 단순히 평가 수치를 제공하는데 그치지 않고, 성능을 분석하여 문제점을 해결할 수 있는 도구로서의 역할도 할 수 있다. 한가지 방법론적인 부분에서 특징점을 골고루 분포 하기 위한 방법을 추가하긴 하였으나, 여전히 편단한 영역보다는 변화가 심한 물체 영역의 특징점이 조밀하게 뽑히는 특성을 보이다.
최종적으로 평균 기하왜곡정도와 평균 PSNR은 표 Table 1과 같으며, 이를 저자들을 포함한 5명의 관찰자가 확인한 결과 계산 결과와 비주얼 결과의 상관성이 매우 높음을 확인하였다 (상관도> 0.8이상).
후속연구
우선 균일한 매칭점을 얻기 위한 방식이 충분히 균일성을 보장하는지 평가가 부족하다. 또한 PSNR 자체를 평가보다 SSIM이나 평균값을 제거한 변화정도만을 측정하는 것이 바람직할지도 좀더 살펴볼 필요가 있다. 또한, 본 방식은 참조화면방식으로, 참조화면이 제공되지 않은 경우 적용할 수 없는 한계점이 있으므로, 이 한계를 극복하여 비참조화면으로 확장하는 방식에 대해서도 연구가 필요하다.
또한 PSNR 자체를 평가보다 SSIM이나 평균값을 제거한 변화정도만을 측정하는 것이 바람직할지도 좀더 살펴볼 필요가 있다. 또한, 본 방식은 참조화면방식으로, 참조화면이 제공되지 않은 경우 적용할 수 없는 한계점이 있으므로, 이 한계를 극복하여 비참조화면으로 확장하는 방식에 대해서도 연구가 필요하다.
AutoStitch는 OpenCV나 Matlab등에서도 라이브러리로 지원이 되는 대표적인 알고리즘이다. 본 연구의 또 하나의 목표는 기존의 스티칭 알고리즘들의 평가하여 분석하는 것이나, 일부만 구현을 접근 할 수 있어서, 이 부분은 추후 연구로 계획하고 있다. 평가에 사용한 입력 영상들은 관련 논문들의 저자들이 인터넷에 공개하고 있는 영상들[11,12] 중에 선택하였으며 그 이미지는 Fig 5과 같다.
마지막으로, 본 연구에서는 방법론을 확인하기위하여 AutoStitch 한가지의 경우만을 사용하였다. 추후 연구로 기존의 다양한 스티칭 알고리즘들의 평가하여 그 차이점의 분석하는 연구를 진행하고 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
이미지 스티칭 기술 도입의 배경은?
카메라 기능이 처음 포함된 초기 휴대폰의 카메라 해상도는 겨우 몇 만 화소였으나, 2017년 현재는 1000만회소대의 카메라가 장착된 휴대폰이 출시되고 있다. 사람의 바람은 끝이 없어서, 이러한 해상도의 증가에 만족하지 않고, 콘텐트 제작자가 정한 각도에서 뿐 아니라, 시청자가 원하는 다양한 각도에서 영상을 보고 싶어하게 되었다. 카메라에 담고 싶어 하게 되었다. 그러나 전통적인 구조를 사용하는 카메라의 화각(FOV: Field of View)은 보통 60도정도에 제한되어 있다. 따라서 여러방향으로 찍은 이미지를 합쳐서 보다 넓은 화각의 영상을 만드는 기술, 이미지 스티칭 (stitching) 또는 모자이크 (mosaic)에 대한 연구가 시작되었다[1].
이미지 스티칭 기술의 과정은?
이미지 스티칭 과정은 각 이미지를 촬영한 카메라의 기하학적 파라메터의 추정, 추정된 파라메터를 사용한 기하학적 변환, 그리고 중첩된 영역선택 및 블랜딩 과정을 거친다. 특히, 이미지를 파라메터의 추정을 통하여 이미지를 정렬하고 및 와핑하는 기술이 핵심적이며 고유한 문제이다.
이미지 스티칭 기술이란 무엇인가?
이미지 스티칭 기술은 일반 카메라로부터 촬영된 영상을 파노라마와 같이 넓은 화각(Field of View)으로 만들어주는 기술이다. 약 20년정도 연구되어 왔으며, 최근에 특히 상용화 시스템들이 소개되고 있다.
참고문헌 (13)
D. Ghosh, N. Kaabouch, "A survey on image mosaicing techniques," Journal of Visual Communication and Image Representation, Vol. 34, No.1, pp. 1-11, January, 2016.
P. Topiwala, W. Dai, M. Krishnan, A. Abbas, A. S. Doshi, D. Newman, "Performance comparison of AV1, HEVC, and JVET video codecs on 360 (spherical) video," Applications of Digital Image Processing XL, Vol. 10396, p. 1039609, September, 2017.
R. Szeliski, "Image alignment and stitching: A tutorial. Foundations and Trends," Computer Graphics and Vision, Vol 2, No. 1, pp. 1-104. 2006.
A. Eden, M. Uyttendaele, R. Szeliski, "Seamless image stitching of scenes with large motions and exposure differences. In Computer Vision and Pattern Recognition, New York, NY, USA, pp. 2498-2505. 2006.
J. Zaragoza, T. J. Chin, M. S. Brown, D. Suter, "As-projective-as-possible image stitching with moving DLT," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Portland, Oregon, USA, pp. 2339-2346, 2013
C. H. Chang, Y. Sato, Y. Y. Chuang. "Shape-preserving half-projective warps for image stitching," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Columbus, Ohio, USA pp. 3254-3261, 2014.
Qureshi, H. S., Khan, M. M., Hafiz, R., Cho, Y., & Cha, J. (2012). Quantitative quality assessment of stitched panoramic images. IET Image Processing, 6(9), 1348-1358.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.