본 연구는 두 개의 어안렌즈로 구성된 이안식 일체형 $360^{\circ}$ 카메라로 촬영한 영상의 효율적인 스티칭 기법에 관한 연구이다. 먼저, 기본적으로 제공되는 번들 프로그램의 스티칭 결과물의 문제점을 찾아보고, 전문 스티칭 프로그램인 Autopano Video Pro와 Autopano Giga를 사용한 스티칭 결과를 비교 분석하여, 보다 효율적이고 완성도 높은 스티칭 기법을 찾아내는 것에 중점을 두고 연구하였다. 그 결과 번들 프로그램의 문제점으로는 수평과 수직의 왜곡, 노출과 컬러의 불일치, 그리고 매끄럽지 못한 스티칭 라인 등이 나타났으며, Autopano Video Pro와 Autopano Giga의 Automatic Horizon과 Verticals Tool로 수평과 수직을, Levels와 Color 및 Edit Color Anchors로 노출과 컬러를, 그리고 Mask 기능으로 스티칭 라인의 문제를 해결할 수 있었다. 본 연구를 바탕으로 향후 이안식 일체형 $360^{\circ}$ 카메라 촬영 영상의 효율적인 스티칭 기법으로 더욱 완성도 높은 $360^{\circ}$VR 영상 콘텐츠를 제작할 수 있을 것으로 기대한다.
본 연구는 두 개의 어안렌즈로 구성된 이안식 일체형 $360^{\circ}$ 카메라로 촬영한 영상의 효율적인 스티칭 기법에 관한 연구이다. 먼저, 기본적으로 제공되는 번들 프로그램의 스티칭 결과물의 문제점을 찾아보고, 전문 스티칭 프로그램인 Autopano Video Pro와 Autopano Giga를 사용한 스티칭 결과를 비교 분석하여, 보다 효율적이고 완성도 높은 스티칭 기법을 찾아내는 것에 중점을 두고 연구하였다. 그 결과 번들 프로그램의 문제점으로는 수평과 수직의 왜곡, 노출과 컬러의 불일치, 그리고 매끄럽지 못한 스티칭 라인 등이 나타났으며, Autopano Video Pro와 Autopano Giga의 Automatic Horizon과 Verticals Tool로 수평과 수직을, Levels와 Color 및 Edit Color Anchors로 노출과 컬러를, 그리고 Mask 기능으로 스티칭 라인의 문제를 해결할 수 있었다. 본 연구를 바탕으로 향후 이안식 일체형 $360^{\circ}$ 카메라 촬영 영상의 효율적인 스티칭 기법으로 더욱 완성도 높은 $360^{\circ}$ VR 영상 콘텐츠를 제작할 수 있을 것으로 기대한다.
This study is a study on effective stitching technique for video recorded by using a dual-lens $360^{\circ}$ camera composed of two fisheye lenses. First of all, this study located a problem in the result of stitching by using a bundled program. And the study was carried out, focusing on ...
This study is a study on effective stitching technique for video recorded by using a dual-lens $360^{\circ}$ camera composed of two fisheye lenses. First of all, this study located a problem in the result of stitching by using a bundled program. And the study was carried out, focusing on looking for a stitching technique more efficient and closer to perfect by comparatively analyzing the results of stitching by using Autopano Video Pro and Autopano Giga, professional stitching program. As a result, it was shown that the problems of bundled program were horizontal and vertical distortion, exposure and color mismatch and unsmooth stitching line. And it was possible to solve the problem of the horizontal and vertical by using Automatic Horizon and Verticals Tool of Autopano Video Pro and Autopano Giga, problem of exposure and color by using Levels, Color and Edit Color Anchors and problem of stitching line by using Mask function. Based on this study, it is to be hoped that $360^{\circ}$ VR video content closer to perfect can be produced by efficient stitching technique for video recorded by using dual-lens $360^{\circ}$ camera in the future.
This study is a study on effective stitching technique for video recorded by using a dual-lens $360^{\circ}$ camera composed of two fisheye lenses. First of all, this study located a problem in the result of stitching by using a bundled program. And the study was carried out, focusing on looking for a stitching technique more efficient and closer to perfect by comparatively analyzing the results of stitching by using Autopano Video Pro and Autopano Giga, professional stitching program. As a result, it was shown that the problems of bundled program were horizontal and vertical distortion, exposure and color mismatch and unsmooth stitching line. And it was possible to solve the problem of the horizontal and vertical by using Automatic Horizon and Verticals Tool of Autopano Video Pro and Autopano Giga, problem of exposure and color by using Levels, Color and Edit Color Anchors and problem of stitching line by using Mask function. Based on this study, it is to be hoped that $360^{\circ}$ VR video content closer to perfect can be produced by efficient stitching technique for video recorded by using dual-lens $360^{\circ}$ camera in the future.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 연구는 기본 번들 프로그램에서 스티칭 시 나타난 오류를 Autopano Video Pro와 Autopano Giga의 기능들을 사용하여 더욱 효율적이고 완성도를 높일 수 있는 스티칭 기법을 찾는 것에 중점을 두고 연구하였다. 본 연구를 통해 분석하고 완성된 결과물의 영상은 Fig.
하지만, 360˚ VR 영상 콘텐츠 제작에 있어 가장 중요한 핵심 요소인 스티칭(Stitching) 기술은 아직 완벽하지 못한 것이 현실이다. 본 연구는 일반인들도 360˚ 카메라를 이용하여 비교적 손쉽게 완성도 높은 VR 영상 콘텐츠를 제작할 수 있는 스티칭 기법을 찾아 제언하는 것이 목적이다.
본 연구는 Autopano Video Pro에서 기본적인 스티칭 과정을 자세하게 기술하지 못한 부분이 한계점으로 남았다. 하지만, 본 연구의 목적에 맞는 이안식 일체형 360˚ 카메라 영상의 효율적인 스티칭 기법을 연구하기 위해 기본 번들 프로그램의 문제점을 분석하였고, 그 문제점을 해결하기 위해 Autopano Video Pro와 Autopano Giga의 기능들을 활용하여 스티칭의 완성도를 높이고 좀 더 나은 VR 영상 콘텐츠를 제작하는 방법을 찾아 제시하였다는 데에 의의가 있다고 할 수 있다. 본 연구를 바탕으로 향후 일반인들도 효율적인 스티칭 기법을 통해 손쉽게 VR 영상 콘텐츠를 제작할 수 있게 되기를 희망한다.
가설 설정
현재 VR 콘텐츠 제작에 보편적으로 사용하는 2160p급 영상에 비해 화질이 열악하다. 둘째, 카메라 조작이 모바일 디바이스에 의존적이다. 카메라 자체만으로 단순 촬영은 가능하나 현재 촬영 장면의 모니터, 카메라 조절 등 대부분의 기능을 모바일 디바이스에 의존해야 한다.
제안 방법
기본 번들 프로그램에서 나타난 수평과 수직의 오류를 보정하기 위해 먼저, 번들 프로그램에서 사용한 똑같은 원본 영상 소스를 Autopano Video Pro로 불러와 기본 스티칭을 하였다. 그리고 연동 프로그램인 Autopano Giga로 넘어가 Automatic Horizon 기능과 Verticals Tool의 기능으로 왜곡된 수평선상의 지평선과 왜곡된 수직선상의 아파트 및 가로등을 보정한 결과물의 영상 장면은 Fig.
기본 번들 프로그램에서 스티칭 시 발생한 심 라인(Seam line)의 오류를 해결하기 위해 Autopano Giga의 Mask 기능을 사용하였고, Blending을 조정해 주었다. 그 결과 전방과 후방 카메라 렌즈로 촬영된 장면이 겹치는 심 라인(Seam line)을 좀 더 자연스럽게 Blending 처리하여 스티칭의 완성도를 높일 수 있었다.
기본 번들 프로그램인 Ricoh Theta Spherical Viewer를 사용하여 자동으로 스티칭한 결과물을 분석한 결과, 첫째, 수직과 수평, 둘째, 노출과 컬러, 셋째, 심 라인(Seam line)의 3가지 문제점을 도출할 수 있었으며, 그 결과는 다음과 같다.
본 연구의 범위로는 360˚ VR 영상 콘텐츠의 개념과 이안식 일체형 360˚ 카메라, 그리고 스티칭에 관한 선행 연구를 기반으로, 이안식 일체형 360˚ 카메라의 최초 격인 Ricoh Theta S의 촬영 영상과 기본 번들 프로그램인 Ricoh Theta Spherical Viewer를 사용한 스티칭 작업을 연구범위로 삼았다. 또한, 스티칭 작업 시 발생하는 문제점을 중점으로 분석하고, 기본 번들 프로그램의 문제점을 보완하기 위해 Kolor1)사의 Autopano Video Pro와 Autopano Giga를 사용하여 해결 방법을 연구하였다. Fig.
하지만, 아직 번들 프로그램의 스티칭은 완벽하지 않은 문제점이 있다. 연구방법으로는 Ricoh Theta Spherical Viewer의 스티칭의 문제점을 알아보고, 그 문제점을 보완하기 위해 Autopano Video Pro와 Autopano Giga를 사용하여 더 효율적으로 완성도를 높일 수 있는 스티칭 기법을 찾아보았다.
대상 데이터
본 연구를 위해 촬영한 영상 중, 노출과 컬러의 차이를 확연하게 구별할 수 있는 야외 영상으로 스티칭하고 분석한 결과물의 영상 장면은 Fig. 7과 같다.
본 연구의 대상으로는 일본 Ricoh사의 Ricoh Theta S로 촬영한 영상과 번들 프로그램인 Ricoh Theta Spherical Viewer로 스티칭한 결과물을 대상으로 하였다. 그 이유로는 Ricoh Theta S는 2013년 세계 최초로 360˚ 카메라로 출시되었고[12], 2016년에는 전 세계 360˚ 카메라 판매순위 1위를 기록하며, 널리 보급된 대중적인 360˚ 카메라라고 판단되었기 때문이다[13].
본 연구의 범위로는 360˚ VR 영상 콘텐츠의 개념과 이안식 일체형 360˚ 카메라, 그리고 스티칭에 관한 선행 연구를 기반으로, 이안식 일체형 360˚ 카메라의 최초 격인 Ricoh Theta S의 촬영 영상과 기본 번들 프로그램인 Ricoh Theta Spherical Viewer를 사용한 스티칭 작업을 연구범위로 삼았다. 또한, 스티칭 작업 시 발생하는 문제점을 중점으로 분석하고, 기본 번들 프로그램의 문제점을 보완하기 위해 Kolor1)사의 Autopano Video Pro와 Autopano Giga를 사용하여 해결 방법을 연구하였다.
본 영상은 이안식 카메라 렌즈로 촬영된 영상물로써, 전방과 후방영상이 만나는 경계선인 심 라인(Seam line)은 화면에서 B1과 F의 사이 그리고 F와 B2의 사이에 두 개4)의 심 라인(Seam line)이 생성되는 것을 확인할 수 있었다. 이는 전방과 후방에서 촬영된 영상의 경계선에서 스티칭이 잘되지 않았음이 결과적으로 나타났다고 볼 수 있다.
성능/효과
기본 번들 프로그램에서 스티칭 시 발생한 심 라인(Seam line)의 오류를 해결하기 위해 Autopano Giga의 Mask 기능을 사용하였고, Blending을 조정해 주었다. 그 결과 전방과 후방 카메라 렌즈로 촬영된 장면이 겹치는 심 라인(Seam line)을 좀 더 자연스럽게 Blending 처리하여 스티칭의 완성도를 높일 수 있었다.
기본 번들 프로그램에서 스티칭 시 발생한 영상의 수평과 수직의 오류를 Autopano Giga의 Automatic Horizon 기능을 사용하여 자동으로 왜곡된 수평을 보정할 수 있었으며, 그리고 Verticals Tool의 기능을 사용하여 왜곡된 수직을 자동으로 보정할 수 있었다. 또한, 두 가지 기능은 왜곡된 영상의 수평과 수직 부분을 정밀하게 수동으로도 조작할 수 있었다.
기본 번들 프로그램에서 스티칭 작업 시 발생한 노출 및 컬러의 오류를 보정하기 위해 먼저, 노출 부분에는 Autopano Giga의 Levels 기능을 통해 영상의 RGB Channel과 Gamma 값을 조정하여 노출의 오류를 보정할 수 있었고, 컬러 부분에서는 Autopano Video Pro의 Color 기능을 통해 전체적인 컬러를 설정할 수 있었으며 또한, Autopano Giga의 Edit Color anchors 기능에서 자동으로 컬러를 보정할 수 있었다.
먼저, 번들 프로그램으로 스티칭한 영상의 수평과 수직을 살펴본 결과, 화면의 중앙 부분3) F와 좌우 부분 B1, B2의 화면 즉, 전체 화면에서 가로축에 위치한 지평선의 수평이 왜곡되어 나타났으며 또한, 화면의 B1에 위치한 가로등과 B2에 위치한 아파트가 기울어진 모습으로 영상의 수직이 왜곡되어 나타났다. 이를 F와 B1, B2가 만나는 부분을 확대한 C1과 C2의 이미지를 통해 좀 더 확연하게 구별할 수 있었다.
번들 프로그램에서 스티칭한 영상의 노출과 컬러를 분석한 결과, 전방 카메라 렌즈에 촬영된 영상 F 부분과 후방 카메라 렌즈에 촬영된 영상 B1, B2에서 노출과 컬러가 다소 다르게 나타났으며, F와 B1, B2가 만나는 부분을 확대한 C1과 C2의 이미지를 통해 좀 더 확연하게 구별할 수 있었다. 이는 태양 또는, 조명의 위치에 따라 노출의 영향을 많이 받는 것으로 분석되었고, 컬러 역시 노출에 따라 다르게 변화된 것을 확인할 수 있었다.
후속연구
본 연구는 Autopano Video Pro에서 기본적인 스티칭 과정을 자세하게 기술하지 못한 부분이 한계점으로 남았다. 하지만, 본 연구의 목적에 맞는 이안식 일체형 360˚ 카메라 영상의 효율적인 스티칭 기법을 연구하기 위해 기본 번들 프로그램의 문제점을 분석하였고, 그 문제점을 해결하기 위해 Autopano Video Pro와 Autopano Giga의 기능들을 활용하여 스티칭의 완성도를 높이고 좀 더 나은 VR 영상 콘텐츠를 제작하는 방법을 찾아 제시하였다는 데에 의의가 있다고 할 수 있다.
하지만, 본 연구의 목적에 맞는 이안식 일체형 360˚ 카메라 영상의 효율적인 스티칭 기법을 연구하기 위해 기본 번들 프로그램의 문제점을 분석하였고, 그 문제점을 해결하기 위해 Autopano Video Pro와 Autopano Giga의 기능들을 활용하여 스티칭의 완성도를 높이고 좀 더 나은 VR 영상 콘텐츠를 제작하는 방법을 찾아 제시하였다는 데에 의의가 있다고 할 수 있다. 본 연구를 바탕으로 향후 일반인들도 효율적인 스티칭 기법을 통해 손쉽게 VR 영상 콘텐츠를 제작할 수 있게 되기를 희망한다.
질의응답
핵심어
질문
논문에서 추출한 답변
평면 영상과 비교한 360˚ 영상의 장점은?
360˚ VR 영상은 머리의 위치를 분석하는 자이로 센서가 탑재된 HMD를 착용한 후 고개를 움직이며 주변을 둘러보듯 시청할 수 있다. 카메라 뒤에 숨은 제작자의 의도에 끌려 수동적으로 정보를 받아들이던 평면 영상에 비해 360˚ 영상은 편집되거나 프레이밍 되지 않은 영상을 시청자가 원하는 부분만 선택적으로 보며 즐길 수 있다[3].
일체형 360˚ 카메라의 문제점은?
하지만 몇 가지 문제점이 있다. 첫째, 동영상 화질이 열악하다는 단점이다. 대부분 일체형 카메라는 HD(High Definition) 화질로 동영상 녹화를 지원한다. 현재 VR 콘텐츠 제작에 보편적으로 사용하는 2160p급 영상에 비해 화질이 열악하다. 둘째, 카메라 조작이 모바일 디바이스에 의존적이다. 카메라 자체만으로 단순 촬영은 가능하나 현재 촬영 장면의 모니터, 카메라 조절 등 대부분의 기능을 모바일 디바이스에 의존해야 한다. 마지막으로 콘텐츠의 완성도가 떨어진다. 특히 일부 카메라의 경우 VR 콘텐츠 제작의 핵심 요소 중 하나인 연결 작업이 불안하다[5]. 현재 이러한 문제점을 보완한 일체형 카메라가 속속 출시되고 있으며, Ricoh Theta 역시 올해 9월 4K 동영상이 촬영 가능한 Ricoh Theta V를 새롭게 출시했다[6].
VR 영상 콘텐츠란?
VR 영상 콘텐츠는 VR(virtual reality)의 기술로 만들어진 영상 콘텐츠로써 가상공간에 참여하여 공간감을 느끼고 입체적인 영상을 감상할 수 있는 콘텐츠이다[1]. 가장 큰 특징은 몰입감과 상호작용성이라 할 수 있다[2].
참고문헌 (15)
L. G. Lee & J. H. Chung. (2017). A Study on Visual Mise-en-Scene of VR Animation . Journal of Digital Convergence, 15(9), 408.
L. G. Lee & J. H. Chung. (2016). A Study on Visual and Auditory Inducement of VR Image Contents and the Inducement Components of for Immersion Improvement. Journal of Digital Convergence, 14(11), 496.
K. S. Kim & Y. H. Lee. (2016). Comparison and Usage Analysis of 360 Degree VR Video Rigs. The Society of Modern photograpty & Video, 19(1), 90.
J. H. Lee & S. W. Jung. (2016). A Comparison and Analysis of 360-degree Camera Devices. THE INSTITUTE OF ELECTRONICS ENGINEERS OF KOREA, 2016(6), 953.
C. H. Kim. (2016). A Comparative Study for Virtual Reality $360^{\circ}$ Contents Shooting Equipments Based on Real World. The Korean Society Of Broad Engineers, 21(5), 716-717.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.