시청자의 시야를 콘텐츠로 가득 채워주어 강한 몰입감을 제공하는 다면 영상 제작을 위해서는 다수의 카메라를 이용한 촬영이 요구된다. 이러한 촬영 시나리오에서는 다수의 카메라에 의해 촬영되고 있는 화면들이 하나의 콘텐츠로써 어떻게 보여질지 혹은 실제 상영관에서 어떻게 보여질지 확인하는 모니터링 과정이 매우 중요하다. 기존의 특수 포맷 영상 촬영에 관한 연구들은 모두 스테레오스코픽 입체 영상이나 파노라마 영상 등 각자의 목적에 집중하여 이루어져 왔으며, 최근 확산되고 있는 세 개의 면을 이용한 다면 상영관에 최적화된 콘텐츠 제작에 관한 연구는 부재하다. 본 논문에서는 세 대의 카메라를 제어할 수 있는 리그와 다면 영상 포맷에 특화된 모니터링 소프트웨어를 이용한 다면 콘텐츠 현장 촬영 시스템을 제안한다. 제안된 리그는 카메라 간의 각도를 정밀하게 조절하여 세 대의 카메라로 넓은 화각을 촬영할 수 있으며, 원격 통신을 통해 모니터링 소프트웨어와 연동된다. 모니터링 소프트웨어는 실시간으로 들어오는 영상들을 자동으로 정렬해주며, 수신 받은 리그의 각도에 따라 영상의 정렬이 자동으로 업데이트된다. 또한 촬영 시에 얻어진 정렬 정보를 후반작업에 사용할 수 있게 함으로써, 제작 효율을 크게 향상시킨다.
시청자의 시야를 콘텐츠로 가득 채워주어 강한 몰입감을 제공하는 다면 영상 제작을 위해서는 다수의 카메라를 이용한 촬영이 요구된다. 이러한 촬영 시나리오에서는 다수의 카메라에 의해 촬영되고 있는 화면들이 하나의 콘텐츠로써 어떻게 보여질지 혹은 실제 상영관에서 어떻게 보여질지 확인하는 모니터링 과정이 매우 중요하다. 기존의 특수 포맷 영상 촬영에 관한 연구들은 모두 스테레오스코픽 입체 영상이나 파노라마 영상 등 각자의 목적에 집중하여 이루어져 왔으며, 최근 확산되고 있는 세 개의 면을 이용한 다면 상영관에 최적화된 콘텐츠 제작에 관한 연구는 부재하다. 본 논문에서는 세 대의 카메라를 제어할 수 있는 리그와 다면 영상 포맷에 특화된 모니터링 소프트웨어를 이용한 다면 콘텐츠 현장 촬영 시스템을 제안한다. 제안된 리그는 카메라 간의 각도를 정밀하게 조절하여 세 대의 카메라로 넓은 화각을 촬영할 수 있으며, 원격 통신을 통해 모니터링 소프트웨어와 연동된다. 모니터링 소프트웨어는 실시간으로 들어오는 영상들을 자동으로 정렬해주며, 수신 받은 리그의 각도에 따라 영상의 정렬이 자동으로 업데이트된다. 또한 촬영 시에 얻어진 정렬 정보를 후반작업에 사용할 수 있게 함으로써, 제작 효율을 크게 향상시킨다.
Filming using multiple cameras is required for the production of the multi-screen content. It can fill the viewer's field of view (FOV) entirely to provide an increased sense of immersion. In such a filming scenario, it is very important to monitor how images captured by multiple cameras are display...
Filming using multiple cameras is required for the production of the multi-screen content. It can fill the viewer's field of view (FOV) entirely to provide an increased sense of immersion. In such a filming scenario, it is very important to monitor how images captured by multiple cameras are displayed as a single content or how the content will be displayed in an actual theatre. Most recent studies on creating the content of special format have been focused on their own purposes, such as stereoscopic and panoramic images. There is no research on content creation optimized for theatres that use three screens that are spreading recently. In this paper, we propose a novel content production system with a rig that can control three cameras and monitoring software specialized for multi-screen content. The proposed rig can precisely control the angles between the cameras and capture wide angle of view with three cameras. It works with monitoring software via remote communication. The monitoring software automatically aligned the content in real time, and the alignment of the content is updated according to the angle of camera rig. Futher, the producion efficiency is greatly improved by making the alignment information available for post-production.
Filming using multiple cameras is required for the production of the multi-screen content. It can fill the viewer's field of view (FOV) entirely to provide an increased sense of immersion. In such a filming scenario, it is very important to monitor how images captured by multiple cameras are displayed as a single content or how the content will be displayed in an actual theatre. Most recent studies on creating the content of special format have been focused on their own purposes, such as stereoscopic and panoramic images. There is no research on content creation optimized for theatres that use three screens that are spreading recently. In this paper, we propose a novel content production system with a rig that can control three cameras and monitoring software specialized for multi-screen content. The proposed rig can precisely control the angles between the cameras and capture wide angle of view with three cameras. It works with monitoring software via remote communication. The monitoring software automatically aligned the content in real time, and the alignment of the content is updated according to the angle of camera rig. Futher, the producion efficiency is greatly improved by making the alignment information available for post-production.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
근래에는 양안시차의 원리를 이용해 영상에 깊이감을 주어 입체감을 느낄 수 있게 하는 스테레오스코픽 3D 영화들이 개봉하기도 했다. 또한, 기존 30fps였던 영화의 프레임 레이트를 60fps까지 높인 High Frame Rate(HFR) 상영 시스템도 선보여 져 영상 속 움직 임을 보다 현실감 있게 제공하고자 하였다. 이러한 노력들은 모두, 시청자가 마치 영상 속에 실제로 들어가 있는 듯한 몰입감을 영상매체를 통해 제공하기 위한 것이 었다.
본 논문에서 제안한 시스템의 영상 정렬 기능의 사용성에 대해 고민해보았다. 영상 정 렬을 수행하기 위한 필수적 인 과정은 영상 간의 대응관계를 찾는 것이며, 이를 달성하기 위한 접근법으로는 크게 세 가지가 있다.
본 논문에서는 다면 콘텐츠 제작 파이프라인을 고려한 현장 촬영시스템을 제안했다. 제안된 시스템은 세 대의 카메라를 사용하는 전용 리그와 모니터링 소프트웨어로 구성되어 있으며, 두 가지가 서로 연동되어 하나의 시스템으로동작한다.
촬영된 영상들은 컷 별로 편집하고, 이것들을 접합하여 하나의 콘텐츠로 구성한 뒤에 색 보정 및 마스터 링을 거쳐 최종 배포를 하게 된다. 본 논문에서는 이러한 과정으로 제작되는 다면 콘텐츠를 위해 효과적인 현장 촬영 시스템을 제안한다. 세 대의 카메라로 넓은 화각의 고품질 영상을 촬영하기 위한 전용 리그는 촬영 상황에 맞도록 카메라 간의 각도를 정밀하게 조절할 수 있다.
최근에 소개된 ScreenX [1]와 Escape ⑵는 상영관의 양 쪽 벽면에 콘텐츠를 투사함으로써 영화관람객들에게 보다 몰입감있는 콘텐츠를 제공하기 시작했다. 본 논문은 ScreenX 상영관처 럼 세 개의 면으로 이루어진 다면 상영 환경에 적합한 콘텐츠를 제작하기 위한 시스템을 제안한다.
제안 방법
하지만특징점 탐색에 잡음이 존재할 뿐만 아니라 카메라 간의 시차가 커지거나 장면의 조건에 따라 매칭 오류가 빈번하게 발생할 수 있다. 둘째는 본 논문에서 제안하는 체스보드를 이용한 대응점 매칭 방식이다. 체스보드는 영상 정렬을 위해 본 패턴을 촬영해야하는 번거로움이 존재하나, 인식 정확도가 매우 높으며 잡음이나 매칭 오류가 발생하지 않아 실제 현장에서 사용하기 에 용이하다.
나타낸다. 또한, 체스보드의 대응점들이 만드는 가장 큰 사각형의 꼭지점들의 평균 대각선 길이를구한 뒤, 정렬 되어야 하는 영상이 정면 영상과 SC시e 비율이 같아지도록 만드는 S 값을 계산하였다.
이를방지하기 위해 본 논문에서 제안하는 모니 터 링 시스템은 촬영하고 있는 콘텐츠가 실제 상영관 환경에서 어떻게 보일지 확인할 수 있도록 시뮬레이션 기능을 제공한다. 먼저, 우리는 가상 환경에서 상영관을 모델링하기 위해 실제 상영관들의 수치 정보를 기반으로 데이터베이스를 구축하였다. Figure 5는 이것에 사용된 수치들을 나타낸 것이다.
것이다. 본 논문에서 제안하는 다면 콘텐츠 현장 촬영 시스템은 세 대의 카메라를 위한전용 리그와이것을실시간으로모니터링 할 수 있는 소프트웨어로 구성되어 있다. 다면 콘텐츠 전용 촬영 리그는 리그에 연결된 카메라 사이의 각도를 조절할 수 있으며, 이 각도 정보는 와이파이(Wi-Fi)를 통해 실시간으로 모니 터 링 소프트웨어로 전송된다.
본 논문에서 제안하는 방법은 C++을 기반으로 구현되었고, 모든 과정들은 Intel Xeon E5-1630 3.70GHz CPU, 16GB memory, Nvidia Quadro K4200 graphic chipset 시스템 환경 에서 진행되었다. Figure 9는 제안된 시스템의 장비 구성을 나타낸다.
필요하다. 본 논문에서 제안하는 시스템은 실시간으로 촬영되고 있는 카메라 입력 신호 대신에 플레이백 장치를 통해 녹화된 영상을 같은 방식으로 모니터 링 할수 있다. Figure 8은 플레이 백을 수행하는 구조도와 다면 콘텐츠 플레이백을 위한 이미지 포맷을 나타낸다.
Rich360 [19]은 파노라마 콘텐츠를 구성하는 카메라 간의 보정 정보를 이용해 구형의 투사면을 왜곡시 킴으로써, 시차로 인한 시각적 에러를 최소화하였다. 본 논문에서 제안하는 영상 간 정렬 방법은 앞서 언급한 연구들과는 달리 비선형적인 이미지 변형을 수행하지 않는다. 본 시스템에서의 정렬 기술은 최종 영상을 만들어내기 위한 과정이 아닌 실제 촬영현장에서의 모니터링을 수행하기 위한 과정이기 때문에 보다 단순하고 빠른 정 렬을 수행하는 것에 초점을 둔다.
영상 정렬을 위한 첫 단계로, 정 렬하고자 하는 두 카메라들이 동시에 촬영하고 있는 부분에 체스보드를 배치시켜 영상 간 대응 관계를 추정한다 (Figure 6). 본 논문에서는 5 x 5 크기 의 체스보드를 사용하여 총 16개의 대응점을 찾고, 이 모든 대응점들의 위치값들의 평균값을 구한 뒤, 두 영상의 위치 평균값이 최소가 되도록 하기 위한 T 값을 계산하였다.
본 논문의 주요 공헌점으로, 첫째는 세 대의 카메라를 이용한 촬영 시나리오에 특화된 새로운 다면 콘텐츠 현장 촬영 시스템을 제안한다. 본 시스템은 전용 리그뿐만 아니라 실시간 모니터링과 플레이백, 시뮬레이션이 가능한 소프트웨어를 포함한다.
Figure 3는 세 개의 면으로 구성된 다면 콘텐츠 촬영을 위한 전용 리그와 원격 컨트롤러이다. 본 리그는 슬라이드 방식으로 카메라 사이의 각도를 0도에서 90도 사이의 값으로 조절 가능하며, 최초 가동 시에 calibration을 수행하여 영점을 설정한다. 원격 컨트롤러는 RF(Radio Frequency) 신호를 이용해 리그의 각도를 조절하고, 와이파이를 기반으로 조절된 각도 정보를 모니터 링 컴퓨터와 송수신하도록 설계되었다.
본 시스템은 전용 리그뿐만 아니라 실시간 모니터링과 플레이백, 시뮬레이션이 가능한 소프트웨어를 포함한다. 둘째, 모니터링 소프트웨어의 정렬 기술은 전용 리그의 각도 정보와 연동되어 자동적으로 정렬 부분이 업데이트되며, 정렬 정보를 통해 후반작업의 효율성을 증대시킬 수 있다.
Figure 9는 제안된 시스템의 장비 구성을 나타낸다. 비디오스트림은 SDI 케이블과 Decklink 카드를 통해 입력 받았고, 모니터링과 플레이백 모드를 위한 PC를 각각 구성하였다. 플레이백모드를 위한 영상은 Decklink Studio 4k를 통해 전달되 며 , 모니 터링 모드에는 Blackmagic Design Decklink Quad가 사용된다.
본 리그는 슬라이드 방식으로 카메라 사이의 각도를 0도에서 90도 사이의 값으로 조절 가능하며, 최초 가동 시에 calibration을 수행하여 영점을 설정한다. 원격 컨트롤러는 RF(Radio Frequency) 신호를 이용해 리그의 각도를 조절하고, 와이파이를 기반으로 조절된 각도 정보를 모니터 링 컴퓨터와 송수신하도록 설계되었다.
예를 들어, 옆 화면에 배치한 주요 오브젝트가 보이지 않게 되어스토리를 이끌어가도록 연출하는데 문제가 생길 수 있다. 이를방지하기 위해 본 논문에서 제안하는 모니 터 링 시스템은 촬영하고 있는 콘텐츠가 실제 상영관 환경에서 어떻게 보일지 확인할 수 있도록 시뮬레이션 기능을 제공한다. 먼저, 우리는 가상 환경에서 상영관을 모델링하기 위해 실제 상영관들의 수치 정보를 기반으로 데이터베이스를 구축하였다.
제안했다. 제안된 시스템은 세 대의 카메라를 사용하는 전용 리그와 모니터링 소프트웨어로 구성되어 있으며, 두 가지가 서로 연동되어 하나의 시스템으로동작한다. 기존에 존재하지 않던 다수 영상 촬영 시나리오에 최적화된 모니 터링을 수행하기 위해 영상 정렬을 자동으로 수행하며, 실제 상영관에서의 상영 시뮬레이션도 제공함으로써 다면 콘텐츠 촬영에 경험이 부족한 제작자일지 라도 촬영 결과를 보다 실제적으로 확인하며 콘텐츠를 개선할 수 있도록 도와주었다.
또한, 다면 콘텐츠 후반 작업의 필수적 인단계 인접합 과정 에활용될 수있는정 렬정보를 촬영과정에서 미 리 결정하여 전달함으로써 제작 효율을 증진시킬 수 있다. 제안한 시스템을 실제 콘텐츠 제작에 적용하여 사용자들과의 피드백 과정을 거치면서 지속적으로 시스템을 개선했다. 결과적으로, 이 러한우리의 노력은 다면 콘텐츠의 품질과 제작 효율성을 향상 시 킬 수 있었다.
최소각에서 각각 정렬을 수행한다. 최대각과 최소 각에서의 丁와 S 값을 구한 뒤, 선형 보간법을 이용해 각도마다의 T 와 S 값을 계산한다. 와이파이를 통해 리그의 각도가 실시간으로 모니터 링 소프트웨어로 송신되기 때문에 이것에 맞추어 미리 계산해놓은 丁와 S 값을 적용하면, 리그의 각도 변화와 실시간으로 연동되어 정렬되는 모니터링 화면을 얻을 수 있다.
효과적 인 모니 터 링을 위해 본 시스템에서는 scaling S와 trans lation 工을 이용한 사전 영상 정렬을 수행하여, 세 개의 영상을 하나의 디스플레이에서 확인할 수 있게 한다. 정면 카메라로 들어오는 영상은 다면 상영관의 정면 스크린을 구성하여 영화의 주된 스토리를 이끌어 가는 부분이기 때문에 좌측면과 우측면 카메라 영상을 정면 카메라에 맞추어 정렬하게 된다.
대상 데이터
비디오스트림은 SDI 케이블과 Decklink 카드를 통해 입력 받았고, 모니터링과 플레이백 모드를 위한 PC를 각각 구성하였다. 플레이백모드를 위한 영상은 Decklink Studio 4k를 통해 전달되 며 , 모니 터링 모드에는 Blackmagic Design Decklink Quad가 사용된다.
성능/효과
정면 카메라의 영상은 스크린에, 좌측 카메라는 좌측 벽면, 우측 카메라는 우측 벽면에 각각 출력된다. 결과적으로 하나의 디스플레이를 통해 세 대의 카메라 촬영 결과를 한 눈에 파악할 수 있으며, 실제 상영관 도면을 기반으로 작성된 데이터베이스에서 특정 상영관을 선택하여 해당 상영관의 구조에 따라 현재 촬영되는 장면이 어떻게 보이는지 확인할 수 있다.
제안한 시스템을 실제 콘텐츠 제작에 적용하여 사용자들과의 피드백 과정을 거치면서 지속적으로 시스템을 개선했다. 결과적으로, 이 러한우리의 노력은 다면 콘텐츠의 품질과 제작 효율성을 향상 시 킬 수 있었다.
제안된 시스템은 세 대의 카메라를 사용하는 전용 리그와 모니터링 소프트웨어로 구성되어 있으며, 두 가지가 서로 연동되어 하나의 시스템으로동작한다. 기존에 존재하지 않던 다수 영상 촬영 시나리오에 최적화된 모니 터링을 수행하기 위해 영상 정렬을 자동으로 수행하며, 실제 상영관에서의 상영 시뮬레이션도 제공함으로써 다면 콘텐츠 촬영에 경험이 부족한 제작자일지 라도 촬영 결과를 보다 실제적으로 확인하며 콘텐츠를 개선할 수 있도록 도와주었다. 또한, 다면 콘텐츠 후반 작업의 필수적 인단계 인접합 과정 에활용될 수있는정 렬정보를 촬영과정에서 미 리 결정하여 전달함으로써 제작 효율을 증진시킬 수 있다.
본 시스템은 전용 리그뿐만 아니라 실시간 모니터링과 플레이백, 시뮬레이션이 가능한 소프트웨어를 포함한다. 둘째, 모니터링 소프트웨어의 정렬 기술은 전용 리그의 각도 정보와 연동되어 자동적으로 정렬 부분이 업데이트되며, 정렬 정보를 통해 후반작업의 효율성을 증대시킬 수 있다.
가장 많은 사용자의 시간과 노력을 요구하지만 조명 및 촬영 환경 문제로 인해 체스 보드를 사용하지 못할 경우 대안이 될 수 있다. 사용자의 편의성만큼 시스템의 안정성이 중요시되는 곳이 실제 현장이기 때문에 제안된 시스템은 체스보드를 이용한 방식뿐만 아니라 사용자 수동 입력기반의 인터페이스도함께 제공하여, 여러가지 변수에 적절히 대응할 수 있도록 하였다.
발전해왔다. 흑백으로 시작되어 점차 풍부한 컬러감을 제공하였고, 디스플레이의 크기는 점차 커졌으며, 화질도 지속적으로 향상되어왔다. 근래에는 양안시차의 원리를 이용해 영상에 깊이감을 주어 입체감을 느낄 수 있게 하는 스테레오스코픽 3D 영화들이 개봉하기도 했다.
후속연구
모니터링 과정에서 이러한 시차로 인한 영상불일치를 최소화하기 위해 rotation 혹은 비선형 와핑을 이용한 접합을 수행한다면 오히려 후반 작업 효율을 떨어뜨릴 수 있다. 그렇기 때문에 본 논문에서 제안하는 시스템에서는 丁와 S 값들만을 이용하며, 이 값들을 촬영 시에 자동으로 기록하여 후반작업에서 활용할 수 있도록 전달한다. 전달받은 값들은 접합의 초기값으로 사용되며, 세부적인 조정을 통해 최종 콘텐츠를 완성한다.
참고문헌 (19)
J. Lee, S. Lee, Y. Kim, and J. Noh, "ScreenX: Public immersive theatres with uniform movie viewing experiences," IEEE Transactionson Visualization and Computer Graphics, vol. 23, no. 2, pp. 1124-1138, 2016.
S. Yi and N. Ahuja, "An omnidirectional stereo vision system using a single camera," in Pattern Recognition, 2006. ICPR 2006.18th International Conferenceon, vol.4. IEEE, 2006, pp. 861-865.
S. Heinzle, P. Greisen, D. Gallup, C. Chen, D. Saner, A. Smolic, A. Burg, W. Matusik, and M. Gross, "Computational stereo camera system with programmable control loop," in ACM Transactions on Graphics (TOG), vol. 30, no. 4. ACM, 2011, p. 94.
A. Weffers-Albu, S. de Waele, W. Hoogenstraaten, and C. Kwisthout, "Immersive tv viewing with advanced ambilight," in Consumer Electronics (ICCE), 2011 IEEE International Conference on. IEEE, 2011, pp. 753-754.
A. Ghosh, M. Trentacoste, H. Seetzen, and W. Heidrich, "Real illumination from virtual environments," in ACM SIGGRAPH 2005 Sketches. ACM, 2005, p. 41.
C. Cruz-Neira, D. J. Sandin, and T. A. DeFanti, "Surround-screen projection-based virtual reality: the design and implementation of the cave," in Proceedings of the 20th annual conference on Computer graphics and interactive techniques. ACM, 1993, pp. 135-142.
A. Simon and M. Gobel, "The i-cone/spl trade/-a panoramic display system for virtual environments," in Computer Graphics and Applications, 2002. Proceedings. 10th Paci？c Conference on. IEEE, 2002, pp. 3-7.
M. McGinity, J. Shaw, V. Kuchelmeister, A. Hardjono, and D. D. Favero, "Avie: a versatile multi-user stereo 360 interactive vr theatre," in Proceedings of the 2007 workshop on Emerging displays technologies: images and beyond: the future of displays and interacton. ACM, 2007, p. 2.
P. Mills, A. Sheikh, G. Thomas, and P. Debenham, "BBC surround video," 2011. [Online]. Available: http://www.bbc.com/news/magazine-22315685
B. R. Jones, H. Benko, E. Ofek, and A. D. Wilson, "IllumiRoom: peripheral projected illusions for interactive experiences," in Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. ACM, 2013, pp. 869-878.
B. Jones, R. Sodhi, M. Murdock, R. Mehra, H. Benko, A. Wilson, E. Ofek, B. MacIntyre, N. Raghuvanshi, and L. Shapira, "Roomalive: Magical experiences enabled by scalable, adaptive projector-camera units," in Proceedings of the 27th annual ACM symposium on User interface software and technology. ACM, 2014, pp. 637-644.
W.-Y. Lin,S. Liu,Y. Matsushita, T.-T. Ng, and L.-F. Cheong, "Smoothly varying af？ne stitching," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2011, pp. 345-352.
S. Li, L. Yuan, J. Sun, and L. Quan, "Dual-feature warping-based motion model estimation," in Proceedings of the IEEE International Conference on Computer Vision, 2015, pp. 4283-4291.
C.-H. Chang, Y. Sato, and Y.-Y. Chuang, "Shape-preserving half-projective warps for image stitching," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014, pp. 3254-3261.
C.-C. Lin, S. U. Pankanti, K. N. Ramamurthy, and A. Y. Aravkin, "Adaptive as-natural-as-possible image stitching," in Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition, 2015, pp. 1155-1163.
H.-Y. Shum and R. Szeliski, "Systems and experiment paper: Construction of panoramic image mosaics with global and local alignment," International Journal of Computer Vision, vol. 36, no. 2, pp. 101-130, 2000.
F. Perazzi, A. Sorkine-Hornung, H. Zimmer, P. Kaufmann, O. Wang, S. Watson, and M. Gross, "Panoramic video from unstructured camera arrays," Computer Graphics Forum, vol. 34, no. 2, pp. 57-68, 2015.
J. Lee, B. Kim, K. Kim, Y. Kim, and J. Noh, "Rich360: optimized spherical representation from structured panoramic camera arrays," ACM Transactions on Graphics (TOG), vol. 35, no. 4, p. 63, 2016.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.