[논문]실감영상 구현을 위한 다면영상 정합보정 및 화면구성에 대한 연구

문대혁

doi:10.14400/jdc.2017.15.12.531

[국내논문] 실감영상 구현을 위한 다면영상 정합보정 및 화면구성에 대한 연구
A Study on Registration Correction and Layout for Multi-view Videos Implementation 원문보기

디지털융복합연구 = Journal of digital convergence, v.15 no.12, 2017년, pp.531 - 541

초록
AI-Helper

다면영상을 이용한 실감영상은 스크린이나 다면으로 구성된 디스플레이에서 펼쳐지는 내용이 사실적으로 보여지게 제작되어지고 있다. 이러한 다면영상은 전시를 위한 기획영상에서 주로 사용되었으나 Screen X와 같은 시스템을 통해 영화와 같은 스토리를 전달할 수 있는 포맷으로 재조명 되고 있다. 이번 연구는 3대의 줌렌즈가 장착된 HD급 방송용 디지털 비디오를 이용해 Screen X와 같은 방법으로 인물을 중심으로 한 전경 장면부터 클로즈업 장면까지 촬영한 후 다면 영상 정합보정을 통해 발생되는 문제점을 분석 파악하였다. 촬영 방법과 장비를 보완하면 다면영상이란 포맷이 스토리와 정보 전달이 가능한 매체임을 제시하였고 향후 방송용 줌렌즈를 이용한 촬영보다 표준렌즈 기반의 시네마급 카메라를 이용한 양질의 다면영상 콘텐츠를 제작할 수 있도록 기술적 연구와 보완이 필요하다.

Abstract ▼ AI-Helper

Realistic videos using multi-view videos are created so that the contents shown on multi-view displays or screens look realistic. These images have been mostly used for special videos for exhibition, but, recently, systems such as Screen X have given rise to multi-view images as a format for storytelling contents such as movies. This study used HD-level broadcasting digital video camera with three zoom lenses for shooting wide to close-up shots focusing on a person, in the same way as Screen X, and identified and analyzed problems found during multi-view image registration correction. The results of this study suggested, provided the shooting technique and equipment are improved, the multi-view format can be used for conveying stories and information. Future research will need to investigate and supplement relevant techniques that will enable production of high-quality multi-view image contents by using a cinema-grade camera with standard lenses, instead of using broadcasting-grade zoom lenses.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그러면 3대의 디스플레이와 영상서버, 싱크서버를 병렬로 연결한 3면 영상 상영을 위한 구성방법에 대해 알아보겠다. [Fig.
특히 다면영상 제작 시 발생되는 화면과 화면패널 사이의 이음새 부분에서 발생 되는 이미지 왜곡현상을 스티칭(stitching)작업을 통한 정합 보정의 가능 범위를 알아본다. 더불어 이를 통해 Screen X와 같은 포맷이 스토리를 전달하는 영화나 콘텐츠 화면구성의 범위를 알아보기로 한다.
이번 연구는 HD급 방송용 카메라 3대를 이용하여 다면영상을 구현 및 정합 보정 방법에 대해 알아보았다. 다면영상이 주는 시원한 개방감은 스티칭 작업을 통해 정합보정을 수행하여도 발생되는 왜곡부분마저 단점이라여겨지지 않았다.
’일 것이다[2]. 이번 연구는 시네라마 시스템과 Screen X를 비교 분석 하고 동시에 제작 방법의 공통점을 알아보며 제작 시 발생되는 다양한 문제점의 해결방안을 알아보기로 한다. 특히 다면영상 제작 시 발생되는 화면과 화면패널 사이의 이음새 부분에서 발생 되는 이미지 왜곡현상을 스티칭(stitching)작업을 통한 정합 보정의 가능 범위를 알아본다.
이번 연구는 시네라마 시스템과 Screen X를 비교 분석 하고 동시에 제작 방법의 공통점을 알아보며 제작 시 발생되는 다양한 문제점의 해결방안을 알아보기로 한다. 특히 다면영상 제작 시 발생되는 화면과 화면패널 사이의 이음새 부분에서 발생 되는 이미지 왜곡현상을 스티칭(stitching)작업을 통한 정합 보정의 가능 범위를 알아본다. 더불어 이를 통해 Screen X와 같은 포맷이 스토리를 전달하는 영화나 콘텐츠 화면구성의 범위를 알아보기로 한다.

제안 방법

그러나 영화산업은 와이드 스크린 영화를 선호하는 관객들의 뜻을 거스를 순 없었다. 35mm 필름을 두 배로키운 70mm 필름을 사용한 고 예산 와이드 스크린 영화를 만들기 시작했다. 비록 화상은 시네라마처럼 넓지는 않았지만 화질이 아주 선명하고 거대했다.
중복된부분을 자세히 보면 이미지의 위치 값, 기울기, 크기 등의 차이를 발견 할 수 있으며 약간의 렌즈 왜곡현상도 발견할 수 있다. Adobe After Effects의 mask 기능을 이용하여 A 와 C 화면을 B 화면에 맞추어 자르고, transform 의 position, rotation, scale 값을 조절하여 1차 스티칭 작 업을 실시한다. transform을 통한 보정작업의 한계가 발생되면 특수 효과의 한 종류인 mesh morph 플러그인을 [Fig.
시네라마 시스템이나 Screen X 에서도 발생되었던 문제들이다. 이러한 현상을 최소화한 다면영상 구현을 위해서는 왜곡 현상을 보정하고 더불어 세 대의 카메라로 촬영된 화면을 이어 붙이기 위한 ‘스티칭’이라는 작업을 해줘야 한다

다면영상 촬영 시 발생된 왜곡현상과 정합과정을 위해 이번 실험에 사용된 소프트웨어는 Adobe After Effects, Adobe Premier Pro CC을 이용하여 촬영된 영상의 스티칭 작업과 최종 영상물을 제작하였다. Adobe After Effects를 실행시키고 Composition Settings의 값을 5,760 x 1,080 pixels, 즉 FHD급 사이즈 3개 영상을 나란히 배열해 놓은 해상도 이며 촬영 시 셋업 된 Frame Rate (24 fps), 픽셀 종횡비(정사각형), 지속시간 등도 동일하게 설정한다.
8]과 같이 3개의 화면 패널 사이의 이음새는 일반적으로 감추지는 못하고 상영 되었다. 이를 보완하기 위해 촬영 시 화면이 겹치는 부분에 나무와 같은 중요하지 않은 물건을 구성하고 배우를 중앙에 배치하여 연출하였다. 또한 필름 중 하나가 망가지면 동기화 유지를 위해 다른 두 필름과 사운드 트랙 필름을 잘라내야 했다[8].
Screen X와 같은 다면영상은 1952년 Fred Waller가 개발한 시네라마 시스템과 유사한 부분을 발견할 수 있다. 이번 실험 환경은 Cinerama 시스템과 Screen X의 제작 환경을 응용하여 방송용 디지털 카메라를 이용한 촬영과 스티칭 작업 과정을 실험을 통해 알아보고자 한다. 실험에 사용된 카메라는 Sony PXW-X200이며 3대를 나란히 배치해 화각을 150∼180도에 이르도록 촬영하며 특히 인물크기에 따른 장면을 연출하여 스토리 전달 시 화면 구성의 가능성과 한계점을 알아본다[Fig.
카메라 수평을 유지하며 각 카메라의 촬영 포맷, White Balance, Gain, Iris, Zoom 위치 값 등을 동일하게셋업 한다. 이러한 부분 중 한 부분이라도 설정 값이 다르면 다면영상 구현 시 색감 차와 화면크기가 달라져 스티칭 작업이 힘들어진다.
이번 실험은 Adobe 계열의 Non Linear editing system인 Premiere Pro CC를 이용하여 편집을 수행하였 다. 프로젝트 생성 후 Sequence Settings (5760x1080 pixels, 24 frames/second, No field, square pixel aspect ratio)값을 설정 한 후 완성된 파일을 가져와 편집과정(색 보정, 사운드 디자인, 편집 등)을 수행한다.
후반보정작업은 Adobe After Effects를 이용하여 세면을 이어 붙이기 위한 ‘스티칭’ 작업과 촬영본 이미지를 휘어보이게 하는 왜곡현상을 보정하며, 같은 회사의 Adobe Premiere Pro를 이용하여 최종편집과 완성 본을 제작한다.

대상 데이터

4]. 개봉 다음 날 뉴욕 타임스의 1면에 실려 하룻밤새 세상의 주목을 받았다. 사람들은 영화를 보고 또 보았다.
27]. 세 개의 영상들은 현재 상용화 되어 있는 다양한 미디어 플레이어에서 재생이 가능하며 제작된 3개의 영상은 각각의 영상서버에 탑재하여 재생한다. 영상서버의 미디어 플레이어는 싱크서버를 통해 동기화 재생을 수행할 수 있다[24,25].
실험에 사용된 카메라는 Sony PXW-X200이며 3대를 나란히 배치해 화각을 150∼180도에 이르도록 촬영하며 특히 인물크기에 따른 장면을 연출하여 스토리 전달 시 화면 구성의 가능성과 한계점을 알아본다[Fig. 13].
26]의 파일을 편집과 사운드디자인, Split Rendering 제작을 위해 Non Linear editing system에서 완성된 파일을 가져와 편집과정을수행한다. 이번 실험은 Adobe 계열의 Non Linear editing system인 Premiere Pro CC를 이용하여 편집을 수행하였 다. 프로젝트 생성 후 Sequence Settings (5760x1080 pixels, 24 frames/second, No field, square pixel aspect ratio)값을 설정 한 후 완성된 파일을 가져와 편집과정(색 보정, 사운드 디자인, 편집 등)을 수행한다.
이번 촬영에 사용된 카메라 Sony PXW-X200은 HD 급 카메라이며 세 개의 1/2인치 형 Full-HD Exmor™ CMOS 센서가 포함되어 있어 고해상도, 고감도, 낮은 노이즈 및 넓은 다이내믹 레인지를 구현하며 높은 감도를 달성한다.
영화 초기 시절처럼 플롯도 드라마도 없이 시네라마는 신기술을 보여주는 진열장이었다. 특수 제작된 27mm 렌즈를 장착한 3대의 카메라로 촬영해서 35mm 3통을 동시에 나란히 찍을 수 있었다. 각 통엔 300m 길이의 필름이 들어가서 약 8분 분량을 상영 할 수 있었고 세로로 촬영한 영상을 옆으로 3대를 나란히 배치해 화각을 147도 에서 150도에 이르러서 2.

성능/효과

Zoom In & Out과 같은 촬영 기법은 3대의 카메라에 동일한 Zoom 속도를 부여하더라도 카메라 촬영 각도 조절이 필요하여 다면영상 구현이 힘들다. Zoom의 위치 값을 높여서 Medium Close Shot을 구현하는 것 보다 Zoom 위치 값을 0~30으로 셋업한 후 배우를 움직여서 화면을 구성하는 편이 스토리 전달과 장비 셋업, 촬영시간, 스티칭 작업 등에 많이 유리하였다. Zoom 의 위치가 높아질수록 사물이나 원경 장면에 대응하는 스티칭 작업은 순조로우나 인물에 대응하는 스티칭 작업은 매우 힘들어진다.
카메라를 다루기 쉬워서 기술보다는 스토리에 포커스를 맞출 수 있었고 제작이 쉬워져서 시네라마보다 더 좋은 영화를 만들었다. 또한 렌즈를 바꿀 수 있었고, 카메라를 쉽게 움직일 수 있어 역동적인 액션으로 제작을 할 수 있었다. 이렇듯 시네라마는 70mm 필름으로 대처되면서 역사의 한페이지로 남게 되었다[9,10].
현재 UHD (ultra high definition)와 같은 고품질 비디오 서비스에 대한 수요를 현실화시키기 위해 고효율 비디오 압축 기술이 개발되어지고 있다[26]. 이번 실험에사용된 H.264 / MPEG-4 AVC 포맷은 동영상 녹화, 압축, 배포를 위한 방식들 중 현재 가장 보편적으로 사용되고 있으나 상용화를 앞두고 있는 차세대 H.265 / HEVC 포맷은 H.264대비 압축효율은 2배 이상, 화면크기는 Full-HD 대비 3~16배, 데이터양은 Full-HD 대비 4~96배의 효율성을 가지고 있다[27]. H.

후속연구

극영화와 같은 스토리 중심의 콘텐츠를 다면영상을 이용해 제작할 경우 해결 방법은 배우의 움직임을 한 화면에 위치하게 큼 배우가 움직이는 연기지역을 설정하여 연출하는 방법이 있다. 그리고 다면 영상에 맞는 연출 기법과 화면 구성을 지속적으로 연구할 필요가 있다.
이 영상을 하나의 파일로 렌더링 한 후 별도의 추가된 서버 장치 없이 3대의 HD급 디스플레이어로 직렬 연결하여 상영할 수 있으나 웬만한 컴퓨터 CPU로는 5,760 x 1,080 pixels 사이즈의 영상을 재생하기 힘들며 또한 감당할 플레이어 (소프트웨어) 지원도 제약이 많다. 또한 추후 확장성 및 다양한 화면 구성을 위해 3대의 디스플레이어와 미디어서버, 싱크 서버를 병렬로 구성하여 상영하는 방법으로접근 하겠다. 이러한 방법은 디지털 시네마 시스템과 동기화한 Screen X Solution, 멀티스크린 솔루션인 Dataton Watchout, 9X Media 등이 다면영상 상영에 응용되고 있다[21,22].
다면영상을 이용한 스토리 전달 방법은 새로운 방식임은 분명한 사실이다. 향후에는 카메라를 4K급 카메라로 대처하여 다면영상을 이용하여 스토리 전달을 위한 영상연출에 대해 연구할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Screen X의 특징은?	2016년 미래창조과학부 ‘가상현실 5대 선도 프로젝트’로 채택된 Screen X는 2012년 CGV와 한국과학기술원(KAIST)이 공동 개발한 다면상영시스템이다[1]. 상영관 3면을 통해 관객들에게 특별한 장치를 착용하지 않고 영화에 몰입 감을 줄 수 있는 Screen X는 실감영상 중 하나로 자리매김을 하고 있다. Screen X의 기술적 원천은 1952년에 상영한 시네라마 시스템을 이용한 기획영화 ‘This is Cinerama.
	Screen X란?	실감나는 영상을 창조하기 위해 끝없이 노력하는 영상 산업은 크고 넓고 정교 할수록 좋다는 말을 부인하지 않는다. 2016년 미래창조과학부 ‘가상현실 5대 선도 프로젝트’로 채택된 Screen X는 2012년 CGV와 한국과학기술원(KAIST)이 공동 개발한 다면상영시스템이다[1]. 상영관 3면을 통해 관객들에게 특별한 장치를 착용하지 않고 영화에 몰입 감을 줄 수 있는 Screen X는 실감영상 중 하나로 자리매김을 하고 있다.
	시네라마의 단점은?	시네라마는 획기적인 시스템이었지만 촬영이나 상영 단계에서 여러 문제가 발생되었다. 촬영용 카메라의 무게는 360kg에 달해 운반하는 것도 힘들었고 카메라 초점거리는 단일 초점거리 밖에 없어 촬영할 때에는 카메라가 아니라 배우 배치를 조정해 영상을 정리하는 작업이 필요했다[Fig. 6].

참고문헌 (29)

Screen X, Parkmungak, http://terms.naver.com/entry.nhn?docId3484392&cid43667&categoryId43667(April 6, 2017)
About Screen X, http://kinoman.co.kr/220771518158 (April 6, 2017)
Cindy Robinson, "Documentary-Modern marvels: Movie theaters", A & E Television Networks (United States), 2005.
Hart, Martin B. "Cinerama". The American Wide Screen Museum. Retrieved 6 October 2012.
Martin Hart, Widescreen, http://www.widescreenmuseum.com (April 10, 2017)
John Belton, Hyung-sik Lee translator, "American cinema / American culture," pp93-104, H.S Media, Aug. 2000.
Wikipedia,"Cinerama",https://en.wikipedia.org/wiki/Cinerama, April 27, 2017.
Kyoungah Ryu, Joonhee Kim, Younghwan Lee, "Study on the Color Reproduction and the SNR Noise Alterations in accordance with the Types of Lens and Exposure within Digital Cameras", The Society of Modern Photography & Video, Vol.12, pp.89-90, 2009.
Byung-rok Min, "History of World Cinema video technology," pp.196-198, MJ Media, Feb. 2001.
Screen History - From Cinema to Panavision, http://uptoboys.blog.me/60029249833, April 28, 2016.
Wikipedia,"Screen X", https://ko.wikipedia.org/wiki/ScreenX, April 28, 2017.
Screen X, http://screenx.co.kr/, May 2, 2017.
Lang Goo Lee, Jean Hun Chung,"A Study on Visual and Auditory Inducement of VR Image Contents and the Inducement Components of for Immersion Improvement", The Society of Digital Policy & Management, Vol.14, No. 11, pp.495-500, 2016.
PXW-X200, http://ps.sony.co.kr/pro/product/broadcastproducts-camcorders-xdcam/pxw-x200/overview/, May 3, 2017.
Michael Langford, Anna Fox, Richard Sawdon Smith, Il-am Jang translation, "Lengford's basic photographic,"pp.279-281, Book's Hill, Mar. 2009.
Won Leep Moon,"VR and Movie", Cine forum, Vol. 22, pp351-375, December 2015.
Wan-mo Kim, "Dslr Bible,"pp.45-57, Book Media Group, Oct. 2007.
Dae-hyun Kim, Hyoung-chul Shin, Ju-hyun Oh, Seung-jin Nam, Kwang-hoon Sohn,"Zoom Lens Distortion Vorrection Of Video Sequence Using Nonlinear Zoom Lens Distortion Model", Journal of The Korean Society of Broadcast Engineers, Vol 14, No 3, pp.301-303, 2009.
Ik Heui Lee,"A Study of Directing on 360 Degree Virtual Reality : Focusing on Shot Continuity", Korea Science & Art Forum ,Vol 25, pp.295-305, September 2016.
In-kyu Ro, "Thesis For Marking Highest Resolution Multi vision,"Dept. of Industrial Design Graduate School of Seonam University, pp.1-24, 2012.
Watchout, http://www.dataton.com/watchout (July, 2017)
Display solutions http://9xmedia.com/new/products/xtops.php (July 3, 2017)
Jung Soo Han, Gui Jung Kim, " $360^{\circ}$ Projection Image Analysis Method for the Calibration", The Society of Digital Policy & Management, Vol.13, No12. p.204, 2015.
Byung won Min,"An Improvement of Interoperability for HD-Class VOD Content Manatement Syster based on H.264", The Society of Digital Policy & Management, Vol.12, No. 2, pp.315-320, 2014.
Gi Beom Kim, Dae Hyun Kim, Myoung Jun Kim, "Super High Resolution Video Playback System", Korea Multimedia Society, pp.623-624, 2006.
Hahyun Lee, Jongho Kim, Hui Yong Kim, Jin Soo Choi,"A Performance comparison of HEVC with H.264 and MPEG-2 for HD Sequences", The Korean Society Of Broad Engineers, pp.192-195, 2011.
Woo-Jin Han,"Introduction of HEVC image compression technology", Broadcasting and Media Magazine, Vol.17, pp.35-46, 2012.
Ryu Young Su, Kim Yong Hwan, Wee Jung Uk, Park Kyung, Jeon Won Gi, Kwon Ki Wo,"A Design of Scalable HEVC Decoder and Player for 8K UHD", Korea Institute Of Communication Sciences, pp.898-896, 2017.
Hyung Jun Chang, Kwang Ho Kim,"Analysis of Factor's Priority for 4K-UHD content workflow", The Society of Digital Policy & Management, Vol.12, No. 6, pp.271-282, 2014.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증