[논문]360˚ VR 실사 영상과 3D Computer Graphic 영상 합성 편집에 관한 연구

이랑구; 정진헌

doi:10.14400/jdc.2019.17.4.255

360˚ VR 실사 영상과 3D Computer Graphic 영상 합성 편집에 관한 연구
Study on Compositing Editing of 360˚ VR Actual Video and 3D Computer Graphic Video 원문보기

디지털융복합연구 = Journal of digital convergence, v.17 no.4, 2019년, pp.255 - 260

이랑구 (동국대학교 영상대학원 멀티미디어학과) , 정진헌 (동국대학교 영상대학원 멀티미디어학과)

초록
AI-Helper

연구는 $360^{\circ}$ 동영상과 3D 그래픽의 효율적인 합성 방법에 관한 연구이다. 먼저, 이안식 일체형 $360^{\circ}$ 카메라로 촬영한 영상을 스티칭하고, 영상에서 카메라 및 사물의 위치값을 추출하였다. 그리고 추출한 위치값의 데이터를 3D 프로그램으로 불러와 3D 오브젝트를 생성하고, 자연스러운 합성을 위한 방법에 관하여 연구하였다. 그 결과 $360^{\circ}$ 동영상과 3D 그래픽의 자연스러운 합성을 위한 방법으로 렌더링 요소와 렌더링 기법을 도출할 수 있었다. 첫째, 렌더링 요소로는 3D 오브젝트의 위치와 재질, 조명과 그림자가 있었고, 둘째, 렌더링 기법으로는 실사 기반 렌더링 기법의 필요성을 찾을 수 있었다. 본 연구 과정 및 결과를 통해 $360^{\circ}$ 동영상과 3D 그래픽의 자연스러운 합성에 관한 방법을 제시함으로써, $360^{\circ}$ 동영상 및 VR 영상 콘텐츠의 연구와 제작 분야에 도움이 될 것으로 기대한다.

Abstract ▼ AI-Helper

This study is about an efficient synthesis of $360^{\circ}$ video and 3D graphics. First, the video image filmed by a binocular integral type $360^{\circ}$ camera was stitched, and location values of the camera and objects were extracted. And the data of extracted location values were moved to the 3D program to create 3D objects, and the methods for natural compositing was researched. As a result, as the method for natural compositing of $360^{\circ}$ video image and 3D graphics, rendering factors and rendering method were derived. First, as for rendering factors, there were 3D objects' location and quality of material, lighting and shadow. Second, as for rendering method, actual video based rendering method's necessity was found. Providing the method for natural compositing of $360^{\circ}$ video image and 3D graphics through this study process and results is expected to be helpful for research and production of $360^{\circ}$ video image and VR video contents.

주제어

표/그림 (8)

그림 Fig. 1. 3D Computer Graphics2)
그림 Fig. 3. 3D Camera Tracking Screen in After Effects CC
그림 Fig. 2. Ricoh Theta S Camera, Original Images and Stitched Panoramic Images
그림 Fig. 4. 3D Object Position Setting and Material Application Screen
그림 Fig. 5. Lighting and Shadow Setup Screen
그림 Fig. 6. Standard Renderer Rendering Image
그림 Fig. 7. Octane Renderer Rendering Image
그림 Fig. 8. Final Image Result

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

연구방법으로는 먼저, 스티칭한 동영상을 Adobe사의 After Effects CC를 통해 카메라 및 사물의 위치 값을 추출하였다. 그리고 추출한 위치값의 데이터와 동영상을 Maxon사의 Cinema 4D로 불러와 3D 오브젝트(물체)를 배치하고 자연스러운 합성을 위한 렌더링 요소와 렌더링 기법에 관하여 연구하였다.
본 연구는 360˚ 동영상과 3D 컴퓨터 그래픽, 그리고 합성에 필요한 렌더링 등의 선행연구를 기반으로 360˚ 동영상과 3D 그래픽의 자연스러운 합성을 위한 요소와 기법을 연구범위로 삼았다. 또한, 합성 작업 시 발생하는 문제점을 중점으로 분석하였고, 그 문제점을 보완하기 위한 반복적인 수정 작업을 통해 좀 더 나은 결과물을 도출할 수 있도록 연구하였다.
본 연구는 360˚ 동영상과 3D 그래픽의 자연스러운 합성을 위한 방법에 관한 연구로써, 보다 자연스러운 합성을 위한 렌더링 요소와 렌더링 기법에 중점을 두고 연구하였다. 그 결과, 360˚ 동영상과 3D 그래픽의 자연스러운 합성을 위해서는 첫째, 렌더링 요소인 3D 오브젝트의 위치와 재질, 조명과 그림자, 둘째, 렌더링 기법인 실사 기반 렌더링 기법의 필요성을 찾을 수 있었다.
현재 기존 평면적인 영상과 2D 및 3D 컴퓨터 그래픽의 합성에 관한 연구와 콘텐츠는 많은 편이지만, 360˚ 동영상과 3D 그래픽의 합성에 관한 연구와 콘텐츠는 아직 미비한 것이 현실이다. 이러한 배경을 바탕으로 360˚ 동영상과 3D 그래픽의 자연스러운 합성에 관한 본 연구를 통해 360˚ 동영상 및 VR 영상 콘텐츠를 좀 더 효율적으로 제작할 수 있는 방법을 찾아 제언하는 것이 목적이다

제안 방법

360˚ 동영상과 3D 그래픽과 자연스러운 합성을 위해 첫째, Cinema 4D로 불러온 동영상에 3D 오브젝트의 적절한 위치를 설정을 하였다. 마치 3D 오브젝트가 실사 공간에 원래부터 있었던 것 같이 주변 사물의 크기 비례와 공간을 고려하여 위치를 설정하였다.
먼저, 조명을 이용해 오브젝트에 빛을 비추고 불러온 동영상과 비슷한 시간대의 햇빛을 고려하여 빛의 밝기를 조정하였다. 그리고 반사 및 굴절을 통해 다른 오브젝트에 영향을 주도록 조명을 직접 조명과 간접 조명으로 설정하였다. 그림자는 물체에 비추는 빛에 대비해 사실적일수록 합성 작업 시 자연스러운 현실감을 부여한다.
사실적인 그림자를 표현하기 위해 먼저, 조명에서 설정한 빛의 강도에 비례하여 그림자의 농도를 조정하였다. 그리고 컬러 및 기타 설정을 통해 좀 더 세밀하게 표현하였다. 3D 오브젝트에 조명과 그림자를 추가하고 설정한 화면은 Fig.
4.2 렌더링 기법

렌더링기법으로는기본렌더러를 이용한 스탠더드(Standard) 렌더링 기법과 옥테인 렌더러(Octane Renderer)를 사용한 실사 기반의 렌더링 기법으로 나누어 진행하였다. 연구 내용은 다음과 같다.
360˚ 동영상과 3D 그래픽과 자연스러운 합성을 위해 첫째, Cinema 4D로 불러온 동영상에 3D 오브젝트의 적절한 위치를 설정을 하였다. 마치 3D 오브젝트가 실사 공간에 원래부터 있었던 것 같이 주변 사물의 크기 비례와 공간을 고려하여 위치를 설정하였다. 둘째, 위치를 설정한 3D 오브젝트에 텍스처 매핑(Texture Mapping)기법을 통해 재질을 적용하였다.
Cinema 4D에서 조명은 빛을 만들고 그림자를 생성할 수 있는 가상의 기구라고 할 수 있다. 먼저, 조명을 이용해 오브젝트에 빛을 비추고 불러온 동영상과 비슷한 시간대의 햇빛을 고려하여 빛의 밝기를 조정하였다. 그리고 반사 및 굴절을 통해 다른 오브젝트에 영향을 주도록 조명을 직접 조명과 간접 조명으로 설정하였다.
본 연구는 360˚ 동영상과 3D 컴퓨터 그래픽, 그리고 합성에 필요한 렌더링 등의 선행연구를 기반으로 360˚ 동영상과 3D 그래픽의 자연스러운 합성을 위한 요소와 기법을 연구범위로 삼았다. 또한, 합성 작업 시 발생하는 문제점을 중점으로 분석하였고, 그 문제점을 보완하기 위한 반복적인 수정 작업을 통해 좀 더 나은 결과물을 도출할 수 있도록 연구하였다.
현재 이를 기반으로 한 여러 가지 외부 실사 기반 렌더러⁶⁾가 시중에 나와 있다. 본연구는 실제 물리기반의 렌더링⁷⁾(Unbiased Rendering) 과 GPU(Graphic Processing Unit)를 이용한 빠른 속도와 실시간 렌더를 제공하는 옥테인 렌더러(Octane Renderer)를 사용하여 실사 기반 렌더링 기법으로 작업을 진행하였고, 최종 렌더링한 이미지는 Fig. 7과 같다.
그림자는 물체에 비추는 빛에 대비해 사실적일수록 합성 작업 시 자연스러운 현실감을 부여한다. 사실적인 그림자를 표현하기 위해 먼저, 조명에서 설정한 빛의 강도에 비례하여 그림자의 농도를 조정하였다. 그리고 컬러 및 기타 설정을 통해 좀 더 세밀하게 표현하였다.
스티칭한 동영상을 After Effects CC로 불러와 3D 카메라 트래커 이펙터(3D Camera Tracker)⁵⁾를 사용하여 데이터를 추출한 후, 3D 그래픽과 자연스러운 합성을 위한 렌더링 요소에 관하여 연구한 결과는 다음과 같다.
연구방법으로는 먼저, 스티칭한 동영상을 Adobe사의 After Effects CC를 통해 카메라 및 사물의 위치 값을 추출하였다. 그리고 추출한 위치값의 데이터와 동영상을 Maxon사의 Cinema 4D로 불러와 3D 오브젝트(물체)를 배치하고 자연스러운 합성을 위한 렌더링 요소와 렌더링 기법에 관하여 연구하였다.

대상 데이터

본 연구는 이안식 일체형 360˚ 카메라³⁾인 Ricoh사의 Ricoh Theta S를 삼각대에 고정하여 직접 촬영하고, 스티칭 프로그램인 Kolor사의 Autopano Video Pro와 Autopano Giga의 기능들을 사용하여 스티칭한 결과물을 대상으로 한정하였다. Ricoh Theta S⁴⁾는 시중에서 판매하고 있는 이안식 일체형 360˚ 카메라 중 대중적이고 보편적으로 사용하는 카메라이자 손쉽게 360˚ 동영상을 촬영하고 제작할 수 있는 장점이 있으며, Autopano Video Pro와 Autopano Giga는 정교한 스티칭 작업을 할 수 있는 대표적인 스티칭 프로그램이다.
또한, 그밖에 360˚ 동영상의 스티칭 완성도, 3D 오브젝트의 재질 및 크기 등도 고려해야 할 중요한 부분이라는 것을 알 수 있었다. 본 연구를 통해 완성된 영상 결과물은 Fig. 8의 QR 코드를 스캔하여 순차적으로 확인할 수 있으며, QR 1은 기본 렌더링 기법을 적용한 영상이고, QR 2는 실사 기반 렌더링 기법을 적용한 영상이다.

이론/모형

마치 3D 오브젝트가 실사 공간에 원래부터 있었던 것 같이 주변 사물의 크기 비례와 공간을 고려하여 위치를 설정하였다. 둘째, 위치를 설정한 3D 오브젝트에 텍스처 매핑(Texture Mapping)기법을 통해 재질을 적용하였다. 텍스처 매핑(Texture Mapping)기법은 3D 오브젝트의 표면에 세부적인 질감을 묘사하거나 색을 칠하는 기법으로, 실제 또는 현실에 존재하지 않은 재질 및 질감을 표현하는 과정이다.

성능/효과

기존의 평면 형태인 2D 영상 콘텐츠의 수동적 감상과 제한적인 시선 처리에서 벗어나 360˚ 동영상은 영상의 특정 스폿(Spot)을 중심으로 상하좌우 전 방향을 전방위적으로 살펴볼 수 있게 제작된 입체 형태의 콘텐츠이다[4]. 결론적으로 360˚ 동영상은 시야각을 확장하여 깊이감과 입체감을 느낄 수 있으며, 더 많은 볼거리를 제공하는 콘텐츠라 할 수 있다.
본 연구는 360˚ 동영상과 3D 그래픽의 자연스러운 합성을 위한 방법에 관한 연구로써, 보다 자연스러운 합성을 위한 렌더링 요소와 렌더링 기법에 중점을 두고 연구하였다. 그 결과, 360˚ 동영상과 3D 그래픽의 자연스러운 합성을 위해서는 첫째, 렌더링 요소인 3D 오브젝트의 위치와 재질, 조명과 그림자, 둘째, 렌더링 기법인 실사 기반 렌더링 기법의 필요성을 찾을 수 있었다. 또한, 그밖에 360˚ 동영상의 스티칭 완성도, 3D 오브젝트의 재질 및 크기 등도 고려해야 할 중요한 부분이라는 것을 알 수 있었다.
그 결과, 360˚ 동영상과 3D 그래픽의 자연스러운 합성을 위해서는 첫째, 렌더링 요소인 3D 오브젝트의 위치와 재질, 조명과 그림자, 둘째, 렌더링 기법인 실사 기반 렌더링 기법의 필요성을 찾을 수 있었다. 또한, 그밖에 360˚ 동영상의 스티칭 완성도, 3D 오브젝트의 재질 및 크기 등도 고려해야 할 중요한 부분이라는 것을 알 수 있었다. 본 연구를 통해 완성된 영상 결과물은 Fig.
본 연구 과정에서 발생한 문제점 및 보완방안으로는 첫째, 360˚ 동영상의 카메라 트래킹 데이터 값 추출 시 전 방위 6개의 방향을 각각 추출하는데 어려움이 있어, 수동으로 순서대로 추출해야 했으며 둘째, 360˚ 동영상과 3D그래픽의 어색함 없는 자연스러운 합성을 위해 수차례 렌더링 옵션을 조정해야 하는 어려움이 있었다. 본 연구는 스티칭 과정 및 After Effects CC, Cinema 4D에서의 설정 방법을 면밀하고 세세하게 기술하지 못한 부분이 한계점으로 남았다.
본 연구는 스티칭 과정 및 After Effects CC, Cinema 4D에서의 설정 방법을 면밀하고 세세하게 기술하지 못한 부분이 한계점으로 남았다. 하지만, 연구 과정과 결과를 통해서 본 연구 목적에 맞는 360˚ 동영상과 3D 그래픽의 자연스 러운 합성을 위한 방법을 제시하였다는 것에 의의가 있다고 할 수 있다. 본 연구가 향후 360˚ 동영상 및 VR 영상 콘텐츠 제작 분야에 도움이 될 것으로 기대하며, 관련 분야의 다양한 연구가 계속되기를 희망한다.

후속연구

하지만, 연구 과정과 결과를 통해서 본 연구 목적에 맞는 360˚ 동영상과 3D 그래픽의 자연스 러운 합성을 위한 방법을 제시하였다는 것에 의의가 있다고 할 수 있다. 본 연구가 향후 360˚ 동영상 및 VR 영상 콘텐츠 제작 분야에 도움이 될 것으로 기대하며, 관련 분야의 다양한 연구가 계속되기를 희망한다.
본 연구 과정에서 발생한 문제점 및 보완방안으로는 첫째, 360˚ 동영상의 카메라 트래킹 데이터 값 추출 시 전 방위 6개의 방향을 각각 추출하는데 어려움이 있어, 수동으로 순서대로 추출해야 했으며 둘째, 360˚ 동영상과 3D그래픽의 어색함 없는 자연스러운 합성을 위해 수차례 렌더링 옵션을 조정해야 하는 어려움이 있었다. 본 연구는 스티칭 과정 및 After Effects CC, Cinema 4D에서의 설정 방법을 면밀하고 세세하게 기술하지 못한 부분이 한계점으로 남았다. 하지만, 연구 과정과 결과를 통해서 본 연구 목적에 맞는 360˚ 동영상과 3D 그래픽의 자연스 러운 합성을 위한 방법을 제시하였다는 것에 의의가 있다고 할 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	360˚ VR 영상이란?	360˚ VR 영상이란 한 위치(Orientation)을 기준으로 카메라가 360˚를 촬영한 영상 미디어다[2]. VR 영상은 일 반적으로 360˚ 카메라로 촬영한 영상을 의미한다.
	렌더링기법은 무엇으로 구분되는가?	렌더링 기법에는 사진과 같은 정확한 영상을 구현하는 사실적 렌더링(Photorealistic Rendering) 기법과 사람 의 감성과 예술성이 표현되는 비사실적 렌더링(NPR: Non-Photorealistic Rendering) 기법으로 크게 구분된다 [8]. 사실적 렌더링이란 공상 과학 영화에서와 같이 실제 생활과 구분이 되지 않는 영상을 추구하는 방법을 의미 하고, 비사실적 렌더링이란 사실적인 렌더링 이외의 다양한 표현 양식을 다루며 만화, 유화, 수묵화 등 사람이 직접 손으로 그리는 느낌의 영상을 생성하는 방법을 말 한다[9].
	스탠더드 렌더러의 장점은?	스탠더드 렌더러(Standard Renderer)는 기본 설정값에 이펙트(Effect) 및 멀티패스 (Multi-Pass)의 세부 기능들을 추가할 수 있는 형태이다. 또한, 다른 내장 렌더러 및 외부 플럭인(Plug-in) 형태의 렌더러 보다 빠른 렌더링 시간이 장점이다. 자연스러운 합성을 위한 3D 오브젝트의 위치와 재질, 조명과 그림자 등을 설정한 후 기본 렌더러인 스탠더드 렌더링 (Standard Rendering)을 한 최종 이미지는 Fig.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증