[논문]실시간 편집 영상으로 구현하는 인터랙티브 스토리텔링 - 볼륨 브렌치 구조 제안 -

권동현

doi:10.14400/jdc.2020.18.9.391

실시간 편집 영상으로 구현하는 인터랙티브 스토리텔링 - 볼륨 브렌치 구조 제안 -
Interactive Storytelling Materialized with Real-Time Edited Videos - A proposal of a volume branch structure - 원문보기

디지털융복합연구 = Journal of digital convergence, v.18 no.9, 2020년, pp.391 - 402

권동현 (경기대학교 애니메이션학과)

초록
AI-Helper

오늘날은 미디어 컨버전스 시대로 게임처럼 스토리를 선택하는 드라마를 시청하거나 영화처럼 연출하는 게임을 즐길 수 있다. 두 매체는 인터랙티브 스토리텔링을 구현하고 있으며 이 대한 논의는 오래전부터 현재까지 진행 중이다. 본 연구는 인터랙티브 스토리텔링의 새로운 브렌치 구조를 제안함과 동시에 브렌치 구조 스토리텔링 진행 방법에 대한 새로운 관점을 모색함을 목적으로 한다. 지금까지 인터랙티브 스토리텔링을 가장 잘 구현하고 있는 게임을 주된 연구대상으로 하였으며 연구결과 스토리의 내러티브를 유지하면서도 이용자가 자유롭게 상호작용을 느낄 수 있는 인터랙티브 스토리텔링 구조로서 Plot border와 Adjuster 개념을 포함한 Volume 브렌치 구조를 제안하였다. 이 구조는 게임매체 속에서 실시간 편집 영상으로만 구현할 수 있으며 지속적으로 발전하고 있는 물리엔진과 현재까지 게임에는 적극 도입되지 않고 있는 인공지능을 적용할 때 가능함을 설명하였다.

Abstract ▼ AI-Helper

In today's era of media convergence, users can watch a drama by choosing a story like a game or enjoy a game directed like a movie. These two media material interactive storytelling, and there have been discussions about them for many years. The purposes of this study are to propose a new branch structure for interactive storytelling and find a new perspective for the method of proceeding with a branch structure. The main research targeted a game that materialized interactive storytelling best. Based on the findings, the study proposed a volume branch structure including a plot border and adjuster concept for interactive storytelling to keep the story narrative and help the users feel interactions freely. This structure can be materialized only with real-time edited videos in the game media and will be possible in the application cases of a physical engine that continues to develop and artificial intelligence that has not been introduced in games actively.

주제어

표/그림 (9)

표 Table 1. Principle of Cut Editing
그림 Fig. 1. Deleuze Concept Structure
그림 Fig. 2. CYOA Game Book Structure
그림 Fig. 3. Theoretical Branch Narrative Structure
그림 Fig. 4. Practical Branch Narrative Structure
표 Table 2. Interactive Storytelling Video Game Comparison
그림 Fig. 5. Two interactive movie game examples
그림 Fig. 6. Sub-unit interaction structure concept
그림 Fig. 7. Volume Branch structure concept

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

"지금까지 3D 애니메이션으로 구현하는 실시간 편집영상으로 스토리의 내러티브를 유지하면서도 이용자가 자유롭게 상호작용을 느낄 수 있는 인터랙티브 스토리텔링 구조에 대해 알아보았다."
서술 중에 지속적으로 게임의 사례를 언급하지만 이는 게임 자체를 분석하기 위함이 아니다. 게임은 현재까지 어떤 매체보다 인터랙티브 스토리텔링이 가장 다양하게 실험되고 있으며 사용자들의 냉혹한 평가 가운데 검증받고 있으므로 게임의 사례에서 해결 방안을 찾고자 한다.
본 연구는 매체를 구분하지 않고 ‘인터랙티브 스토리텔링’을 가장 잘 구현할 수 있는 구조를 찾는 연구들의 연장선에 있다. 그러나 이론 소개나 사례 분석으로 그치는 것이 아닌 인터랙티브 스토리텔링을 연구하고 기획할 때 참고할 수 있는 새로운 관점 탐색을 목표로 한다. 서술 중에 지속적으로 게임의 사례를 언급하지만 이는 게임 자체를 분석하기 위함이 아니다.
이론적 배경에서는 그동안의 다양한 인터랙티브 스토리텔링의 유형을 정리하고 애니메이션의 의미와 편집의 기본 개념을 바탕으로 실시간 편집 영상의 개념을 알아볼 것이다. 그리고 실시간 편집영상의 특성을 비실시간 선택형 영상과 비교하고 온전한 인터랙션이 구현가능 함을 설명하고자 한다. 다음으로 실시간 편집 영상으로 구현할 수 있는 인터랙티브 스토리텔링에서 사용할 수 있는 Plot border(플롯 테두리), Adjuster(조절자)의 개념을 정의하였다.
마지막으로 인공지능과 물리엔진을 소개하고 진정한 인터랙티브 스토리텔링을 구현할 수 있는 ‘Volume’ 브렌치 구조를 설명하면서 인터랙티브 스토리텔링이 나아가야 할 방향을 제안하고자 한다.
게임에서의 인터랙티브 스토리텔링과 영상 미디어의 인터랙티브 스토리텔링을 비교한다는 것은 설정 기준과 관점에 따라 평가가 상당히 달라질 수 있다. 산업 현장에서는 이러한 관념적 논의가 무의미 할 수 있겠으나 학문적으로는 비교 분석을 위한 개념과 구조를 탐구하는 것이 의미가 있기에 본 연구를 시작하였다.
마지막으로 강윤철, 박경주는 스토리 전개에 영향을 주지 않는 인터랙션 방법으로 소단위 인터랙션 개념을 제안[3]하고 있으나 오히려 촬영 영상 콘텐츠로 구현할 수 있는 인터랙티브 스토리텔링의 한계를 보여주는 내용이었다. 연구자도 이와 유사한 개념으로 메인 스토리의 내러티브를 무너뜨리지 않는 인터랙션을 구상하고 있었기에 이를 확장한 개념으로 실시간 편집 영상에 적용하여 더 많은 인터랙션을 구현할 수 있는 가능성을 설명하고자 한다.
이론적 배경에서는 그동안의 다양한 인터랙티브 스토리텔링의 유형을 정리하고 애니메이션의 의미와 편집의 기본 개념을 바탕으로 실시간 편집 영상의 개념을 알아볼 것이다. 그리고 실시간 편집영상의 특성을 비실시간 선택형 영상과 비교하고 온전한 인터랙션이 구현가능 함을 설명하고자 한다.
‘인터랙티브 스토리텔링’은 기존의 선형적인 내러티브가 아닌 것은 분명하나 어떠한 비선형적 구조를 가지고 있는지에 대한 논의는 현재도 진행 중이다. 이에 인터랙티브 영상콘텐츠를 스토리텔링 내러티브 관점에서 연구한 선행연구들을 살펴보았다. 송민호는 빅스크린을 관람하면서 수동적으로 감상하는 관객에게 인터랙티브 영화에서 적극적으로 선택을 강요하는 것은 무리가 있으며 체온, 시선, 손짓 등의 수동적 입력정보를 활용할 필요가 있음을 제안하였다[2].

가설 설정

그러므로 본고에서는 ‘영상’의 범위를 정지 이미지를 제외한 움직이는 이미지로 한정한다.

제안 방법

그리고 실시간 편집영상의 특성을 비실시간 선택형 영상과 비교하고 온전한 인터랙션이 구현가능 함을 설명하고자 한다. 다음으로 실시간 편집 영상으로 구현할 수 있는 인터랙티브 스토리텔링에서 사용할 수 있는 Plot border(플롯 테두리), Adjuster(조절자)의 개념을 정의하였다. 마지막으로 인공지능과 물리엔진을 소개하고 진정한 인터랙티브 스토리텔링을 구현할 수 있는 ‘Volume’ 브렌치 구조를 설명하면서 인터랙티브 스토리텔링이 나아가야 할 방향을 제안하고자 한다.
또한 스토리 전개와 이용자의 상호작용 수준을 적절히 유지하는 장치로 ‘Adjuster(조절자)’라는 개념을 추가로 제안한다.
연구자는 마지막 5가지 요소가 앞선 요소를 포함하는 것으로 보고 본고에서는 ‘1,인물관계(배경, 갈등), 2.스토리구조(플롯), 3.반전(의외성), 4.비극적 공감(사건), 5.아이러니’ 5가지를 스토리텔링 요소로 정의 하였다.
이러한 관객이 참여하는 실험적인 ‘인터랙티브 영화’는 한동안 제작이 중단되었다가 2016년 <Late Shift>로 이어졌다. 이 작품에서는 상영 도중 모바일 투표로 스토리를 정하였다.
인터랙티브 스토리텔링을 영상으로 구현한 최초의 게임은 <Dragon's Lair, 1983>로서 아날로그 임에도 렌덤 액세스가 가능한 레이저 디스크를 활용하여 키보드 액션에 따른 다음 영상을 보여주는 형식이다. 이후 저장 용량의 증가와 데이터 압축 기술의 발전으로 영상 리소스에 대한 부담이 줄어듦에 따라 더욱 적극적으로 영상을 활용하여 인터랙티브 스토리텔링을 구현하게 되었다.

대상 데이터

1967년 선택형 필름을 상영하는 방식의 영화인 <Kinoautomat>에서 실험적으로 처음 시도하였으나 실질적으로는 1980년대 등장한 게임에서 제대로 적용되었다.
본고에서는 극장에서 볼 수 있는 인터랙티브 스토리텔링 콘텐츠를 ‘인터랙티브 영화’로 통칭하였다.
이에 대한 구체적 사례는 연구자의 선행연구에서 찾을 수 있으나[9] 본 연구에서는 인터랙티브 스토리텔링 분석이라는 연구 목적을 명확하게 하고자 실시간 편집 영상의 범위를 VR영상은 제외하고 기존 사각 프레임 안에서 편집의 개념을 적용할 수 있는 일반 게임 화면의 영상으로 한정한다.

이론/모형

"두 작품의 인터랙티브 스토리텔링 구조는 강윤철, 박경주가 제안한 Minor unit Interaction(소단위 인터랙션)의 개념[3]을 응용하여 분석할 수 있다."

성능/효과

그럼에도 캐릭터 조작의 자유도가 매우 높은 게임의 특성상 이용자들은 스토리에 직접 개입하면서 수동적 자세로 관람하는 일반 영화보다 더 깊이 스토리에 몰입하고 반응하는 결과를 보였다. 두 게임 모두 선형적 영화보다 내러티브가 약함은 물론 인 터랙티브 무비 장르의 게임보다도 스토리 내러티브가 약하지만 행동의 상호작용을 높여 스토리텔링의 부족함을 보완한 사례라 하겠다.
="">링 구조에 대해 알아보았다. 연구자가 제안하는 Volume 브렌치 구조는 넷플릭스와 같은 OTT 서비스에서의 스토리 선택형 인터랙티브 영상으로는 불가능하며 리얼타임 3D애니메이션 영상으로 진행하는 게임 플랫폼에서만 가능하다.
4 은 실제 적용 가능한 실무적 브렌치 서술 구조로서 모두 트리구조의 변형이다. 트리구조와 리좀구조 모두 여기에 속하는 것을 볼 때 초기 Deleuze의 인간 사유구분을 인터랙티브 스토리텔링에 적용한 것이 적절하지 않음을 알 수 있다. ‘일반(normal) 브렌치’는 다양한 상황과 결과를 준비하여 이용자와 인터랙션을 높일 수 있으나 모든 경우의 수를 고려한 기획과 콘텐츠 제작량은 실제 제작을 어렵게 한다.
3D그래픽을 활용한 초기 게임에서는 실시간 3D기술이 아닌 일반 CG 소프트웨어에서 랜더링을 마친 영상으로 스토리를 설명하고 게임 진행에서만 상호작용이 가능한 실시간 3D를 사용하였다. 하나의 게임에서 구현되는 두 종류의 3D 영상은 캐릭터의 움직임이나 배경의 퀄러티 등 모든 면에서 큰 차이를 보였다. 그러나 3D그래픽 성능의 발전으로 오늘날은 게임 진행 화면과 스토리 진행 영상을 동일한 3D데이터를 사용하여 실시간 3D애니메이션 기법으로 구현하고 있다.

후속연구

게임 소프트웨어가 스토리 네러티브 전개를 딥러닝 한 후 이용자가 메인스토리 진행방향에서 벗어나려고 할 때 주변인물과의 대화, 사건 등 스토리 진행 중의 자연스러운 상호작용을 통해 방향을 선회하도록 돕는 Adjuster역할을 할 수 있다. 딥러닝은 데이터의 축적이 무엇보다 중요하므로 인공지능을 게임에 먼저 도입할수록 더욱 자연스러운 인터랙티브 스토리텔링 구현할 수 있을 것이다. 마지막으로 이러한 게임 진행 학습한 데이터가 축적되고 공유된다면 인터랙티브 무비 장르 게임 외에도 마케팅 분야의 설문조사나 교육 분야의 교재 등 다양한 분야에서도 퀄러티 높은 실시간 편집 영상을 활용한 인터랙티브 영상콘텐츠들을 기획하고 제작하는데 도움이 될 것이다.
딥러닝은 데이터의 축적이 무엇보다 중요하므로 인공지능을 게임에 먼저 도입할수록 더욱 자연스러운 인터랙티브 스토리텔링 구현할 수 있을 것이다. 마지막으로 이러한 게임 진행 학습한 데이터가 축적되고 공유된다면 인터랙티브 무비 장르 게임 외에도 마케팅 분야의 설문조사나 교육 분야의 교재 등 다양한 분야에서도 퀄러티 높은 실시간 편집 영상을 활용한 인터랙티브 영상콘텐츠들을 기획하고 제작하는데 도움이 될 것이다.
연구자는 이 과정을 줄이는 방법으로 ‘정교한 물리엔진’과 최근 주목을 받고 있는 ‘인공지능’을 인터랙티브 스토리텔링에 적용하는 사례가 증가할 것으로 예상한다.
그럼에도 < Detroit : Become Human>은 브렌치 구조에 맞는 정교한 스토리, 대량의 3D모델링과 애니메이션 제작에 180명이 4년 동안 참여한 대규모 작업이었다. 이러한 Sub-unit interaction 구조가 이용자와의 상호작용 속에서도 스토리의 일관성을 놓치지 않는 효과적인 인터랙티브 스토리텔링 방식임을 여러 게임전문 리뷰 평점과 사용자들의 반응을 통해 실무적으로 검증하였으므로 앞으로 이 방식은 다른 인터랙티브 무비 게임에도 적용되면서 더욱 보완 발전할 것으로 예상한다.
="">대화로 진행하는 D&D 보드게임과 같은 이용자 간의 상호작용과 완벽한 자유도가 구현되는 스토리를 인터랙티브 영상콘텐츠로 만드는 것은 근시일 내에는 어려울 것이다. 하지만 지속적인 인공지능 개발과 그래픽 하드웨어의 발전을 전망해 볼 때 연구자가 본고에서 제안하는 Volume 브렌치 구조로 구현되는 인터랙티브 스토리텔링 영상콘텐츠는 충분히 실현 가능한 방안으로서 참고할 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	animation이란?	먼저 ‘animation’은 ‘정신’ 혹은 ‘생명’, ‘숨’을 의미하는 라틴어 ‘아니마(anima)’에서 유래한 것으로 ‘움직이지 않는 것을 움직이게 하는 것’, 또는 그러한 ‘촬영 기법’을 말한다. 즉 애니메이션의 본래 뜻은 어린들이 좋아하는 ‘장르’가 아니라 ‘영상제작 기법’이다.
	편집이란?	편집은 영상의 최소단위인 Shot의 연결에서 발생하는 효과와 그렇게 만든 Scene으로 다양한 의미를 전달하는 연출 방법이다. Table 1 은 가장 기본적인 편집 문법인 쇼트의 연결 방법을 정리한 것으로 이외에도 편집을 통한 연출은 100년의 역사동안 다듬어지고 발전하였다[7].
	게임 진행 중 영상의 실상은?	일반적인 게임 진행 중 영상은 화면이라는 전통적 사각 프레임이 안에서 기존 편집 문법이 그대로 사용되므로 이용자는 그것이 일반 영상에서의 편집과 특별히 다름을 느낄 수 없다. 그러나 실상은 사용자와의 상호작용에 따라 바뀌는 영상 컷들을 실시간 편집으로 연결하여 자연스럽게 보여주고 있는 것이다.

참고문헌 (28)

The Federation of Korean Information Industries. (2020). COVID 19 Non-face-to-face service trends and implications. FKII Issue Report 2020-01
M. H. Song. (1995). Digital Media Convergence and Interactivity in Film Narrative. Journal Of The Korea Contents Association, 15(1), 114-122. DOI : 10.5392/JKCA.2015.15.01.114
C. N. Hyun & K.J. Deok. (2008). A Study on the interaction of the minor unit of interactive films. Archives of Design Research, 21(1), 53-62.
Y. C. Kang & K. J. Park. (2009). Digital Media Convergence and Interactivity in Film Narrative. Journal of Basic Design & Art, 10(1), 3-10.
Y. S. Lee. (2014). A Study about interaction narrative structure on film of mobile game . Korean Society For Computer Game, 27(4), 131-141.
J. Howe & J. Ito. (2016). Whiplash: How to Survive Our Faster Future. New York : Grand Central Pub.
H. J, Choi. (2018). Video grammar, basic principles for video production and editing. Seoul : Hanul.
M. W. Leep. (2015). VR and Cinema. Cine forum, 22, 351-375. DOI : 10.19119/cf.2015.12.22.351
D. H. Kwon. (2020). A Study on Interactive Editing for Real-time $360^{\circ}$ 3DAnimation -Focusing on -. Journal of The Korean Society for Computer Game, 33(1), 23-39. DOI : 10.22819/kscg.2020.33.1.003
T. E. Kim. (2018). The Existence of Implicit Frames in VR Movies. Journal Of The Korea Contents Association, 18(8), 272-286. DOI : 10.5392/JKCA.2018.18.08.272
D. Y Lee & J. H. Sung. (2008). A Study of Theory and Form of Storytelling User Interface -Establishing Theory by Study of the Game Interface-. Journal of Korea Game Society, 8(3), 43-50.
B. Y. Kwon. (2017). Gamification strategy of the gamebook narrative : focused on . Humanities Contents, 45, 59-83. DOI : 10.18658/humancon.2017.06.45.59
D. H. Lim & M. J. Byun. (2016). A Study on Storytelling in Nonlinearity & Nonnarrative of Film- Multi Branching Structure of , . Korea Science & Art Forum, 25, 353-367. DOI : 10.17548/ksaf.2016.09.25.355
A. Glassner. (2017). Interactive Storytelling Techniques for 21st Century Fiction. Natick: A K Peters Ltd.
propaganda. (2004). image, Movie dictionary. NAVER. https://terms.naver.com/entry.nhn?docId349802&cid42617&categoryId42617
wikipedia. (2020). Primetime Emmy Award for Outstanding Interactive Program. wikipedia. https://en.wikipedia.org/wiki/Primetime_Emmy_Award_for_Outstanding_Interactive_Program
M. H, Nam. (2019). Analysis of The Multiple Path Narrative on Black Mirror : Bandersnatch. Journal of image and Cultural Contents, 17, 151-172. DOI : 10.24174/jicc.2019.06.17.151

상세보기
Netflix. (2020). Netflix's interactive TV shows and movies. Netflix. https://help.netflix.com/ko/node/62526.
KOCCA. (2018). Four basic elements of the game. kocca online lecture. http://bit.ly/2EX7vlf.
J. McGonigal. (2012). Reality Is Broken(Everyone plays the game). Seoul : RH.Korea
Codex Gamicus. (2020). List of video games with multiple endings. Codex Gamicus. https://gamicus.gamepedia.com/List_of_video_games_with_multiple_endings#Alternate_endings
Koshino. (2020). Late Shift. flow diagram of the storys. Steam. https://steamcommunity.com/sharedfiles/filedetails/?id1207863498
K. Fog & C. Budtz & B. Yakaboylu. (2008). Storytelling: Branding in Practice. Seoul : mentorbook.
EBS Documentary Prime'The Power of Story' Production Team. (2011). The Power of Story. Seoul : Golden fish.
S. King. (2002). On Writing. Seoul : Gimmyoung.
S, J. Kang. (2020). 5 reasons to do'Half Life: Alix'. inven. http://www.inven.co.kr/webzine/news/?news235946
wikipedia. (2020). Artificial intelligence. wikipedia. https://en.wikipedia.org/wiki/Artificial_intelligence
wikipedia. (2020). Half-Life (video game). wikipedia. https://en.wikipedia.org/wiki/Half-Life_(video_game)

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증