[논문]융합영상콘텐츠 교육을 위한 XR 콘텐츠저작 프레임워크 설계 및 제작

임익수

doi:10.12673/jant.2020.24.6.633

융합영상콘텐츠 교육을 위한 XR 콘텐츠저작 프레임워크 설계 및 제작
Design and Development of XR Contents Authoring Framework for IT Convergence Education 원문보기

한국항행학회논문지 = Journal of advanced navigation technology, v.24 no.6, 2020년, pp.633 - 639

임익수 (홍익대학교 MR아트텍센터)

초록
AI-Helper

비전공자 대상으로 확장현실기반 융합영상콘텐츠 제작에 대한 교육적 수요가 높아지고 있음에도 불구하고, 이를 실행할 수 있는 교육도구는 턱없이 부족하다. 이러한 문제를 해결하기 위해 본 연구는 비전공자 대상으로 확장현실기반 융합영상콘텐츠 제작에 대한 요구사항을 분석하고, 요구사항의 구현을 위한 프레임워크 기능을 설계하였다. 기능 설계를 바탕으로 프로그래밍 지식이 없는 IT 비전공자 학생이 게임엔진을 활용하여 드래그 앤드 드롭과 같은 간단한 방법을 통해 확장현실 콘텐츠를 제작할 수 있는 프레임워크를 설계하고 구현하였다. 여기서 프레임워크란 재사용 가능한 반 완성된 응용프로그램 템플릿 코드를 의미한다. 마지막으로 개발된 프레임워크의 교육 적합성을 알아보기 위해, 프레임워크를 사용하여 산업 디자인 전공 2학년 학생 26명을 대상으로 XR 콘텐츠 제작 교육을 수행하였다. 그 결과, 90%가 넘는 학생들이 실제 오큘러스 리프트에서 작동되는 수준의 콘텐츠 개발에 성공하는 것을 발견하였다. 본 연구의 결과는 비전공자를 위한 확장현실기반 융합영상콘텐츠 교육과정의 품질을 향상하는 데 활용될 수 있으며, 이를 통해 미래 콘텐츠 산업의 발전에 이바지할 수 있다.

Abstract ▼ AI-Helper

Despite the growing educational demand for the extended reality (XR) convergence content creation for non-IT students, fewer studies have attempted to education material development. In this paper, non-IT students' requirement to create XR convergence contents was analyzed and designed framework system specification. The object-oriented application framework (OOAF) was developed for non-IT students to create XR convergence contents through simple interaction methods such as drag and drop in-game engines. To evaluate the developed framework XR contents development course was operated with 26 industrial design majors sophomore in university. More than 90% of students succeeded in working on prototype XR contents in Oculus Rift. This result will be expected to improve the quality of XR contents creation education for non-IT students and contribute to the growth of the future convergence contents industry.

주제어

표/그림 (8)

표 표 1. XR콘텐츠저작 프레임워크 구현에 필요한 기능명세표 Table 1. Requirement specification for XR contents development.
그림 그림 1. 상호작용 프레임워크 작동 구조도 Fig. 1. Block diagram of interaction framework.
그림 그림 2. 상호작용프레임워크 구현결과 Fig. 2. Implementation results of interaction framework.
그림 그림 3. 이동 프레임워크 작동알고리즘 및 구현방법 Fig. 3. Implementation and working flowchart of locomotion framework.
그림 그림 4. UI 프레임워크 구현결과 Fig. 4. Implemenation results of ui framework.
표 표 2. XR콘텐츠제작 교육과정 진행 내용 Table 2. Curriclum of XR contents development course.
그림 그림 5. XR콘텐츠저작 프레임워크를 활용한 학생 수행결과물 Fig. 5. Student outcomes using XR contents development framework.
그림 그림 6. XR콘텐츠저작 프레임워크 개발 결과 Fig. 6. Development results of XR contents authoring framework architecture.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

상위 수준의 확장현실 툴킷을 쓰게 되면 많은 기능을 구현할 수 있으나 특정 하드웨어와 운영체제 플랫폼에 종속되는 한계점을 가지게 된다. 따라서 본 연구에서는 앞서 실시한 사용자와 기능 분석에서 도출된 요구사항을 반영하여 HMD의 하드웨어 종류에 상관없이 동일한 기능을 할 수 있는 유니티 확장현실 컴포넌트에서 제공하는 기능을 활용하여 상호작용 모듈을 개발하는 것을 목표로 한다.
그림6은 개발된 프레임워크의 구조를 정리한 것이다. 또한 제작된 프레임워크가 교육적 목적의 활용에 적합한지 알아보기 위해 프로그래밍 교육 및 수행 경험이 없는 디자인 분야 전공 학생들을 대상으로 하는 XR 콘텐츠 제작 교육에 사용해 보았다. 그 결과 90%가 넘는 학생들이 실제 HMD에서 작동되는 수준의 융합 영상 콘텐츠 개발에 성공하였다.
본 연구는 앞으로 수요가 늘어날 것으로 예상되는 확장현실기반 융합영상콘텐츠 제작 인력을 효과적으로 양성하기 위해, 프로그래밍 지식이 없는 제작자가 게임엔진을 활용하여 콘텐츠를 제작하기 위한 요구사항을 분석하고 드래그 앤드 드롭과 같은 간단한 방법으로 제작을 수행할 수 있는 프레임워크를 구현하였다. 그림6은 개발된 프레임워크의 구조를 정리한 것이다.
그러나 융합현실 콘텐츠를 교육현장에 적용 방안을 연구한 보고서에 의하면 학교에서 실습 및 구현교육은 학생들이 자체적으로 기기를 가져오는 BYOD (bring your own device) 방식을 취하고 있어 학생이나 교수자가 별도의 조이스틱을 준비하지 못한 경우에 대한 고려가 요구되었다[22]. 본 연구는 이러한 현장 요구에 대비하기 위해 HMD를 착용한 머리의 운동 값 중에서 가로축을 기준으로 회전하는 피치(pitch)값을 활용하여 상하 이동과 앞으로 나가는 기능을 개발하였다. 그림3은 이러한 기능을 구현한 결과와 작동되는 과정과 순서를 정리한 것이다.
본 연구는 현재 대학 교육에서 융합영상콘텐츠 제작 교육을 위해 활용되고 있는 프로그램 및 교재의 한계를 극복하기 위해, 현업에서 사용되는 게임엔진을 활용하여 융합영상콘텐츠 제작교육을 할 수 있는 확장현실기반 프레임워크(framework)를 개발하는 것이다. 여기서 프레임워크란 사용자가 지정된 목적의 콘텐츠를 생성할 수 있는 재사용 가능한 반 완성된 응용프로그램 템플릿 코드를 의미한다.

제안 방법

기존의 게임엔진에서는 HUD는 가상현실 공간 밖에서 별도의 레이어를 생성하는 오버레이(overlay) 방식으로 구현하였기 때문에, 확장현실기반 융합영상콘텐츠에서는 볼 수 없었다. 가상현실 캔버스는 가상현실 공간에 배치된 객체처럼 작동하는 공간기반 렌더모드에서 HMD의 해상도 비율에 맞추어 기존의 직사각형이 아닌 정사각형 모양의 레이아웃 형태를 가지도록 구현하였다. 또한 항상 사용자가 볼 수 있도록 사용자의 시선을 대표하는 카메라앞에 위치하는 기능을 추가하였다.
간단하게 본 연구를 통해 개발된 프레임워크의 시험하기 위해 산업디자인 전공, 26명의 2학년 학생들을 대상으로 한 학기동안 프레임워크를 교육도구로 사용하여 확장현실기반 융합영상콘텐츠 제작 교육을 진행하였다. 해당 과정에 참여한 학생들전원은 프로그래밍 수업을 들은 적이 없으며 실제로 프로그래밍 및 콘텐츠 제작을 이 수업에서 처음으로 경험해봤다고 응답하였다.
해당 과정에 참여한 학생들전원은 프로그래밍 수업을 들은 적이 없으며 실제로 프로그래밍 및 콘텐츠 제작을 이 수업에서 처음으로 경험해봤다고 응답하였다. 교육은 게임엔진인 유니티의 사용법에 관한 내용으로 6주 18시간, 개발된 XR 콘텐츠 저작 프레임워크를 활용하는 내용으로 6주간 18시간을 진행하였고, 3주 9시간 동안 개인별로 자유 주제의 확장현실기반 융합영상콘텐츠를 제작 활동을 수행하도록 진행하였다. 교육 내용을 정리한 내용은 표2와 같다.
그러나 이러한 접근 방법의 경우 이 공학 계열을 제외하고 인문 예체능 전공의 경우 프로그래밍을 수행하기 위한 선행 요건인 컴퓨팅 사고력, 프로젝트 수행 경험 등이 부족하기 때문에 어려움을 겪는 것으로 나타났다[16]. 두 번째 방법으로는 필요한 기능을 바로 활용할 수 있는 일종의 디자인 패턴을 개발하고 이를 활용하여 프로그래밍 과정 없이 논리적인 설계만으로 제작할 수 있게 만드는 것이다. 최근에는 이러한 접근 방법이 비전공자의 프로그래밍 교육 포기율을 낮추고 있어 많이 활용되고 있다[17].
또한 항상 사용자가 볼 수 있도록 사용자의 시선을 대표하는 카메라앞에 위치하는 기능을 추가하였다. 두 번째, 융합 영상 콘텐츠의 공간을 구성하고 있는 3차원 객체에 가까이 다가갔을 때 정보를 제공할 수 있는 말풍선 컴포넌트를 개발하였다. 말풍선 컴포넌트는 일정한 공간 안에 특정 객체가 진입하였을 때 신호를 보내주는 트리거 기능을 사용하여, 사용자로 판별된 오브젝트가 공간에 들어오면 이미지, 소리, 텍스트를 만화의 말풍선처럼 나타날 수 있도록 구현하였다.
그러나 이러한 프리펩은 프로그래밍 코드와 같은 실제 컴포넌트파일은 포함시키지 않기 때문에, 이러한 파일을 모두 포함시킬 수 있는 유니티에서 활용가능한 압축화일인 유니티 패키지 형태로 제공되어야만 한다. 따라서 본 연구는 다양한 전공이 참여하는 융합영상콘텐츠 제작자의 수요를 반영하여 콘텐츠제작에 필요한 기능을 쉽게 사용할 수 있도록 필요한 기능을 미리 구현한 컴포넌트, 프리펩, 유니티 패키지 형태로 구현한다.
가상현실 캔버스는 가상현실 공간에 배치된 객체처럼 작동하는 공간기반 렌더모드에서 HMD의 해상도 비율에 맞추어 기존의 직사각형이 아닌 정사각형 모양의 레이아웃 형태를 가지도록 구현하였다. 또한 항상 사용자가 볼 수 있도록 사용자의 시선을 대표하는 카메라앞에 위치하는 기능을 추가하였다. 두 번째, 융합 영상 콘텐츠의 공간을 구성하고 있는 3차원 객체에 가까이 다가갔을 때 정보를 제공할 수 있는 말풍선 컴포넌트를 개발하였다.
두 번째, 융합 영상 콘텐츠의 공간을 구성하고 있는 3차원 객체에 가까이 다가갔을 때 정보를 제공할 수 있는 말풍선 컴포넌트를 개발하였다. 말풍선 컴포넌트는 일정한 공간 안에 특정 객체가 진입하였을 때 신호를 보내주는 트리거 기능을 사용하여, 사용자로 판별된 오브젝트가 공간에 들어오면 이미지, 소리, 텍스트를 만화의 말풍선처럼 나타날 수 있도록 구현하였다. 또한 사용자가 일정한 공간을 벗어나게 되면 말풍선이 자동으로 사라지는 기능도 추가하였다.
본 연구에서 사용자 인터페이스 프레임워크는 이러한 요구사항을 반영하여 크게 두 가지 개발을 진행하였다. 구현 결과는 그림4와 같다.
그림2는 레티클과 상호작용을 통해 선택 레디얼이 실제로 작동되고 있는 모습을 나타낸 것이다. 이러한 응시기반 모듈의 활용성을 높이기 위해 카메라는 프리팹 형태로 제작하였으며, 오브젝트의 활성화, 비활성화, 가까이 잡아당기기, 공간 이동, 장면이동 등의 상호작용은 기능이 필요한 오브젝트에 컴포넌트만 추가해서 작동할 수 있도록 개발하였다.
구현 결과는 그림4와 같다. 첫 번째 확장현실기반 융합영상콘텐츠에서 작동되는 HUD (head up display)형태의 가상현실 캔버스(canvas)프리펩을 개발하였다. 여기서 캔버스는 유니티 사용자 인터페이스 시스템의 핵심 요소로 텍스트, 이미지, 버튼 등의 UI 요소들이 자식으로 배치되는 영역 객체를 의미한다.

이론/모형

연구 방법으로는 교육 목적의 프레임워크라는 목적 달성을 위해 교육교재 개발에서 가장 많이 사용되는 ADDIE 모형을 활용하고자 한다. ADDIE 모형은 각 단계를 나타내는 영어단어의 첫 글자를 따서 만들어진 모형으로 분석(analysis), 설계(design), 개발(development), 실행(implementation), 평가(evaluation)의 5단계로 구성된다[10].

성능/효과

이러한 연구 결과는 표준화된 비전공자를 위한 확장현실기반 융합영상콘텐츠 교육과정을 설계하거나 개발하는데 활용할 수 있다. 두 번째 융합영상콘텐츠를 개발하는데 사용되는 게임엔진에서 교육적 목적으로 활용할 수 있는 누구나 쉽게 확장현실기반 융합영상콘텐츠를 제작할 수 있는 재사용 가능한 반 완성된 응용프로그램 템플릿인 프레임워크를 구현하였다는 것이다. 지금까지 게임엔진에서 확장현실 콘텐츠 개발을 위한 프레임워크는 전문가와 고성능 구현 중심으로 개발되어, 초보자가 사용하기 매우 어려운 한계점을 가지고 있었다.

후속연구

소프트웨어 생명주기의 요구분석 단계는 교재설계의 분석 단계에 해당되며, 교재설계와 소프트웨어 공학의 설계 개발 단계 역시 구현방법에서 차이가 있을 뿐 목적은 유사한 특성이 있다[11]. 다만본 연구에서는 프레임워크 개발에 목적을 두기 때문에 5단계의 과정 중에서 프레임워크의 적용 및 평가에 해당하는 실행과 평가 과정은 제외할 예정이다. 본 연구에서 프레임워크 개발에 활용되는 게임엔진은 유니티를 사용할 예정이다.
지금까지 게임엔진에서 확장현실 콘텐츠 개발을 위한 프레임워크는 전문가와 고성능 구현 중심으로 개발되어, 초보자가 사용하기 매우 어려운 한계점을 가지고 있었다. 본 연구를 통해 개발된 프레임워크는 드래그 앤드 드롭을 통해 누구나 쉽게 사용할 수 있어 다양한 대학 전공에서 융합영상콘텐츠 교육을 활성화하는 것을 기대할 수 있다.
다만본 연구에서는 프레임워크 개발에 목적을 두기 때문에 5단계의 과정 중에서 프레임워크의 적용 및 평가에 해당하는 실행과 평가 과정은 제외할 예정이다. 본 연구에서 프레임워크 개발에 활용되는 게임엔진은 유니티를 사용할 예정이다. 유니티는 전 세계 가상현실 콘텐츠 점유율 75%, 홀로렌즈 콘텐츠 점유율 91%, 오큘러스 콘텐츠 점유율 60%를 차지하고 있기 때문이다[12].
첫 번째 다양한 문헌 연구를 통해 프로그래밍을 배우지 않은 학생이 확장현실 기반 융합영상콘텐츠 개발을 하는데 필요한 사용자 요구사항과 이를 구현하기 위한 시스템 기능요구 사항을 정리하였다는 점이다. 이러한 연구 결과는 표준화된 비전공자를 위한 확장현실기반 융합영상콘텐츠 교육과정을 설계하거나 개발하는데 활용할 수 있다. 두 번째 융합영상콘텐츠를 개발하는데 사용되는 게임엔진에서 교육적 목적으로 활용할 수 있는 누구나 쉽게 확장현실기반 융합영상콘텐츠를 제작할 수 있는 재사용 가능한 반 완성된 응용프로그램 템플릿인 프레임워크를 구현하였다는 것이다.
첫 번째 호환성을 위해 확장현실 HMD가 가진 기본 기능만 활용할 수 있게 구현되어 있다는 점이다. 추후 개발을 통해 확장현실 HMD의 종류에 따라 기능 구현을 세분화할 수 있는 모듈 개발이 요구된다. 두 번째 교육 적용 사례가 소수의 오직 디자인 분야의 학생들에게만 제한되어 있다는 점이다.

참고문헌 (24)

A. O. Kwok and S. G. Koh, "COVID-19 and extended reality (XR)," Current Issues in Tourism, Advance online publication, pp. 1-6, July 2020.
Strategyanalytics. Short and long term impacts of COVID-1 9 on the ar and vr market [Internet]. Available: https://www.strategyanalytics.com/access-services/media-and-services/virtual-and-augmented-reality/reports/report-detail/summary-covid-19-impact-on-ar-and-vr.
E. S. Leem and T. Woo, "Exploratory research on virtual reality contents design methods based on head mounted device," Journal of Korean Society of Media & Arts, Vol 14, No 4, pp. 91-106, Jun. 2016.
B. H. Choi, "Training in the production of effective prototypes using core mechanic diagram and unreal blueprint," Journal of the Korea Society of Computer and Information, Vol. 25, No. 11, pp. 75-82, Nov. 2020.

원문보기 상세보기
C. M. Nam, C. W. Kim, "A comparative study of virtual reality content creation education by learner," Journal of The Korean Association of Information Education, Vol. 25, No. 5, pp. 585-592, Oct. 2018.
Korea Creative Contents Agency (KOCCA), Changes in the broadcasting video market that virtual reality will bring, in 2016 Broadcasting Industry White Paper, Ministry of Culture, Sports and Tourism, pp. 80-93, 2017.
Korea Institute for Advancement of Technology(KIAT), AR.VR industry analysis and industrial technical manpower analysis report, Ministry of Trade, Industry and Energy, pp. 70-76, 2019.
M. Fayad and D. C. Schmidt, "Object-oriented application frameworks," Communications of the ACM, Vol. 40, No. 10, pp. 32-38, 1997.

상세보기
Y. K. Wang and R. A. Calvo, "A software application framework for developing immersive virtual reality experiences in health domain," in Proceeding of the 2017 IEEE Life Sciences Conference (LSC), Sydney:Australia, pp. 30-37, 2017.
P. L. Smith and T. J. Ragan, Instructional Design, Hoboken, NJ: John Wiley & Sons, 2004.
R. A. Reiser and J. V. Dempsey, Trends and Issues in Instructional Design and Technology, 2nd ed. Boston, MA: Pearson, 2012.
VR focus. 91% of hololens apps are being made in unity 2017; [Internet]. Available: https://www.vrfocus.com/2017/05/91-of-hololens-apps-are-being-made-in-unity/.
B. Gan, Q. Dong, and C. Zhang, Application of virtual reality technology in the teaching of 3d animation course in Advances in 3D Image and Graphics Representation, Analysis, Computing and Information Technology, New York, NY: Springer, pp. 95-101, 2020.
N. Y. G. Lai, K. H Wong, L. J. Yu, and S. H. Kang, "Virtual reality (vr) in engineering education and training: a bibliometric analysis," in Proceedings of the 2020 The 2nd World Symposium on Software Engineering, Chengdu: China, pp. 161-165, 2020.
C. M. Nam, C. W. Kim, K. S. Hong, C. Cho, and J. H. Hong, "A study on the characteristics of curriculum by school level in virtual reality," Journal of The Korean Association of Information Education, Vol. 24, No. 1, pp. 71-78, 2020.

원문보기 상세보기
J. Seo, "A case study on programming learning of non-SW majors for SW convergence education," Journal of Digital Convergence, Vol. 15, No. 7, pp. 123-132, 2017.

원문보기 상세보기
E. R. Sykes, "Determining the effectiveness of the 3D Alice programming environment at the computer science level," Journal of Educational Computing Research, Vol. 36, No. 2, pp. 223-244, 2007.

상세보기
J. Linowes, Unity Virtual Reality Projects, Birmingham, UK: Packt Publishing, 2015.
P. Mealy, Virtual & Augmented Reality for Dummies, Hoboken, NJ: John Wiley & Sons, 2018.
Statista. Share of virtual reality head-mounted display unit sales worldwide in 2016 and 2020 (in million units), by plat form 2020 [Internet]. Available: https://www.statista.com/statistics/697171/head-mounted-display-unit-sales-share-by-platform-worldwide/.
J. Glover and J. Linowes, Complete Virtual Reality and Augmented Reality Development with Unity: Leverage the Power of Unity and Become a Pro at Creating Mixed Reality Application, Birmingham, UK: Packt Publishing, 2019.
Korea Education & Research Information Service (KERIS), A Study on the Educational Application of IT Convergence New Technology in the Fourth Industrial Revolution II, Ministry of Education, pp. 53-54, 2016.
D. Parmar, J. Isaac, S. V. Badu, N. D'Souza, A. E. Leonard, S. Jorg, K. Gundersen, and S. B. Daily, "Programming moves: design and evaluation of applying embodied interaction in virtual environments to enhance computational thinking in middle school students," in Proceeding of the 2016 IEEE Virtual Reality (VR), Greenville: SC, pp. 131-140, 2016.
J. Pirker, A. Dengel, M. Holly, and S. Safikhani, "Virtual reality in computer science education: A systematic review," in Proceeding of the 26th ACM Symposium on Virtual Reality Software and Technology, New York: NY, pp 1-8, 2020.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증