[논문]포토그래메트리 및 인공지능 기술을 활용한 실감 콘텐츠 제작과 스토리텔링 방법 연구

김정호; 박진완; 유태경

doi:10.5909/jbe.2022.27.5.654

포토그래메트리 및 인공지능 기술을 활용한 실감 콘텐츠 제작과 스토리텔링 방법 연구
A Study on Immersive Content Production and Storytelling Methods using Photogrammetry and Artificial Intelligence Technology 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.27 no.5, 2022년, pp.654 - 664

김정호 (중앙대학교 첨단영상대학원 영상학과) , 박진완 (중앙대학교 예술공학대학 컴퓨터예술학부) , 유태경 (중앙대학교 첨단영상대학원 영상학과)

초록
AI-Helper

실감 콘텐츠는 COVID-19 팬데믹으로 인한 관심과 더불어 확장현실, 인공지능, 포토그래메트리 기술과 융합을 통해 공간적 한계를 극복하며 엔터테인먼트, 미디어, 공연, 전시 등 콘텐츠 시장에서 새로운 패러다임을 제시하며 수요 역시 증가하고 있다. 하지만 실감 콘텐츠가 대중들에게 지속된 관심을 가지기 위해서는 기술적 신선함보다 콘텐츠에 대한 몰입도를 높일 수 있는 스토리텔링 방법 연구가 필요하다는 것을 알 수 있다. 따라서 본 연구에서는 인공지능 및 포토그래메트리 기술을 활용한 실감 콘텐츠 스토리텔링 방법을 제안한다. 제안된 스토리텔링 방법은 대화형 가상존재와 참여자가 대화를 통한 상호작용으로 콘텐츠 스토리를 생성하는 것이다. 이에 관객 주도적 참여를 통해 콘텐츠 몰입도를 높일 수 있다. 본 연구는 가속화되는 실감 콘텐츠 시장에서 콘텐츠 제작자들에게 제안된 인공지능 기술이 활용된 가상존재를 통한 스토리텔링 방법론으로 효율적인 콘텐츠 제작에 도움을 줄 수 있을 것으로 기대한다. 또한 콘텐츠 제작에 있어 인공지능 및 포토그래메트리 기술을 활용한 실감 콘텐츠 제작 파이프라인 정립에 기여할 것이라고 생각한다.

Abstract ▼ AI-Helper

Immersive content overcomes spatial limitations through convergence with extended reality, artificial intelligence, and photogrammetry technology along with interest due to the COVID-19 pandemic, presenting a new paradigm in the content market such as entertainment, media, performances, and exhibitions. However, it can be seen that in order for realistic content to have sustained public interest, it is necessary to study storytelling method that can increase immersion in content rather than technological freshness. Therefore, in this study, we propose a immersive content storytelling method using artificial intelligence and photogrammetry technology. The proposed storytelling method is to create a content story through interaction between interactive virtual beings and participants. In this way, participation can increase content immersion. This study is expected to help content creators in the accelerating immersive content market with a storytelling methodology through virtual existence that utilizes artificial intelligence technology proposed to content creators to help in efficient content creation. In addition, I think that it will contribute to the establishment of a immersive content production pipeline using artificial intelligence and photogrammetry technology in content production.

주제어

표/그림 (9)

그림 그림 1. Grendel 스토리텔링 순서도 Fig. 1. Grendel storytelling flowchart
그림 그림 2. 인공지능 음성인식 기술 적용 순서도 Fig. 2. AI speech recognition flow chart
그림 그림 3. 관객과 Grendel이 대화를 통한 상호작용하는 장면 Fig. 3. The scene where the participants interacts with Grendel
그림 그림 4. LiDAR 포토그래메트리 스캐닝을 활용한 비정형 파티클 표현 Fig. 4. Atpyical particle results with LiDAR scanning
그림 그림 5. RGBD 카메라를 활용한 시선 공유 장면 Fig. 5. Vision sharing through RGBD Camera
그림 그림 6. RGBD 카메라를 활용한 시선 공유 결과 Fig. 6. Vision sharing results using RGBD camera
그림 그림 7. 'Grendel' 콘텐츠 마지막 장면 Fig. 7. The final scene of 'Grendel'
표 표 1. Grendel Contents Interview Questions Table 1. Grendel Contents Interview Questions
표 표 2. Grendel Contents Interview Answers Table 2. Grendel Contents Interview Answers

참고문헌 (22)

J. Kang, "A Case Study on Application of Realistic Content to Space Design", Journal of Digital Convergence, Vol.15, No.6, pp. 369-376, 2017 doi: https://doi.org/10.14400/JDC.2017.15.6.369

원문보기 상세보기
E. Leem, "Design and Development of XR Contents Authoring Framework for IT Convergence Education", Journal of Advanced Navigation Technology, Vol.24, No.6, pp.633-539, September 2020. doi: https://doi.org/10.12673/jant.2020.24.6.633

원문보기 상세보기
Market spending on extended reality(XR) technologie worldwide from 2018 to 2023, by industry, https://www.statista.com/statistics/1096765/global-market-spend-on-xr-technologies-by-industry
The Mandalorian leads the way: Real-time virtual production is saving hollywood during the lockdown, https://www.indiewire.com/2020/05/the-mandalorian-real-time-virtual-production-saving-hollywood-lockdown-vfx-120230120/
M. Choi, "Augmented Reality and Storytelling", The Society of Korean Language & Culture, Vol.0, No.73, pp.433-459, 2020.
T. Yoo, "A Study on Storytelling of VR Cartoons", Journal of braodcast engineering, Vol.23, No.1, pp.45-52, 2018. doi: https://doi.org/10.5909/JBE.2018.23.1.45

원문보기 상세보기
H. Shin, "The Freedom of Viewpoint in VR Contents: With a Focus on Lost, an Animation", The Korean Journal of animation, Vol.12, No.4, pp.87-102, 2016.
Geigel, Joe, et al, "The digital docent: XR Storytelling for a Living History Museum", In 26th ACM Symposium on Virtual Reality Sofeware and Technology, pp. 1-3, 2020. doi: https://doi.org/10.1145/3385956.3422090
N. Skult and J. Smed, "Interactive Storytelling in Extended Reality: Concepts for the Design", In: Game User Experience and PlayerCentered Design, pp. 449-467, 2020. doi: https://doi.org/10.1007/978-3-030-37643-7_21
Huynh-The, Thien, et al., "Artificial Intelligence for the Metaverse: A Survey", arXiv preprint arXiv:2202. 10336, 2022. doi: https://doi.org/10.48550/arXiv.2202.10336
J. Cohn, "The Scientist of the Holy Ghost: Sunsrping and Reading Nonsense", Journal of Cinema and Media Studies, Vol.60, No.5, pp.1-21, 2021.
H. Rheingold, Virtual Reality, Summit Books, 1991
C. Anthes, R. J. G. Hernandez, M. Wiedemann, D. Kranzlmuller, "State of the Art of Virtual Reality Technologies", 2016 IEEE Aerospace Conference, Montana, United States, 2016. doi: https://doi.org/10.1080/08856257.2011.593831

상세보기
T. P. Caudell and D. W. Mizell, "Augmented reality: an application of heads-up display technology to manual manufacturing processes", in Proceedings of the Twenty-Fifth Hawaii Interanational Conference on System Science, Vol.2, pp.659-669, 1992.
P. Chen, X. Liu, and R. Huang, "A review of using Augmented Reality in Education from 2011 to 2016", Innovations in Smart Learning, pp.13-18, 2017.
M. Flasinski, Introduction to artificial intelligence, Springer International Publishing, Switzeland, pp.3-14, 2016.
F. Tao, H. Zhang, A. Liu, and A. Y. C. Nee, "Digital twin in industry:State-of-the-art", IEEE Transactions on Industrial Informatics, Vol.15, No.4, pp.2405-2415, April, 2019. doi: https://doi.org/10.1109/TII.2018.2873186

상세보기
D. Chen, D. Wang, Y. Zhu, and Z. Han, "Digital twin for federated analytics using a bayesian approach", IEEE Internet of Things Journal, Vol.8, No.22, pp.16301-16312, November, 2021. doi: https://doi.org/10.1109/JIOT.2021.3098692

상세보기
M. Daniluk, T. Rocktaschel, J. Welbl, and S. Riedel, "Frustraingly short attention spans in neural language modeling", arXiv preprint arxiv:1702.04521, 2017
D. Liu, J. Fu, Q. Qu, and J. Lv, "BFGAN: backward and forwad generative adversarial networks for lexically constrained sentence generation", IEEEE/ACM Transaction on Audio, Speech, and Language Processing, Vol.27, No.12, pp.2350-2362, December, 2019
J. Decker, A. Doherty, J. Geigel, and G. D. Jacobs, "Blending Diciplines for a Blended Reality: Virtual Guides for a Living History Museum", The Journal of Interactive Technology & Pedagogy, Vol.17, May, 2020.
Comparison of Top 10 Speech Processing APIs, https://medium.com/activewizards-machine-learning-company/comparison-of-top-10-speech-processing-apis-2293de1d337f

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증