[논문]360 VR 영상에서 효율적인 자막 위치 선정에 관한 연구

김형균

doi:10.14400/jdc.2020.18.6.093

360 VR 영상에서 효율적인 자막 위치 선정에 관한 연구
A Study on Efficient Positioning of Subtitles in 360 VR 원문보기

디지털융복합연구 = Journal of digital convergence, v.18 no.6, 2020년, pp.93 - 98

김형균 (국민대학교 소프트웨어학부)

초록
AI-Helper

본 논문에서는 360 VR에서 사용자 시점의 변화에 따라 자막이 팔로잉되는 기법을 제안하였다. Unity의 Scene에 Sphere 객체를 생성하고 Sphere 객체 표면에 360도 영상을 삽입한다. 이때, 시점을 내부로 변환하기 위해서 ReverseNormals 스크립트를 사용한다. 카메라 시점을 수정하기 위해 SightOrbitproved 스크립트를 사용한다. 이 스크립트를 이용해 시점에 따라 자막이 이동할 수 있는 환경을 설정한다. 다음으로 사용자가 원하는 3D Text(자막)를 Main Camera의 하위계층에 추가하고 360 VR 객체를 Build한다. 본 연구를 통해 구현된 3D Text 자막을 사용자 시점의 변화에 따라 비교하였다. 그 결과 시점의 변화가 진행되면서 일반 자막은 사용자의 시점에 따라 시선 밖으로 흘러가고 있으나, 3D Text 자막은 사용자의 시점에 따라 움직이면서 사용자가 항상 자막을 볼 수 있도록 구현되는 것을 확인할 수 있었다.

Abstract ▼ AI-Helper

In this paper, we proposed a technique in which subtitles are followed according to changes in the user's viewpoint in 360 VR. Create a Sphere object in Unity's Scene and insert a 360-degree image on the surface of the Sphere object. At this time, the ReverseNormals script is used to convert the viewpoint to the inside. The SightOrbitproved script is used to modify the camera view. Use this script to set the environment in which subtitles can move depending on the viewpoint. Next, add the 3D text (subtitle) that the user wants to the lower layer of the main camera and build a 360 VR object. The 3D text subtitles implemented through this study were compared according to the change of the user's viewpoint. As a result, as the viewpoint changes, normal subtitles flow out of line of sight according to the user's point of view, but 3D Text subtitles move according to the user's point of view, and it can be seen that the user can always view the subtitles.

주제어

표/그림 (10)

그림 Fig. 1. Landscape photos taken with a 360 camera [5]
그림 Fig. 2. HMD type by manufacturer
그림 Fig. 3. Subtitle format of existing 360 VR
그림 Fig. 4. Proposed algorithm
그림 Fig. 5. Insert of ReverseNormals Script
그림 Fig. 6. flowchart of ReverseNormals Script
그림 Fig. 7. Insert of MouseOrbitImproved Script
그림 Fig. 8. flowchart of MouseOrbitImproved Script
그림 Fig. 9. Test image
그림 Fig. 10. Comparison of Normal Subtitles and 3D Text Subtitles

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 360 VR에서 사용자 시점의 변화에 따라 자막이 팔로잉되는 기법을 제안하였다. Unity의 Scene에 Sphere 객체를 생성하고 Sphere 객체 표면에 360도 영상을 삽입한다.
본 논문에서는 사용자들에게 다양한 각도의 영상을 즉각적이고 직관적으로 보여주며 활용 범위가 넓어지고 있는 360 VR에서 이미지와 음성 요소 외에도 사용자 시선의 방향이 변화하더라도 자막이 팔로잉 되는 기법을 제안하고자 한다. 이를 통하여 360 VR 기반의 관광콘텐츠에 필수적인 관광지 안내 자막 삽입이나 외국어 영상을 위한 번역 자막의 삽입 시 사용자의 시청 편의성을 향상 시키고자 한다.
본 연구는 360VR 영상 기반의 관광콘텐츠에 필수적인 관광지 소개 및 안내를 위한 자막 삽입이나 외국어 VR 영상을 위한 번역 자막 삽입 시, 사용자의 정보 접근의 편의성을 향상시키는데 의의가 있다. 향후, 이 기법을 발전시켜 자막을 포함하여 360 VR에서 사용자들과 효율적으로 인터랙션할 수 있는 인터페이스 환경과의 연동을 통해 360 VR의 콘텐츠 적용 및 활용을 사용자 경험에 기반하여 확대할 수 있는 기반을 마련해 나가야 할 것이다.
본 논문에서는 사용자들에게 다양한 각도의 영상을 즉각적이고 직관적으로 보여주며 활용 범위가 넓어지고 있는 360 VR에서 이미지와 음성 요소 외에도 사용자 시선의 방향이 변화하더라도 자막이 팔로잉 되는 기법을 제안하고자 한다. 이를 통하여 360 VR 기반의 관광콘텐츠에 필수적인 관광지 안내 자막 삽입이나 외국어 영상을 위한 번역 자막의 삽입 시 사용자의 시청 편의성을 향상 시키고자 한다.

제안 방법

앞서 제안한 과정을 거쳐 사용자가 원하는 3D Text (자막)를 Main Camera의 하위계층에 추가하고, 360 VR 객체를 Build하면 본 연구에서 제안한 사용자 시점의 변화에 따라 팔로잉 하는 자막이 생성된다. Fig.

이론/모형

③ 정의된 ReverseNormals 스크립트를 통해 시점을 외부에서 내부로 변환한다. 이때, 카메라 시점을 수정하기 위해 SightOrbitproved 스크립트를 사용 한다.

성능/효과

일반 자막과 본 연구를 통해 구현된 3D Text 자막을 사용자 시점의 변화에 따라 비교한 결과 시점의 변화가 진행되면서 일반 자막은 사용자의 시점에 따라 시선 밖으로 흘러가고 있으나, 3D Text 자막은 사용자의 시점에 따라 움직이면서 사용자가 항상 자막을 볼 수 있도록 구현되는 것을 확인할 수 있었다.

후속연구

본 연구는 360VR 영상 기반의 관광콘텐츠에 필수적인 관광지 소개 및 안내를 위한 자막 삽입이나 외국어 VR 영상을 위한 번역 자막 삽입 시, 사용자의 정보 접근의 편의성을 향상시키는데 의의가 있다. 향후, 이 기법을 발전시켜 자막을 포함하여 360 VR에서 사용자들과 효율적으로 인터랙션할 수 있는 인터페이스 환경과의 연동을 통해 360 VR의 콘텐츠 적용 및 활용을 사용자 경험에 기반하여 확대할 수 있는 기반을 마련해 나가야 할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	360 VR 영상의 특징은?	하지만 실시간으로 진행중인 영상에서는 사용자의 시각 전환이 쉽지 않고 원하는 각도 영상에 대한 사용자 요청에 즉각적으로 대응하기에는 한계가 있다. 이에 반해 360 VR 영상은 시청자의 시선 전환만으로도 원하는 영역과 각도의 영상을 자연스럽고 직관적으로 선택할 수 있다. 이러한 장점 때문에 몰입형 미디어 제작이 필요한 많은 분야에서 다양하게 활용되고 있다.
	멀티앵글 서비스의 한계는?	멀티앵글 서비스는 다수의 카메라를 이용해 동시에 촬영한 영상에 대해 원하는 각도를 선택하여 시청할 수 있는 결정권을 시청자가 가지는 장점이 있다. 하지만 실시간으로 진행중인 영상에서는 사용자의 시각 전환이 쉽지 않고 원하는 각도 영상에 대한 사용자 요청에 즉각적으로 대응하기에는 한계가 있다. 이에 반해 360 VR 영상은 시청자의 시선 전환만으로도 원하는 영역과 각도의 영상을 자연스럽고 직관적으로 선택할 수 있다.
	멀티앵글 서비스의 장점은?	360 VR 영상은 다양한 각도에서 촬영된 이미지를 하나의 채널로 제공하는 멀티앵글 서비스와 비교될 수 있다[1-4]. 멀티앵글 서비스는 다수의 카메라를 이용해 동시에 촬영한 영상에 대해 원하는 각도를 선택하여 시청할 수 있는 결정권을 시청자가 가지는 장점이 있다. 하지만 실시간으로 진행중인 영상에서는 사용자의 시각 전환이 쉽지 않고 원하는 각도 영상에 대한 사용자 요청에 즉각적으로 대응하기에는 한계가 있다.

참고문헌 (20)

Sports CHOSUN. (2017). KBL's first multi-angle relay service for domestic professional sports. http://news.chosun.com
B. G. Kang, S. H. Ryu & W. B. Lee. (2017). Development of an interactive virtual reality service based on 360 degree VR image. Journal of Digital Convergence, 15(11), 463-470.
D. W. Guo & J. H. Chung. (2017). A study on $360^{\circ}$ image production method for VR image contents. Journal of Digital Convergence, 15(12), 543-548.
H. W. Kim, J. S. Lee & S. H. Yang, (2018). Study of capturing real-time 360 VR 3D game video for 360 VR E-sports broadcast. Journal of Broadcast Engineering, 23(6), 876-885.
D. Kang. (2016). Break the screen, open the space! 360 degree camera! Retrieved from https://blog.lgcns.com/1099
L. G. Lee & J. H. Chung. (2018). A study on effective stitching technique of $360^{\circ}$ camera image. Journal of Digital Convergence, 16(2), 335-341.
L. G. Lee & J. H. Chung (2019). Study on compositing editing of $360^{\circ}$ VR actual video and 3D computer graphic video. Journal of Digital Convergence, 17(4), 255-260.
Y. S. Lee & J. Kim. (2016). A study on the production efficiency of movie filming environment using $360^{\circ}$ VR. Journal of Korea Multimedia Society, 19(12), 2036-2043.

원문보기 상세보기
T. S. Shim, S. B. Yoo & S. H. Shin. (2017). 360 content pilot service platform of cultural assets based on MPEG-V standard realistic media Testbed. The Journal of Korea Navigation Institute, 21(6), 666-673.
S. Nam. (2018). 360VR video production technology trend. Broadcast and Media, 23(4), 10-18. http://www.dbpia.co.kr/
C. Kim. (2016). A comparative study for virtual reality $360^{\circ}$ contents shooting equipments based on real world. Journal of Broadcast Engineering, 21(5), 714-725.

원문보기 상세보기
H. W. Kim & S. H. Yang. (2018). Implementation of 360 VR tiled video player with eye tacking based foveated rendering. Journal of Korea Multimedia Society, 21(7), 795-801.
Y. N. Lee & J. W. Park. (2018). Arrangement of narrative events and background in the contents of VR 360 video. Journal of Digital Contents Society, 19(9), 1631-1639.

원문보기 상세보기
Y. T. Moon & D. Kim. (2018). A research on the uses of and satisfactions from $360^{\circ}$ 3D video using VR devices. The Journal of the Korea Contents Association, 18(3), 205-214.
D. Y. Nam & J. K. Han. (2018). Seam finding algorithm using the brightness difference between pictures in 360 VR. Journal of Broadcast Engineering, 23(6), 896-913.
H. J. Son & J. K. Han. (2018). Advanced seam finding algorithm for stitching of 360 VR images. Journal of Broadcast Engineering, 23(5), 656-668.
Unity. (2019). BillboardAsset. https://docs.unity3d.com
Unity. (2019). Mesh. https://docs.unity3d.com
Unity. (2019). Transform-eulerAngles. https://docs.unity3d.com
Unity. (2019). Mathf.clamp. https://docs.unity3d.com

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증