[논문]3D모션 컨트롤 기술을 이용한 융합형 실감 콘텐츠 제작

정선리; 장석주

doi:10.22156/cs4smb.2019.9.4.146

[국내논문] 3D모션 컨트롤 기술을 이용한 융합형 실감 콘텐츠 제작
Production of fusion-type realistic contents using 3D motion control technology 원문보기

융합정보논문지 = Journal of Convergence for Information Technology, v.9 no.4, 2019년, pp.146 - 151

초록
AI-Helper

본 논문에서는 실감기술 기반의 다중시점영상 콘텐츠와 제작기술을 활용한 파일럿을 제작하였다. 또한, 사용자에게 다양한 시점의 영상을 제공하여 사용자 시점에서 원하는 방향을 선택할 수 있는 실감콘텐츠 제작기술 확보하였다. 지역 문화관광 자원을 중심으로 간접체험이 가능한 다중시점영상 콘텐츠를 제작 및 다중시점영상(실감기술)을 기반으로 한 사이버 투어 콘텐츠를 제작 하였다. 본 기술 개발은 전국의 도서관, 유치원, 초등학교, 중고등학교는 물론 노인대학, 주부교실, 평생교육원, 장애우 사회적응 교육 등 공공교육 분야 산업 전반에 사용되는 3D 상호작용 실감콘텐츠를 제작할 수 있어 관련 시장의 확대가 기여되며, 국내의 VR시장은 아직 초기단계로 게임과 쇼핑몰 관련 3D 시장과 결합하여 점차 증가할 것으로 기대된다.

Abstract ▼ AI-Helper

In this paper, we developed a multi-view video content based on real-world technology and a pilot using the production technology, and provided realistic contents production technology that can select a desired direction at a user 's view point by providing users with various viewpoint images. We also created multi-view video contents that can indirectly experience local cultural tourism resources and produced cyber tour contents based on multi-view video (realistic technology). This technology development can be used to create 3D interactive real-world contents that are used in all public education fields such as libraries, kindergartens, elementary schools, middle schools, elderly universities, housewives classrooms, lifelong education centers, The domestic VR market is still in it's infancy, and it's expected to develop in combination with the 3D market related to games and shopping malls. As the domestic educational trend and the demand for social public education system are growing, it is expected to increase gradually.

주제어

표/그림 (6)

그림 Fig. 1. 360 ° panoramic video shooting equipment
그림 Fig. 2. Lip motion concepts and examples
그림 Fig. 3. Lip motion interface
그림 Fig. 4. Lip motion sensor for motion information acquisition
그림 Fig. 5. 'View360' content control screen using lip motion sensor
그림 Fig. 6. Core technology of 360 ° viewable View360 (multi-view video)

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 실감기술 기반의 다중시점영상 콘텐츠와 제작기술을 활용한 파일럿을 제작하고자 한다. 멀티미디어 콘텐츠가 다양하게 소비됨에 따라 단방향 평면적 콘텐츠가 제공하는 시점의 한계에서 사용자에게 다양한 시점의 영상 콘텐츠 제작 기술들이 시도되고 있으며, 박물관, 전시관, 공연장, 학습 체험장 등 다양한 실제 환경을 다중시점영상 기술을 통해 특정한 공간에서의 경험을 1인칭 시점에서 경험할 수 있도록 영상콘텐츠 제작이 필요하다.
다시점 비디오 처리는 사용자에게 자유로운 시점과 넓은 화면을 통해 입체감 제공, 영상 획득시 존재하는 중복조건, 순간처리 데이터양 증가, 그리고 고가 장비가 요구되는 문제점으로 인한 다양한 서비스 개발이 제한되어 왔다[11,12]. 본 연구에서는 실감기술 기반의 다중시점영상 콘텐츠와 제작기술을 활용한 파일럿을 제작하였으며, 사용자에게 보다 다양한 시점 영상을 제공함으로써 사용자 시점에서 원하는 방향을 선택할 수 있는 실감콘텐츠 제작기술을 확보하였다. 또한 지역 문화관광 자원을 중심으로 간접체험이 가능한 다중시점영상 콘텐츠를 제작 및 다중시점영상(실감기술)을 기반으로 한 사이버 투어 콘텐츠를 제작하였다.

제안 방법

360° VR 동영상 콘텐츠 제작을 통해 단방향의 평면적 콘텐츠가 제공하는 시점의 한계에서 벗어나 사용자에게보다 다양한 시점의 영상 콘텐츠 제작 기술을 시도하여, 한 대 이상 카메라를 통해 촬영된 영상을 기하학적 교정 및 공간적인 합성을 통해 여러가지 방향의 다양한 시점들을 사용자에게 제공하였다.
이와 같은 정보를 이용 마우스 down, up, drag 이벤트를 조합하여 다시점 영상콘텐츠를 실시간으로 제어하였으며, Grab Value은 주먹을 쥔 정도( 1이 최대값) 중간에 Current Grab Value를 보면서 Grab Value를 설정하였다. Buffer Length는 기존 프로그램은 Leap Motion SDK에서 나온 데이터를 바로 적용해서 마우스 포인트가 튀는 현상이 발생했는데 Buffering을 적용해서 평균값으로 적용하였다. Buffer Length가 클수록 마우스가 이동하는 정도가 느려져 테스트 시 3~5정도 값이 속도나 안정도 면에서 양호하였다.
손모양의 3차원 위치정보를 실시간 수집하여 스크린 2차원 좌표로 변환 후 마우스이동 이벤트로 변환하였다. 그리고 사용자 손모양의 그랩(Grap) 상태를 파악한 후 그랩(Grap)의 상태 정보에 따라 마우스의 클릭(Click)을 이벤트(Event)로 변환하였다. 이와 같은 정보를 이용 마우스 down, up, drag 이벤트를 조합하여 다시점 영상콘텐츠를 실시간으로 제어하였으며, Grab Value은 주먹을 쥔 정도( 1이 최대값) 중간에 Current Grab Value를 보면서 Grab Value를 설정하였다.
실감 체험형 다시점 영상 제어를 위한 프로그램으로 사용자의 핸드 제스처를 통해 다시점 영상 콘텐츠를 제어하였다. 다시점 영상을 실시간으로 제어하기 위한 Leap Motion 센서를 사용하였으며, Leap Motion 센서 위에서 사용자의 핸드 트레킹을 통해 손의 위치 및 제스처를 분석하고, 분석된 정보를 이용하여 제어 이벤트를 발생시켰다. 카메라 FOV 조절은 1:1 스케일에 적용되는 50 FOV값으로 설정하였으며, 영상 로딩이 완료 된 후 플레이어에서 JavaScript로 로딩 완료 메시지를 전달하였으며, JavaScript에서 메시지를 받으면 해당 플레이 영상 재생 명령을 플레이어로 전달하고, Ack 통신을 통한 영상 재생 딜레이를 최소화 하였다.
본 연구에서는 실감기술 기반의 다중시점영상 콘텐츠와 제작기술을 활용한 파일럿을 제작하였으며, 사용자에게 보다 다양한 시점 영상을 제공함으로써 사용자 시점에서 원하는 방향을 선택할 수 있는 실감콘텐츠 제작기술을 확보하였다. 또한 지역 문화관광 자원을 중심으로 간접체험이 가능한 다중시점영상 콘텐츠를 제작 및 다중시점영상(실감기술)을 기반으로 한 사이버 투어 콘텐츠를 제작하였다. 이는 인터넷을 통한 데이터 전달 기술 및 속도의 증가는 다양한 멀티미디어 콘텐츠의 이용을 가능하게 할 뿐만 아니라, 최근에는 사용자들의 요구가 단순 소비 형태의 콘텐츠 이용에서 대화형 콘텐츠, 실감 콘텐츠의 이용을 요구하는 수준에 이르고 있으며, 이런 환경에서 다시점 비디오 제공은 다양한 사용자들의 욕구를 충족시킬 수 있을 것으로 사료된다.
본 연구를 토대로 360° 동영상의 시연콘텐츠의 구성과 립 모션 컨트롤과 제작공정을 매뉴얼로 제작함으로서 향후 지역에서 관련 인프라를 다지기에 영향을 줄 것으로 기대되며, 제작기술과 콘텐츠 홍보를 위한 시연행사 참여와 제작 튜토리얼을 온라인 커뮤니티를 통해 교류하며 보완하고, 업그레이드 하면서 관련기술 네트워크를 확보하였다. 립 모션, 오큘러스(HMD), 스마트 모바일 기기 등의 제품(디바이스)의 특장점을 극대화 시킬 수 있는 서비스 모델 개발과 관련 기술 확대 및 시연을 위한 콘텐츠 구성과 디스플레이에 립모션 센서를 이용한 동작인식 제어기능을 적용 하였다.
3차원(3D) 영상처리의 한 분야인 다시점 비디오(Multiview video)제작 방식을 통해 사용자에게 시점의 자유를 증가하였으며, 영상 획득 시 필수적인 순간 처리 데이터양의 증가, 중복 조건, 고가의 장비가 요구되는 문제점 등 다양한 서비스 개발의 제한들을 극복하였다. 마우스, 리모콘 등의 정형적인 인터페이스 외에 3D모션 컨트롤 장치를 사용한 사용자 친화적인 인터페이스를 제공하였다. Fig 6은 360° 뷰가 가능한 View360의 핵심 기술 (다시점 동영상) 결과를 보여주고 있다.
마우스, 리모콘등의 정형적인 인터페이스 외의 사용자 선호도에 따라 손쉬운 파노라마의 공간을 제어하는 사용자 친화적인 인터페이스 기술을 제공하였으며, 다중카메라로 제작된 영상을 한 장의 이미지로 결합시켜 파노라마영상으로 이어주는 기술로 360 공간(상/ 좌우)으로 구현이 가능한 왜곡형태를 지니고 있으며, 360° 뷰 동영상을 스티칭을 통해 결합된 영상의 왜곡된 이미지가 정상적인 모습으로 보이도록 해주는 뷰잉 기술로, 360 플래시 기반으로 아웃풋 되던 기술들이 HTML5 기반의 웹/모바일 환경으로도 가능해졌다.
본 연구를 토대로 360° 동영상의 시연콘텐츠의 구성과 립 모션 컨트롤과 제작공정을 매뉴얼로 제작함으로서 향후 지역에서 관련 인프라를 다지기에 영향을 줄 것으로 기대되며, 제작기술과 콘텐츠 홍보를 위한 시연행사 참여와 제작 튜토리얼을 온라인 커뮤니티를 통해 교류하며 보완하고, 업그레이드 하면서 관련기술 네트워크를 확보하였다.
본 연구에서는 Leap Motion 센서를 통하여 수집된 사용자의 핸드 트레킹 정보를 이용한 손의 위치 및 모션을 분석하여 제어 이벤트를 발생시킨 후 다시점 영상 콘텐츠를 제어하였다. 손모양의 3차원 위치정보를 실시간 수집하여 스크린 2차원 좌표로 변환 후 마우스이동 이벤트로 변환하였다.
다중시점영상(실감기술)이을 기반으로 한 사이버 투어 콘텐츠 제작을 통해 실감기반으로 요소들을 통해 학습자의 학습몰입감과 학업 성취도를 극대화시킬 수 있었다. 사용자에게 보다 다양한 시점의 영상을 제공함으로써 사용자시점에서 원하는 방향을 선택할 수 있는 실감 콘텐츠 제작기술을 확보하였으며, 실감기술 기반의 다중시점영상 콘텐츠와 제작기술을 활용한 파일럿을 제작 하였다. 또한, 3D 기반의 실감영상을 기반한 Interaction이 가능한 오픈 플랫폼(Open Plattform) 콘텐츠 저작도구를 개발할 경우에는 제작사마다 서로 다른 개발도구를 상호호환 가능하게 하여 결과적으로 콘텐츠 개발 시장 활성화와 시장 확대 주도가 예상된다.
본 연구에서는 Leap Motion 센서를 통하여 수집된 사용자의 핸드 트레킹 정보를 이용한 손의 위치 및 모션을 분석하여 제어 이벤트를 발생시킨 후 다시점 영상 콘텐츠를 제어하였다. 손모양의 3차원 위치정보를 실시간 수집하여 스크린 2차원 좌표로 변환 후 마우스이동 이벤트로 변환하였다. 그리고 사용자 손모양의 그랩(Grap) 상태를 파악한 후 그랩(Grap)의 상태 정보에 따라 마우스의 클릭(Click)을 이벤트(Event)로 변환하였다.
실감 체험형 다시점 영상 제어를 위한 프로그램으로 사용자의 핸드 제스처를 통해 다시점 영상 콘텐츠를 제어하였다. 다시점 영상을 실시간으로 제어하기 위한 Leap Motion 센서를 사용하였으며, Leap Motion 센서 위에서 사용자의 핸드 트레킹을 통해 손의 위치 및 제스처를 분석하고, 분석된 정보를 이용하여 제어 이벤트를 발생시켰다.
그리고 사용자 손모양의 그랩(Grap) 상태를 파악한 후 그랩(Grap)의 상태 정보에 따라 마우스의 클릭(Click)을 이벤트(Event)로 변환하였다. 이와 같은 정보를 이용 마우스 down, up, drag 이벤트를 조합하여 다시점 영상콘텐츠를 실시간으로 제어하였으며, Grab Value은 주먹을 쥔 정도( 1이 최대값) 중간에 Current Grab Value를 보면서 Grab Value를 설정하였다. Buffer Length는 기존 프로그램은 Leap Motion SDK에서 나온 데이터를 바로 적용해서 마우스 포인트가 튀는 현상이 발생했는데 Buffering을 적용해서 평균값으로 적용하였다.

성능/효과

360° VR 동영상 콘텐츠 제작을 통해 단방향의 평면적 콘텐츠가 제공하는 시점의 한계에서 벗어나 사용자에게보다 다양한 시점의 영상 콘텐츠 제작 기술을 시도하여, 한 대 이상 카메라를 통해 촬영된 영상을 기하학적 교정 및 공간적인 합성을 통해 여러가지 방향의 다양한 시점들을 사용자에게 제공하였다. 3차원(3D) 영상처리의 한 분야인 다시점 비디오(Multiview video)제작 방식을 통해 사용자에게 시점의 자유를 증가하였으며, 영상 획득 시 필수적인 순간 처리 데이터양의 증가, 중복 조건, 고가의 장비가 요구되는 문제점 등 다양한 서비스 개발의 제한들을 극복하였다. 마우스, 리모콘 등의 정형적인 인터페이스 외에 3D모션 컨트롤 장치를 사용한 사용자 친화적인 인터페이스를 제공하였다.
Buffer Length는 기존 프로그램은 Leap Motion SDK에서 나온 데이터를 바로 적용해서 마우스 포인트가 튀는 현상이 발생했는데 Buffering을 적용해서 평균값으로 적용하였다. Buffer Length가 클수록 마우스가 이동하는 정도가 느려져 테스트 시 3~5정도 값이 속도나 안정도 면에서 양호하였다. Fig 3은 립 모션 인터페이스 화면을 보여주고 있다.
다중시점영상(실감기술)이을 기반으로 한 사이버 투어 콘텐츠 제작을 통해 실감기반으로 요소들을 통해 학습자의 학습몰입감과 학업 성취도를 극대화시킬 수 있었다. 사용자에게 보다 다양한 시점의 영상을 제공함으로써 사용자시점에서 원하는 방향을 선택할 수 있는 실감 콘텐츠 제작기술을 확보하였으며, 실감기술 기반의 다중시점영상 콘텐츠와 제작기술을 활용한 파일럿을 제작 하였다.
사용자 시점에서 원하는 방향을 선택할 수 있는 실감 콘텐츠 제작 기술을 활용 다수의 카메라를 통해 획득한 영상을 하나의 영상으로 붙여 시야가 넓은 영상을 제공하여 증대된 현장감과 몰입감을 제공함으로서 사용자 시점의 자유도를 증가시킬 수 있었다. 마우스, 리모콘등의 정형적인 인터페이스 외의 사용자 선호도에 따라 손쉬운 파노라마의 공간을 제어하는 사용자 친화적인 인터페이스 기술을 제공하였으며, 다중카메라로 제작된 영상을 한 장의 이미지로 결합시켜 파노라마영상으로 이어주는 기술로 360 공간(상/ 좌우)으로 구현이 가능한 왜곡형태를 지니고 있으며, 360° 뷰 동영상을 스티칭을 통해 결합된 영상의 왜곡된 이미지가 정상적인 모습으로 보이도록 해주는 뷰잉 기술로, 360 플래시 기반으로 아웃풋 되던 기술들이 HTML5 기반의 웹/모바일 환경으로도 가능해졌다.
다시점 영상을 실시간으로 제어하기 위한 Leap Motion 센서를 사용하였으며, Leap Motion 센서 위에서 사용자의 핸드 트레킹을 통해 손의 위치 및 제스처를 분석하고, 분석된 정보를 이용하여 제어 이벤트를 발생시켰다. 카메라 FOV 조절은 1:1 스케일에 적용되는 50 FOV값으로 설정하였으며, 영상 로딩이 완료 된 후 플레이어에서 JavaScript로 로딩 완료 메시지를 전달하였으며, JavaScript에서 메시지를 받으면 해당 플레이 영상 재생 명령을 플레이어로 전달하고, Ack 통신을 통한 영상 재생 딜레이를 최소화 하였다.

후속연구

또한, 3D 기반의 실감영상을 기반한 Interaction이 가능한 오픈 플랫폼(Open Plattform) 콘텐츠 저작도구를 개발할 경우에는 제작사마다 서로 다른 개발도구를 상호호환 가능하게 하여 결과적으로 콘텐츠 개발 시장 활성화와 시장 확대 주도가 예상된다. 또한 아직까지 VR기술을 활용한 실감형 3D 체험에 관한 성공사례들이 미약하므로 새로운 산업 돌파구 마련 기회를 제공 할 것이다. 향후 사업화를 위한 전시용 제품의 제작 및 순회 서비스 전시, 관련 업체 협동 마케팅을 통한 영업환경의 구축, 그리고 국제 마케팅을 위한 각종 홍보 지원 사업 참가 등이 필요하다 하겠다.
또한 아직까지 VR기술을 활용한 실감형 3D 체험에 관한 성공사례들이 미약하므로 새로운 산업 돌파구 마련 기회를 제공 할 것이다. 향후 사업화를 위한 전시용 제품의 제작 및 순회 서비스 전시, 관련 업체 협동 마케팅을 통한 영업환경의 구축, 그리고 국제 마케팅을 위한 각종 홍보 지원 사업 참가 등이 필요하다 하겠다.

질의응답

핵심어	질문	논문에서 추출한 답변
	영상기반 가상현실 시스템이 제안된 이유는 무엇인가?	3차원 가상환경은 사용자의 몰입감을 높이기 위해 최대한 현실과 같은 모습을 제공해야 하며, 최근에는 3D 디스플레이 발전과 보급으로 사용자들이 입체감 있는 3차원 가상현실을 쉽게 접함에 따라 가상현실 콘텐츠 수요는 다양하게 증가하고 있다. 기존의 3차원 가상환경은 컴퓨터 그래픽 모델링 저작도구를 통해 만들어지는 것이 일반적이지만 모델링 저작도구를 통한 가상 환경 구축시 많은 시간과 노력이 요구되고 있으며, 실제 환경과 비슷한 가상 환경을 만들기 위해 실제 환경에 존재하는 것을 모두 측정하고 모델링한 후 가상 환경에 위치 시켜야하기 때문이며, 이러한 노력에도 불구하고 실제 환경과 동일하지 않아 사용자가 현실감을 느끼기에 어려움이 있다. 이런 문제점 해결을 위해 실제 환경 촬영 이미지를 기반으로 3차원의 가상 환경을 구축하는 영상기반 가상현실 시스템(IBVR)들이 제안되고 있다.
	다시점 비디오란 무엇인가?	다시점 비디오는 여러 대의 카메라를 통해 촬영된 영상들을 기하학적 교정 및 공간적인 합성을 통해 방향의 다양한 시점을 사용자에게 제공한 3차원 영상처리의 한 분야로써 이러한 다시점 비디오는 사용자에게 시점의 자유를 증가시킬 수 있다는 특징을 지니고 있다[6,7]. 다시점 영상의 파노라믹(panoramic) 영상은 컴퓨터 비전 및 영상처리 분야에서 흥미로운 연구 주제로 채택이 되고 있으며, 또한 항공사진 해석, 영상변화 감지, 비디오압축, 비디오인덱싱 등 FOV(Field Of View) 확대에서 간단한 영상편집 까지 다양한 분야에서 응용되고 있다[8-10].
	다시점 비디오의 서비스 개발이 제한된 이유는 무엇인가?	현재의 다시점 비디오 처리 기술은 옴니 디렉션 카메라를 이용한 감시 시스템, 게임에서 사용되는 3차원 가상시점, N개 카메라 영상들로부터 입력된 여러 영상을 선택 하도록 하는 시점 스위칭 에 적용되고 있으며, 영화나 광고 영상에 다양하게 응용되고 있는 잇다. 다시점 비디오 처리는 사용자에게 자유로운 시점과 넓은 화면을 통해 입체감 제공, 영상 획득시 존재하는 중복조건, 순간처리 데이터양 증가, 그리고 고가 장비가 요구되는 문제점으로 인한 다양한 서비스 개발이 제한되어 왔다[11,12]. 본 연구에서는 실감기술 기반의 다중시점영상 콘텐츠와 제작기술을 활용한 파일럿을 제작하였으며, 사용자에게 보다 다양한 시점 영상을 제공함으로써 사용자 시점에서 원하는 방향을 선택할 수 있는 실감콘텐츠 제작기술을 확보하였다.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증