[논문]Multi-face Convergence 공연을 위한 제작 기술

유미; 손태웅; 김상일

doi:10.5909/jbe.2020.25.4.475

Multi-face Convergence 공연을 위한 제작 기술
Production Technology for Multi-face Convergence Performance 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.25 no.4, 2020년, pp.475 - 486

유미 (서울예술대학교 영상학부) , 손태웅 (서울예술대학교 영상학부) , 김상일 (서울예술대학교 영상학부)

초록
AI-Helper

본 논문은 첨단 공연 및 전시를 위한 미디어아트 기술에 대한 논문으로 틸트 브러쉬를 사용하여 가상현실 속에서 인터랙티브 스트로크를 생성하도록 한 후 이를 미디어 파사드 기법을 통하여 공연에 실시간으로 투사하였다. 우리의 전통 극 중 봉산탈춤에서 선적인 움직임을 추출하였으며, 틸트 브러쉬로 구현된 선의 움직임을 'Multi-face Convergence'라고 이름을 붙인 미디어아트 공연에 사용하였다. 모션 데이터가 가상공간에 들어오면 면으로 이루어진 지오메트리가 가상현실 공간에 생성되게 된다. 생성된 스트로크는 다양한 브러쉬 타입을 설정할 수 있으며, 공연 시에는 역동적인 움직임에 어울리는 붉은 불의 이펙트가 가미된 스트로크를 사용하였다. 가상현실에서 구현된 인터랙티브 스트로크는 1인 관객을 위한 가상현실 디바이스인 HMD(Head-mounted Display)를 넘어 다수의 관객들이 감상할 수 있도록 하기 위하여 미디어 파사드 기술을 사용하여 공연 공간에 투사하였으며 봉산탈춤을 추는 무용수와 동시에 어우러질 수 있도록 하였다. 가상현실이라는 매체는 폐쇄성이 높은 매체로 공연에 녹아들어 표현하기에는 적절치 않은 특성을 가지고 있지만, 본 공연에서는 미디어 파사드라는 기법으로 그 한계를 넘어섰다. 본 연구는 세계 최초로 인터랙티브 스트로크를 전통춤 퍼포먼스에 결합하여 퍼포머가 표현하는 선의 현상을 미디어 파사드 기술로 공연장에 투사하는 공연 기술 방식을 제안한다.

Abstract ▼ AI-Helper

This paper is a thesis on media art technology for high-tech performances and exhibitions. After creating an interactive stroke in VR, it is projected in real time through a media facade technique. Among our traditional dramas emphasizing linear movements, movements were extracted from the Bongsan mask dance, and the movements of the lines were used in a media art performance called 'Multi-face Convergence'. When motion data enters the virtual space, geometry consisting of faces is created in the VR space. The created strokes can be set with various brush types, and when performing, a stroke with a red fire effect that matches a dynamic movement was used. It was made to be able to harmonize with the dancers performing the Bongsan mask dance. The medium called VR has characteristics that are not suitable for melting into a performance, but in this performance, it has overcome its limitations by using a technique called media façade. We propose the world's first performance technique that combines interactive strokes with traditional dance performances.

주제어

표/그림 (13)

그림 그림 1. 밀그램의 가상 연속체 Fig. 1. Virtuality Continuum of Paul Milgram
표 표 1. 바이브 프로 시스템 사양 Table 1. System Specifications of Vive Pro
그림 그림 2. 미디어 파사드 도면 Fig. 2. Drawing of Media Facade
그림 그림 3. 공연의 시스템 개요 Fig. 3. System Overview of Media Art Performance
그림 그림 4. 가상현실 장비가 설치된 공연 공간 Fig. 4. Performance Stage with VR Equipment
그림 그림 5. 수정된 틸트 브러쉬 스트로크 Fig. 5. Modified Tilt Brush Stroke
표 표 2. 수정된 틸트 브러쉬 옵션 Table 2. Modified Tilt Brush Option
그림 그림 6. 봉산탈춤의 춤사위로 만들어져 벽면에 투사된 틸트 브러쉬 선 Fig. 6. Projected Trace of Tilt Brush by Movement of Bongsan Mask Dance
그림 그림 7. 공연 공간의 실측 이미지 Fig. 7. Actual Measurement of Performance Space
그림 그림 8. 미디어 파사드 용 캘리브레이션 이미지 Fig. 8. Calibration Image for Media Facade
그림 그림 9. 투사된 캘리브레이션 이미지 Fig. 9. Projected Calibration Image
표 표 3. 측정된 공연 공간의 크기 Table 3. Measured Performance Space Size
표 표 4. 관객의 만족도 조사 Table 4. Audience Satisfaction Survey

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

2개의 베이스 스테이션 센서 사이에 관객과 같은 다른 오브젝트가 위치되었을 경우 간섭 효과에 의한 노이즈가 발생하는 것을 테스트 중 발견하였기 때문에 관객과는 충분한 거리를 두고 설치하도록 기획하였다. 또한, 두 센서의 높이를 다르게 대각선 방향으로 위치시킴으로써 측정의 정확도를 높이고자 하였다. ‘Multi-face Convergence’ 에서는 공연 중 신호의 정확성을 위해서 상단에 센서를 위치시켰다.
기술적 관점에서는 사람의 움직임을 기록하기 위해서 모션 캡쳐 등의 기술이 사용된다. 모션 캡처에는 여러 가지 방법들이 있지만, 이 기술의 최종 목적은 현실 공간에 위치하고 있는 마커의 좌표를 가상공간에 실시간으로 기록하는 것이다. 기록된 좌표를 공간 속에 시각화 시켜놓고 보면 인간의 움직임은 결국 시간의 축에서 선적으로 표현되어있음을 알 수 있다.
2019년 9월 23일 오후 7시에 발표된 ‘Multi-face Convergence’의 미디어 파사드는 <실시간 다원융합 미디어 파사드 : 탈춤으로 그리는 빛과 소리>라는 제목으로 기획되었다. 본 공연은 1962년에 설립된 『드라마센터 가면극회』, 1979년에 창립된 『민속연구회(예민회)』를 통해 지난 50여 년간 재발견, 계승, 보급되어 온 우리 민족의 전통이자 자랑인 봉산탈춤을 미디어 파사드와 접목시켜 우리 민족의 예술혼과 전통을 재현하고자 하였다. 총 4장으로 구성되었으며, 각 장마다 주제를 가지고 제작되었다.
본 논문에서는 추가적으로 ‘Multi-face Convergence’ 미디어아트 공연이 관람객에게 어떠한 영감을 주었는지, 그리고 향후 방향성에 대하여 참여자들은 어떤 생각을 가지고 있는지 파악하기 위하여 총 36명의 관객을 대상으로 만족도 조사를 시행하였다.
본 논문에서는 해당 공연의 특수성을 바탕으로 한 설계가 진행되었다. 전통적인 공연장이 아닌 관객들이 자유롭게 지나다닐 수 있는 로비에서의 실험적인 공연으로 구성되었기 때문에 해당 공간의 도면을 바탕으로 시스템을 설계하였다.
본 논문은 ‘Multi-face Convergence’ 첨단 공연을 가능하게 한 미디어아트 기술 연구이다.
본 연구에서는 영상의 정확한 위치를 알아내기 위하여 레이저 측정기를 이용하여 공연 공간 전체의 실측작업을 진행하고, 이것을 기반으로 비율에 맞게 이미지 크기를 설계했다. 측정 결과는 아래 표와 같다.

제안 방법

일반적인 바이브 설치 방식은 센서를 위한 스탠드를 설치하고 그 위에 센서를 설치하는 것인데, 관객의 시선에 거슬리지 않으면서도 공연자의 움직임은 실시간으로 컴퓨터로 입력되어야 하기 때문에 퍼포머의 액션존에 가깝게 설치하되 최대한 눈에 띄지 않도록 위치시켰다. 2개의 베이스 스테이션 센서 사이에 관객과 같은 다른 오브젝트가 위치되었을 경우 간섭 효과에 의한 노이즈가 발생하는 것을 테스트 중 발견하였기 때문에 관객과는 충분한 거리를 두고 설치하도록 기획하였다. 또한, 두 센서의 높이를 다르게 대각선 방향으로 위치시킴으로써 측정의 정확도를 높이고자 하였다.
이에 김예진[8]은 차세대 가상 현실 드로잉 형식으로 3D 볼륨메트릭 페인팅(3D Volumetric Painting)의 개념을 제시하였다. 40km³이라는 거대한 가상공간에 0.3mm³크기의 붓질을 할 수 있으며, GPU 기반의 옵트리 배열 구조의 캔버스에서 정교한 레이 캐스팅 기법을 사용하여 볼륨 렌더링을 수행하였다. 볼륨으로 구현된 공간이기 때문에 생성된 페인팅 효과는 실제 물감처럼 서로 섞일 수 있는 장점이 있다.
4개의 센서를 사용하면 총 10m×10m의 공간을 인식할 수 있 으며, 본 논문에서는 공연 공간의 크기를 고려하여 2개의 센서를 사용하여 5m×5m 공간을 인식할 수 있도록 하였다.
공연 중 무용수의 움직임이 빛의 선으로 전환되어 인터랙티브 스트로크로 표현될 수 있도록 개발하였다. 가상공간에서 그려지는 스트로크는 무용수의 한삼자락의 위치를 추적하였으며, 중첩되어 그려지는 스트로크는 프로젝션 매핑 기술을 통해 건물 벽면에 투사되었다. 비정형의 공간에 투사되는 영상은 이미지 와핑 기술을 사용하여 벽면의 위치에 맞도록 변형하였으며, 관객의 시선에서는 왜곡이 없는 몰입형 이미지로 감상될 수 있었다.
가상공간에 생성된 스트로크는 다양한 브러쉬 타입을 설정할 수 있으며, 미디어아트 공연에는 역동적인 움직임에 어울리는 붉은 불의 이펙트가 가미된 스트로크를 사용하였다. 가상현실에서 구현된 인터랙티브 스트로크는 1인 관객을 위한 가상현실 디바이스인 HMD(Head-mounted Display)를 넘어 다수의 관객들이 감상할 수 있도록 하기 위하여 미디어 파사드 기술을 사용하여 공연 공간에 투사하였으며 봉산탈춤을 추는 무용수와 동시에 어우러질 수 있도록 하였다. 또한 관객의 만족도 조사를 시행하여 공연에 대한 관객의 체험을 분석하였다.
공간에 따른 정확한 이미지 변형을 계산하기 위하여 먼저 캘리브레이션을 수행하였다.
본 논문은 ‘Multi-face Convergence’ 첨단 공연을 가능하게 한 미디어아트 기술 연구이다. 공연 중 무용수의 움직임이 빛의 선으로 전환되어 인터랙티브 스트로크로 표현될 수 있도록 개발하였다. 가상공간에서 그려지는 스트로크는 무용수의 한삼자락의 위치를 추적하였으며, 중첩되어 그려지는 스트로크는 프로젝션 매핑 기술을 통해 건물 벽면에 투사되었다.
구체적인 연구방법론으로 곡선의 움직임을 강조하는 우리의 전통 극 중에서 봉산탈춤에서 움직임의 궤적을 추출하였으며, 가상공간에 인터랙티브 스트로크를 생성하도록 한 후 이를 미디어 파사드(Media Façade) 기법을 통하여 공연에 실시간으로 투사하였다.
녹화 영상과 스냅샷의 해상도 문제, 브러쉬 쪽의 컨트롤러가 노출되었던 문제, 왼쪽 하단에 틸트 브러쉬의 워터마크가 그대로 노출되었던 문제가 있었는데, ‘ShowWatermark’, ‘ShowHeadset’, ‘ShowControllers’ 옵션을 ‘True’에서 ‘False’로 변경함으로써 해결하였다.
가상현실에서 구현된 인터랙티브 스트로크는 1인 관객을 위한 가상현실 디바이스인 HMD(Head-mounted Display)를 넘어 다수의 관객들이 감상할 수 있도록 하기 위하여 미디어 파사드 기술을 사용하여 공연 공간에 투사하였으며 봉산탈춤을 추는 무용수와 동시에 어우러질 수 있도록 하였다. 또한 관객의 만족도 조사를 시행하여 공연에 대한 관객의 체험을 분석하였다.
위의 논문에서는 움직임 정보를 추출하기 위하여 프레임 사이의 움직임 정보를 추출하는 대표적인 알고리즘인 Optical Flow를 사용하였다. 많은 비사실적 렌더링 연구에서 사용되어온 이 알고리즘으로 최종 영상 렌더링에 필요한 각 화소의 통합 방향, 크기를 구하여 스트로크 생성에 사용하였다. 비사실적 렌더링의 초기 연구 중 하나로 스트로크 텍스처를 3D 데이터상에 사용자 입력으로 주어진 방향을 고려해 자연스럽게 합성시키는 연구도 있었으며^[4], 펜 스타일의 스트로크를 넘어 다양한 페인트 효과를 표현할 수 있는 연구^[5]도 진행되었다.
바이브는 HTC와 밸브사(Valve Corporation)가 개발한 가상현실 디바이스 중 하나이다. 베이스 스테이션이라고 하는 센서를 통해 방을 3차원 공간으로 변화시켜 주는 룸 스케일 기술을 활용하여 사용자의 HMD와 핸드헬드 컨트롤러의 모션을 추적한다. 4개의 센서를 사용하면 총 10m×10m의 공간을 인식할 수 있 으며, 본 논문에서는 공연 공간의 크기를 고려하여 2개의 센서를 사용하여 5m×5m 공간을 인식할 수 있도록 하였다.
본 논문에서 다루고 있는 미디어아트 공연 ‘Multi-face Convergence’는 가상현실(Virtual Reality, VR)과 미디어 파사드의 기술을 통한 혼합현실(Mixed Reality, MR)의 구현이다.
그러나 아쉽게도 아름다운 곡선으로 표현된 선은 무용수의 움직임으로 허공에 그려진 후, 이내 사라지고 만다. 본 연구가 적용된 공연에서는 순간의 모션이 지나고 나면 남는 선의 자취를 중첩된 이미지로 표현해 예술로 만들고자 하였다.
이를 위해 지난 50년 동안 국가무형문화재 17호인 봉산탈춤을 추고 있는 무용수를 퍼포머로 모셨으며, 미디어 파사드 역시 좌우, 정면만 보이는 ScreenX의 방식을 넘어, 상하/좌우 모든 면을 시각적으로 구현하여 몰입감을 강조하기로 하였다. 본 작품에서는 무용수의 움직임을 스트로크로 구현하기 위한 여러 실험을 시도하였는데, 그 중 가장 성공적인 방법은 틸트 브러쉬를 활용하여 인터랙티브 스트로크를 생성하는 방법이었다.
시간과 공간에 걸쳐 브러시 스트로크의 전체적인 방향을 지정하기 위하여 Radial Basis Function을 사용하였다. 새로운 브러쉬 스트로크를 생성하고 세밀한 세부 조정을 위하여 다양한 주파수에서 엣지 디텍션을 수행하였으며, 스틸 이미지의 모션 정보를 합성하여 애니메이션 스틸을 생성하고 비디오 세그먼트에서 스틸로 모션을 이식함으로써 모션의 예술적 다양성을 강조하였다.
비사실적 렌더링의 초기 연구 중 하나로 스트로크 텍스처를 3D 데이터상에 사용자 입력으로 주어진 방향을 고려해 자연스럽게 합성시키는 연구도 있었으며^[4], 펜 스타일의 스트로크를 넘어 다양한 페인트 효과를 표현할 수 있는 연구^[5]도 진행되었다. 위의 연구는 브러쉬의 속성을 다르게 하여 만들었는데, 페인트 스트로크를 생성하기 위하여 고정점, 회전, 브러쉬 두께, 고정점에서의 길이, 색상 등의 속성을 지정하였다. 시간과 공간에 걸쳐 브러시 스트로크의 전체적인 방향을 지정하기 위하여 Radial Basis Function을 사용하였다.
가상공간 속에 발생한 스트로크는 무용수의 움직임에 따라 지속적으로 생성되며 공연이 끝날 때까지 스트로크는 가상공간에 쌓이게 된다. 이 인터랙티브 스트로크를 프로젝터를 통해 공연장에 투사하기 위해서는 가상의 카메라가 존재해야 하는데, 무용수의 머리 부분에 HMD를 부착하여 무용수가 바라보는 시점에서 스트로크를 렌더링을 하도록 유도하였다.
처음 본 공연을 기획했을 때, 봉산탈춤에서 보여지는 역동적인 선의 움직임을 가상공간에서 구현하여 이를 프로젝션 매핑을 통해 투사하기로 하였다. 이를 위해 지난 50년 동안 국가무형문화재 17호인 봉산탈춤을 추고 있는 무용수를 퍼포머로 모셨으며, 미디어 파사드 역시 좌우, 정면만 보이는 ScreenX의 방식을 넘어, 상하/좌우 모든 면을 시각적으로 구현하여 몰입감을 강조하기로 하였다. 본 작품에서는 무용수의 움직임을 스트로크로 구현하기 위한 여러 실험을 시도하였는데, 그 중 가장 성공적인 방법은 틸트 브러쉬를 활용하여 인터랙티브 스트로크를 생성하는 방법이었다.
따라서 작업 간 프리뷰 해상도를 1/8로 두고 할 때가 많았는데, 이는 디테일한 부분을 제대로 체크하기 힘든 문제를 낳았다. 이를 해결하기 위하여 전체 ProRes 422 렌더 파일을 활용해 실시간 렌더링의 지연을 늦췄다.
본 논문에서는 해당 공연의 특수성을 바탕으로 한 설계가 진행되었다. 전통적인 공연장이 아닌 관객들이 자유롭게 지나다닐 수 있는 로비에서의 실험적인 공연으로 구성되었기 때문에 해당 공간의 도면을 바탕으로 시스템을 설계하였다. 소실점이 모이는 듯한 건물의 구조를 이용하여 깊이감 있는 긴 벽면에 투사하여 영상에서의 공간감을 강조하였으며, 관객의 위치 역시 프로젝션 매핑으로 이루어진 공간 내부에 살짝 걸치도록 하여 몰입감을 강조하였다.
처음 본 공연을 기획했을 때, 봉산탈춤에서 보여지는 역동적인 선의 움직임을 가상공간에서 구현하여 이를 프로젝션 매핑을 통해 투사하기로 하였다. 이를 위해 지난 50년 동안 국가무형문화재 17호인 봉산탈춤을 추고 있는 무용수를 퍼포머로 모셨으며, 미디어 파사드 역시 좌우, 정면만 보이는 ScreenX의 방식을 넘어, 상하/좌우 모든 면을 시각적으로 구현하여 몰입감을 강조하기로 하였다.
아쉽게도 해상도를 무한대로 높일 수 있는 방법은 현재 가능하지 않아 화각을 보완해 주는 정도로 마무리 하게 되었다. 최종 결과물 제작을 위해 색상 테스트를 거쳤는데, 불꽃의 이미지가 중요했기 때문에, 불꽃을 표현할 수 있는 색상을 조절하였고, 매핑에 맞는 브러시 크기 및 이펙트를 추가하였다.
공간에 따른 정확한 이미지 변형을 계산하기 위하여 먼저 캘리브레이션을 수행하였다. 측정된 공간의 크기에 맞는 캘리브레이션 이미지를 제작하여 실제 공간에 투사해봄으로써 빔 프로젝터로 투사되는 이미지가 정확하게 공간의 특성에 맞게 분리되는지 확인하였다. 프로젝터에서 투사되는 이미지는 사전에 변형이 되어 있어야 하는데, 밀루민(Millumin) 소프트웨어를 사용하여 이미지 변형(Image Warping)을 수행하였다.
틸트 브러쉬의 기본 세팅을 공연 상황에 그대로 사용하기에는 적합하지 않았으므로, 틸트 브러쉬 구성파일 중 Tilt Brush.cfg 파일을 수정함으로써 옵션값을 정정하였다. 녹화 영상과 스냅샷의 해상도 문제, 브러쉬 쪽의 컨트롤러가 노출되었던 문제, 왼쪽 하단에 틸트 브러쉬의 워터마크가 그대로 노출되었던 문제가 있었는데, ‘ShowWatermark’, ‘ShowHeadset’, ‘ShowControllers’ 옵션을 ‘True’에서 ‘False’로 변경함으로써 해결하였다.
측정된 공간의 크기에 맞는 캘리브레이션 이미지를 제작하여 실제 공간에 투사해봄으로써 빔 프로젝터로 투사되는 이미지가 정확하게 공간의 특성에 맞게 분리되는지 확인하였다. 프로젝터에서 투사되는 이미지는 사전에 변형이 되어 있어야 하는데, 밀루민(Millumin) 소프트웨어를 사용하여 이미지 변형(Image Warping)을 수행하였다.

대상 데이터

공연에 사용된 고화질 영상은 Sony 4K HDR 카메라로 촬영하였으며, 어도비(Adobe)사의 애프터 이펙트(After Effect) 프로그램을 통해 모션 그래픽을 제작하여 준비하였다. 밀루민을 사용해 캘리브레이션 된 공간의 데이터에 맞게 소스 영상을 와핑하여 사용하였으며, 3만 안시의 Panasonic PT-RZ31K 프로젝터로 공연장에 투사하였다.
공연에 사용된 고화질 영상은 Sony 4K HDR 카메라로 촬영하였으며, 어도비(Adobe)사의 애프터 이펙트(After Effect) 프로그램을 통해 모션 그래픽을 제작하여 준비하였다. 밀루민을 사용해 캘리브레이션 된 공간의 데이터에 맞게 소스 영상을 와핑하여 사용하였으며, 3만 안시의 Panasonic PT-RZ31K 프로젝터로 공연장에 투사하였다. 전체의 시스템 개요는 그림 3에서 확인할 수 있다.
바이브 프로(Vive Pro) 버전은 한쪽 당 1440 x 1600 픽셀로 양쪽 합쳐서 2880 x 1600 픽셀의 디스플레이 해상도를 가지고 있어 최근에 출시된 타 HMD보다 디스플레이 해상도가 높은 편에 속하기 때문에 ‘Multi-face Convergence’ 프로젝트에서 사용하게 되었다.
봉산탈춤은 다른 지방의 탈놀이에서 끊임없이 영향을 받아들이면서 개량되었고 명수들의 배역과 뛰어난 연기로 주위에 명성을 떨쳐 19세기 말 20세기 초에 걸쳐 강령탈춤과 함께 황해도 탈놀이의 최고봉을 이루었다^[11]. 본 공연에서는 봉산탈춤에 사용되는 다수의 가면 중 가장 화려하고 세대를 풍자하는 역할을 하고 있는 인물인 목중을 중심으로 극을 전개하였다.
본 논문은 가상공간 속에서 구현된 선의 움직임을 ‘Multi-face Convergence’라고 이름을 붙인 미디어아트 공연에 사용하였다.
사용된 빔 프로젝터의 해상도는 1920*1200 픽셀로 제작된 영상보단 훨씬 저해상도였지만, 고해상도 소스로 대비해두어야 이점이 많을 것으로 판단하여 세로축을 1080으로, 가로축을 7190으로 대폭 길게 이미지를 제작했다. 그러나 이로 인해 야기된 문제점이 발견되었는데, 화면 사이즈가 기이하게 길고, 유효 화소가 거의 4K 해상도와 맞먹었기 때문에, 간단한 작업에서도 과도한 렌더시간이 소요되었다.
무대 중앙에는 탈춤을 추는 퍼포머가 위치하게 되는데, 관객과의 거리가 얼마 되지 않기 때문에 관객의 집중을 효율적으로 끌어낼 수 있도록 하였다. 사용된 프로젝터는 3만 안시의 고사양 프로젝터를 사용하여 밝고 선명한 이미지를 연출하도록 하였다.
본 공연은 1962년에 설립된 『드라마센터 가면극회』, 1979년에 창립된 『민속연구회(예민회)』를 통해 지난 50여 년간 재발견, 계승, 보급되어 온 우리 민족의 전통이자 자랑인 봉산탈춤을 미디어 파사드와 접목시켜 우리 민족의 예술혼과 전통을 재현하고자 하였다. 총 4장으로 구성되었으며, 각 장마다 주제를 가지고 제작되었다. 1장은 ‘몸짓, 빛이 되어 예술을 만나다’, 2장은 ‘예술을 향한 응답, 우리를 세우다’, 3장은 ‘예술을 빚는 열정, 다채로운 빛으로 나타나다’, 4장은 ‘빛이 된 우리, 미래의 예술을 이끌다’이다.

이론/모형

도시의 건축물을 시각적 아름다움뿐 아니라 정보를 전달하는 매개물로 사용하기 때문에 디지털 사이니지(Digital Signage)의 한 형태이며, 조명·영상·정보기술(IT)을 결합한 21세기 건축의 새 트렌드^[14]로 볼 수 있다. 본 연구에서는 가상공간에서 구현된 인터랙티브 스트로크를 공연 공간에 투영하는 미디어 파사드 기법을 사용하여 공연에 적용하였다.
위의 연구는 브러쉬의 속성을 다르게 하여 만들었는데, 페인트 스트로크를 생성하기 위하여 고정점, 회전, 브러쉬 두께, 고정점에서의 길이, 색상 등의 속성을 지정하였다. 시간과 공간에 걸쳐 브러시 스트로크의 전체적인 방향을 지정하기 위하여 Radial Basis Function을 사용하였다. 새로운 브러쉬 스트로크를 생성하고 세밀한 세부 조정을 위하여 다양한 주파수에서 엣지 디텍션을 수행하였으며, 스틸 이미지의 모션 정보를 합성하여 애니메이션 스틸을 생성하고 비디오 세그먼트에서 스틸로 모션을 이식함으로써 모션의 예술적 다양성을 강조하였다.
가상현실에서 인터랙티브 스트로크를 구현하기 위해서는 현실의 움직임 데이터를 받아와야 한다. 움직임 데이터를 기록할 수 있는 여러 방법이 존재하고 있지만, 한삼의 움직임을 기록하고자 하는 목적에 적합한 바이브(Vive)라는 가상현실 도구를 사용하였다. 바이브는 HTC와 밸브사(Valve Corporation)가 개발한 가상현실 디바이스 중 하나이다.
. 위의 논문에서는 움직임 정보를 추출하기 위하여 프레임 사이의 움직임 정보를 추출하는 대표적인 알고리즘인 Optical Flow를 사용하였다. 많은 비사실적 렌더링 연구에서 사용되어온 이 알고리즘으로 최종 영상 렌더링에 필요한 각 화소의 통합 방향, 크기를 구하여 스트로크 생성에 사용하였다.

성능/효과

‘Multi-face Convergence’는 현재 주목받는 몇 가지 기술들에 대한 실험이며, 공연 공간이 가지고 있는 건물의 구조적 아름다움을 바탕으로 하는 미디어 파사드와 퍼포머의 움직임으로 그려진 융복합 공연이다. HMD를 쓰면 현실 세계와 완전히 차단되어 지극히 개인적인 콘텐츠화 되는 가상현실 공간을 프로젝션 매핑이라는 미디어 파사드 기법과 결합시켜 참여하는 관객 모두에게 공통된 체험을 제공할 수 있었으며, 거대한 공간적 이미지가 주는 몰입감으로 가상현실의 공간감을 느낄 수 있도록 하였다. 봉산탈춤의 춤동작이 가상공간에서 붉은 색 선의 자취를 남기게 되고, 무용수가 자신이 남긴 선을 보며 사색에 빠지는 장면은 기술과 예술, 더 나아가 첨단 기술과 전통 예술의 융합에 대한 유의미한 시도였다.
이는 아직은 공연을 관람하는 관객들에게 첨단 기술보다는 공연 자체를 즐기고 있는 것으로 파악된다. 두 번째 질문으로는 공연을 보고 떠오른 키워드를 선택하는 것으로써 신선함과 새로움을 공연에서 가장 많이 느끼는 것으로 파악되었다. 마지막으로 다음에도 이와 같은 첨단 미디어아트 공연을 다시 보고 싶은지에 대한 조사를 통해 전체 관람객 모두 이런 종류의 공연을 다시 보고 싶어 한다는 것으로 파악되었다.
두 번째 질문으로는 공연을 보고 떠오른 키워드를 선택하는 것으로써 신선함과 새로움을 공연에서 가장 많이 느끼는 것으로 파악되었다. 마지막으로 다음에도 이와 같은 첨단 미디어아트 공연을 다시 보고 싶은지에 대한 조사를 통해 전체 관람객 모두 이런 종류의 공연을 다시 보고 싶어 한다는 것으로 파악되었다.
본 논문에서는 추가적으로 ‘Multi-face Convergence’ 미디어아트 공연이 관람객에게 어떠한 영감을 주었는지, 그리고 향후 방향성에 대하여 참여자들은 어떤 생각을 가지고 있는지 파악하기 위하여 총 36명의 관객을 대상으로 만족도 조사를 시행하였다. 먼저, 찾아온 관객들의 공연 선택 이유에 대한 질문에서는 미디어 파사드와 출연자 또는 제작자에 대한 관심 점수가 높았으며, 그 다음에 융복합 공연에 대한 관심이 많은 것으로 조사되었다. 본 연구에서 핵심적으로 다루고 있었던 인터랙티브 스트로크 생성을 가능하게 한 틸트 브러쉬에 대한 관심은 다소 낮은 편으로 나타났다.
먼저, 찾아온 관객들의 공연 선택 이유에 대한 질문에서는 미디어 파사드와 출연자 또는 제작자에 대한 관심 점수가 높았으며, 그 다음에 융복합 공연에 대한 관심이 많은 것으로 조사되었다. 본 연구에서 핵심적으로 다루고 있었던 인터랙티브 스트로크 생성을 가능하게 한 틸트 브러쉬에 대한 관심은 다소 낮은 편으로 나타났다. 이는 아직은 공연을 관람하는 관객들에게 첨단 기술보다는 공연 자체를 즐기고 있는 것으로 파악된다.

후속연구

비정형의 공간에 투사되는 영상은 이미지 와핑 기술을 사용하여 벽면의 위치에 맞도록 변형하였으며, 관객의 시선에서는 왜곡이 없는 몰입형 이미지로 감상될 수 있었다. 또한, 이러한 기법은 HMD를 벗어나 실제 환경에 투사된 가상공간을 인식하기 때문에 문성철의 논문^[15]에서 다루었던 가상현실 멀미에 대한 다른 형식의 대안이 될 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	모션 캡처의 최종목표는 무엇인가?	기술적 관점에서는 사람의 움직임을 기록하기 위해서 모션 캡쳐 등의 기술이 사용된다. 모션 캡처에는 여러 가지 방법들이 있지만, 이 기술의 최종 목적은 현실 공간에 위치하고 있는 마커의 좌표를 가상공간에 실시간으로 기록하는 것이다. 기록된 좌표를 공간 속에 시각화 시켜놓고 보면 인간의 움직임은 결국 시간의 축에서 선적으로 표현되어있음을 알 수 있다.
	컴퓨터 그래픽스에서 인간의 움직임은 무엇으로 표현되는가?	컴퓨터 그래픽스에서 인간의 움직임은 그래프로 표현된다. 매 프레임마다 기록되는 좌표는 연속성을 가지게 되며, 각각의 자취가 연결되어 곡선으로 만들어진다.
	모션 캡쳐 기술과 같이 실제 공간의 위치를 가상공간으로 가지고 오는 기술은 가상현실 플랫폼에서도 매우 중요한 이슈인 이유는 무엇인가?	모션 캡쳐 기술과 같이 실제 공간의 위치를 가상공간으로 가지고 오는 기술은 가상현실 플랫폼에서도 매우 중요한 이슈이다. 인간의 움직임이라기엔 다소 부자연스러운 입력방식인 마우스와 키보드의 딱딱한 움직임을 넘어 실제 자유롭게 이동하는 인간의 움직임을 가상공간으로 입력받을 수 있기 때문이다. 가상공간에 입력된 움직임은 가상공간에서 가상 오브젝트와 인터랙션을 하며 새로운 움직임을 창조할 수 있다.

참고문헌 (16)

P. Milgram, "A Taxonomy of Mixed Reality Visual Displays", IEICE Transactions on Information Systems, Vol. E77-D, No.12 December 1994.
M. You, "A Study on Production for Mixed Reality Animation", The Korean Journal of Animation, Vol. 15, No. 1, pp.23-38, March 2019.
H. Lee, S. Seo, S. Ryoo and K. Yoon, "Painterly Stroke Generation using Object Motion Analysis", Journal of KIISE : Computer Systems and Theory, Vol.37, No.4, pp.239-245, August 2010.
M. Salisbury, M. Wong, J. Hughes and D. Salesin, "Orientable Textures for Image-based Pen and Ink Illustration," In Proceedings of SIGGRAPH 1997, pp.401-406, Auguast 1997.
J. Hays and I. Essa, "Image and Video Based Painterly Animation", 3rd Ann. Symp. Non-Photorealistic Animation and Rendering(NPAR2004), pp.120-133, June 2004.
C. Park, "A Study on the Development Direction of New Media Art Using Virtual Reality", Journal of the Korea Academia-Industrial Cooperation Society, Vol.21, No.1 pp. 97-102, January 2020.
Y, Liu and C, Chang, "The Application of Virtual Reality Technology in Art Therapy: A Case of Tilt Brush", 2018 1st IEEE International Conference on Knowledge Innovation and Invention (ICKII), pp. 47-50, July 2018, doi: 10.1109/ICKII.2018.8569081.
Y. Kim, B. Kim, J. Kim and Y. Kim, "CanvoX: High-resolution VR Painting in Large Volumetric Canvas". arXiv (Technical Report), pp.1-22. April 2017.
L. Herman and S. Hutka, "Virtual Artistry: Virtual Reality Translations of Two-Dimensional Creativity", C&C '19: Proceedings of the 2019 on Creativity and Cognition, pp.612-618, June 2019.
S. Song, "The Meaning and Structure of Lexical Chumsawis in Korean Traditional Dances: With the Focus on Mok-jung-gwa-jang in Bongsan Mask Dance", The Korean Journal of Dance, Vol.76, No.6, pp.107-135. December 2018.
D. Youn, "Cultural Heritage Contributing to Performing Art of Korean Dance", The Journal of Korean Dance, Vol.34, No.4, pp.123-149, December 2016.
J. Cho, "A Study on Performing Arts Contents Applying Advanced Media Technologies". Journal of the Korea Society Design Culture, Vol.21, No.2, pp.637-645, June 2015.
J. Kim, "A Study on Characteristics of Media Performance in Opening Performance - For the Examples of the Domestic Media Performance Management Company Showgle and dotMill". Journal of the Korean Society Design Culture, Vol.21, No.3, pp.205-217, September 2015.
J. Kang, "Current Situation and the Vision of Convergence between Korean Dance and Information and Communications Technology", The Korean Society of Culture and Convergence, Vol.40, No.1, pp.127-156, January 2018.
S. Mun, M. Whang, S. Park, D. Lee, H. Kim, "Overview of VR Media Technology and Methods to Reduce Cybersickness", Journal of Broadcast Engineering, Vol.23, No.6, pp.800-812, November 2018.
K. Kim, "A Study on the Compositions and Applications of Video Solution for Small-sized Theater Performance:Focused on the Musical", The Journal of the Korea Contents Association, Vol.19, No.8, pp.359-369, August 2019.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증