디지털 미디어의 발달과 컴퓨터 그래픽스 관련 연구 분야의 발달은 문화 예술의 전반적인 흐름과 일상을 바꾸어 놓았을 뿐만 아니라 뉴미디어 아트, 인터랙티브 아트, 실시간 퍼포밍 등의 신선하고 흥미로운 문화 예술 분야에 많은 영향을 미치고 있다. 본 논문은 컴퓨터 그래픽스의 파티클 시스템을 공연 영상에 접목 시켜 자연스럽게 소통하는 과정을 관객과 함께 이끌어 가는 감성적 표현 기법으로 사용하였다. 본 논문의 제안한 방법은 오브젝트 모델링에 영상을 입력받아 배우 움직임을 추적하여 파티클 시뮬레이션을 함으로서 마지막 최종 영상이 출력되게 하는 구조로 꽃잎 파티클 즉 오브젝트 모델링을 통하여 공연 영상을 실시간 파티클 시뮬레이션으로 표현한다. 이는 음향과 동작, 파티클 간에 동기화된 파티클의 생성과 위치 속도 등을 캡쳐링하여 과학기술과 예술의 접목이라는 실험적 구조 형태로 공연 영상을 만드는데 목적이 있다. 또한 파티클 시스템을 이용하여 기존 공영영상 보다 다양한 비주얼 이펙트 효과 영역을 확대된 개념의 공연성과를 볼 수 있다. 이 실험적 공연은 로봇과 영상, 그리고 배우와의 교감되는 공연구성으로 인터랙티브 융합 공연을 함으로써 더 나아가 앞으로의 인터랙티브 공연예술에서의 영역을 확장하고 표현의 확대를 할 수 있는데 목적이 있다.
디지털 미디어의 발달과 컴퓨터 그래픽스 관련 연구 분야의 발달은 문화 예술의 전반적인 흐름과 일상을 바꾸어 놓았을 뿐만 아니라 뉴미디어 아트, 인터랙티브 아트, 실시간 퍼포밍 등의 신선하고 흥미로운 문화 예술 분야에 많은 영향을 미치고 있다. 본 논문은 컴퓨터 그래픽스의 파티클 시스템을 공연 영상에 접목 시켜 자연스럽게 소통하는 과정을 관객과 함께 이끌어 가는 감성적 표현 기법으로 사용하였다. 본 논문의 제안한 방법은 오브젝트 모델링에 영상을 입력받아 배우 움직임을 추적하여 파티클 시뮬레이션을 함으로서 마지막 최종 영상이 출력되게 하는 구조로 꽃잎 파티클 즉 오브젝트 모델링을 통하여 공연 영상을 실시간 파티클 시뮬레이션으로 표현한다. 이는 음향과 동작, 파티클 간에 동기화된 파티클의 생성과 위치 속도 등을 캡쳐링하여 과학기술과 예술의 접목이라는 실험적 구조 형태로 공연 영상을 만드는데 목적이 있다. 또한 파티클 시스템을 이용하여 기존 공영영상 보다 다양한 비주얼 이펙트 효과 영역을 확대된 개념의 공연성과를 볼 수 있다. 이 실험적 공연은 로봇과 영상, 그리고 배우와의 교감되는 공연구성으로 인터랙티브 융합 공연을 함으로써 더 나아가 앞으로의 인터랙티브 공연예술에서의 영역을 확장하고 표현의 확대를 할 수 있는데 목적이 있다.
Development of digital media and computer graphics related research had changed the overall stream of cultural art and our daily life, as well as its development also had an effect on a fresh and exciting area of cultural arts such as the new media art, interactive art and real-time performing. In t...
Development of digital media and computer graphics related research had changed the overall stream of cultural art and our daily life, as well as its development also had an effect on a fresh and exciting area of cultural arts such as the new media art, interactive art and real-time performing. In this paper, we used emotional expression techniques that they lead audiences on the process of natural communication by combining the particle system of computer graphics with performance based screen art. In this paper, we used emotional expression techniques that they lead audiences on the process of natural communication by combining the particle system of computer graphics with performance based screen art. Namely, by capturing the creation and location speed of particle which is synchronized between the sound, behavior and particles, performance based screen art as the form of the experimental structure in which is combined with scientific technology and art is therefore proposed.
Development of digital media and computer graphics related research had changed the overall stream of cultural art and our daily life, as well as its development also had an effect on a fresh and exciting area of cultural arts such as the new media art, interactive art and real-time performing. In this paper, we used emotional expression techniques that they lead audiences on the process of natural communication by combining the particle system of computer graphics with performance based screen art. In this paper, we used emotional expression techniques that they lead audiences on the process of natural communication by combining the particle system of computer graphics with performance based screen art. Namely, by capturing the creation and location speed of particle which is synchronized between the sound, behavior and particles, performance based screen art as the form of the experimental structure in which is combined with scientific technology and art is therefore proposed.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그리고 본 연구자가 참여한 공연 “Rhythmic Gesture”의 파티클 시스템을 활용한 사례를 중심으로 실험 방법을 제안하고 연구하고자 한다.
본 논문에서는 이러한 실시간으로 배우와 영상이 동기화되어 변화되어지는 것을 실험적으로 연구하고자 한다. 그래픽스 분야의 파티클 시스템 알고리즘을 이용하여 배우의 움직임을 카메라로 담아 실시간으로 모션 추정을 수행하고, 영상 화면에 배우 모션에 반응하는 아트웍을 생성하는 시스템을 제안한다.
본 논문에서는 파티클 시스템 알고리즘을 활용하여 실시간으로 퍼포먼스에서 적용한 작품을 실험하고 구현한 “Rhythmic Gesture” 공연을 중심으로 파티클 시스템을 활용한 사례에 관하여 논하였다.
그래픽스 분야의 파티클 시스템 알고리즘을 이용하여 배우의 움직임을 카메라로 담아 실시간으로 모션 추정을 수행하고, 영상 화면에 배우 모션에 반응하는 아트웍을 생성하는 시스템을 제안한다. 본론에서는 파티클 시스템의 개념에 대해 간략하게 설명하고 파티클 시스템을 활용하여 실시간 인터랙티브 작품사례를 알아본다. 그리고 본 연구자가 참여한 공연 “Rhythmic Gesture”의 파티클 시스템을 활용한 사례를 중심으로 실험 방법을 제안하고 연구하고자 한다.
자칫 지루할 수 있는 지하철역에서의 시간을 시각적으로 흥미롭게 디자인하였다[그림 2][7]. 이러한 파티클 시스템 알고리즘을 응용하여 시각적인 신선함과 흥미로운 요소를 이끌어낸 요소를 공연영상에 작품응용이라는 실험적 요소를 융합하여 공연 영상 작품을 시도하고자 한다.
제안 방법
본 논문에서는 이러한 실시간으로 배우와 영상이 동기화되어 변화되어지는 것을 실험적으로 연구하고자 한다. 그래픽스 분야의 파티클 시스템 알고리즘을 이용하여 배우의 움직임을 카메라로 담아 실시간으로 모션 추정을 수행하고, 영상 화면에 배우 모션에 반응하는 아트웍을 생성하는 시스템을 제안한다. 본론에서는 파티클 시스템의 개념에 대해 간략하게 설명하고 파티클 시스템을 활용하여 실시간 인터랙티브 작품사례를 알아본다.
첫 번째 장면과 중력의 힘과 초기 값이 약간의 차이를 준 것을 제외하고 같은 구현 방법으로 꽃잎 파티클의 흩날리는 움직임의 컨셉을 정하였다. 그리고 꽃잎이 서로 충돌이 있을 시에 스파클 효과를 만들어 내는 세 가지의 서로 다른 모양의 텍스쳐를 만들어 놓고 x, y ,z 값에서의 꽃잎 파티클의 스파클을 정하여 놓는다. 기본 움직임으로 바람의 기류에 따라 상승하는 시뮬레이션과 중력에 의해 하강하는 두 개의 장면으로 구성하게 된다.
그 설정 값은 랜덤 라이트 맵 텍스쳐 다시 말하면 [그림 10]과 같은 세 가지의 스파클 모양의 텍스쳐를 랜덤으로 출력하고 색상과 충돌 위치 등을 컴퓨터상에서 기억한다. 그리고 더욱 다양한 충돌 효과를 위해 복수의 랜덤 라이트 맵을 이용하여 블랜딩하고 프레임마다 라이트 맵의 스케일과 알파 값을 변경시켜 마치 반짝거리고 불꽃놀이 형상과 같은 효과를 만들어 낸다. 여기서 프레임이 점점 진행되면서 알파 값이 감소하여 스파클이 자연스럽게 생성되고 소멸하게 되는 과정이 반복된다.
초기 마커를 생성하고 추후 불필요한 마커들을 오퍼레이터가 임의로 삭제한 상태에서 배우의 움직임을 중심으로 하여 마커를 설정하게 된다. 그리고 마커 움직임의 평균값을 계산하고 꽃잎의 x, y 축 방향을 랜덤하게 설정한 다음 배우의 움직임과 연계하여 실시간으로 트래킹하여 꽃잎 영상을 만들어 낸다. 적외선 카메라는 외부 빛이나 물리적인 요소에 민감하므로 실제 공연 중에 오퍼레이터가 직접 불필요한 마커를 제거하기도 하고, 배우의 움직임에 맞춰 마커를 형성하거나 바꾸기도 한다.
본 공연에서는 [그림 15]와 같은 형태로 공연 무대설치를 조성하고 배우의 움직임을 좀 더 세밀하게 트래킹 하기 위해 오퍼레이팅의 위치보다 좀 더 앞 쪽에 적외선 카메라를 설치하게 되는 구조이다. 수시로 변화하는 외부의 조명으로부터 배우의 움직임을 트래킹 하기 위해서 실시간으로 오퍼래이터가 변화하는 빛과 외부로부터 방해받는 마커의 위치변동을 컨트롤 하게 된다.
본 공연에서는 [그림 16]과 같은 형태로 공연 무대설치를 조성하고 배우의 움직임을 좀 더 세밀하게 트래킹하기 위해 오퍼레이팅의 위치보다 좀 더 앞 쪽에 적외선 카메라를 설치하게 되는 구조이다. 수시로 변화하는 외부의 조명으로부터 배우의 움직임을 트래킹 하기 위해서 실시간으로 오퍼래이터가 변화하는 빛과 외부로 부터 방해받는 마커의 위치변동을 컨트롤 하게 된다.
[그림 7]과 같은 형태의 흩날리는 구성을 설정하고 입력 값이 있을 때 랜덤으로 변수를 정하여 움직임을 제어하게 된다. 본 공연에서의 파티클 시스템을 이용한 꽃잎 움직임의 구현은 총 두 가지의 장면으로 구성되며 첫 번째 장면으로 아래쪽에서 위쪽으로 꽃잎 파티클이 흩날리는 움직임을 정하였다.
실시간으로 꽃잎과 배우의 움직임을 영상에 반영하기 위해서 모션 트래킹의 한 방법인 라이브러리를 사용하여 배우의 움직임을 추적하여 시뮬레이션을 하게 된다. 보다 정확한 트래킹을 위하여 직접 배우의 모습을 적외선 카메라로부터 입력받아 마커 생성 후에 임의적으로 배우에게만 마커를 적용시켜 꽃잎과 배우의 움직임을 동기화하는 방식이다.
두 번째 장면에서는 꽃잎 모양의 파티클이 초기 형성과정에서 첫 번째 장면과는 달리 무리 지어진 구성으로 시작되며 아래에서 위로 올라가는 움직임으로 정한다. 첫 번째 장면과 중력의 힘과 초기 값이 약간의 차이를 준 것을 제외하고 같은 구현 방법으로 꽃잎 파티클의 흩날리는 움직임의 컨셉을 정하였다. 그리고 꽃잎이 서로 충돌이 있을 시에 스파클 효과를 만들어 내는 세 가지의 서로 다른 모양의 텍스쳐를 만들어 놓고 x, y ,z 값에서의 꽃잎 파티클의 스파클을 정하여 놓는다.
이론/모형
여기에서 y 축에 해당하는 축은 화면의 상단과 하단의 보이지 않은 영역으로 초기화하게 된다. 수식(1)과 같이 간단한 Euler method[11]를 이용하여 움직임을 만들어 내게 된다. 수식(1)의 x는 포지션이고 t는 시간,
성능/효과
본 공연에서는 여러 가지 다양한 공연영상이 등장하며 그 중에서 파티클 시스템으로 표현하게 된 영역은 꽃잎 파티클이 배우의 움직임에 따라 꽃잎이 흩날리는 모습을 구현한 장면은 매우 유동적이며 유희적 감성을 움직임의 속도나 위치에 따라 잘 묘사되었다. 단순히 꽃잎이 흩날리는 모습뿐만 아니라 랜덤으로 발생하는 스파클의 모양과 색상을 만들어 내어 다양한 시각적 표현을 구성하게 된다[그림 13][그림 14].
본 논문에서 제안한 방법을 활용하여 응용한 “Rhythmic Gesture”는 실시간으로 퍼포머의 움직임을 추적하여 영상을 만들어 내어 극에 대해서 관객으로 하여금 유희성과 몰입감을 가미하여 시각적으로 효과적인 결과를 얻을 수 있었다.
본 논문에서는 파티클 시스템 알고리즘을 활용하여 실시간으로 퍼포먼스에서 적용한 작품을 실험하고 구현한 “Rhythmic Gesture” 공연을 중심으로 파티클 시스템을 활용한 사례에 관하여 논하였다. 본 논문은 입자 즉, 꽃잎이 흩날리는 움직임을 배우와 상호작용하는 공연 영상을 만들어 실제 공연에서 다양하고 흥미로운 비주얼을 만들어 내어 공연 영상에서나 공연에서의 전반적인 스토리텔링의 구조를 이끌어 가는데 효과 시각화를 가질 수 있었다.
후속연구
또한, 실시간이라는 공연 주위 환경에서는 민감한 적외선 카메라보다는 배우의 몸에 직접 센서를 장착하고 모션 트래킹을 하는 방법도 매우 효율적이라 사료된다. 앞서 언급한 사항을 보완하면 자유자재로 배우의 움직임을 정확한 캡쳐링 데이터로 인한 컨트롤을 할 수 있게 구현할 수 있고 여러 형태의 퍼포먼스 형식이 될 수 있고 더욱 더 효과적인 연구 결과가 나올 것이다.
본 논문에서 제안한 방법을 활용하여 응용한 “Rhythmic Gesture”는 실시간으로 퍼포머의 움직임을 추적하여 영상을 만들어 내어 극에 대해서 관객으로 하여금 유희성과 몰입감을 가미하여 시각적으로 효과적인 결과를 얻을 수 있었다. 이러한 컨텐츠를 시스템으로서 모듈화를 확립한다면 융합공연이라는 새로운 장르의 컨텐츠를 형성하는데 기여할 수 있을 꺼라 사료된다.
향후 공연 영상에서의 파티클 시스템과 관련된 시각적 효과를 더욱 다양하게 표현한다면 실시간으로서 관객이나 배우가 서로 어우러진 작품들이 효과적인 결과를 창출 할 수 있을 것으로 사료된다. 향후 연구로는 보다 다양한 파티클 시스템의 형태를 여러 가지 디자인적 요소들로 나누어 비주얼의 효과를 극대화 시킬 수 있다.
향후 공연 영상에서의 파티클 시스템과 관련된 시각적 효과를 더욱 다양하게 표현한다면 실시간으로서 관객이나 배우가 서로 어우러진 작품들이 효과적인 결과를 창출 할 수 있을 것으로 사료된다. 향후 연구로는 보다 다양한 파티클 시스템의 형태를 여러 가지 디자인적 요소들로 나누어 비주얼의 효과를 극대화 시킬 수 있다. 또한, 실시간이라는 공연 주위 환경에서는 민감한 적외선 카메라보다는 배우의 몸에 직접 센서를 장착하고 모션 트래킹을 하는 방법도 매우 효율적이라 사료된다.
질의응답
핵심어
질문
논문에서 추출한 답변
파티클 시스템이란 무엇인가?
파티클 시스템은 두 개 이상의 파티클 입자를 생성하여 속도, 위치, 방향 등의 파라미터를 설정하여 물리적인 반응 및 현상을 시뮬레이션하는 것이다[8]. 파티클 입자 하나는 독립적으로 움직이기도 하며, 서로 물리적 충돌이나 연계 값을 이용하여 다양한 움직임 묘사가 가능하다.
파티클 입자 하나는 독립적으로 움직이기도 하며 서로 물리적 충돌이나 연계 값을 이용하여 다양한 움직임 묘사가 가능한데, 이를 통해 무엇을 표현할 수 있는가?
파티클 입자 하나는 독립적으로 움직이기도 하며, 서로 물리적 충돌이나 연계 값을 이용하여 다양한 움직임 묘사가 가능하다. 따라서 파티클을 이용하여 입자의 현상 즉, 물이나 불, 또는 구름, 연기 등의 자연현상을 가시화할 수 있다. [그림 5] 와 같이 애니메이션에서이나 [그림 6] 의 분수의 모양을 시뮬레이션 할 수 있게 되는 것이다[9][10].
“Rhythmic Gesture”는 어떤 작품인가?
“Rhythmic Gesture”는 로봇과 파티클 시스템을 이용하여 적외선 카메라로부터 실시간으로 퍼포머의 움직임을 받아 시각적 효과를 극대화 시킨 작품이다. 기계와 인간의 소통이라는 주제로 기계에 인간이 반응하거나 또는 인간이 기계에 반응하게 되는 물리적인 컨트롤을 통해 서로 상호 작용하는 감성 미디어 아트가 접목된 공연이기도 하다.
참고문헌 (12)
고규흔, “인터랙티브 퍼포먼스의 실시간 상호작용과 이로 인한 기존 공연과의 차별성”, 성균관대학원, 석사학위논문, 2002.
강희라, “소리신호에 반응하는 인터랙티브 공연 영상디자인에 관한 연구“, 한국디자인학회, 제75호, pp.5-16, 2008.
김상태, “공연예술과 영상매체”, 프랑스문화예술 연구, 제3집, pp.17-32, 2000.
G. Levin and Z. Lieberman, "In-Situ Speech Visualization in Real-Time Interactive Installation and Performance," Proceedings of The 3rd International Symposium on Non-Photorealistic Animation and Rendering, 2004(6).
G. Levin and Z. Lieberman, "Sounds from Shapes: Audiovisual Performance with Hand Silhouette Contours in "The Manual Input Sessions," Proceedings of NIME '05, 2005(5).
http://www.flong.com/projects/footfalls/
장군령, 김세화, “도시 공공 공간에서 인터랙티브 미디어 아트 활용 사례 분석”, 한국콘텐츠학회 추계 종합학술대회 논문집, 제5권 제2호, pp.885-888, 2007.
송승헌. 박경욱, 김응곤, “실시간 특수효과를 위한 라이브러리 및 생성기 개발”, 한국콘텐츠학회 춘계 종합학술대회 논문집, 제4권 제1호, pp.499-502, 2006.
Thomas Milton Liggett, Interacting particle systems, Springer, 2004.
Andrew Witkin, "Physically Based Modeling : Principles and Practice : Particle System Dynamics," SIGGRAPH '97 COURSES Notes, 1997.
A. Witkin and D. Baraff, "Physically Based Modeling : Principles and Practice : Differential Equation Basics," SIGGRAPH '97 COURSES Notes, 1997.
Bruce D. Lucas and Takeo Kanade, "An Iterative Image Registration Technique with an Application to Stereo Vision," Proceedings of Imaging Understanding Workshop, pp.121-130, 1981.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.