최근 문화공연은 전통적인 공연예술의 틀을 벗어나 여러 장르를 도입하여 새로운 문화콘텐츠를 만들고 있으며, 특히 무대를 갖는 공연에는 영상예술과 첨단기술을 이용한 이색적인 공연이 나타나고 있다. 그 중에서도 무대 공연은 소리를 이용한 퍼포먼스가 행해지는 공연 같은 경우, 소리를 재해석하여 영상과 결합시킨 실험적인 공연이 나타나고 있다. 하지만 아직 대중 공연예술에서는 실시간 소리에 따라 영상을 시각화하는 과정이 자동화 되지 않고 있다. 이 경우 연주자와 관객이 즉흥적으로 내는 소리를 실시간으로 보여줄 수 없기 때문에 영상과 관객, 그리고 공연자의 상호교류가 이루어질 수 없다. 본 논문에서는 공연영상을 위한 실시간 사운드 시각화(Real-time sound visualization)를 실험함으로써 즉흥적인 공연 환경과 소통하는 영상 시각화를 제안한다. 영상 시각화는 공연예술에서 사용되는 악기 중 현악기를 중심으로 한다. 미디 환경을 기반으로 하는 맥스엠에스피/지터(MaxMSP/Jitter)를 이용하여 사운드 신호에 따른 영상 제어 시스템을 구축하고 코르그 나노 컨트롤(Korg Nano Kontrol) 기기를 활용하여 영상을 실험 및 제어한다. 이를 통해 공연 환경에 따라 미묘하게 달라지는 공연자의 감정과 박자감 그리고, 공연자의 행태에 따라 즉흥적으로 변화하는 실시간 인터랙티브 영상을 확인할 수 있다.
최근 문화공연은 전통적인 공연예술의 틀을 벗어나 여러 장르를 도입하여 새로운 문화콘텐츠를 만들고 있으며, 특히 무대를 갖는 공연에는 영상예술과 첨단기술을 이용한 이색적인 공연이 나타나고 있다. 그 중에서도 무대 공연은 소리를 이용한 퍼포먼스가 행해지는 공연 같은 경우, 소리를 재해석하여 영상과 결합시킨 실험적인 공연이 나타나고 있다. 하지만 아직 대중 공연예술에서는 실시간 소리에 따라 영상을 시각화하는 과정이 자동화 되지 않고 있다. 이 경우 연주자와 관객이 즉흥적으로 내는 소리를 실시간으로 보여줄 수 없기 때문에 영상과 관객, 그리고 공연자의 상호교류가 이루어질 수 없다. 본 논문에서는 공연영상을 위한 실시간 사운드 시각화(Real-time sound visualization)를 실험함으로써 즉흥적인 공연 환경과 소통하는 영상 시각화를 제안한다. 영상 시각화는 공연예술에서 사용되는 악기 중 현악기를 중심으로 한다. 미디 환경을 기반으로 하는 맥스엠에스피/지터(MaxMSP/Jitter)를 이용하여 사운드 신호에 따른 영상 제어 시스템을 구축하고 코르그 나노 컨트롤(Korg Nano Kontrol) 기기를 활용하여 영상을 실험 및 제어한다. 이를 통해 공연 환경에 따라 미묘하게 달라지는 공연자의 감정과 박자감 그리고, 공연자의 행태에 따라 즉흥적으로 변화하는 실시간 인터랙티브 영상을 확인할 수 있다.
Recent performing-art has a trend to be new cultural contents style which mixes various genre not just traditional way. Especially in stage performance, unique performance is playing using high technology and image. In sound performance, one of technology, a new experiment is trying which re-analyze...
Recent performing-art has a trend to be new cultural contents style which mixes various genre not just traditional way. Especially in stage performance, unique performance is playing using high technology and image. In sound performance, one of technology, a new experiment is trying which re-analyze the sound and mixes the result with image. But in public performance we have a technical difficulty with making visualization regarding the sound in realtime. Because we can not make visualization with instant sound from performers and audience it is difficult to interact smoothly between performer and audience. To resolve this kind of restriction, this paper suggests Real-time sound visualization. And we use string music instrument for sound source. Using the MaxMSP/Jitter based the Midi, we build image control system then we test and control the image with Korg Nano Kontrol. With above experiment we can verify verious emotion, feeling and rhythm of performer according to performance environment and also we can verify the real time interactive image which can be changed momently by performer's action.
Recent performing-art has a trend to be new cultural contents style which mixes various genre not just traditional way. Especially in stage performance, unique performance is playing using high technology and image. In sound performance, one of technology, a new experiment is trying which re-analyze the sound and mixes the result with image. But in public performance we have a technical difficulty with making visualization regarding the sound in realtime. Because we can not make visualization with instant sound from performers and audience it is difficult to interact smoothly between performer and audience. To resolve this kind of restriction, this paper suggests Real-time sound visualization. And we use string music instrument for sound source. Using the MaxMSP/Jitter based the Midi, we build image control system then we test and control the image with Korg Nano Kontrol. With above experiment we can verify verious emotion, feeling and rhythm of performer according to performance environment and also we can verify the real time interactive image which can be changed momently by performer's action.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문은 무대가 있는 공연에서 행해지는 영상을 목적으로 한 실시간 사운드 시각화(Real-time sound visualization)를 실험함으로써 즉흥적인 공연 환경과 소통하는 영상을 제안한다. 현악기를 중심으로 소리를 분석하고, 미디(MIDI) 환경을 기반으로 하는 맥스엠에 스피/지터(MaxMSP/Jitter)를 이용하여 영상 시각화를 제작하여 실시간 인터랙티브(interactive) 영상을 실험한다.
본 연구는 공연과 무대를 대상으로 하는 소리 시각화 실험을 통해 공연과 무대를 대상으로 하는 실시간 사운드 시각화 도구를 제안하고자 한다.
본 연구에서는 공연영상에 초점을 두고 실시간 사운드 신호에 반응하는 영상 작품을 구현하고 실험하였다. 그 결과 공연 환경에 따라 미묘하게 달라지는 공연자의 감정과 박자감 그리고, 공연자의 행태에 따라 즉흥적으로 변화하는 실시간 인터랙티브 영상을 확인할 수 있었다.
본론에서 언급한 영상 제어 시스템은 영상이 자동으로 실시간 사운드에 반응한다는 점이 기존의 영상 스위칭 소프트웨어와 차별되지만 제공되는 필터가 현저히 적다. 제시한 패치 외에 다른 요소와 방법으로 더 많은 새로운 패치를 제작하는 것이 앞으로의 과제이며 현실적으로 대중 공연예술에 적용할 수 있도록 하는 데에 목적을 둔다.
제안 방법
관객이 직관적으로 소리의 변화를 느낄 수 있는 것은 음량, 즉 소리의 크기이다. 공연 시에 발생하는 소리를 다이나믹 마이크(Dynamic mike)를 이용하여 수음을 하였다.
이는 영상 연출자가 코르그 나노 컨트롤(Korg Nano Control)을 이용하여 편리하게 작동할 수 있다. 사운드 신호에 의해 영상 그래픽 및 영상 필터가 변화하도록 실시간 사운드 시스템과 영상 필터 패치를 각 키(key)에 적용하였다.
상기 문제를 해결하기 위하여 악기에 직접 부착하는 형태인 픽업 마이크를 이용하여 악기 소리를 개별적으로 수음하는 방법을 택하였다.
실험을 위한 제작 개요는 무대 공연 현장에서 소리를 입력 받아 이 소리를 분석하고 해석하는 과정을 통해 사운드시스템을 생성한다. 생성된 사운드시스템을 시각적 형태에 적용하기 위해 인터랙티브 영상시스템을 디자인하고 공연 현장에서 즉흥적으로 제어 가능하도록 제작한다.
실시간 사운드에 반응하는 영상을 자동화하여 공연시에 편리하게 제어하고자 영상 제어 시스템을 구축했다. 이는 영상 연출자가 코르그 나노 컨트롤(Korg Nano Control)을 이용하여 편리하게 작동할 수 있다.
실험을 위한 제작 개요는 무대 공연 현장에서 소리를 입력 받아 이 소리를 분석하고 해석하는 과정을 통해 사운드시스템을 생성한다. 생성된 사운드시스템을 시각적 형태에 적용하기 위해 인터랙티브 영상시스템을 디자인하고 공연 현장에서 즉흥적으로 제어 가능하도록 제작한다.
현악기 종류의 악기 몇 개를 선별하여 동일한 조건 하에 ‘라’음을 비교해보았다.
본 논문은 무대가 있는 공연에서 행해지는 영상을 목적으로 한 실시간 사운드 시각화(Real-time sound visualization)를 실험함으로써 즉흥적인 공연 환경과 소통하는 영상을 제안한다. 현악기를 중심으로 소리를 분석하고, 미디(MIDI) 환경을 기반으로 하는 맥스엠에 스피/지터(MaxMSP/Jitter)를 이용하여 영상 시각화를 제작하여 실시간 인터랙티브(interactive) 영상을 실험한다.
성능/효과
본 연구에서는 공연영상에 초점을 두고 실시간 사운드 신호에 반응하는 영상 작품을 구현하고 실험하였다. 그 결과 공연 환경에 따라 미묘하게 달라지는 공연자의 감정과 박자감 그리고, 공연자의 행태에 따라 즉흥적으로 변화하는 실시간 인터랙티브 영상을 확인할 수 있었다. 이러한 인터랙티브 영상은 대중 공연예술에서 관객의 요구를 보다 충족시킬 수 있으며 관객과 소통하는 이색적인 공연예술을 시도함으로써 새로운 문화콘텐츠 형성에 이바지할 것으로 사료된다.
픽업 마이크를 부착한 악기 하나의 소리만 순수하게 수음되지는 않았지만, 다른 악기의 음량은 매우 작게 들어와 직관적으로 악기의 연주 형태를 구별할 수 있게 되었다. 또한 음량의 급격한 변화도 나타나고 있어 시각화하기 용이한 형태로 수음이 가능해졌다.
본론에서 언급한 영상 제어 시스템은 영상이 자동으로 실시간 사운드에 반응한다는 점이 기존의 영상 스위칭 소프트웨어와 차별되지만 제공되는 필터가 현저히 적다. 제시한 패치 외에 다른 요소와 방법으로 더 많은 새로운 패치를 제작하는 것이 앞으로의 과제이며 현실적으로 대중 공연예술에 적용할 수 있도록 하는 데에 목적을 둔다.
선진 사례를 살펴본 결과 아직 국내 대중 공연예술에서는 실시간 소리에 따라 영상을 시각화하는 과정이 실험 단계에 있으며 실시간 사운드 시각화가 자동으로 이루어지지 않음을 알 수 있었다. 이는 연주자의 즉흥적 행태를 반영하는 실시간 사운드 시각화 도구(Real-time sound visualizer)의 부재(不在)와 실시간으로 소리를 해석하는 데에 있어 어려움이 따르기 때문으로 여겨진다[2].
후속연구
같은 ‘라(A)’음이어도 미세하게 다른 형태를 확인할 수 있는데 이는 악기에 따라 발성 구조가 다르기 때문이다.[7] 발성 구조의 차이는 배음의 성분을 결정하고, 이 배음은 악기에 따른 시각화에서도 적용 가능할 것으로 여겨진다.
비브라토는 현악기만이 가지는 특성이므로 현악기 소리를 가시화하는데 있어 타 악기와 차별화 될 수 있다. 시간 축에 따라 현의 떨림을 나타낼 수 있는 방법론을 택하여 시각화하는 것이 추후 과제라 할 수 있겠다.
질의응답
핵심어
질문
논문에서 추출한 답변
위 논문에서 말하는 최근 문화공연 트렌드는?
최근 문화공연은 전통적인 공연예술의 틀을 벗어나 여러 장르를 도입하여 새로운 문화콘텐츠를 만들고 있으며, 특히 무대를 갖는 공연에는 영상예술과 첨단기술을 이용한 이색적인 공연이 나타나고 있다. 그 중에서도 무대 공연은 소리를 이용한 퍼포먼스가 행해지는 공연 같은 경우, 소리를 재해석하여 영상과 결합시킨 실험적인 공연이 나타나고 있다.
공연영상이란?
공연영상이라는 말은 공연과 영상의 합성어로, 연극 · 무용 · 음악공연 등에 쓰이는 화상이라는 의미로 널리 쓰이고 있다. 공연예술과 영상의 만남은 시각적 이미지의 중요성이 인식되며 이른바 종합예술이라는 개념이 탄생하는 데서부터 시작한다[1].
종합예술 개념이 탄생하게 된 계기는 무엇인가?
공연예술과 영상의 만남은 시각적 이미지의 중요성이 인식되며 이른바 종합예술이라는 개념이 탄생하는 데서부터 시작한다[1]. 전통적인 의미에서의 음악, 무용, 연극과 같은 공연예술(公演藝術)이 서로 결합하거나 새로운 무대 효과를 들이는 등의 여러 실험적인 시도가 더해지면서 종합적으로 다양한 양상의 공연예술을 실천했는데, 그 중엔 영상의 도입도 빼놓을 수 없다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.