[국내논문]인터렉티브 사운드 설치와 사용자 의도 분석에 관한 연구 - 작품 Color note 를 중심으로 A Study on Interactive Sound Installation and User Intention Analysis - Focusing on an Installation: Color note원문보기
본 연구에서는 사용자 의도를 의도 범위(intentionrange)에 따라 정의하고, 이를 다양하게 변화시켜 반영한 인터렉티브 사운드 인스톨레이션을 제안한다. 사용자 의도는 요소(element), 부분(part), 전체(entire) 등의 다양한 계층 범위로 분류하여 정의되었다. 또한, 분류된 각 범위는 서로 소속/포함 관계로 정의되었다. 요소 의도를 반영하기 위해 우리는 사용자의 반응에 따라 색과 음이 인터렉티브하게 표시되는 Color note 라는 인터페이스를 제작하였다. 부분 의도를 반영하기 위해 요소 의도를 화성학 규칙으로 보정하기 위한 화성 정리 방법(HD)을 제안한다. 마지막으로 전체 의도는 요소 의도의 거시적 방향성으로써 추정된다. 추정 기법으로서 칼루엔-뢰브 변환(K-L Transform) 등과 같은 통계적 기법을 적용하였다. 제안한 인터페이스인 Color note와 다양한 기법들의 유효성을 확인하기 위해, 전시설치가 되었고, 다양한 사용자에게 평가 설문을 시행하였다. 또한, 전체 의도를 표현하기 위해 사용된 다양한 통계적 기법의 만족도를 조사하였다.
본 연구에서는 사용자 의도를 의도 범위(intention range)에 따라 정의하고, 이를 다양하게 변화시켜 반영한 인터렉티브 사운드 인스톨레이션을 제안한다. 사용자 의도는 요소(element), 부분(part), 전체(entire) 등의 다양한 계층 범위로 분류하여 정의되었다. 또한, 분류된 각 범위는 서로 소속/포함 관계로 정의되었다. 요소 의도를 반영하기 위해 우리는 사용자의 반응에 따라 색과 음이 인터렉티브하게 표시되는 Color note 라는 인터페이스를 제작하였다. 부분 의도를 반영하기 위해 요소 의도를 화성학 규칙으로 보정하기 위한 화성 정리 방법(HD)을 제안한다. 마지막으로 전체 의도는 요소 의도의 거시적 방향성으로써 추정된다. 추정 기법으로서 칼루엔-뢰브 변환(K-L Transform) 등과 같은 통계적 기법을 적용하였다. 제안한 인터페이스인 Color note와 다양한 기법들의 유효성을 확인하기 위해, 전시설치가 되었고, 다양한 사용자에게 평가 설문을 시행하였다. 또한, 전체 의도를 표현하기 위해 사용된 다양한 통계적 기법의 만족도를 조사하였다.
This work defines user intention according to intention range, and also proposes an interactive sound installation which reflects and varies above features. User intention consists of several decomposition concepts, which are elemental intentions, partial intentions, and a universal intention. And a...
This work defines user intention according to intention range, and also proposes an interactive sound installation which reflects and varies above features. User intention consists of several decomposition concepts, which are elemental intentions, partial intentions, and a universal intention. And also, each concept is defined as inclusion/affiliation relationship with other concepts. For the representation of elemental intention, we implemented an musical interface, Color note, which represents the colors and notes according to response of participants. We also propose Harmonic Defragmentation (HD), which arranges the partial intentions with harmonic rule. Finally, the universal intention is inferred to the comprehensive direction of elemental intentions. We used Karhunen-Lo$\`{e}$ve(K-L) Transform for the inference. For verifying the validity of our proposed interface, the "Color Note," and the various techniques, we installed our work and surveyed various users for the evaluation of HD and statistical techniques. Also, we commissioned another survey to find out satisfaction measurement which was used for expressing universal intention.
This work defines user intention according to intention range, and also proposes an interactive sound installation which reflects and varies above features. User intention consists of several decomposition concepts, which are elemental intentions, partial intentions, and a universal intention. And also, each concept is defined as inclusion/affiliation relationship with other concepts. For the representation of elemental intention, we implemented an musical interface, Color note, which represents the colors and notes according to response of participants. We also propose Harmonic Defragmentation (HD), which arranges the partial intentions with harmonic rule. Finally, the universal intention is inferred to the comprehensive direction of elemental intentions. We used Karhunen-Lo$\`{e}$ve(K-L) Transform for the inference. For verifying the validity of our proposed interface, the "Color Note," and the various techniques, we installed our work and surveyed various users for the evaluation of HD and statistical techniques. Also, we commissioned another survey to find out satisfaction measurement which was used for expressing universal intention.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
소리와 색채간의 물리적 접근을 기반으로 하여 논리적인 연관체계를 갖춘 상태에서, 사람들에게 공감각적 즐거움을 주고 또한 사람의 행동으로 인하여 자신이 직접 소리와 색을 만들고, 그것을 연주할 수 있는 사운드 인스톨레이션 작품을 제작하고자 함이 이 연구의 목표이다. 인간의 감각기관에서 비롯되는 input 을 통해 사람들의 무의식적인 행동에 대한 인지는 또 다른 결과를 예상하게끔 함으로서, 그 결과는 다시 인간의 감각기관으로 작용하게 된다.
인간의 감각기관에서 비롯되는 input 을 통해 사람들의 무의식적인 행동에 대한 인지는 또 다른 결과를 예상하게끔 함으로서, 그 결과는 다시 인간의 감각기관으로 작용하게 된다. 시각과 청각의 혼합을 이용한 설치악기 혹은 인터렉티브 악보가 설치작품으로 제안됨으로써, 그 결과에 대한 분석을 하고자 한다.
가설 설정
사용자가 다수의 요소의도를 이용하여 부분의도를 표현하였을 때, 전체 요소의도의 Fo 와 사용자 요소의도의 Fo 간 다음 관계가 있다고 가정한다.
제안 방법
소리와 색의 관계는 소리의 파장과 색의 RGB 값을 기반으로 정하였다. 화면은 그래프화되어, 열은 박자속도를 나타내고, 행은 음계와 색을 나타낸다.
본 연구에서는 사용자 의도를 다양한 계층범위로 나누어 정의한다. 정의한 사용자 의도 계층 범위는 요소, 부분, 전체로 구성된다.
따라서 사용자의 의도를 반영한 부분 의도를 정리하기 위해, HD (Harmonic Defragmentation)라는 화성 정리 방법을 제안하고 사용한다. HD 는 사용자의 의도로부터 음악적 울림을 시뮬레이션 하여 음악성을 극대화하는 화음을 찾아 부분 의도를 자동으로 정리하여 주는 알고리즘이다.
이때 a 는 조화 특성에 대한 가중치 값이다. 본 작품에서는 장조와 단조를 효율적으로 표현하기 위해 4 도(단조의 경우 3 도), 7도 화음에 대해 가중치를 적용하였다.
마지막으로, 사용자의 흥미를 계량하여 평가하기 위해서 사용자에게 평가 설문을 진행하였다. 설문은 작품을 설치해 놓은 전시장에서 즉각적으로 이루어졌고, 총 참여자 30 명에게 직접 작품을 시연하게 하고 설문지를 이용하여 실시되었다.
설문 내용은 총 3 가지로 구성된다. 첫 번째는 심미성 측면, 두 번째는 부분 의도와 전체의도를 표현하기 위해 제안한 알고리즘 HD 의 만족도 측면에서 조사하였다. 마지막으로 세 번째는 작품시행에서 나온 화음의 분석이다.
이 연구에서는 음과 색을 사용한 Color note 라는 새로운 형태의 악기를 제안하였고, 이를 사용자 의도와 결과 만족도 분석을 통해 앞으로의 작업의 지표를 마련하였다. 추후에는 디자인과 심미적인 측면에서 완성도를 높여야 하며, 음도 간단한 화음만을 제공해주는 것이 아닌, 타악기 등으로 박자를 더해주는, 보다 완성된 음악을 만들 수 있는 인터렉티브 설치 악기를 제작할 예정이다.
본 작품에서는 사용자의 전체의도를 표현하기 위해 사용자의 요소/부분의도와 시간, 그리고 HP 등을 입력 데이터로 활용하고, 전체 의도를 K-L 변환을 사용하여 2차원 방향성을 추출하였다.
대상 데이터
화면은 그래프화되어, 열은 박자속도를 나타내고, 행은 음계와 색을 나타낸다. 일반 음악악보와 같은 원리이지만, 오선지대신 화면에서는 픽셀 혹은 큐브 형태로 시각화하여 보여진다 화면은 총 4 분의 4 박자의 7 마디로 구성이 되고, 총 28 개의 가로픽셀로 구성된다. 행을 나타내는 음계는 옥타브 5 에서 낮은 도에서부터 높은 도까지 의총 13개 음으로 이루어진다.
평가 설문을 진행하였다. 설문은 작품을 설치해 놓은 전시장에서 즉각적으로 이루어졌고, 총 참여자 30 명에게 직접 작품을 시연하게 하고 설문지를 이용하여 실시되었다. 설문 내용은 총 3 가지로 구성된다.
데이터처리
전체적인 흐름을 나타내는 의도이다. 이를 표현하기 위해서, 요소 의도를 하나의 표본(sample)으로 규정하고, 이들의 전체 방향을 추정하기 위한 다변수 통계 기법 (multivariate statistical analysis) 중 칼루엔-뢰브 변환을 도입하였다. 이 방법에 대한 자세한 설명은 6.
성능/효과
2.1 장에서 본 바와 같이 소리와 색은 각각 진동과 파장에 의해서 우리의 감각기관에 의해 인지됨에 있어서 공통점을 가지고 있으며, 시청각적 인지와 새로운 매체의 표현을 불러일으키는 가장 기초적인 실마리가 됨을 알 수 있다. 음과 색은 물리적으로 공진, 증폭, 간섭, 상쇄하는 파동의 속성을 공유하고 있으므로 음악을 물리수학적으로 체계화한 화성학 원리를 이용하면 빛의 조화로운 활용에 대한 해답을 얻을 수 있다.
대체적으로 심플한 픽셀들로 이루어진 디자인에 만족하는 편이었고, 색과 음이 함께 표현됨에 있어서 아름답다는 의견이 많았다. 총 30 명 중 약 20 명은 디자인과 색, 그리고 음의 조합이 아름답다는 의견을 나타냈다.
많았다. 총 30 명 중 약 20 명은 디자인과 색, 그리고 음의 조합이 아름답다는 의견을 나타냈다. 하지만 지나치게 단순하고 색의 배열이 마음에 들지 않는다는 의견도 1 명 있었다.
남자는 평균 173cm 정도에 위치해 있는 라, 라#, 시가 가장 많이 재생되었고, 여자는 평균 163cm 정도인 파#, 솔이 가장 많이 재생되었다. 결과물에서 나온 화음은 이 음들이 포함된 화음이 가장 많은 부분을 차지하였고, 가장 높은 위치에 위치한 높은 도와가장 낮은 위치에 위치한 낮은 도는 재생빈도수가 가장 낮았다.
후속연구
사용자의 움직임에 따른 즉각적인 반응이 이루어지지 않고 딜레이가 생기는 문제점이 발생하였다. 보다 많은 수의 픽셀과 음원의 재생에 따른 반응속도 개선을 위한 노력이 추후에 요구될 예정이며, 이를 위해서는 다른 언어의 프로그램 기반 사용과 음원의 MIDI 화가 필요하다.
추후에는 디자인과 심미적인 측면에서 완성도를 높여야 하며, 음도 간단한 화음만을 제공해주는 것이 아닌, 타악기 등으로 박자를 더해주는, 보다 완성된 음악을 만들 수 있는 인터렉티브 설치 악기를 제작할 예정이다. 이번 연구는 추후 연구의 기반이 될 것이며, 이번 작품에서 나타난 실험과 결과로 보여진 단점들은 추후연구에 보강될 것이다.
추후에는 디자인과 심미적인 측면에서 완성도를 높여야 하며, 음도 간단한 화음만을 제공해주는 것이 아닌, 타악기 등으로 박자를 더해주는, 보다 완성된 음악을 만들 수 있는 인터렉티브 설치 악기를 제작할 예정이다. 이번 연구는 추후 연구의 기반이 될 것이며, 이번 작품에서 나타난 실험과 결과로 보여진 단점들은 추후연구에 보강될 것이다. 앞으로의 휴먼 인터렉션과 뉴미디어 인스톨레이션 작업은 음악 악기의 범주를 넓힐 것이고, 사람들은 보다 쉽고 재미있으며 인지적인 방식으로 자신만의 고유한 음악을 만들 수 있을 것이다.
이번 연구는 추후 연구의 기반이 될 것이며, 이번 작품에서 나타난 실험과 결과로 보여진 단점들은 추후연구에 보강될 것이다. 앞으로의 휴먼 인터렉션과 뉴미디어 인스톨레이션 작업은 음악 악기의 범주를 넓힐 것이고, 사람들은 보다 쉽고 재미있으며 인지적인 방식으로 자신만의 고유한 음악을 만들 수 있을 것이다. 음악과 인간의 행동에 대한 보다 체계적인 결과분석은 디지털 기술과 사용자의 의도가 더해져 또 다른 형태와 방법적인 측면의 새로운 사운드 인터렉션을 제안할 것이다.
앞으로의 휴먼 인터렉션과 뉴미디어 인스톨레이션 작업은 음악 악기의 범주를 넓힐 것이고, 사람들은 보다 쉽고 재미있으며 인지적인 방식으로 자신만의 고유한 음악을 만들 수 있을 것이다. 음악과 인간의 행동에 대한 보다 체계적인 결과분석은 디지털 기술과 사용자의 의도가 더해져 또 다른 형태와 방법적인 측면의 새로운 사운드 인터렉션을 제안할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.