[논문]가사 텍스트의 감성분석에 기반 한 음악 시각화 콘텐츠 개발

김혜란

doi:10.5392/jkca.2020.20.10.089

가사 텍스트의 감성분석에 기반 한 음악 시각화 콘텐츠 개발
Development of the Artwork using Music Visualization based on Sentiment Analysis of Lyrics 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.20 no.10, 2020년, pp.89 - 99

김혜란 (세종대학교 소프트웨어융합대학 만화애니메이션텍 전공)

초록
AI-Helper

본 연구에서는 음악 가사의 감성분석을 통한 영상작품의 제작을 시도하였다. 가사 텍스트의 감성분석에는 구글(Google)의 자연어 처리 API를 활용하였고 그 결과를 영상 시각화 규칙과 연결하였다. 기존의 공학적 연구들에서의 텍스트 기반 감성분석은 소셜 미디어에서의 사용자 댓글과 리뷰를 분석해서 사용자들의 감정과 태도를 이해하도록 하는 연구들이 많았다. 본 연구에서는 감성분석 데이터가 예술작품 창작의 재료가 되어 심미적 표현에 활용될 수 있도록 하였다. 기계의 관점에서 볼 때 감정은 숫자로 치환되어 나타나므로 규격화, 표준화 될 수밖에 없다는 한계점이 있다. 이에 가사 데이터의 감성분석 결과를 시각예술에서의 조형요소들의 규칙과 연결하여 이러한 한계를 일부 극복해보자 하였다. 본 연구는 인공지능이 인간의 고도화 된 정신적 산물인 예술작품의 창작까지 시도하는 현 시대를 반영하며 문학, 음악, 회화, 무용 등 기존의 전통적인 예술작품을 기계를 통해 바라본 새로운 형태의 예술작품으로 만들어 보고자 하는 목표를 가지고 있다. 더불어 감정표현에 어려움을 겪는 발달 장애인들의 창작활동과 심리분석 및 의사소통을 용이하게 해주는 예술창작 및 교육 플랫폼으로 확장되기를 기대한다.

Abstract ▼ AI-Helper

In this study, we tried to produce moving-image works through sentiment analysis of music. First, Google natural language API was used for the sentiment analysis of lyrics, then the result was applied to the image visualization rules. In prior engineering researches, text-based sentiment analysis has been conducted to understand users' emotions and attitudes by analyzing users' comments and reviews in social media. In this study, the data was used as a material for the creation of artworks so that it could be used for aesthetic expressions. From the machine's point of view, emotions are substituted with numbers, so there is a limit to normalization and standardization. Therefore, we tried to overcome these limitations by linking the results of sentiment analysis of lyrics data with the rules of formative elements in visual arts. This study aims to transform existing traditional art works such as literature, music, painting, and dance to a new form of arts based on the viewpoint of the machine, while reflecting the current era in which artificial intelligence even attempts to create artworks that are advanced mental products of human beings. In addition, it is expected that it will be expanded to an educational platform that facilitates creative activities, psychological analysis, and communication for people with developmental disabilities who have difficulty expressing emotions.

주제어

표/그림 (14)

그림 그림 1. A circumplex model of affect (Russell, 1980)[11]
그림 그림 2. Thayer's a two-dimensional energy-stress mood model(1996)[14][15]
그림 그림 3. Wheel of Emotions (R. Plutchik, 1980)[16]
표 표 1. 구글 자연어처리 감성분석 API 에서의 값의 해석[18]
그림 그림 4. 텍스트, 데이터 & e-모션 전시전경 Ⓒ2019 김혜란
그림 그림 5. 2차원 좌표계에서의 감정 위치
표 표 2. 에포트와 (방향지향적) 셰이프의 상호친화성[19]
표 표 3. 가사의 감성분석에 활용된 임계값 설정
표 표 4. 영상시각화의 기본규칙
표 표 5. 섬집아기(한인현 작사, 1946년 이전) 가사의 감성분석결과
그림 그림 6. 차원 감정 공간에 그려진 섬집 아기(파란색 영역)와 Feeling good(빨간색 영역) 노래 가사의 감성분석 결과
표 표 6. Feeling good (Leslie Bricusse / Anthony Newley, 1965) 가사의 감성분석결과
그림 그림 7. 음악의 기분 - 음악의 감성분석 시각화 프로젝트 전시 전경, (좌) 음악가사의 감성분석 시각화, (우) 음원의 감성분석 시각화 Ⓒ 2020 김혜란
그림 그림 8. 음악의 기분1 - 음악 가사의 감성분석 시각화, 스틸이 미지 Ⓒ 2020 김혜란

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 음악의 감성분석 데이터를 예술적으로 활용하기 위해 텍스트(음악의 가사) 데이터를 분석하고 시각화 한 내용을 중점적으로 다룬다. 기존의 예술작품들의 데이터 분석에 자연어처리 감성분석과 같은 머신러닝 기술을 적용하고 이를 기반으로 기계의 시점에서 바라 본 새로운 형태의 예술로 재창조하고자 한다. 또한, 향후 감정표현에 어려움을 겪는 발달 장애인들의 창작활동을 보조하며 이들의 의사소통을 용이하게 해주는 인공지능 기반 교육 플랫폼으로 확장되기를 기대한다.
첫째, 텍스트를 기반으로 한 감성분석 및 데이터 시각화와 관련된 선행연구들을 소개한다. 둘째, 대표 감성모델과 자연어처리 감성분석 기술에 대해 소개한다. 셋째, 감성모델과 가사 데이터 분석과 연결되는 시각화 규칙을 만들고 이에 따라 생성된 영상 작품을 소개한다.
기존의 감성차원모델은 이러한 수치적 데이터와 추상적인 감정을 연결해주는 역할을 하도록 하였다. 머신러닝 기술을 통해 기존 예술작품들을 데이터의 관점으로 바라보고자 하였고 이러한 데이터의 활용이 또다른 예술작품을 만드는 재료가 되어 작품 창작으로 지속적으로 이어질 수 있도록 하였다. 이미 데이터는 예술가들에게 새로운 표현을 위한 창작의 도구로 활용되고 있으며 인공지능은 네트워크상에 방대하게 축적된 데이터들을 기반으로 인간의 고도화 된 정신적 산물인 예술작품의 창작까지도 시도하고 있다.
본 연구에서는 음악을 들을 때 가사의 감정과 음원 및 멜로디의 감정이 다를 수도 있다는 사실에 주목하여 방법적으로는 텍스트 기반 감성분석 데이터에 음원의 속성에 따른 감성분석을 결합하여 인터랙티브 영상설치의 형태로 시각화하였다. 방법적으로는 형태, 움직임, 색을 중심으로 한 조형예술 원리와 이론을 감성 분석데이터 결과와 연결시키는 시각화 규칙을 정립하고자 하였다. 기존의 감성차원모델은 이러한 수치적 데이터와 추상적인 감정을 연결해주는 역할을 하도록 하였다.
이미 데이터는 예술가들에게 새로운 표현을 위한 창작의 도구로 활용되고 있으며 인공지능은 네트워크상에 방대하게 축적된 데이터들을 기반으로 인간의 고도화 된 정신적 산물인 예술작품의 창작까지도 시도하고 있다. 본 연구를 통해 기계학습과 인공지능기술을 예술창작에 접목하여 새로운 창작활동의 기반을 마련하고 다가올 미래사회에 인간과 기계의 공생에 관한 인문학적 담론을 확장시키고자 하였다. 이러한 연구가 향후 감정표현에 어려움을 겪는 발달 장애인들의 예술창작활동과 의사소통을 용이하게 보조해주는 인공지능 기반 교육 문화예술 플랫폼으로 활용될 수 있기를 기대한다.
감정인식과 분석을 위한 대표적인 기술적 방법들로는 언어기호 기반의 텍스트 분석, 음성 분석, 얼굴 표정 분석, 제스처 분석, 다양한 생체신호(심전도, 심박수, 호흡 등) 분석 등이 있다. 본 연구에서는 음악에서의 복합적인 감성분석과 미적 시각화를 위해 가사와 음원의 데이터 분석을 동시에 진행하였다. 다만, 본 연구에서는 이 중 가사의 데이터 분석과 시각화 결과를 중점적으로 논의한다.
데이터 형식은 텍스트, 이미지, 동영상, 사운드 등 다양한 형태로 제공되며 이 중 사운드를 시각화 한 영상은 우리가 컴퓨터상에서 흔히 접할 수 있는 뮤직 플레이어의 자동생성 시각화 도구에서부터 패션쇼, 공연, 전시 영상에 이르기까지 쉽게 찾아볼 수 있다. 본 연구에서는 음악의 감성분석 데이터를 예술적으로 활용하기 위해 텍스트(음악의 가사) 데이터를 분석하고 시각화 한 내용을 중점적으로 다룬다. 기존의 예술작품들의 데이터 분석에 자연어처리 감성분석과 같은 머신러닝 기술을 적용하고 이를 기반으로 기계의 시점에서 바라 본 새로운 형태의 예술로 재창조하고자 한다.
사람들은 언어적 표현 이외에도 표정, 음성, 제스처 등의 관찰을 통해 종합적으로 상황을 인식할 수 있는 반면 컴퓨터는 인간의 감정과 같은 추상적인 관념을 개별적인 데이터들을 통해 계산적인 분석 방식으로 이해할 수밖에 없기 때문이다. 본 연구에서는 컴퓨터의 관점에서 바라보는 음악과 감정에 대해 생각해 보고 기계학습을 활용한 예술의 창작방식에 대해 고찰해 보았다. 컴퓨터의 관점에서 본 음악을 크게 텍스트와 음원데이터로 구분하여 특히 텍스트의 감성분석 결과를 영상으로 시각화 해보았다.

제안 방법

AFFIN 텍스트 데이터를 활용하여 관객들이 입력한 텍스트의 감성분석을 실시간으로 진행하고 그 수치값에 따라 배경색이 변화하고 애니메이션이 생성되도록 하였다. 애니메이션 생성에 있어서 공간위치와 감정을 연결하는 규칙을 만들기 위해서는 라반 움직임 분석(LMA: Laban Movement Analysis)을 참고하였다[표 2].
가사의 감성분석에 있어서 먼저 비교적 단순한 구조이고 재생시간이 짧은 동요를 채택하여 분석해보았고 이후에는 보다 복잡한 구조와 내용의 노래들을 분석하였다.
그 다음으로 <음악의 기분: 음악 가사와 음원의 감성분석 시각화프로젝트>에서는 문맥적인 의미를 기반으로 한 감성분석 기법을 활용하였다. 관객의 입력이 없이 텍스트가 데이터베이스로부터 순차적으로 입력되고 영상이 자동 생성되는 형태로 작품을 제작하였다. 자연어처리와 의미론적 분석이 추가됨으로써 단순히 감정값을 합산하여 비교하는 앞선 AFFIN 사전 활용의 경우에 비해 더 정확하고 섬세한 감성분석이 가능해졌다.
그 다음으로 에서는 문맥적인 의미를 기반으로 한 감성분석 기법을 활용하였다.
일차적으로 시도 한 기본적인 텍스트 데이터 감성분석(AFFIN 어휘사전의 활용)이 각 단어들의 의미에 따른 수치적 값의 연산을 통해 이루어질 경우 문맥적으로는 전혀 다른 분석결과가 나올 수 있으므로 자연어처리 감성분석과 같이 문맥에 기반 한 단어학습 방식을 선택하였다. 그리고 감정차원모델을 참고하여 2차원 상의 좌표 값으로 감정을 분류하였다. 기계의 관점에서 바라보는 감정은 모두 숫자로 치환되므로 많은 부분이 규격화되고 표준화 될 수밖에 없다는 한계점이 있다.
이러한 원심적 운동은 관객에게 심리적으로 가까이 다가가는 느낌을 준다. 그리고 반대의 경우에는 멀어지는 구심적 운동성을 활용하였다. 마지막으로 움직임의 속도는 감정의 강도에 따라 빨라지거나 느려지게 적용하였다[표 4].
본 연구에서는 선행연구들을 참고하여 score값을 valence 축에, 그리고 magnitude를 arousal축에 맵핑하였고 각 감정 위치를 통해 대표적 6개의 감정(happy, calm, sad, angry, anticipate, surprise)과 여기서 강도에 따라 세분화된 10개의 감정으로 구분하는 감정의 2차원 모델을 활용하였다[그림 5]. 그리고 음악에서 전체 가사의 분석이 아닌 각 문장별 가사의 감성 분석 값을 활용하여 연속적으로 시각화에 활용하였다. 감정의 세분화된 구분과 값의 해석을 위해 사용된 임계값들의 범위는 다음 장의 세부 작품소개에서 보다 자세하게 다룬다.
색에서는 색의 3속성을 활용하여 먼저 색상에서는 난색(warm color), 한색(cool color), 그리고 중성색(neutral color)의 구분에 따른 심리적인 색의 온도를 활용하였고 세부적 감정의 변화는 채도와 명도를 활용하여 차이를 두었다. 대체적으로 긍정적인 감정에서는 색상은 난색 계열에 명도는 밝아지고 감정의 강도가 높아질수록 채도가 높아지는 식으로 시각적인 변화를 적용하였다.
본 논문에서는 자세히 다루지는 않겠지만 [그림 7]의 우측의 음원의 감성분석 시각화 작업에서는 해당 음원이 플레이 되며 음원 감성분석 결과에 따라 시각화 영상이 나타나도록 하였다. 두 작업 모두 플레이 리스트를 제공하여 관객이 원하는 노래 제목을 클릭하여 해당 음악의 시각화 결과를 볼 수 있도록 하였다.
반면 Thayer의 모델 [그림 2]은 현대 정서와 맞지 않고 다소 모호한 Russel 모델의 단점을 보완하여 감성간의 경계를 정리하고 비교적 확실하게 하여 감성을 수치화하고 감성 위치를 표현하는데 용이함을 보인다[13]. 또 다른 대표적 다차원 감정모델 중의 하나로 플러트칙이 고안한 3차원 원뿔형 모델인 감정의 수레바퀴(Wheel of emotions)에서는 기본 감정을 8개(기쁨, 신뢰, 두려움, 놀라움, 슬픔, 기대, 분노, 혐오 anger, anticipation, disgust, fear, joy, sadness, surprise, trust)로 구분하였다.
영상에서는 감정분류에 따라 기본조형요소인 형태와 색, 그리고 움직임의 속성 변화를 시각화 규칙에 적용하였다. 먼저 형태적 측면에서는 타원형과 같이 둥글고 부드러운 형태를 긍정적 감정에, 사각형, 삼각형과 같이 각이 지고 뾰족한 형태를 부정적인 감정에 적용하여 이러한 형태적 속성과 상징적 속성에 적합한 이미지들을 선택하였다. 색에서는 색의 3속성을 활용하여 먼저 색상에서는 난색(warm color), 한색(cool color), 그리고 중성색(neutral color)의 구분에 따른 심리적인 색의 온도를 활용하였고 세부적 감정의 변화는 채도와 명도를 활용하여 차이를 두었다.
화면의 배경색과 중앙의 이미지 및 모션 역시 영상시각화 규칙[표 4]을 기반으로 감정위치 값[표 3]에 따라 변화하도록 구성하였다. 본 논문에서는 자세히 다루지는 않겠지만 [그림 7]의 우측의 음원의 감성분석 시각화 작업에서는 해당 음원이 플레이 되며 음원 감성분석 결과에 따라 시각화 영상이 나타나도록 하였다. 두 작업 모두 플레이 리스트를 제공하여 관객이 원하는 노래 제목을 클릭하여 해당 음악의 시각화 결과를 볼 수 있도록 하였다.
본 연구에서는 먼저 음악가사의 감성분석을 위해 선행사례에서 소개된 심리학자 플러트칙(Plutchik)이 제시한 인간의 8가지 기본 감정과 테이어(Thayer)의 2차원 모델의 감정 위치를 기반으로 아래와 [그림 5]같이 개별적인 감정을 구분하였다. 그리고 구글 자연어처리 감성분석 API에서 얻는 수치에 따른 값의 범위 설정과 감정의 구분에 따라 알고리즘에 반영된 규칙은 다음[표 3]과 같다.
해당 값들이 감정의 성향이나 그 성향의 정도, 감정의 강도를 수치적으로 출력하여 주지만 그것이 어떤 세분화 된 감정을 나타내는지는 알 수 없다. 본 연구에서는 선행연구들을 참고하여 score값을 valence 축에, 그리고 magnitude를 arousal축에 맵핑하였고 각 감정 위치를 통해 대표적 6개의 감정(happy, calm, sad, angry, anticipate, surprise)과 여기서 강도에 따라 세분화된 10개의 감정으로 구분하는 감정의 2차원 모델을 활용하였다[그림 5]. 그리고 음악에서 전체 가사의 분석이 아닌 각 문장별 가사의 감성 분석 값을 활용하여 연속적으로 시각화에 활용하였다.
기계의 관점에서 바라보는 감정은 모두 숫자로 치환되므로 많은 부분이 규격화되고 표준화 될 수밖에 없다는 한계점이 있다. 본 연구에서는 음악을 들을 때 가사의 감정과 음원 및 멜로디의 감정이 다를 수도 있다는 사실에 주목하여 방법적으로는 텍스트 기반 감성분석 데이터에 음원의 속성에 따른 감성분석을 결합하여 인터랙티브 영상설치의 형태로 시각화하였다. 방법적으로는 형태, 움직임, 색을 중심으로 한 조형예술 원리와 이론을 감성 분석데이터 결과와 연결시키는 시각화 규칙을 정립하고자 하였다.
<음악의 기분>은 실제로는 감성분석에 있어서 기술적으로 가사분석과 음원분석의 두 파트로 나누어진 프로젝트이다. 본 연구에서는 특히 가사의 감성분석을 중점적으로 다루었고, 감성차원모델과 조형요소를 활용하여 텍스트 감성분석결과를 미적으로 시각화한 작품을 중심으로 기술하였다.
먼저 형태적 측면에서는 타원형과 같이 둥글고 부드러운 형태를 긍정적 감정에, 사각형, 삼각형과 같이 각이 지고 뾰족한 형태를 부정적인 감정에 적용하여 이러한 형태적 속성과 상징적 속성에 적합한 이미지들을 선택하였다. 색에서는 색의 3속성을 활용하여 먼저 색상에서는 난색(warm color), 한색(cool color), 그리고 중성색(neutral color)의 구분에 따른 심리적인 색의 온도를 활용하였고 세부적 감정의 변화는 채도와 명도를 활용하여 차이를 두었다. 대체적으로 긍정적인 감정에서는 색상은 난색 계열에 명도는 밝아지고 감정의 강도가 높아질수록 채도가 높아지는 식으로 시각적인 변화를 적용하였다.
둘째, 대표 감성모델과 자연어처리 감성분석 기술에 대해 소개한다. 셋째, 감성모델과 가사 데이터 분석과 연결되는 시각화 규칙을 만들고 이에 따라 생성된 영상 작품을 소개한다. 마지막으로, 이러한 과정을 통해 제작된 작품과 연구의 결과를 논의한다.
움직임은 Z축 방향으로 설정하여 2차원 공간에서의 이미지 크기의 변화에 차이를 두어 표현하였다. 따뜻하고 행복한 감정의 분류에서 이미지는 Z축 방향으로 값이 커지며 화면 앞쪽으로 움직이고 이에 따라 이미지의 크기가 커지는 것으로 인지된다.
이러한 가사의 감성분석에 따라 만들어진 시각화 작품결과 이미지는 다음 [그림 7][그림 8]과 같다. 음악 가사의 감성분석 시각화 작품제작을 위해 각 노래 제목과 이에 따른 가사 문장들, 문장별 지속시간들은 미리 텍스트 데이터 객체들로 웹서버에 저장하여 사용하였다. 자연어처리 감성분석 API를 호출하고 분석을 수행할 문장들이 타이머 설정에 따라 순차적으로 매개변수로 서버에 전달되면 그 결과가 수치 데이터(score, magnitude) 파일로 출력되고 그 결과 값을 클라이언트(보여지는 웹페이지)에서 받아 이 범위에 따라 배경색과 이미지, 움직임이 규칙에 맞게 생성되도록 하였다.
반면 인터넷 상 의 디지털 뮤직 라이브러리(MDL)에서 감정에 따라 음악을 자동 분류하는 알고리즘과 시스템의 퍼포먼스를 향상시키기 위한 실용적인 목적으로 가사와 음원을 함께 분석한 연구들이 있다[4]. 이 연구에서는 기존의 텍스트와 음원을 개별적으로 감성분석에 활용하는 방식과의 결과상의 성능의 차이를 비교하고 추가적으로 소셜 태그(Social Tags)를 통한 감성분류 정보를 활용하였다. 이러한 방식은 가사와 음원의 분석을 통해 락(rock), 발라드(ballad), 클래식(classic) 등 음악의 장르를 구분하는 연구로도 확장되었다.
움직임의 경로와 궤적과 같은 외형적인 특징을 정의하는 셰이프(Shape)는 수평 수직, 시상의 3차원 축의 방향을 기준으로 정의될 수 있으며 이러한 방향과 표현적 속성을 결합하여 보다 세분화된 움직임의 표현적 특성들을 규정할 수 있다[19]. 이 작업에서는 2차원 좌표축의 4개의 영역을 각각 긍정과 부정, 그리고 그 정도의 차이를 구분하도록 정의하고 감성분석 결과값에 따라 각 영역의 방향으로 움직임이 생성되도록 하였다.
음악의 가사는 주로 함축적이고 시적인 표현으로 나타나므로 뉴스 보도처럼 어떤 사실을 구체적으로 기술하는 방식과는 달라서, 일반적인 자연어처리를 통한 언어 분석으로 감정표현이 명확히 드러나기 힘든 부분들이 있 었다. 일차적으로 시도 한 기본적인 텍스트 데이터 감성분석(AFFIN 어휘사전의 활용)이 각 단어들의 의미에 따른 수치적 값의 연산을 통해 이루어질 경우 문맥적으로는 전혀 다른 분석결과가 나올 수 있으므로 자연어처리 감성분석과 같이 문맥에 기반 한 단어학습 방식을 선택하였다. 그리고 감정차원모델을 참고하여 2차원 상의 좌표 값으로 감정을 분류하였다.
음악 가사의 감성분석 시각화 작품제작을 위해 각 노래 제목과 이에 따른 가사 문장들, 문장별 지속시간들은 미리 텍스트 데이터 객체들로 웹서버에 저장하여 사용하였다. 자연어처리 감성분석 API를 호출하고 분석을 수행할 문장들이 타이머 설정에 따라 순차적으로 매개변수로 서버에 전달되면 그 결과가 수치 데이터(score, magnitude) 파일로 출력되고 그 결과 값을 클라이언트(보여지는 웹페이지)에서 받아 이 범위에 따라 배경색과 이미지, 움직임이 규칙에 맞게 생성되도록 하였다.
본 연구의 구성은 다음과 같다. 첫째, 텍스트를 기반으로 한 감성분석 및 데이터 시각화와 관련된 선행연구들을 소개한다. 둘째, 대표 감성모델과 자연어처리 감성분석 기술에 대해 소개한다.
본 연구에서는 컴퓨터의 관점에서 바라보는 음악과 감정에 대해 생각해 보고 기계학습을 활용한 예술의 창작방식에 대해 고찰해 보았다. 컴퓨터의 관점에서 본 음악을 크게 텍스트와 음원데이터로 구분하여 특히 텍스트의 감성분석 결과를 영상으로 시각화 해보았다. 음악의 가사는 주로 함축적이고 시적인 표현으로 나타나므로 뉴스 보도처럼 어떤 사실을 구체적으로 기술하는 방식과는 달라서, 일반적인 자연어처리를 통한 언어 분석으로 감정표현이 명확히 드러나기 힘든 부분들이 있 었다.
특별히 영화 사운드트랙의 감성분석에서 활용되는 멀티 라벨 분류(Multi-label classification) 방식은 음악에서 장르에 대한 정보와 해당 음악이 청취자에게 생성하는 감정에 대한 정보와 같이 복수의 라벨을 적용하기도 한다. 해당 연구에서는 Tellegen Watson Clark의 모델을 기반으로 6개의 클래스로 감정을 분류하였다[9]. 본 연구의 배경이 되는 감성차원 모델에 대한 내용은 다음 장에서 보다 자세히 다루고자 한다.
화면 구성은 노래의 가사를 한 문장씩 분석하며 나온 수치값을 기반으로 화면 좌측의 감정 이모티콘들로 구성된 다이어그램 상의 바늘 위치가 이동하며 감정 상태를 나타내도록 하였고 화면 상단에는 해당 가사가 텍스트로 출력되도록 하였다. 화면의 배경색과 중앙의 이미지 및 모션 역시 영상시각화 규칙[표 4]을 기반으로 감정위치 값[표 3]에 따라 변화하도록 구성하였다.
화면 구성은 노래의 가사를 한 문장씩 분석하며 나온 수치값을 기반으로 화면 좌측의 감정 이모티콘들로 구성된 다이어그램 상의 바늘 위치가 이동하며 감정 상태를 나타내도록 하였고 화면 상단에는 해당 가사가 텍스트로 출력되도록 하였다. 화면의 배경색과 중앙의 이미지 및 모션 역시 영상시각화 규칙[표 4]을 기반으로 감정위치 값[표 3]에 따라 변화하도록 구성하였다. 본 논문에서는 자세히 다루지는 않겠지만 [그림 7]의 우측의 음원의 감성분석 시각화 작업에서는 해당 음원이 플레이 되며 음원 감성분석 결과에 따라 시각화 영상이 나타나도록 하였다.

이론/모형

AFFIN 텍스트 데이터를 활용하여 관객들이 입력한 텍스트의 감성분석을 실시간으로 진행하고 그 수치값에 따라 배경색이 변화하고 애니메이션이 생성되도록 하였다. 애니메이션 생성에 있어서 공간위치와 감정을 연결하는 규칙을 만들기 위해서는 라반 움직임 분석(LMA: Laban Movement Analysis)을 참고하였다[표 2]. 그의 이론에서 에포트(Effort)는 움직임의 표현적 속성을 결정하는 것으로 정의되며 다양한 감정의 표현에 활용될 수 있다.
첫 번째 영상 작업에 실험적으로 사용된 것은 텍스트 기반 감성분석 기술 중 규칙/어휘기반 감성분석이었다. 여기서는 단순하면서도 이 분야에 광범위하게 사용되는 AFINN 어휘사전을 활용하였다. 이 어휘사전에서는 영어 단어들의 목록이 감정의 수치값과 함께 제공된다.
영상에서 색채 및 이미지를 위한 시각화 규칙을 만들기 위해 칸딘스키(Wassily Kandinsky, 1866~ 1944)의 조형이론을 참고하였다. 특히 그의 색채관은 괴테의 색채이론의 영향을 많이 받았는데 그것은 색채가 인간의 심리와 밀접하게 연관되어 있으며 색채자체의 과학적이고 물리적인 성질뿐만 아니라 색이 갖는 상징성이나 연상적 이미지, 색을 접하는 인간의 심리까지도 고려한 정서적 특성을 띈 색채이론이라는 점이었다.

성능/효과

결과적으로는 두 곡 모두 가사의 감정은 대체적으로 긍정적인 성향으로 분석되며 감정의 강도는 액티브한 ‘Feeling good’에 비해 ‘섬집아기’가 보다 차분한 감정군에 속하는 것으로 나타난다.
관객의 입력이 없이 텍스트가 데이터베이스로부터 순차적으로 입력되고 영상이 자동 생성되는 형태로 작품을 제작하였다. 자연어처리와 의미론적 분석이 추가됨으로써 단순히 감정값을 합산하여 비교하는 앞선 AFFIN 사전 활용의 경우에 비해 더 정확하고 섬세한 감성분석이 가능해졌다. <음악의 기분>은 실제로는 감성분석에 있어서 기술적으로 가사분석과 음원분석의 두 파트로 나누어진 프로젝트이다.

후속연구

기존의 예술작품들의 데이터 분석에 자연어처리 감성분석과 같은 머신러닝 기술을 적용하고 이를 기반으로 기계의 시점에서 바라 본 새로운 형태의 예술로 재창조하고자 한다. 또한, 향후 감정표현에 어려움을 겪는 발달 장애인들의 창작활동을 보조하며 이들의 의사소통을 용이하게 해주는 인공지능 기반 교육 플랫폼으로 확장되기를 기대한다. 본 연구의 구성은 다음과 같다.
인간의 대화에서는 겉으로 드러난 표현과 실제 나타나고자 하는 바가 반대인 경우가 있고 약간은 냉소적인 태도로 비꼬아서 말하는 표현들이 사용되기도 하는데 머신러닝을 통해 컴퓨터가 이러한 표현들을 인식하고 구분해낼 수 있다면 향후 소셜 미디어의 텍스트 분석을 통해 작성한 사람의 실제 의도와 태도를 보다 정학하게 추정할 수 있게 될 것이다. 이는 자연어 처리 감성분석 분야에서 보다 정교한 기술적 가능성을 타진하는 것으로 복잡한 인간의 감정을 이전보다 잘 파악하는데 도움을 줄 수 있으며 주관적이고 복합적인 감정 표현이 많이 사용되는 예술영역에서의 감성분석과 시각화연구에도 응용될 수 있을 것이다. 반면 인터넷 상 의 디지털 뮤직 라이브러리(MDL)에서 감정에 따라 음악을 자동 분류하는 알고리즘과 시스템의 퍼포먼스를 향상시키기 위한 실용적인 목적으로 가사와 음원을 함께 분석한 연구들이 있다[4].
본 연구를 통해 기계학습과 인공지능기술을 예술창작에 접목하여 새로운 창작활동의 기반을 마련하고 다가올 미래사회에 인간과 기계의 공생에 관한 인문학적 담론을 확장시키고자 하였다. 이러한 연구가 향후 감정표현에 어려움을 겪는 발달 장애인들의 예술창작활동과 의사소통을 용이하게 보조해주는 인공지능 기반 교육 문화예술 플랫폼으로 활용될 수 있기를 기대한다.
본 연구에서 다루게 될 텍스트 기반의 자연어처리 감성분석 분야에서 도전적인 시도로 트위터와 같은 마이크로 블로그의 텍스트 데이터나 뉴스 기사의 사용자 댓글, 리뷰 등에서 사람들이 반어적거나 역설적인 표현들을 사용했을 때 컴퓨터가 이들을 인지하고 가려낼 수 있는지에 대한 연구들이 있다[2][3]. 인간의 대화에서는 겉으로 드러난 표현과 실제 나타나고자 하는 바가 반대인 경우가 있고 약간은 냉소적인 태도로 비꼬아서 말하는 표현들이 사용되기도 하는데 머신러닝을 통해 컴퓨터가 이러한 표현들을 인식하고 구분해낼 수 있다면 향후 소셜 미디어의 텍스트 분석을 통해 작성한 사람의 실제 의도와 태도를 보다 정학하게 추정할 수 있게 될 것이다. 이는 자연어 처리 감성분석 분야에서 보다 정교한 기술적 가능성을 타진하는 것으로 복잡한 인간의 감정을 이전보다 잘 파악하는데 도움을 줄 수 있으며 주관적이고 복합적인 감정 표현이 많이 사용되는 예술영역에서의 감성분석과 시각화연구에도 응용될 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	감정인식과 분석을 위한 대표적인 기술적 방법들로는 무엇이 있는가?	감정인식과 분석을 위한 대표적인 기술적 방법들로는 언어기호 기반의 텍스트 분석, 음성 분석, 얼굴 표정 분석, 제스처 분석, 다양한 생체신호(심전도, 심박수, 호흡 등) 분석 등이 있다. 본 연구에서는 음악에서의 복합적인 감성분석과 미적 시각화를 위해 가사와 음원의 데이터 분석을 동시에 진행하였다.
	감성모델은 크게 개별정서모델, 평가모델, 차원모델로 구분하는데 본 연구는 어던 모델을 기반으로 하였는가?	감성모델은 크게 개별정서모델과 평가모델, 그리고 차원모델로 구분되며 특히 정서의 차원이론에서는 감정의 구조를 설명하기 위해 개별 범주보다는 차원의 개념을 사용하며[11] 감정의 구조가 각각 독립적인 카테고리가 아닌 정서가(valence)와 각성(arousal)의 2차원의 양극을 가진 축으로 이루어져 있다고 주장한다[12]. 본 연구는 차원모델을 기반으로 하였고 한 축이 되는 정서가는 감정의 긍정적이거나 부정적인 정도를 나타내며 각성은 감정 강도의 정도를 나타내는 것으로 해석된다. 감성모델에 대한 연구에서 대표적인 두 인물로는 러셀(Russel)과 테이어(Thayer)가 있으며 러셀의 감성 모델 [그림 1]에서 가로축인 Pleasant축은 유쾌함/불쾌함의 강도를 나타내고 세로축인 Intense축은 흥분/침착의 강도를 양극단으로 나타내는 것을 볼 수 있다.
	데이터 시각화는 어떤 기술인가?	특별히 시각 예술가들에게 데이터는 이미 새로운 예술적 표현을 위한 하나의 재료로 활용되고 있고 미세먼지 수치와 같은 공공 데이터에서부터 특정 주제를 위해 자체적으로 수집된 데이터까지 다루어지는 종류 또한 매우 다양하다. 데이터 시각화는 일차적으로는 정보 디자인에서 발전된 형태로 대규모의 데이터를 수치적인 텍스트가 아닌 색과 그래프, 조형요소 등을 활용하여 보다 직관적으로 시각화하는 기술이다. 빅 데이터 기술시장의 성장과 함께 독창적인 시각화 방법론의 중요성이 켜졌으며 데이터 시각화는 미적인 형태를 만드는 동시에 기능적인 정보 전달 측면을 모두 만족시켜야 한다는 특징이 있다.

참고문헌 (20)

H. Katayose and S, Inokuchi, "The Kansei music system," Comput. Music J, Vol.13, No.4, pp.72-77, 1989.

상세보기
A. Joshi, P. Bhattacharyya, and M. J. Carman, "Automatic sarcasm detection: A surveym," ACM Computing Surveys (CSUR), Vol.50, No.5, pp.1-22, 2017.
I. Hernandez-Farias, J. Benedi, and P. Rosso, "Applying basic features from sentiment analysis for automatic irony detection," In Proceedings of the Conference on Pattern Recognition and Image Analysis, Springer, pp.337-344, 2015.
X. Hu and J. Downie, "Improving mood classification in music digital libraries by combining lyrics and audio," In Proc. JCDL. ACM, pp.159-168, 2010.
최수환, "음악 정보 추출(MIR) 알고리즘을 활용한 사 운드 시각화 연구," 에밀레, 제8권, pp.33-58, 2010.
이동섭, 김효영, 박진완, "L-system을 이용한 음악 시각화," 디지털디자인학연구, 제12권, 제2호, pp.67-77, 2012.
박진완, 김효영, "예술적 데이터 고찰," 디지털디자인학연구, 제11권, 제3호, pp.193-202, 2011.
T. S. Utomo and R. Sarno, "Emotion Label from ANEW dataset for Searching Best Definition from WordNet," International Seminar on Application for Technology of Information and Communication (iSemantic), ACM, 2018.
L. Gomez and M. Caceres, "Applying data mining for sentiment analysis in music," PAAMS 2017, AISC, Springer, Cham, Vol.619, pp.198-205, 2017.
https://ko.wikipedia.org/wiki/감성, 2020.7.6.
손진훈, "정서의 심리적 모델 : 개별 정서 모델, 평가모델, 차원 모델을 중심으로," 대한인간공학회지, 제30권, 제1호, pp.179-186, 2011.

원문보기 상세보기
황민철, 김종화, 문성철, 박상인, "감성 모델링 및 인식 기술," 로봇과 인간, 제8권, 제4호, pp.34-44, 2011.
김동림, 림빈, 임영환, "감성 트리 기반의 음악 감성조절 알고리즘," 한국콘텐츠학회논문지, 제15권, 제3호, pp.21-31, 2015.

원문보기 상세보기
R. Thayer, The Origin of Everyday Moods: Managing Energy, Tension, and Stress, Oxford University Press, Oxford, 1996.
S. Hsiao, S. Chen, and C. Lee, "Methodology for stage lighting control based on music emotions," Information sciences, Vol.412, pp.14-35, 2017.

상세보기
http://www.fractal.org/Bewustzijns-Besturings-Model/Nature-of-emotions.htm, 2020.7.24.
https://m.blog.naver.com/sehyunfa/221675809410, 2020.7.24.
https://cloud.google.com/natural-language/docs/basics?hlko, 2019.10.3.
김혜란, 이상욱, "라반의 공간조화이론 '코레우틱스(Choreutics)'를 활용한 신체 움직임의 추상적 시각화 연구," 예술인문사회 융합 멀티미디어 논문지, Vol.7, No.3, pp.371-381, 2017.
배미영, 칸딘스키 조형이론과 작품분석을 통한 색채 특성에 관한 연구, 이화여자대학교, 석사학위논문, 2010.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증