[논문]그림의 색채 감정 효과를 기반으로 한 음악 생성 알고리즘

최희주; 황정훈; 류신혜; 김상욱

doi:10.9717/kmms.2020.23.6.765

그림의 색채 감정 효과를 기반으로 한 음악 생성 알고리즘
Music Generation Algorithm based on the Color-Emotional Effect of a Painting 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.23 no.6, 2020년, pp.765 - 771

최희주 (School of Computer Science and Engineering, Kyungpook National University) , 황정훈 (School of Convergence & Fusion System Engineering, Kyungpook National University) , 류신혜 (School of Computer Science and Engineering, Kyungpook National University) , 김상욱 (School of Computer Science and Engineering, Kyungpook National University)

Abstract ▼ AI-Helper

To enable AI(artificial intelligence) to realize visual emotions, it attempts to create music centered on color, an element that causes emotions in paintings. Traditional image-based music production studies have a limitation in playing notes that are unrelated to the picture because of the absence of musical elements. In this paper, we propose a new algorithm to set the group of music through the average color of the picture, and to produce music after adding diatonic code progression and deleting sound using median value. And the results obtained through the proposed algorithm were analyzed.

주제어

표/그림 (10)

그림 Fig. 1. Platform Structure.
그림 Fig. 2. Sample color image.
그림 Fig. 3. Melody generation.
그림 Fig. 4. Melody processing.
그림 Fig. 5. Color image segmentation.
그림 Fig. 6. Color histogram for the number of notes.
그림 Fig. 7. Music score for sample picture.
그림 Fig. 8. Music score for sample picture without trans-formation.
표 Table 1. Information for generated music
표 Table 2. Musical performance comparison of two sample music scores

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 시각을 통해 얻을 수 있는 감정을 판단하기 위해 공감각의 특징을 활용할 수 있는 방법을 제안하고 개발했다. 이를 위해 그림의 색채에서 감정을 일으키는 요소를 음의 높이나 음색으로 대응시켜 상호 변환시키는 알고리즘으로 구현하였다.
즉, 결과물인 음악을 통해 그림의 분위기를 알기에는 한계가 있다. 이러한 문제를 해결하기 위해 본 논문에서는 분위기를 결정하는 요소로 그림의 평균 색을 음악의 키로 정의하고 결정된 키에서 시작하는 다이어토닉 코드진행을 제안한다. 이때 색과 음의 파장의 비례관계를 설명한 에드워드 마이언의 색-음 변환을 기반으로 한다.

제안 방법

색상의 급격한 변화를 막고 안정적인 진행의 선율을 생성하기 위해 이미지에 가우시안 블러링(Gaussian bluring)을 적용한다. 그 후에 이미지를 8개의 동일한 크기의 영역으로 나누어 한 영역을 한 마디로 결정하고, 한 영역에서 가로를 16등분, 세로를 4등분으로 나눈다. 그리고 나누어진 블록의 HSB 컬러 정보를 추출한 뒤, 세로4칸을 하나의 8분음표로 보고 4칸의 HSB값의 평균을 구해 음의 높낮이를 결정하여 음을 출력한다.
그 후에 이미지를 8개의 동일한 크기의 영역으로 나누어 한 영역을 한 마디로 결정하고, 한 영역에서 가로를 16등분, 세로를 4등분으로 나눈다. 그리고 나누어진 블록의 HSB 컬러 정보를 추출한 뒤, 세로4칸을 하나의 8분음표로 보고 4칸의 HSB값의 평균을 구해 음의 높낮이를 결정하여 음을 출력한다. 이 연구는 음악적인 요소로 마디, 음의 길이를 표현하려는 시도가 보였다.
인간이 들었을 때 어색하지 않은 하나의 음악이 되기 위해서는 멜로디, 리듬, 하모니의 세 가지 요소가 충족되어야한다[7]. 본 논문에서 제안하는 알고리즘은 회화적 접근을 통한 색상 정보 활용하여, 멜로디와 여러 가지 악기로 음악의 틀을 갖추는 반주를 생성한다. 멜로디와 반주만으로 음악의 기본요소를 충족시키기 위해 반주생성 시에 대표적으로 리듬감을 생성하는 타악기 외 리듬악기와 유사한 역할을 하는 베이스와 같은 악기를 이용하여 리듬감을 형성하고, 뿐만 아니라 이외의 다양한 악기를 사용하여 생성할 수 있는 음악의 폭을 넓힐 수 있었다.
본 논문은 제시한 순서대로 그림을 분석하고 음악과의 공통점을 찾아 연결해 최종적으로 재생가능한 음악을 생성한다.
색의 경계는 윤곽선을 통해 검출 가능하며, Open CV의 Canny-edge filter를 사용해 threshold1 50, threshold2 150, apertureSize 3으로 추출했다. 이 후 악보의 구성과 유사하게 이 후 이미지를 가로는 시간축, 세로는 음의 높낮이 나타내는 축으로 설정 후 윤곽선을 따라 음을 나열한다.
이러한 단점을 보완한 HSB 색상 정보를 활용한 음악적 선율 추출 알고리즘을 제안한 연구가 있다[5]. 이 연구는 색의 파장과 음의 진동수의 비율이 유사하다는 점을 이용하여 멜로디를 생성한다. 색상 값은 음악의 선율을 생성하는 기본 요소로 보고, 색상의 변화는 선율의 변화로 이어지게 된다.
그 중 이미지의 색상(Hue), 채도(Saturation), 명도(Intensity)값인 HSI 컬러 모델을 이용하여 소리를 생성하는 연구가 있다[4]. 이 연구는 색이 가지고 있는 정보를 바탕으로 음을 생성한다. 그러나 이미지의 가로축마다 하나의 음만을 생성해 여러 음을 동시에 출력하지 못하여, 이미지의 모든 시각적 정보를 반영하지 못한다.
그리고 그림의 분위기를 반영하지 못하고 단순히 소리의 형태로 변환시켰다는 것이다. 이를 개선하기 위해 본 논문에서는 최신의 자동작곡 방법 중 유전알고리즘을 이용한 연구사례에서 변이연산 부분을 참고하였다[6]
본 논문에서는 시각을 통해 얻을 수 있는 감정을 판단하기 위해 공감각의 특징을 활용할 수 있는 방법을 제안하고 개발했다. 이를 위해 그림의 색채에서 감정을 일으키는 요소를 음의 높이나 음색으로 대응시켜 상호 변환시키는 알고리즘으로 구현하였다. 또 기존 색-음 변환 연구에서 확장하여 코드나 화성 등의 음악적 요소를 추가한 변환을 가능하게 했다.

이론/모형

분석 시 색을 표현하는 컬러 시스템은 색 점간 거리가 동일해 가까운 색상을 쉽게 구할 수 있는 RGB 모델을 이용한다. 음악 생성에는 600*600px png형식의 컬러 이미지 Fig.
색상 값은 음악의 선율을 생성하는 기본 요소로 보고, 색상의 변화는 선율의 변화로 이어지게 된다. 색상의 급격한 변화를 막고 안정적인 진행의 선율을 생성하기 위해 이미지에 가우시안 블러링(Gaussian bluring)을 적용한다. 그 후에 이미지를 8개의 동일한 크기의 영역으로 나누어 한 영역을 한 마디로 결정하고, 한 영역에서 가로를 16등분, 세로를 4등분으로 나눈다.

성능/효과

각 방법을 종합하면 왼쪽에서 오른쪽으로, 그림의 평균 색과 형태, 그리고 부분의 색깔과 위치를 통해 하나의 오케스트라 느낌을 내는 음악을 생성한다.
결과로 구한 평균 색을 에드워드 마이언의 12음계에 해당되는 색C_m (R_m, G_m, B_m)들 중 가장 가까운 색으로 대응한다[3]. 이를 D라 하고, 식(2)을 이용하여 거리 차이가 최소가 되는 색을 구한다.
본 논문에서 제안하는 알고리즘은 회화적 접근을 통한 색상 정보 활용하여, 멜로디와 여러 가지 악기로 음악의 틀을 갖추는 반주를 생성한다. 멜로디와 반주만으로 음악의 기본요소를 충족시키기 위해 반주생성 시에 대표적으로 리듬감을 생성하는 타악기 외 리듬악기와 유사한 역할을 하는 베이스와 같은 악기를 이용하여 리듬감을 형성하고, 뿐만 아니라 이외의 다양한 악기를 사용하여 생성할 수 있는 음악의 폭을 넓힐 수 있었다. 그리고 음악적인 요소로써 코드진행을 적용하여 각각의 마디에 코드를 부여해 듣는 이로 하여금 하모니를 느끼게 하여, 하나의 그림을 온전한 하나의 음악으로 표현한다.
그러나 조성음악이라는 가정 하, 음악의 형식 부분에서 다음과 같이 객관적으로 평가 할 수 있다. 분석결과, 본 알고리즘을 통해 생성한 음악이 기존 방법들에 비하여 음악성이 있다고 판단할 수 있다.

후속연구

또 기존 색-음 변환 연구에서 확장하여 코드나 화성 등의 음악적 요소를 추가한 변환을 가능하게 했다. 따라서 이 연구는 기존과 달리 색채 감성 요소를 기반으로 한 음악을 생성할 수 있으며 이로 인해 감각과 지능개발에 도움을 줄 수 있다. 향후 시청각 외 다양한 공감각을 구현하는 알고리즘 연구를 진행할 예정이다.
하지만, 색채와 감정에 관한 연구는 이미지와 음악의 변환 관계에 대한 최소한의 연관성을 제공하고, 이를 통해 음악을 생성하는 것은 창작의 다양한 방법 중 하나로 간주할 수 있다. 또한 추후 연구에서 명확히 밝혀진다면 수정 가능한 부분이다.
다이어토닉 진행에 추가적으로 긴장과 이완의 관계 또한 필요하다. 추후 연구에서 이러한 요소들을 보완한다면 더 듣기 좋은 음악을 생성할 수 있을 것이다.
따라서 이 연구는 기존과 달리 색채 감성 요소를 기반으로 한 음악을 생성할 수 있으며 이로 인해 감각과 지능개발에 도움을 줄 수 있다. 향후 시청각 외 다양한 공감각을 구현하는 알고리즘 연구를 진행할 예정이다.

참고문헌 (8)

C. Park, J. Ryu, and J. Sohn, “Robot Emotion Technology,” Electronics and Telecommunications Trends, Vol. 22, No. 2, pp. 1-9, 2007.
H. Shim, S. Park, and K. Yoon, "A Study on Method for Extracting Emotion from Painting Based on Color," Journal of Korea Multimedia Society, Vol. 19, No. 4, pp. 717-724, 2016.

원문보기 상세보기
S. Ko, "Color-hearing Study according to Pitch and Interval," Meeting of the Korea Digital Media Association, pp. 3-5, 2003.
S. Kim and J. Jung, "A Basic Study of the System of Converting Color Image into Sound," Journal of the Korea Institute of Intelligent Systems, Vol. 20, No. 2, pp. 251-256, 2010.

원문보기 상세보기
T. Kim and D. Lee, "A Suggestion on the Algorithm for Extraction of Musical Melody by Color Image's HSB Color Information," Journal of the Engineering and Arts Society in Korea, Vol. 4, No. 1, pp. 91-104, 2012.
Y. Nam, Intelligent Music Composition over chord P rogression Using Genetic Algorithm and Machine Learning, Doctoral Thesis of Kwangwoon University, 2019.
H. Choi, All Human Senses, Booksea Publishing Corporation, Paju-si, 2009.
Y, Kim, Understanding the Fundamentals of Music, Yesol Publishing, Seoul, 2010.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증