[논문]음악 감정 분석을 통한 키네틱 타이포그래피 자막 자동 생성 서비스

지영서; 이하람; 임순범

doi:10.9717/kmms.2021.24.8.1184

음악 감정 분석을 통한 키네틱 타이포그래피 자막 자동 생성 서비스
Automatic Generation Subtitle Service with Kinetic Typography according to Music Sentimental Analysis 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.24 no.8, 2021년, pp.1184 - 1191

지영서 (Dept of. IT Engineering. Sookmyung Women's University) , 이하람 (Dept of. IT Engineering. Sookmyung Women's University) , 임순범 (Dept of. IT Engineering. Sookmyung Women's University)

Abstract ▼ AI-Helper

In a pop song, the creator's intention is communicated to the user through music and lyrics. Lyric meaning is as important as music, but in most cases lyrics are delivered to users in a static form without non-verbal cues. Providing lyrics in a static text format is inefficient in conveying the emotions of a music. Recently, lyrics video with kinetic typography are increasingly provided, but producing them requires expertise and a lot of time. Therefore, in this system, the emotions of the lyrics are found through the analysis of the text of the lyrics, and the deep learning model is trained with the data obtained by converting the melody into a Mel-spectrogram format to find the appropriate emotions for the music. It sets properties such as motion, font, and color using the emotions found in the music, and automatically creates a kinetic typography video. In this study, we tried to enhance the effect of conveying the meaning of music through this system.

주제어

표/그림 (12)

그림 Fig. 1. Examples of lyrics music video provided by BTS (https://youtu.be/qvu4nPMyl3U).
그림 Fig. 2. Rules for using music analysis results.
표 Table 1. Matching rules for motion and font according to emotion.
표 Table 2. Ranking of colors related to emotions.
그림 Fig. 3. Full system flow diagram of motion subtitle automatic creation service.
그림 Fig. 4. Example of separating time and text from lyric file.
그림 Fig. 5. Rhythm analysis extracted from music. (a) Envelope Strength and (b) Spectral_Centroid.
표 Table 3. Result of analysis of emotions by the entire lyrics and verses in the music.
그림 Fig. 6. Example of a kinetic typography video automatically generated by the system.
표 Table 4. Result of analysis of emotions by the entire lyrics and verses in the song.
그림 Fig. 7. Rhythm analysis extracted from music. (a) Envelope Strength and (b) Spectral_Centroid.
그림 Fig. 8. Example of a kinetic typography video automatically generated by the system.

AI 본문요약
AI-Helper

제안 방법

사용자에게 음악 파일과 가사 파일을 입력받아 음악과가 사의 감정 분석과 리듬 분석을 진행하고 결과값을데이터베이스에 저장한다. 데이터베이스에 저장된 분석 결과를 전달받아서 키네틱 타이포그래피 영상을 생성한다.
본 논문에서 제안한 음악 감정 분석을 통한 모션자막 자동 생성 프로그램은 음악이 가지고 있는 감정을 추출하고 이를 통해 음악에 어울리는 모션과 속성을 자동으로 제공해 가사의 텍스트가 가지는 전달 효과를 극대화하려 했다. 이를 위해 각 감정에 적합한 모션과 폰트, 색상을 매칭하려는 시도를 진행하고 음악 감정 분석을 통해 감정에 어울리는 모션 자막을 생성하는 시스템을 설계 및 구현했다.
음악 감정 분석은 미리 음악의 분위기가 분류되어있고 저작권이 없는 음악을 데이터 셋으로 활용하여 음악 감정 분석 모델을 학습한다. 학습에서 음악들은 멜 스펙트로 그램 형식으로 변환하여 CRNN 구조의 모델에서 학습을 진행한다.
본 논문에서 제안한 음악 감정 분석을 통한 모션자막 자동 생성 프로그램은 음악이 가지고 있는 감정을 추출하고 이를 통해 음악에 어울리는 모션과 속성을 자동으로 제공해 가사의 텍스트가 가지는 전달 효과를 극대화하려 했다. 이를 위해 각 감정에 적합한 모션과 폰트, 색상을 매칭하려는 시도를 진행하고 음악 감정 분석을 통해 감정에 어울리는 모션 자막을 생성하는 시스템을 설계 및 구현했다. 하지만 각 감정에 어울리는 모션과 폰트, 색상을 고르는 과정은 개인의 선호와 주관이 포함되어 있어 결과를 도출하는 것에는 어려움이 있었다.

대상 데이터

Fig. 1은 가수 BTS가 제공한 키네틱 타이포그래피 영상 사례이다. 영상에서 다양한 시각적 효과를 통해 음악의 감정을 효과적으로 전달할 수 있다.

성능/효과

하지만 각 감정에 어울리는 모션과 폰트, 색상을 고르는 과정은 개인의 선호와 주관이 포함되어 있어 결과를 도출하는 것에는 어려움이 있었다. 또한, 한글 폰트의 감정을 분석한 연구가 부족해 영어 폰트에서 진행된 연구를 기반으로 영어 폰트의 속성을 한글 폰트에 적용한 결과로 감정에 어울리는 폰트를 선정했기 때문에 사용자가 느끼는 감정과 불일치할 수 있다.
이를 위해 각 감정에 적합한 모션과 폰트, 색상을 매칭하려는 시도를 진행하고 음악 감정 분석을 통해 감정에 어울리는 모션 자막을 생성하는 시스템을 설계 및 구현했다. 하지만 각 감정에 어울리는 모션과 폰트, 색상을 고르는 과정은 개인의 선호와 주관이 포함되어 있어 결과를 도출하는 것에는 어려움이 있었다. 또한, 한글 폰트의 감정을 분석한 연구가 부족해 영어 폰트에서 진행된 연구를 기반으로 영어 폰트의 속성을 한글 폰트에 적용한 결과로 감정에 어울리는 폰트를 선정했기 때문에 사용자가 느끼는 감정과 불일치할 수 있다.

후속연구

따라서 추후 시스템에서는 일반인 및 전문가에게 감정 별 모션 선정에 대한 리서치를 통해 모션 선정하고 현재 진행한 여덟 종류의 모션 외에도 다양한 모션을 추가하는 방안을 연구하면 효과적일 것이다. 더불어 한글 폰트에서 적용 가능한 폰트별 감정값을 추출하는 연구를 진행해 사용자에게 보편적으로 통용 가능한 감정을 전할 수 있도록 하는 방법을 모색하려 한다.
따라서 추후 시스템에서는 일반인 및 전문가에게 감정 별 모션 선정에 대한 리서치를 통해 모션 선정하고 현재 진행한 여덟 종류의 모션 외에도 다양한 모션을 추가하는 방안을 연구하면 효과적일 것이다. 더불어 한글 폰트에서 적용 가능한 폰트별 감정값을 추출하는 연구를 진행해 사용자에게 보편적으로 통용 가능한 감정을 전할 수 있도록 하는 방법을 모색하려 한다.

참고문헌 (13)

J. Lee, "Neurophysiology and Brain-Imaging Study of Music - Music & Language, Music & Emotion," Nangman Quarterly, Vol. 18, No. 3, pp. 69-146, 2006.
H. Ki and K. Shin, "Emotion Analysis Using a Bidirectional LSTM for Word Sense Disambiguation," The Journal of BigData, Vol. 5, Issue 1, pp. 197-208, 2020.
H. Kim, "Development of the Artwork Using Music Visualization Based on Sentiment Analysis of Lyrics," Journal of the Korea Contents Association, Vol. 20, Issue 10, pp. 89-99, 2020

원문보기 상세보기
Z. Nasrullah and Y. Zhao, "Music Artist Classification with Convolutional Recurrent Neural Networks," International Joint Conference on Neural Networks, pp. 1-8, 2019
J. Lee, "Evaluating Pre-defined Kinetic Typography Effects to Convey Emotions," Journal of Korea Multimedia Society, Vol. 17, Issue 1, pp. 77-93, 2014

원문보기 상세보기
A. Mehrabian, "Pleasure-Arousal-Dominance: A General Framework for Describing and Measuring Individual Differences in Temperament," Current Psychology, Vol. 14, No. 4. pp. 261-292, 1996.

상세보기
H. Kim, A Study on the Shape and Emotion Feature Analysis Algorithms for HanGul Font Recommendation, Master's Thesis of Sookmyung Women's University, 2019.
The Psychology of Fonts, https://weemss.com/blog/2857-the-psychology-of-fonts (accessed August 3, 2020).
J. Lee and H. Cho, "A Study on the Characteristics of Value and Emotional Response Associated with Color and Their Impact on Color Attitude," Journal of Korea Society of Color Studies, Vol. 32, Issue 3, pp. 79-95, 2018.

상세보기
Saltlux text sentimental analysis, https://www.saltlux.ai/portal/api_detail?idcategory14 (accessed August 3, 2020).
Librosa, https://librosa.org/doc/latest/index.html (accessed August 3, 2020).
Keras, https://keras.io (accessed August 3, 2020).
Mutagen, https://mutagen.readthedocs.io (accessed August 3, 2020).

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증