선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 인공신경망의 학습기능을 이용하여 기존 곡을 학습하고 이를 기반으로 새로운 곡을 작곡하는 자동작곡시스템 방법을 제안하였다. 이를 위하여 기존 곡의 멜로디를 음표와 박자의 시계열 데이터로 변환하는 방법과 변환된 시계열 데이터에 마디정보를 넣어 인공신경망의 학습 데이터로 만드는 방법을 제안하였다.
- 우리는 본 연구에서 문화기술(Culture Technology)의 대표격인 K-POP과 정보기술(Information Technology)을 융합하는 또 다른 형태의 기술로서 컴퓨터가 음악을 직접 작곡하는 자동작곡시스템을 연구하였다. 그러나 작곡이라는 것은 인간의 창작활동으로 이를 컴퓨터로 직접적으로 구현한다는 것은 매우 어려운 작업이다.
- 이 경우 신경망은 동일한 입력에 대하여 여러 가지의 다른 출력을 학습해야 하기 때문에 특정 값으로 수렴하지 못하고 학습이 왔다 갔다 하게 되어, 결국 아무리 많은 학습 횟수를 수행해도 전체 학습오류가 감소되지 않는 문제점이 발생한다. 이 문제를 해결하기 위하여 기존의 음표와 박자로만 이루어진 시계열 학습 데이터에 곡의 마디를 입력하는 방법을 고안하였다. 즉, 음표와 박자 시계열 데이터에 추가적으로 현재 학습하고 있는 시계열 데이터의 마디정보를 넣어줌으로써 동일한 음표나 박자 학습시계열 데이터에서도 이 마디 정보를 이용하여 다른 출력을 학습하도록 하였다.
제안 방법
- 본 논문에서는 학습할 기존 곡으로 ‘티아라’의 ‘Roly-Poly’를 선정하였다. 2절에서 설명한 절차에 따라 이 곡에 대한음표와 박자 시계열 데이터를 만들고 이를 이용하여 학습 데이터를 만든 후에 마디 구분 정보를 추가하여 학습을 수행하였다. 학습은 대략 5만 번의 학습 횟수에서 종료하였으며, 학습 후에 학습 시계열 데이터를 넣어주면 전체 곡을 출력하는 것으로 보아 학습이 제대로 된 것을 확인하였다.
- 본 논문에서는 박자 후처리 프로그램으로 간단하게 정해진 박자를 넘어가는 마지막 음을 박자에 맞게 수정하는 방법으로 구현하였다. 그러나 화성은 복잡한 화성이론에 따라서 가장 알맞은 화성을 선택해야 하며 선택된 화성에 따라서 다시 음표를 조정하는 복잡한 과정이 수반되어야 하기 때문에 본 논문에서는 구현하지 못하였으며, 사람이 손으로 직접 수정하였다. 화성 후처리 프로그램은 향후에 지속적으로 연구할 계획이다.
- 우리는 본 논문에서 입력 시계열 데이터수로 10개를 선정하였다. 그러므로 360개의 데이터에서 10개의 입력에 대하여 그 다음에 발생하는 데이터를 하나의 출력으로 하여 신경망을 학습시킨다.
- 이를 위하여 기존 곡의 멜로디를 음표와 박자의 시계열 데이터로 변환하는 방법과 변환된 시계열 데이터에 마디정보를 넣어 인공신경망의 학습 데이터로 만드는 방법을 제안하였다. 또한 새로 만들어진 곡의 박자와 화성을 음악이론에 맞게끔 후처리 하는 방법을 제시하였다. 본 논문에서 제안한 방법을 검증하기 위하여기존 곡 ‘Roly-Poly’를 이용하여 학습하였으며, 이를 기반으로 새로운 곡을 만들었다.
- 학습 데이터로의 변환은 다음과 같은 과정을 거쳐서 만들어진다. 먼저 음표와 박자의 시계열 데이터에서 신경망의 입력층의 노드 개수만큼을 가져와서 이를 신경망의 입력데이터로 하고 그다음 시계열 데이터 하나를 신경망 학습 데이터의 출력으로 한다. 그다음 학습 데이터는 음표와 박자의 첫 번째 시계열 데이터를 빼고 그 다음번 시계열 데이터부터 위의 과정을 똑같이 적용하여 만든다.
- 먼저음표는 전체음표 1∼7옥타브 중에서 일반적인 음악에서 많이 사용하는 2∼4옥타브만을 사용하였다.
- 본 논문에서 제안한 방법을 검증하기 위하여기존 곡 ‘Roly-Poly’를 이용하여 학습하였으며, 이를 기반으로 새로운 곡을 만들었다.
- 학습된 신경망을 이용하여 새로운 곡을 만드는 방법은 여러 가지로 고안될 수 있다. 본 논문에서는 가장 단순한 방법으로 새로운 곡의 도입부 입력 시계열 데이터를 작곡하여 넣어주는 방법을 사용하였다. 도입부 입력 시계열 데이터를 학습된 인공신경망에 넣어주면 인공신경망이 나머지 시계열 데이터를 출력해주어 작곡을 할 수 있다.
- 학습은 교사학습으로 오류역전파알고리즘을 사용하여 학습한다. 본 논문에서는 매트랩에서 제공하는 신경망 툴박스를 사용하여 학습시켰으며 최대 학습 횟수는 1,000,000번으로 설정하였다[1]. 그러나 그 이전에 학습이 더 이상 일어나지 않는다든지 총 학습 오류치가 특정치 이하로 떨어지는 등의 종료조건이 되면 학습을 종료한다.
- 이를 위하여 만들어진 곡에 박자와 화성을 후처리하여 수정하는 프로그램을 통과시켜야 한다. 본 논문에서는 박자 후처리 프로그램으로 간단하게 정해진 박자를 넘어가는 마지막 음을 박자에 맞게 수정하는 방법으로 구현하였다. 그러나 화성은 복잡한 화성이론에 따라서 가장 알맞은 화성을 선택해야 하며 선택된 화성에 따라서 다시 음표를 조정하는 복잡한 과정이 수반되어야 하기 때문에 본 논문에서는 구현하지 못하였으며, 사람이 손으로 직접 수정하였다.
- 그러나 이러한 과정은 상당히 복잡한 과정으로 화성코드에 대한 정보를 저장하고 마디의 음표들과 화성코드와의 유사도를 계산해야 하며 결정된 화성코드에 따라서 음표를 보정해야 하는 여러 과정을 거치게 된다. 본 논문에서는 이 과정을 코드로 구현하지 못하였으며 사람이 수동으로 수정하였다. 향후 연구에서 구현할 예정이다.
- 본 논문에서는 학습할 기존 곡으로 ‘티아라’의 ‘Roly-Poly’를 선정하였다.
- 3절에서 설명한 방법에 따라서 ‘Roly-Poly’를 학습시키고 매트랩의 신경망 툴박스를 이용하여 음표와 박자를 학습시키고 새로운 곡을 만들었다[1]. 새로운 도입부로 10개의 음표와 박자를 작곡하여 시계열 데이터로 변환한 다음 학습된 인공신경망에 입력하여 주었다. 그 결과 기존 곡의 풍을 가지나, 기존 곡과는 다른 새로운 곡이 출력되었다.
- 그러나 작곡이라는 것은 인간의 창작활동으로 이를 컴퓨터로 직접적으로 구현한다는 것은 매우 어려운 작업이다. 이러한 이유로 우리는 먼저 기존의 곡을 학습하고 모방하는 것을 통하여 새로운 곡을 만들 수 있는지를 연구하였다. 창작은 모방으로부터 가능하므로 기존 곡을 학습시키고 여기에 다양한 방법으로 변형을 가하여 새로운 곡을 제작하기로 하였다.
- 본 논문에서는 인공신경망의 학습기능을 이용하여 기존 곡을 학습하고 이를 기반으로 새로운 곡을 작곡하는 자동작곡시스템 방법을 제안하였다. 이를 위하여 기존 곡의 멜로디를 음표와 박자의 시계열 데이터로 변환하는 방법과 변환된 시계열 데이터에 마디정보를 넣어 인공신경망의 학습 데이터로 만드는 방법을 제안하였다. 또한 새로 만들어진 곡의 박자와 화성을 음악이론에 맞게끔 후처리 하는 방법을 제시하였다.
- 제안한 방법을 사용하여 기존 곡이 학습되는지를 확인하기 위하여 우리는 기존 곡 중 국내에서 큰 인기를 얻은 걸그룹 ‘티아라’의 ‘Roly-Poly’라는 곡을 학습해 보았다.
- 이 문제를 해결하기 위하여 기존의 음표와 박자로만 이루어진 시계열 학습 데이터에 곡의 마디를 입력하는 방법을 고안하였다. 즉, 음표와 박자 시계열 데이터에 추가적으로 현재 학습하고 있는 시계열 데이터의 마디정보를 넣어줌으로써 동일한 음표나 박자 학습시계열 데이터에서도 이 마디 정보를 이용하여 다른 출력을 학습하도록 하였다. 이를 ‘마디 구분’이라 칭하였고, 그것은 학습 시 같은 음표나 박자 마디 뒤에 오는 다른 음표나 박자를 구분해 주기 위해 음표나 박자와 같이 넣어 주는 것이라고 정의 내릴 수 있다.
- 이러한 이유로 우리는 먼저 기존의 곡을 학습하고 모방하는 것을 통하여 새로운 곡을 만들 수 있는지를 연구하였다. 창작은 모방으로부터 가능하므로 기존 곡을 학습시키고 여기에 다양한 방법으로 변형을 가하여 새로운 곡을 제작하기로 하였다. 우리는 기존 곡을 학습하기 위하여 인공지능 분야에서 많이 연구되어온 인공신경망을 사용하였다[1-5].
- 학습이 정상적으로 수행된 것을 확인한 후에는 새로운 곡을 작곡하기 위하여 새로운 곡의 도입부를 작곡하여 시계열 데이터로 입력하였다. 학습된 인공신경망은 새로운 시계열 데이터에 대하여 새로운 곡을 출력해 주었다.
- 해당 박자가 음표 박자인지 쉼표박자인지는 구분을 해주어야 하는데 이를 위하여 음표박자는 십의 자리에 ‘1’을 두고 쉼표박자는 ‘0’을 두어 구분하였다.
대상 데이터
- 먼저음표는 전체음표 1∼7옥타브 중에서 일반적인 음악에서 많이 사용하는 2∼4옥타브만을 사용하였다. 박자는 1/4, 1/2, 3/4, 1, 3/2, 2, 3, 4의 8개 박자를 사용하였다.
- 시계열 데이터의 학습은 일정구간의 시계열 입력에 대하여 그 다음에 발생하는 시계열 데이터를 예측하는 신경망으로서, 시계열 데이터의 입력 개수를 정해주어야 한다. 우리는 본 논문에서 입력 시계열 데이터수로 10개를 선정하였다. 그러므로 360개의 데이터에서 10개의 입력에 대하여 그 다음에 발생하는 데이터를 하나의 출력으로 하여 신경망을 학습시킨다.
이론/모형
- 창작은 모방으로부터 가능하므로 기존 곡을 학습시키고 여기에 다양한 방법으로 변형을 가하여 새로운 곡을 제작하기로 하였다. 우리는 기존 곡을 학습하기 위하여 인공지능 분야에서 많이 연구되어온 인공신경망을 사용하였다[1-5]. 곡의 음표와 박자를 숫자화한 후, 이를 시계열 데이터로 변환하여 인공신경망에 넣어주고 학습을 수행한다[2-5].
- 음표와 박자의 시계열 데이터의 학습을 위하여 입력층과 중간층 그리고 출력 층을 갖는 앞먹임 신경망(FNN: Feedforward Neural Network)을 이용하였다[1-5]. 학습을 위하여 먼저 신경망의 입력층, 중간층, 출력층의 노드의 개수를 선택해야 한다[1].
- 이 90개의 입출력 학습 데이터를 신경망에 학습한다. 학습은 교사학습으로 오류역전파알고리즘을 사용하여 학습한다. 본 논문에서는 매트랩에서 제공하는 신경망 툴박스를 사용하여 학습시켰으며 최대 학습 횟수는 1,000,000번으로 설정하였다[1].
성능/효과
- 인공신경망에 기존의 곡을 학습한 후에는 이를 이용하여 새로운 곡을 만든다. 본 논문에서는 기존 곡을 하나만 학습시키고 새로운 곡을 만들었지만, 여러 곡을 학습시킨 후에 새로운 곡을 만드는 것이 더 좋다. 왜냐하면 학습을 많이 시킬수록 인공신경망은 좀 더 다양한 입력공간에 대한 출력 공간을 학습할 수 있기 때문이다.
- 본 논문에서의 실험수행 경험으로 보면, 마디 구분 개수가 늘어날수록 빨리 학습되는 것을 볼 수 있었으며 마디 구분을 확실하게 하기 위해서는 40개 이상의 마디 구분 입력이 필요하다는 것을 알게 되었다. 그러나 이는 곡의 반복성이 얼마나 있는지와 마디 구분의 정보 사이의 유사도가 얼마나 없는지 등에 의존하는 것으로 보다 면밀한 분석이 요구된다.
- 본 논문에서 제안한 방법을 검증하기 위하여기존 곡 ‘Roly-Poly’를 이용하여 학습하였으며, 이를 기반으로 새로운 곡을 만들었다. 이를 통하여 만들어진 곡이 기존 곡의 느낌을 가진 새로운 곡이 출력됨을 확인하였다. 다만 새로운 곡의 후반으로 갈수록 학습된 곡의 느낌이 사라지는 문제점이 발견되었는데, 이는 보다 많은 곡을 학습하는 것으로 점차 해결될 것으로 기대한다.
- 2절에서 설명한 절차에 따라 이 곡에 대한음표와 박자 시계열 데이터를 만들고 이를 이용하여 학습 데이터를 만든 후에 마디 구분 정보를 추가하여 학습을 수행하였다. 학습은 대략 5만 번의 학습 횟수에서 종료하였으며, 학습 후에 학습 시계열 데이터를 넣어주면 전체 곡을 출력하는 것으로 보아 학습이 제대로 된 것을 확인하였다.
후속연구
- 이를 통하여 만들어진 곡이 기존 곡의 느낌을 가진 새로운 곡이 출력됨을 확인하였다. 다만 새로운 곡의 후반으로 갈수록 학습된 곡의 느낌이 사라지는 문제점이 발견되었는데, 이는 보다 많은 곡을 학습하는 것으로 점차 해결될 것으로 기대한다.
- 다만 여러 곡을 학습시킬 때에는 각 곡의 특징 및 학습방법에 대하여 다양한 방법이 존재할 것이므로 이런 것에 대한 연구가 병행되어야 한다. 또한 궁극적으로 작곡가가 작곡한 것과 유사한 결과를 내기 위해서는 후처리에서 일정 부분 작곡가의 작곡과정과 유사한 과정을 거치는 것이 필요할 것으로 판단된다.
- 발생된 시계열 데이터는 각각 음표를 위한 신경망과 박자를 위한 신경망에 학습시킨다. 우리는 본 논문에서 두 개의 신경망에 각각 학습시키는 방법을 사용하였으나 향후 필요시 둘을 합하여 하나의 인공신경망으로 학습하는 것을 연구할 필요가 있을 것이다.
- 그러나 이는 곡의 반복성이 얼마나 있는지와 마디 구분의 정보 사이의 유사도가 얼마나 없는지 등에 의존하는 것으로 보다 면밀한 분석이 요구된다. 향후 깊이 있는 연구를 통해 곡의 반복성을 측정하는 방법과 마디 구분 사이의 유사도를 최대로 낮추는 방법 등이 개발된다면 20개 이하로 줄일 수 있을 것으로 판단된다.
- 향후 연구 과제로는 본 논문에서 수작업으로 처리한 화성 후처리를 자동으로 하는 프로그램을 만드는 것이다. 또한 여러 곡을 학습시켜서 인공신경망의 입출력 학습공간을 넓히는 방법을 고안해야 한다.
- 본 논문에서는 이 과정을 코드로 구현하지 못하였으며 사람이 수동으로 수정하였다. 향후 연구에서 구현할 예정이다.
- 그러나 화성은 복잡한 화성이론에 따라서 가장 알맞은 화성을 선택해야 하며 선택된 화성에 따라서 다시 음표를 조정하는 복잡한 과정이 수반되어야 하기 때문에 본 논문에서는 구현하지 못하였으며, 사람이 손으로 직접 수정하였다. 화성 후처리 프로그램은 향후에 지속적으로 연구할 계획이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.