[논문]전이학습을 이용한 효율적인 기타코드 분류 시스템

박선배; 이호경; 유도식

doi:10.9717/kmms.2018.21.10.1195

전이학습을 이용한 효율적인 기타코드 분류 시스템
An Efficient Guitar Chords Classification System Using Transfer Learning 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.21 no.10, 2018년, pp.1195 - 1202

박선배 (Dept. of Electronic and Electrical Engineering., Graduate School, Hongik University) , 이호경 (Dept. of Electronic and Electrical Engineering., Graduate School, Hongik University) , 유도식 (Dept. of Electronic and Electrical Engineering., Graduate School, Hongik University)

Abstract ▼ AI-Helper

Artificial neural network is widely used for its excellent performance and implementability. However, traditional neural network needs to learn the system from scratch, with the addition of new input data, the variation of the observation environment, or the change in the form of input/output data. To resolve such a problem, the technique of transfer learning has been proposed. Transfer learning constructs a newly developed target system partially updating existing system and hence provides much more efficient learning process. Until now, transfer learning is mainly studied in the field of image processing and is not yet widely employed in acoustic data processing. In this paper, focusing on the scalability of transfer learning, we apply the concept of transfer learning to the problem of guitar chord classification and evaluate its performance. For this purpose, we build a target system of convolutional neutral network (CNN) based 48 guitar chords classification system by applying the concept of transfer learning to a source system of CNN based 24 guitar chords classification system. We show that the system with transfer learning has performance similar to that of conventional system, but it requires only half the learning time.

주제어

표/그림 (7)

그림 Fig. 1. Processing Diagram of Transfer Learning.
그림 Fig. 2. Processing Diagram of Proposed scheme.
그림 Fig. 3. System Structure of Single Layer Convolutional Neural Network for Source Task 1.
그림 Fig. 4. System Structure of Double Layer Convolutional Neural Network for Source Task 2.
표 Table 1. Number of learning variables
표 Table 2. Simulation result on classify accuracy [%]
표 Table 3. Simulation result on mean learning time per single batch [ms]

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

현재까지 전이학습을 이용한 인공신경망 분류시스템 연구는 영상처리 분야에 국한되어 있으며, 기타 코드 분류를 비롯한 음성처리 분야에는 연구가 진행되지 않고 있다. 따라서 우리는 전이학습을 통한 기타 코드 분류시스템을 효율적으로 구성함으로써, 음성처리 분야에 전이학습을 활용할 수 있는 기반을 다지고자 한다. 이를 위하여 본 논문에서는 24종류의 기타 코드 분류 시스템을 학습해놓은 후, 이 시스템을 이용하여 48종류의 기타 코드 분류 시스템을 빠르게 학습하는 방법을 제시한다.
본 논문에서는 기타 코드 음을 분류하는 시스템을 이전에 학습한 모델의 변수들을 그대로 이용하여 학습시간을 줄이는 전이학습 기법을 활용하여 구현하고 그 성능을 평가해 보았다. 결론적으로, 전이학습을 수행할 때 학습해야 할 변수의 수는 큰 차이가 없고, 분류 정확도가 0.
본 논문에서는 전이학습을 이용하여 효율적인 기타 코드 분류시스템을 구축하는 방법을 제안하고 그 성능을 검증한다. 이를 위하여 우선 소스시스템으로 사용할 ‘24종 기타 코드 분류시스템’을 합성곱 신경망으로 만들어 학습해둔다.
본 절에서는 목표작업 4종류와 대조군으로 전이학습을 수행하지 않고 처음부터 학습을 진행하는 시스템 4종류, 총 8종류의 기계학습 시스템을 구현하여 모의실험을 진행한 결과에 대해 설명한다.

제안 방법

그 후 특징벡터들을 일렬로 나열하여 1024차원 벡터로 만든 후, 여기에 1024×24 가중치 행렬과 24차원 바이어스 벡터와 소프트맥스 활성함수를 이용하여 최종 분류를 한다.
시뮬레이션을 위한 데이터셋은 전기기타를 PC에 연결, 직접 코드 음을 연주하면서 녹음하는 방법으로 확보하였으며, 12음의 근음마다 메이저코드, 마이너 코드, 메이저 세븐코드와 마이너 세븐코드 총 48종류로 구성되어 있다. 녹음 데이터의 샘플링은 44.1kHz,16bit로 설정하였고, 각 샘플을 약 92ms초 단위로 잘라 4096차원 벡터로 만든 뒤 4096개의 0을 붙이는 제로패딩을 수행했다. 이후 이산푸리에 변환한 뒤 절반의 대칭성분을 제거하여 다시 4096차원 벡터로 만들었다.
데이터 샘플에 코드별 라벨을 부여할 때는 다루는 부류의 수에 따라 24, 혹은 48차원 벡터를 만들어 각 코드에 해당하는 자리만 1이고 나머지 성분은 0이 되는 ‘원 핫 인코딩(one-hot encoding)’을 수행하였다[14].
목표데이터는 48종의 데이터를 목표작업에 따라 512차원 벡터와 그 절반의 저주파 성분인 256차원 벡터로 만들어 구성하였다. 또한 보다 다양한 모의실험을 위하여 네 종류의 목표작업을 구축하는데, 목표작업 1과 목표작업 2는 각각 소스작업 1과 소스작업 2의 커널벡터들을 그대로 재사용하는 단층과 복층 합성곱 신경망으로서, 512차원 벡터들을 이용하여 완전연결 층의 변수들을 학습한다. 목표작업 3과 목표작업 4도 마찬가지로 각각 소스작업 1과 소스작업 2를 이용한 단층과 복층 합성곱 신경망이지만, 완전연결 층의 변수들을 256차원 벡터 데이터로 학습한다.
목표시스템을 구축할 때는 전체 데이터셋인 48종류 코드 데이터 62000개를 이용하여 학습하고, 6200개의 데이터로 검증을 한다. 또한 앞서 언급한대로 합성곱 신경망의 모든 변수들을 학습하는 것이 아니라, 소스작업에서 학습을 마친 합성곱 커널과 바이어스를 전이받아 활용하고, 완전연결 층의 가중치 행렬과 바이어스 벡터만을 학습한다. 추가로, 대조군으로 사용하기 위하여 목표작업 1-4와 동일한 구조의 합성곱 신경망 시스템 네 종류도 구현하여 전이학습을 이용하지 않고 처음부터 학습시킨다.
2의 하단부분은 목표시스템으로서 12개 음을 근음으로 가지는 메이저코드, 마이너코드, 메이저 세븐코드와 마이너 세븐코드의 총 48종의 코드를 분류하는 시스템이다. 목표데이터는 48종의 데이터를 목표작업에 따라 512차원 벡터와 그 절반의 저주파 성분인 256차원 벡터로 만들어 구성하였다. 또한 보다 다양한 모의실험을 위하여 네 종류의 목표작업을 구축하는데, 목표작업 1과 목표작업 2는 각각 소스작업 1과 소스작업 2의 커널벡터들을 그대로 재사용하는 단층과 복층 합성곱 신경망으로서, 512차원 벡터들을 이용하여 완전연결 층의 변수들을 학습한다.
Oquab[8]은 영상에서 사물들의 위치를 특정하는 시스템을 인공신경망으로 구성하였는데, 공간 안에 각 사물들이 위치해있는 영상 데이터를 충분히 확보하지 못하는 문제를 전이학습 기법을 이용하여 해결하였다. 보다 구체적으로 각 사물들을 분류하는 시스템을 먼저 구성해두고, 전이학습을 이용하여 사물 분류 시스템에서 학습한 변수들을 위치 특정 시스템으로 가져와 구성하였다. D.
합성곱 신경망은 영상처리 분야에서 좋은 성능을 보일 뿐만 아니라 층의 개수를 증가시켜도 학습해야 할 변수의 수가 크게 증가하지 않아 수십 개의 층도 쉽게 구현이 가능하기 때문에 더 복잡한 문제도 해결할 수 있게 되었다. 본 논문에서는, 사용하는 데이터가 1차원 벡터인 음성 데이터이기 때문에 커널이 열벡터인 1차원 합성곱 신경망을 다룬다.
신경망 알고리듬은 구글이 공개한 오픈소스 기계학습 라이브러리인 텐서플로우 GPU 버전[15]을 이용하여 구현하였고, 모든 학습할 변수들은 평균이 0이고 표준편차가 0.1인 ‘잘린 정규분포(truncated normal distribute)’로 초기화하였다.
따라서 우리는 전이학습을 통한 기타 코드 분류시스템을 효율적으로 구성함으로써, 음성처리 분야에 전이학습을 활용할 수 있는 기반을 다지고자 한다. 이를 위하여 본 논문에서는 24종류의 기타 코드 분류 시스템을 학습해놓은 후, 이 시스템을 이용하여 48종류의 기타 코드 분류 시스템을 빠르게 학습하는 방법을 제시한다. 우리는 제안하는 전이학습을 이용할 경우, 전이학습을 수행하지 않고 처음부터 학습을 진행한 시스템과 비교하여 학습해야 할 변수의 개수와 분류 정확도는 비슷한 수준이 유지됨에도 학습 시간은 절반으로 감소하는 것을 모의실험을 통해 보인다.
그리고 24종류의 새로운 기타 코드 데이터를 추가하여 목표시스템인 ‘48종 기타코드 분류시스템’을 구축할 때, 전이학습을 이용하여 보다 빠르게 학습을 완료할 수 있는 것을 보인다. 제안하는 방법으로 구축한 시스템의 성능을 보다 다양한 상황에서 검증하기 위해 네 가지의 전이학습시스템과 이와 동일한 구조의 비전이학습 시스템과 비교하는데, 그 기준은 학습해야 하는 변수의 개수, 분류 정확도, 그리고 학습 시간이다. 제안하는 구성 방법은 Fig.
또한 앞서 언급한대로 합성곱 신경망의 모든 변수들을 학습하는 것이 아니라, 소스작업에서 학습을 마친 합성곱 커널과 바이어스를 전이받아 활용하고, 완전연결 층의 가중치 행렬과 바이어스 벡터만을 학습한다. 추가로, 대조군으로 사용하기 위하여 목표작업 1-4와 동일한 구조의 합성곱 신경망 시스템 네 종류도 구현하여 전이학습을 이용하지 않고 처음부터 학습시킨다.
학습은 소스작업과 목표작업 모두 각각 1000개의 샘플을 임의로 취하여 학습하는 미니배치학습(mini batch learning[15])을 진행하였다. 최적화기법은 Adam Optimizer[16]를 학습률 10-3로 설정하여 각 배치마다 1000회 수행하였다.
합성곱 신경망은 구축하고자 하는 구조에 따라 수십 층 이상의 다층 구조로도 구축할 수 있지만, 본 논문에서는 ‘합성곱 층-풀링 층완전연결 층’의 구조를 가진 ‘단층 합성곱 신경망’과‘합성곱 층-풀링 층-합성곱 층-풀링 층-완전연결 층’의 구조를 가진 ‘복층 합성곱 신경망’을 다룬다.

대상 데이터

마지막으로 정규화 된 데이터 벡터에서 필요에 따라 저주파성분 512개와 256개를 취하였다. 데이터의 총 개수는 학습 데이터 62000개, 검증 데이터 6200개로 구성되어 있다. 이 방법은 최근의 기타 코드 음분류 연구를 참고하여 진행하였다[3].
여기서는 위에서 설명한 바와 같이 복소 데이터 벡터들의 성분별 절대값을 취해 얻은 실수 벡터를 의미하며, X_i는의 i번째 성분을 뜻한다. 마지막으로 정규화 된 데이터 벡터에서 필요에 따라 저주파성분 512개와 256개를 취하였다. 데이터의 총 개수는 학습 데이터 62000개, 검증 데이터 6200개로 구성되어 있다.
목표시스템을 구축할 때는 전체 데이터셋인 48종류 코드 데이터 62000개를 이용하여 학습하고, 6200개의 데이터로 검증을 한다. 또한 앞서 언급한대로 합성곱 신경망의 모든 변수들을 학습하는 것이 아니라, 소스작업에서 학습을 마친 합성곱 커널과 바이어스를 전이받아 활용하고, 완전연결 층의 가중치 행렬과 바이어스 벡터만을 학습한다.
2의 상단부분은 소스시스템으로 12개의 음을 근음으로 가지는 메이저코드와 마이너코드 24종류[13]를 분류하는 시스템이다. 소스데이터는 512차원의 데이터이며, 이를 이용하여 단층 합성곱 신경망인 소스작업 1과 복층 합성곱 신경망인 소스작업 2를 학습해둔다. 학습이 완료된 후 두 종류의 소스작업에서 커널 벡터들의 값을 저장해둔다.
소스시스템을 구축할 때는 전체 48종류의 코드 데이터 중 12개의 근음을 가지는 메이저코드와 마이너 코드만을 포함시킨 24종류의 데이터를 활용하였는데, 그 수는 학습데이터 30000개와 검증 데이터 3000개이다. 단층 합성곱 신경망인 소스작업 1은 Fig.
시뮬레이션은 CPU로는 인텔 코어 i7-7700K, 그래픽카드로는 NVIDIA GTX 1060, 그리고 메모리로는 16GB DRAM을 장착한 시스템에 우분투 16.04 운영체제을 설치한 환경에서 실행하였다. 신경망 알고리듬은 구글이 공개한 오픈소스 기계학습 라이브러리인 텐서플로우 GPU 버전[15]을 이용하여 구현하였고, 모든 학습할 변수들은 평균이 0이고 표준편차가 0.
시뮬레이션을 위한 데이터셋은 전기기타를 PC에 연결, 직접 코드 음을 연주하면서 녹음하는 방법으로 확보하였으며, 12음의 근음마다 메이저코드, 마이너 코드, 메이저 세븐코드와 마이너 세븐코드 총 48종류로 구성되어 있다. 녹음 데이터의 샘플링은 44.

데이터처리

최적화기법은 Adam Optimizer[16]를 학습률 10-3로 설정하여 각 배치마다 1000회 수행하였다. 결과값은 각 8종류 기계학습 시스템을 100회 구현한 결과를 평균하여 기록하였다.

이론/모형

학습은 소스작업과 목표작업 모두 각각 1000개의 샘플을 임의로 취하여 학습하는 미니배치학습(mini batch learning[15])을 진행하였다. 최적화기법은 Adam Optimizer[16]를 학습률 10-3로 설정하여 각 배치마다 1000회 수행하였다. 결과값은 각 8종류 기계학습 시스템을 100회 구현한 결과를 평균하여 기록하였다.

성능/효과

본 논문에서는 기타 코드 음을 분류하는 시스템을 이전에 학습한 모델의 변수들을 그대로 이용하여 학습시간을 줄이는 전이학습 기법을 활용하여 구현하고 그 성능을 평가해 보았다. 결론적으로, 전이학습을 수행할 때 학습해야 할 변수의 수는 큰 차이가 없고, 분류 정확도가 0.07-1.32%정도 낮아지지만 학습시간을 거의 절반 가까이로 줄일 수 있다는 것을 확인하였다. 또한 관측 환경이 바뀌어도 분류 정확도가 유지된다는 점에서 다양한 유사 분야의 인공신경망을 이용한 분류시스템으로 확장이 가능할 것으로 보인다.
그리고 24종류의 새로운 기타 코드 데이터를 추가하여 목표시스템인 ‘48종 기타코드 분류시스템’을 구축할 때, 전이학습을 이용하여 보다 빠르게 학습을 완료할 수 있는 것을 보인다.
전이학습을 이용하여 새로운 시스템의 일부만을 빠르게 학습하면 많은 노력을 절약할 수 있다. 둘째, 데이터가 충분히 확보되어 있지 않은 경우에도 인공신경망에 전이학습의 개념을 도입하면 상당한 수준까지의 학습이 가능하다. 우수한 성능의 인공신경망 시스템을 구성하기 위해선 일정규모 이상의 데이터셋이 필요한데, 의학영상과 같이 일반인이 접근하기 어려운 데이터는 충분히 양을 확보하는데 상당한 난점이 있다.
Ciresan[9]는 라틴 문자를 인식하는 시스템으로부터 변수들을 전이받아 한자(漢字)를 인지하는 시스템을 구축하였다. 외견상 라틴 문자와 한자는 큰차이가 있기 때문에 한자 인식 시스템을 구축하는데 큰 도움이 되지 않을 것 같지만, 전이학습을 이용한 한자 인식 시스템이 더 짧은 학습시간과 높은 분류정확도를 가진다는 것을 보였다. S.
A Prajapati[10]는 치과질환이 있는 엑스레이 영상을 분류하는 시스템을 구축하였다. 이때 251개의 엑스레이 영상으로만 학습할 때보다 1000여종의 동식물 데이터가 있는 대규모 데이터셋인 ILSVRC-2012을 이용하여 합성 곱 커널들을 학습한 뒤, 이 커널들에 엑스레이 영상을 이용하여 미세조정 하는 방식으로 구축한 시스템이 더 좋은 성능을 나타내는 것을 보였다.

후속연구

32%정도 낮아지지만 학습시간을 거의 절반 가까이로 줄일 수 있다는 것을 확인하였다. 또한 관측 환경이 바뀌어도 분류 정확도가 유지된다는 점에서 다양한 유사 분야의 인공신경망을 이용한 분류시스템으로 확장이 가능할 것으로 보인다.
향후 우리는 보다 더 다양한 기타 코드 분류시스템을 구성해두고, 피아노 등 다른 악기들과 합주하는데이터를 확보하여 전이학습을 이용해 다양한 악기로 구성된 코드 음을 분류하는 시스템으로 확장이 가능한지 살펴볼 계획이다. 또한 미세조정 학습을 얼마나 진행해야 비전이학습과 동일한 수준의 성능을 보일 수 있는지에 대한 추가연구를 진행할 계획이다.
향후 우리는 보다 더 다양한 기타 코드 분류시스템을 구성해두고, 피아노 등 다른 악기들과 합주하는데이터를 확보하여 전이학습을 이용해 다양한 악기로 구성된 코드 음을 분류하는 시스템으로 확장이 가능한지 살펴볼 계획이다. 또한 미세조정 학습을 얼마나 진행해야 비전이학습과 동일한 수준의 성능을 보일 수 있는지에 대한 추가연구를 진행할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	합성곱 신경망의 구성은 어떻게 이루어져 있는가?	합성곱 신경망은 합성곱 층, 풀링 층, 완전연결 층(fully-connected layer)의 세 가지 종류의 층으로 구성되어 있다. 합성곱 층에서는 커널 벡터들과 입력데이터를 합성곱 하는데, 이를 수식으로 나타내면 식(1)과 같다.
	합성음의 주파수를 인지하여 어떤 코드인지 알아내는 방법의 장단점은 무엇인가?	과거 음성신호처리기술이 그리 발달되지 않았던 때는 단순히 합성음의 주파수를 인지하여 어떤 코드인지 알아내는 방법을 사용하였다. 이 방법은 구현이 간단하지만 좋은 성능을 내지 못했는데, 그것은 지판을 운지하는 위치나 완력에 따라 음의 주파수가 미세하게 변하기 때문이다. 최근에 주목받고 있는 기계학습 기법은 기타 코드 분류 시스템의 구성에도 이용되어 좋은 성능을 보이고 있다.
	코드란 무엇인가?	높이가 다른 둘 이상의 음을 동시에 울릴 때 발생하는 합성음을 코드(chord)라고 하는데, 코드를 통해 음악은 풍부한 감정과 분위기를 표현할 수 있다. 코드는 구성 음들의 배치에 따라 다양한 종류가 존재하는데, 구성 음들 중 가장 낮은 음인 근음(root)에 따라 전체적인 높이가 결정되고, 나머지 음들의 높낮이에 따라 코드의 분위기가 결정된다.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증