선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 음원의 분위기와 분위기의 색상을 수집하기 위해 본 논문에서는 (그림 1)과 같이 음원을 분석하여 대표구간을 파악하고, 대표구간에서 추출한 음원을 웹을 이용하여 피 실험자에게 제공하여 피 실험자에게 음원의 분위기를 입력받았다. 웹을 통하여 입력받은 분위기를 최종적으로 데이터베이스에 저장하여 본 논문에서 분석하기 위한 자료로 구축하였다.
제안 방법
- 기존 상태열 기반 [6]의 음악 구조 분석 연구에서는 1차 음향 특징 추출을 위한 특징 추출 프레임의 길이 결정 방법으로 비트 탐색 알고리즘을 통하여 8개의 비트에 해당하는 길이를 프레임 윈도우의 홉사이즈로 사용하였으나 본 연구에서는 1.2s의 길이와 300ms의 홉사이즈를 가진 고정된 프레임을 사용하여 1차 음향 특징을 추출하였다.
- 대표 구간을 추출하기 위해 (그림 2)와 같이 음악의 구조 분석을 통한 세그먼트를 실행하였다. 대표구간 추출 방법은 음악 구조 정보를 추출하고, 분석된 구조정보를 이용하여 음악을 분리한 후 분리된 음원 중 음악의 에너지 값이 가장 큰 위치를 선택하여 대표음원을 추출하였다.
- [8]를 이용하여 획득한 391개의 특징들을 모두 사용할 경우 잡음 특징들 때문에 오히려 역효과가 날 수 있다. 따라서 본 논문에서는 각 특징들에 대하여 결정계수를 계산하고, 결정계수의 상위 15%를 이용하여 분별력이 좋은 특징들을 추출 하였다[9]. 결정 계수를 구하는 식은 식 7과 같다.
- 음원의 분위기 설문시 피 실험자에게 최대 3개 분위기를 입력 가능케 하였는데, 한 분위기에 최대 5점 부여가능하며, 여러분위기 입력시 총합이 5점 넘지 않도록 하였다. 또한 분위기 입력 시 제약 조건은 Angry와 Peaceful 같이 극과 극인 분위기들은 동시에 선택할 수 없도록 하였고, (그림 3)에서 etc는 입력자가 12개의 분위기 이외의 분위기를 느낄 수 있어 12개의 분위기 이외의 분위기를 느낀 경우 그 분위기를 입력할 수 있도록 하였다. 하지만 본 논문에서는 분석 시 사용하지 않았다.
- 즉, 2개의 은닉층 부터 25개의 은닉층 까지 각 164번의 실험을 실시하여 총 4,100번의 실험을 실시 하였다. 또한 신경망 학습 수를 3,000번과 4,000번을 실시 하였다.
- 음원의 분위기와 분위기에 따른 색상을 수집하기 위한 환경은 10 ~ 17시, 한쪽 벽면이 어두운 유리(동쪽)인 실내에서 3일간에 걸쳐 데이터를 수집하였다. 또한 헤드셋을 제공하여 외부에서 발생되는 소음을 방지하였고, 실험에 사용된 음원의 재생 시간은 각 12초 이다. 분위기 수집에 참여한 인원은 총 211명이고, 제공된 음원샘플은 음악 101곡에서 추출된 총 281개로 189명에게는 41개의 음원샘플을 랜덤하게 제공하고, 13명에게는 전체 음원샘플을 제공하였다.
- 본 논문에서 구조 분석 기법을 이용하여 음악을 구간들로 나누고, 그 구간 중 대표 구간들을 자동으로 설정 후 다수의 사용자에게 그 구간들에 대한 분위기 값을 입력받은 후 이 값들을 바탕으로 구간의 대표 분위기를 결정하는 방법을 제안하였다. 또한, 이렇게 결정된 대표 분위기와 그 구간의 음악적 특징들을 이용하여 음악 분위기 판별 실험을 하였다. 이를 위해 음원의 분위기를 211명에게 수집하였고, 음원에서 특징들을 결정계수를 이용하여 특징의 수를 줄인 후 신경망을 이용하여 학습 및 판별을 하였다.
- 본 논문에서 구조 분석 기법을 이용하여 음악을 구간들로 나누고, 그 구간 중 대표 구간들을 자동으로 설정 후 다수의 사용자에게 그 구간들에 대한 분위기 값을 입력받은 후 이 값들을 바탕으로 구간의 대표 분위기를 결정하는 방법을 제안하였다. 또한, 이렇게 결정된 대표 분위기와 그 구간의 음악적 특징들을 이용하여 음악 분위기 판별 실험을 하였다.
- 본 논문에서는 유사구간을 획득한 후 유사구간의 시작부부터 12초 단위로 음악을 분리시키고, 분리된 12초 단위의 음원들 중 음악의 도입부에서 1개와 종결부에서 1개를 선택하고, 음원들의 에너지를 계산하여 에너지가 가장 큰 샘플을 1개 선택하였다. 즉 음악당 최대 3개의 샘플이 선택되지만 도입부나 종결부에 에너지가 최대인 경우 음악당 2개의 샘플이 선택된다.
- 본 논문에서는 음원의 분위기를 파악하기 위해 특징을 추출하였고, 추출된 특징 중에서 분별력이 좋은 특징을 추출하기 위해 결정계수를 계산하였다. 결정계수에 의해 획득한 특징을 신경망을 통하여 실험하였고, Leave-one-out 교차 검증방법을 이용하여 성능분석 하였다.
- 본 논문에서 사용한 신경망 구조는 (그림 5)와 같다. 신경망의 각 층의 구성은 입력층 50개, 출력층 4개로 구성하고, 은닉층의 수에 따라 성능적 차가 발생하여 은닉층을 가변적으로 구성시켰다. 즉, 본 논문의 실험에서 은닉층을 2개 부터 25개 까지 성능을 판별하고, 가장 좋은 은닉층을 선택하였다.
- 음원 특징은 [8]를 이용하여 추출하였고, 이 특징들은 대분류로 Dynamics, Fluctuation, Rhythm, Spectral, Timbre, Tonal 이고, 중분류로 MFCC, Tempo, Chromagram, Rolloff등을 포함한 28개이다. 이 28개의 특징들 각각에 대해 Mean, Std, Slope, PeriodFreq, PeriodAmp, PeriodEntropy등의 특징들을 획득하게 된다.
- 음원의 분위기 설문시 피 실험자에게 최대 3개 분위기를 입력 가능케 하였는데, 한 분위기에 최대 5점 부여가능하며, 여러분위기 입력시 총합이 5점 넘지 않도록 하였다. 또한 분위기 입력 시 제약 조건은 Angry와 Peaceful 같이 극과 극인 분위기들은 동시에 선택할 수 없도록 하였고, (그림 3)에서 etc는 입력자가 12개의 분위기 이외의 분위기를 느낄 수 있어 12개의 분위기 이외의 분위기를 느낀 경우 그 분위기를 입력할 수 있도록 하였다.
- 음원의 분위기와 분위기의 색상을 수집하기 위해 본 논문에서는 (그림 1)과 같이 음원을 분석하여 대표구간을 파악하고, 대표구간에서 추출한 음원을 웹을 이용하여 피 실험자에게 제공하여 피 실험자에게 음원의 분위기를 입력받았다. 웹을 통하여 입력받은 분위기를 최종적으로 데이터베이스에 저장하여 본 논문에서 분석하기 위한 자료로 구축하였다.
- , relaxed와 같이 12개의 분위기 단어이지만 결정 계수를 계산하기 위해 pleased부터 (그림 3)의 반시계 방향으로 각 분위기에 1~12까지 맵핑하여 계산 하였다. 이렇게 획득한 특징 계수를 이용하여 분별력 좋은 특징들을 추출 하였다.
- 또한, 이렇게 결정된 대표 분위기와 그 구간의 음악적 특징들을 이용하여 음악 분위기 판별 실험을 하였다. 이를 위해 음원의 분위기를 211명에게 수집하였고, 음원에서 특징들을 결정계수를 이용하여 특징의 수를 줄인 후 신경망을 이용하여 학습 및 판별을 하였다. 그리고 Leave-one-out 교차 검증을 통하여 성능 분석을 하였다.
- 입력층의 입력은 3.2에서 획득한 데이터를 사용하였고, 출력층은 4개로 구성하여 좌측부터 AV모델의 1사분면, 2사분면, 3사분면, 4사분면을 대응시켰다. 즉 O1, O2, O3, O4의 값이 (1, 0, 0, 0)은 AV모델의 1사분면을 의미하고, (0, 1, 0, 0)은 2사분면, (0, 0, 1, 0)은 3사분면, (0, 0, 0, 1) 은 4사분면을 의미한다.
- 가상코드 시퀀스가 추출된 후 가상코드 시퀀스 정보를 이용하여 음악의 특징적 구간(Segment)으로 나누기 위해 [6]에서 사용했던 히스토그램 기반 Soft k-Means 클러스터링 방법을 사용하였다. 즉 M 개의 세그먼트로 나누기 위해 우선 가상코드를 W의 크기를 가지는 윈도우를 한 스텝씩 이동시키며 윈도우 내의 시퀀스를 사용한 데이터 히스토그램을 생성하고, 각 데이터 히스토그램이 속해 있는 세그먼트 라벨을 할당하여 세그먼트 시퀀스를 생성하였다.
- Leave-one-out 교차 검증은 하나의 데이터를 테스트로 사용하고, 나머지 데이터를 학습으로 사용하는 방법으로 본 논문에서는 각 은닉층에 대하여 164번의 실험을 실시하였다. 즉, 2개의 은닉층 부터 25개의 은닉층 까지 각 164번의 실험을 실시하여 총 4,100번의 실험을 실시 하였다. 또한 신경망 학습 수를 3,000번과 4,000번을 실시 하였다.
- 1차 음향 특징은 각 프레임 별로 MPEG-7의 1/8 옥타브의 해상도를 가지는 ASE(Audio Spectrum Envelop)를 추출 한 후, PCA(Principal Component Analysis) 알고리즘을 통하여 상위 20 프로젝션(ASP(Audio Spectrum Projection)를 계산하여 사용한다. 하지만 본 논문에서는 PCA알고리즘에 의해 정규화 된 ASP 값을 사용할 경우는 각 프레임의 에너지 차이에 대한 정보가 사라지기 때문에 각 프레임별 파워 스펙트럼 값의 L2-Norm을 구하여 총 21차의 멜로디와 에너지 모두를 표현하는 음향 특징을 추출하였다.
대상 데이터
- 본 논문에서 획득한 음원 분위기의 수가 고루 분포되어 있지 않기 때문에 분위기를 3개씩 클러스터링 하여 AV 모델을 기준으로 4사분면으로 데이터를 구축하였고, 렌덤 선택방법을 이용하여 164개의 음원데이터를 사용하였다.
- 또한 헤드셋을 제공하여 외부에서 발생되는 소음을 방지하였고, 실험에 사용된 음원의 재생 시간은 각 12초 이다. 분위기 수집에 참여한 인원은 총 211명이고, 제공된 음원샘플은 음악 101곡에서 추출된 총 281개로 189명에게는 41개의 음원샘플을 랜덤하게 제공하고, 13명에게는 전체 음원샘플을 제공하였다. 음원의 분위기 설문시 제공된 웹 UI는 (그림 3)과같이 확장된 Theyer의 2차원 모델[7]을 이용하였다.
- 음원의 분위기와 분위기에 따른 색상을 수집하기 위한 환경은 10 ~ 17시, 한쪽 벽면이 어두운 유리(동쪽)인 실내에서 3일간에 걸쳐 데이터를 수집하였다. 또한 헤드셋을 제공하여 외부에서 발생되는 소음을 방지하였고, 실험에 사용된 음원의 재생 시간은 각 12초 이다.
데이터처리
- 본 논문에서는 음원의 분위기를 파악하기 위해 특징을 추출하였고, 추출된 특징 중에서 분별력이 좋은 특징을 추출하기 위해 결정계수를 계산하였다. 결정계수에 의해 획득한 특징을 신경망을 통하여 실험하였고, Leave-one-out 교차 검증방법을 이용하여 성능분석 하였다. 실험 결과, 3,000번 학습시 66%를, 4,000번 학습시 65%의 성능을 보였다.
- 이를 위해 음원의 분위기를 211명에게 수집하였고, 음원에서 특징들을 결정계수를 이용하여 특징의 수를 줄인 후 신경망을 이용하여 학습 및 판별을 하였다. 그리고 Leave-one-out 교차 검증을 통하여 성능 분석을 하였다. 실험결과, 3,000번 학습 시 은 닉층 17개를 이용하였을 때 66%의 판별율을 보였다.
이론/모형
- 1차 음향 특징은 각 프레임 별로 MPEG-7의 1/8 옥타브의 해상도를 가지는 ASE(Audio Spectrum Envelop)를 추출 한 후, PCA(Principal Component Analysis) 알고리즘을 통하여 상위 20 프로젝션(ASP(Audio Spectrum Projection)를 계산하여 사용한다. 하지만 본 논문에서는 PCA알고리즘에 의해 정규화 된 ASP 값을 사용할 경우는 각 프레임의 에너지 차이에 대한 정보가 사라지기 때문에 각 프레임별 파워 스펙트럼 값의 L2-Norm을 구하여 총 21차의 멜로디와 에너지 모두를 표현하는 음향 특징을 추출하였다.
- 프레임별 음향 특징들이 추출되면 가상코드 (또는 Timbre-Type) 시퀀스를 추출하기 위하여 HMM을 사용하였다. 가상코드 시퀀스가 추출된 후 가상코드 시퀀스 정보를 이용하여 음악의 특징적 구간(Segment)으로 나누기 위해 [6]에서 사용했던 히스토그램 기반 Soft k-Means 클러스터링 방법을 사용하였다. 즉 M 개의 세그먼트로 나누기 위해 우선 가상코드를 W의 크기를 가지는 윈도우를 한 스텝씩 이동시키며 윈도우 내의 시퀀스를 사용한 데이터 히스토그램을 생성하고, 각 데이터 히스토그램이 속해 있는 세그먼트 라벨을 할당하여 세그먼트 시퀀스를 생성하였다.
- 본 논문에서는 3.3과 같이 설정된 신경망을 이용하여 Leave-one-out 교차 검증방법을 이용하여 성능을 실험 하였다. Leave-one-out 교차 검증은 하나의 데이터를 테스트로 사용하고, 나머지 데이터를 학습으로 사용하는 방법으로 본 논문에서는 각 은닉층에 대하여 164번의 실험을 실시하였다.
- 대표구간 추출 방법은 음악 구조 정보를 추출하고, 분석된 구조정보를 이용하여 음악을 분리한 후 분리된 음원 중 음악의 에너지 값이 가장 큰 위치를 선택하여 대표음원을 추출하였다. 음악의 구조 분석은 상태열 기반 [6]의 유사 구간 클러스터링 방법을 사용하였다. [6]의 유사 구간 클러스터링 방법은 (그림 2)에서 점선부분까지로 음악 특징 벡터 추출, Timbre-Type 시퀀스 추출, Timbre-Type Soft k-Means 클러스터링 방법을 통하여 음악의 구조정보를 파악한다.
- 분위기 수집에 참여한 인원은 총 211명이고, 제공된 음원샘플은 음악 101곡에서 추출된 총 281개로 189명에게는 41개의 음원샘플을 랜덤하게 제공하고, 13명에게는 전체 음원샘플을 제공하였다. 음원의 분위기 설문시 제공된 웹 UI는 (그림 3)과같이 확장된 Theyer의 2차원 모델[7]을 이용하였다.
- 프레임별 음향 특징들이 추출되면 가상코드 (또는 Timbre-Type) 시퀀스를 추출하기 위하여 HMM을 사용하였다. 가상코드 시퀀스가 추출된 후 가상코드 시퀀스 정보를 이용하여 음악의 특징적 구간(Segment)으로 나누기 위해 [6]에서 사용했던 히스토그램 기반 Soft k-Means 클러스터링 방법을 사용하였다.
성능/효과
- 결정계수에 의해 획득한 특징을 신경망을 통하여 실험하였고, Leave-one-out 교차 검증방법을 이용하여 성능분석 하였다. 실험 결과, 3,000번 학습시 66%를, 4,000번 학습시 65%의 성능을 보였다.
- 실험 결과는 (그림 6)과 같고, 3,000번 학습시 은닉층 17개에서 66%로 3,000번 학습시 가장 좋은 성능을 가지고, 4000번 학습시 은닉층 7, 10, 25개에서 65%로 가장 좋은 성능을 가진다.
- 그리고 Leave-one-out 교차 검증을 통하여 성능 분석을 하였다. 실험결과, 3,000번 학습 시 은 닉층 17개를 이용하였을 때 66%의 판별율을 보였다.
- 신경망의 각 층의 구성은 입력층 50개, 출력층 4개로 구성하고, 은닉층의 수에 따라 성능적 차가 발생하여 은닉층을 가변적으로 구성시켰다. 즉, 본 논문의 실험에서 은닉층을 2개 부터 25개 까지 성능을 판별하고, 가장 좋은 은닉층을 선택하였다.
후속연구
- 향후, 판별 성능을 높이기 위하여 대표 구간 선택방법, 대표 분위기 선택방법 그리고 특징 축소방법 등에 대항보다 세밀한 연구가 필요하다. 이와 함께 분위기 클레스를 세분화한 경우의 성능분석 실험도 필요하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.