초록 ▼

연구개요
본 연구는 “피아노 전문가와 함께 협력하여 피아노 연주자세와 소리의 관련성을 모델링 하며 순환신경망의 일종인 LSTM(Long-Short Term Memory) 모델을 사용하여 피아노 연주 시 자세와 소리의 질 간의 상관관계를 학습하고 이를 교육 방법에 활용하는 방안”을 제안한다.

연구 목표대비 연구결과
① 피아노 연주 자세와 소리의 관련성 모델링 연구 및 수집도구툴 개발 : 본 연구에서는 피아노 전문가 자문, 연주자세모델링 관련연구 조사를 통해 특정 연주 자세와 소리의 상관성 모델링 기법을 연구한다

연구개요
본 연구는 “피아노 전문가와 함께 협력하여 피아노 연주자세와 소리의 관련성을 모델링 하며 순환신경망의 일종인 LSTM(Long-Short Term Memory) 모델을 사용하여 피아노 연주 시 자세와 소리의 질 간의 상관관계를 학습하고 이를 교육 방법에 활용하는 방안”을 제안한다.

연구 목표대비 연구결과
① 피아노 연주 자세와 소리의 관련성 모델링 연구 및 수집도구툴 개발 : 본 연구에서는 피아노 전문가 자문, 연주자세모델링 관련연구 조사를 통해 특정 연주 자세와 소리의 상관성 모델링 기법을 연구한다. 단일행동이 아닌 복합행동으로 이루어지는 피아노 연주의 특성을 고려하지 못하여 모델 학습시 유튜브로부터 수집한 전체길이의 연주 영상을 사용한은 명확하게 피아노 연주 자세와 소리의 관련성을 파악하지 못하였다. 이와 달리 본 연구에서는 피아노 전문가와 함께 피아노 연주 자세와 소리의 관련성을 모델링하고 모델링한 시나리오대로 촬영한 영상을 사용하여 피아노 연주 자세와 소리의 관련성을 분석한다.
피아노연주 자세와 소리 수집방법은 그림2와 같다. 첫 번째 스텝은 시나리오대로 연주 영상을 촬영한다. 두 번째 스텝에서는 추출한 영상을 하나로 합치고 딥러닝 모델의 입력 값으로 사용될 수 있도록 일정한 길이의 영상으로 자른다. 세 번째 스텝은 자세와 소리의 관련성 파악을 위해 영상에서 스켈레톤 정보와 음성 데이터를 추출하는 단계이다. Openpose 등과 같은 딥러닝 기반 스켈레톤 추출 알고리즘을 사용하여 스켈레톤을 추출하고, 추출된 음성 데이터는 특징 추출이 용이한 mel-spectrogram으로 변환된다.
② LSTM 기반 피아노 연주 자세와 소리의 관련성 학습 및 자세예측모델 최적화 연구 : 본 연구에서는 순환신경망의 일종인 LSTM(Long-Short Term Memory) 모델을 활용하여 피아노 연주 자세와 소리의 상관관계를 학습 및 피아노 연주자세를 예측하는 모델 최적화 연구를 진행한다. LSTM은 주로 시계열 데이터 처리에 사용되고 딥러닝 모델 중 순환 신경망에 해당된다. LSTM은 현재의 입력 값뿐만 아니라 과거의 결정을 고려하여 현재 결정을 내린다. 시계열 데이터 처리가 필요한 분야인 행동 분류, 텍스트 마이닝, 비디오 트랜스크립션 등에 사용된다. 피아노 연주 자세와 소리의 상관관계 학습 모델은 그림 3과 같다. INPUT(입력 값)으로 mel spectrogram이 사용되고 OUTPUT(결과 값)으로 자세 스켈레톤 정보가 사용된다.
m은 딥러닝 모델인 LSTM(Long short term memory)을 의미하며 입력 값과 결과값의 상관관계를 학습한다. 피아노 연주 자세와 소리의 상관관계 학습 후에는 훈련된 모델을 사용하여 피아노 연주 소리로부터 피아노 연주 자세를 예측하고 실제 자세와 예측한 자세를 비교하는 것을 통해 두 가지 요소의 상관관계를 분석한다.
③ 스마트 피아노 러닝 어플리케이션 개발 : 피아노 연주 자세와 소리의 관련성을 파악하여 이를 피아노 교유겡 활용할 수 있는 방안을 제시한다. 이를 위하여 질이 안 좋은 소리와 관련된 자세 인식하는 기능, 질이 좋은 소리를 내는 자세 추천 기능 등을 개발할 예정이다.

연구개발결과의 중요성
피아노 연주 자세와 소리의 관련성을 파악하는 것은 새로운 피아노 교육 패러다임을 제공 할 수 있다. 현재는 피아노 선생님들이 학생들이 좋은 소리를 낼 수 있도록 학생들의 자세를 올바르게 교정해 준다. 하지만 학생이 혼자서 연습할 경우나 자세와 소리의 관련성에 충분한 인지가 없는 선생님에게 교육 받을 경우 학생이 피아노 연주 소리의 질을 높이는 것이 어렵다. 제안하는 방법으로 피아노 연주 자세와 소리의 관련성을 공식화하여 피아노 교육 지침으로써 활용 될 수 있다.

(출처 : 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 3
• 2. 연구수행내용 및 연구결과 ... 4
• ① 피아노 연주 자세와 소리의 관련성 모델링 연구 및 수집도구툴 개발 ... 4
• ② LSTM 기반 피아노 연주 자세와 소리의 관련성 학습 및 자세예측모델 최적화 연구 ... 6
• ③ 스마트 피아노 러닝 어플리케이션 개발 ... 7
• 3. 연구개발결과의 중요성 ... 9
• 4. 참고문헌 ... 9
• 5. 연구성과 ... 10
• 끝페이지 ... 10