[논문]피아노 코드 연습 데이터를 활용한 맞춤형 학습 지원

정우성; 이은주; 최수아

doi:10.7236/jiibc.2023.23.1.191

피아노 코드 연습 데이터를 활용한 맞춤형 학습 지원
A technique to support the personalized learning based on the log data of piano chords practicing 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.23 no.1, 2023년, pp.191 - 201

정우성 (서울교육대학교 교육전문대학원) , 이은주 (경북대학교 컴퓨터학부) , 최수아 (경북대학교 컴퓨터학부)

초록
AI-Helper

IT기술을 교육 서비스에 접목시키는 에듀테크 시대가 도래함에 따라, 음악 교육에서도 다양한 시도들이 행해지고 있다. 교수자 중심에서 학습자 중심으로 옮아가면서 학습자 맞춤형 학습에 대해 관심이 높아졌으며, 이를 위해서 학습자의 숙련도를 파악하는 것이 필요하다. 피아노 학습에서 코드 운지법은 반주자가 필수적으로 익혀야 할 기법이다. 본 논문에서는 맞춤형 코드 운지법 학습 도구를 제안하고 코드 운지법 패턴 분석을 통한 활용 방안을 보였다. 구체적으로는, 학습자의 축적된 코드 연습 데이터를 활용하여 코드의 난이도나 학습자의 숙련도를 파악하고, 코드 사이의 유사도에 기반한 계층적 클러스터링을 수행하여 코드 클러스터들을 통하여 보다 향상된 코드 연습에 대한 활용방안을 제시하였다. 본 연구의 의의는 연습 데이터로부터 의미 있는 정보를 획득하여 맞춤형으로 코드 학습을 할 수 있다는 데 있다. 또한 테스트와 같은 부가적인 노력 없이, 연습 시에 저장되는 데이터들을 이용하여 숙련도와 코드 학습 난이도가 산정되므로 학습자 입장에서의 부담을 경감시킬 수 있다.

Abstract ▼ AI-Helper

As Edutech arises which is integrating IT technology into education, many related attempts have been tried on music education area. The focus has been shifted from the teachers to the learners, and this makes the personalized learning emerge. The learner's proficiency is an essential factor to support the personalized learning. The chord fingering is an important technique in piano learning. In this paper, a personalized learning tool for piano chords has been suggested. And then, several utilization ways have been described by analyzing the chords patterns. Specifically, the difficulty of the chords and the proficiency of the learner are derived from the accumulated practicing log data of the users. More effective learning way of the chords has been presented through hierarchical clustering based on chords similarity. Furthermore, the suggested approach where only the practicing log data are used lessens the learner's burden to measure the proficiency and the chord's difficulty without additional efforts like taking tests.

주제어

표/그림 (14)

그림 그림 1. 운지법 데이터에 대한 다양한 특징 Fig. 1. Encoded piano fingering patterns and calculated features of fundamental data
그림 그림 2. 피아노 운지법 패턴에서의 노트 분포 Fig. 2. Note distribution of piano fingering pattern
그림 그림 3. 피아노 운지법 패턴에서 옥타브 구분 없는 노트 분포 Fig. 3. Combined note distribution of piano fingering patterns
그림 그림 4. 피아노 운지법 연습 도구의 전체 구조 Fig. 4. Overall architecture of adaptive piano chord fingering practice tool
그림 그림 5. 개별 연습 로그 Fig. 5. Personalized Practice Log
그림 그림 6. 맞춤형 연습 로그를 구축하는 의사코드 Fig. 6. Pseudocode for constructing personalized practice log
그림 그림 7. 랜덤 운지법 패턴 연주 평균 소요 시간 Fig. 7. Avg. time of playing random fingering pattern sequence correctly
그림 그림 8. 건반 개수에 따른 운지법 패턴 연주 평균 소요 시간 Fig. 8. Avg. time of playing piano fingering patterns group by key count
그림 그림 9. 단계별 숙련도 곡선 Fig. 9. maturity curve of each phases
그림 그림 10. 성공에 소요되는 단계별 시간의 평균과 표준편차 Fig. 10. avg. and stdev. of SUCCESS time for each phase
그림 그림 11. 9,581개의 운지법 패턴에 대한 계층적 클러스터링 Fig. 11. Hierarchical clustering of 9,581 fingering patterns
그림 그림 12. 한 클러스터에 속한 구체적 운지법 Fig. 12. Detail fingering patterns of a cluster
그림 그림 13. 클러스터 연습 모듈과 랜덤 연습 모듈 비교 Fig. 13. Clustered practice module vs. random practice module
그림 그림 14. 클러스터와 랜덤 연습 모듈 양쪽에 사용된 운지법 패턴의 연주 시간 Fig. 14. Time of a pattern used both in Clustered and Random practice module

AI 본문요약
AI-Helper

문제 정의

본 연구에서는 학습자 맞춤형으로 피아노의 코드 운지법을 학습할 수 있는 도구를 제안하였다. 학습자가 연습시마다 축적된 로그들, 예를 들어 누른 건반과 시간 데이터로부터 연습한 코드, 바르게 누른 경우와 그렇지 않은 경우 등의 정보를 추출한다.
본 연구에서는 학습자의 연습 로그들을 분석하여 맞춤형 분석 및 숙련 파악이 가능한 피아노 운지법 학습 도구를 제안하였다. 학습자의 연습 로그들은 건반으로부터 미디 신호를 전달받아 학습자의 실수나 반응 시간 등을 포함한 정보를 얻게 되고 이를 분석하여 적응형으로 피아노 운지법 학습이 가능함을 보였다.

가설 설정

동시 건반의 개수, 건반과의 거리, 흑건과 백건의 비율은 반주자가 느끼는 기본적인 복잡도에 영향을 줄 것으로 생각되지만, 본 연구에서는 올바르게 피아노 건반을 누를 때까지의 시간이 연주자가 느끼는 복잡도나 숙련도, 인지 노력 등을 모두 반영하여 포함함을 가정하였다.

제안 방법

코드 거리 관련 연구들 다수는 비슷한 음악이나 코드를 찾거나 비교하려는 목적이 많고, 코드 연습 데이터에 초점을 맞춘 연구는 드문 상황이다. 본 연구에서는 코드 거리를 이용하여 유사한 코드 클러스터들을 만들어 연습에 활용하고자 한다.

성능/효과

본 연구에서는 학습자의 연습 로그들을 분석하여 맞춤형 분석 및 숙련 파악이 가능한 피아노 운지법 학습 도구를 제안하였다. 학습자의 연습 로그들은 건반으로부터 미디 신호를 전달받아 학습자의 실수나 반응 시간 등을 포함한 정보를 얻게 되고 이를 분석하여 적응형으로 피아노 운지법 학습이 가능함을 보였다. 또한 코드의 유사도를 통해 유사한 코드를 계층적으로 클러스터링하여 보다 효율적인 코드 학습의 가능성을 제시하였다.

후속연구

본 연구에서 학습자의 연습 로그를 기록하고, 분석하여 맞춤형 교육에 활용할 수 있는 구조와 접근법에 대해 제안하고, 관련 도구 구현과 실제 실험을 통해 이를 검증하였으나 연구 시간의 제약으로 인해 대규모의 장기 학습 과정에 대한 실험을 진행하지 못하였다. 이로 인하여, 지속적인 맞춤형 교육의 효과를 확인해야 하는 숙제가 남아 있다.
또한, 개별 숙련도의 유사도를 활용하여 악보 추천 등 응용 학습에 활용할 가능성을 보이고, 이를 실현할 수 있는 아키텍처는 제시하였으나, 전체 학습 주기를 지원하는 플랫폼 수준의 구현을 통해 다양한 응용 사례의 효과성을 입증하지 못한 아쉬움이 있다. 이에, 향후 연구로 악보 추천, 난이도 및 연습 시간에 따른 유연한 맞춤형 교육 자동화, 연습 보고서 생성, 진도 및 이력 관리 등 다양한 개별 응용 도구를 구현하고 확장함으로써 유기적으로 맞물려 동작하는 맞춤형 교육 통합 서비스 개발과 이에 대한 효과성 연구가 필요할 것으로 보인다.

참고문헌 (24)

Y. Koo, "Trends and Prospects of the Edutech？Industry", ASTI MARKET INSIGHT, 2022-087,ISBN？978-89-294-1306-4 (93500).？https://repository.kisti.re.kr/bitstream/10580/18021/1/ASTI%20MARKET%20INSIGHT%20087%280712%29.pdf
I. Park, "An Instructional Design for the Converged？English-Science Teaching Method using PBL Model in？Elementary School", Journal of the Korea？Academia-Industrial cooperation Society, Vol. 21 No.？7, pp. 66-72, Jul. 2020.？DOI: https://doi.org/10.5762/KAIS.2020.21.7.66

원문보기 상세보기
W. Jung, "A Design for the Personalized Difficulty？Level Metric based on Learning State", Journal of the？Korea Convergence Society, Vol. 11, No. 3, pp. 67-75,？Mar 2020.？DOI: https://doi.org/10.15207/JKCS.2020.11.3.067

원문보기 상세보기
C. Lin and D. Liu, "An Intelligent Virtual Piano Tutor",？Proceedings of the 2006 ACM international？conference on Virtual reality continuum and its？applications, pp. 353-356, Jun 2006.？DOI: https://doi.org/10.1145/1128923.1128986
X. Xue and Z. Jia, "The Piano-Assisted Teaching？System Based on an Artificial Intelligent Wireless？Network", Wireless Communications and Mobile？Computing, pp. 1-9, Jan 2022.？DOI: https://doi.org/10.1155/2022/5287172

상세보기
D. Lee, S. Kim and N. Park, "The Blockchain-based？Online Learning Platform for the Untact Education？Environment in the Post-COVID-19 Era", Journal of？KIIT, Vol. 18, No. 11, pp. 109-121, Nov. 2020.？DOI: https://doi.org/10.14801/jkiit.2020.18.11.109

상세보기
W. Jung, "A Genetic Algorithm Based Learning Path？Optimization for Music Education", Journal of the？Korea Convergence Society, Vol. 10, No. 2, pp. 13-20,？Feb 2019.？DOI: https://doi.org/10.15207/JKCS.2019.10.2.013

원문보기 상세보기
W. Jung and E. Lee, "Analysis technique to support？personalized music education based on learner and？chord data", Journal of the Korea Convergence？Society, Vol. 12, No. 2, pp. 51-60, Feb 2021.？DOI: https://doi.org/10.15207/JKCS.2021.12.2.051

원문보기 상세보기
Y. Hong, "Smart Education System", Journal of the？Institute of Internet, Broadcasting and Communication,？Vol.13, No.2. pp.255-260, Apr.2013.？DOI: https://doi.org/10.7236/JIIBC.2013.13.2.255

원문보기 상세보기
Y. Nishikawa and T. Matsumura, "Proficiency Estimation？Method of Vibrato in Electric Guitar", Journal of？Information and Communication Engineering, Vol. 7,？No. 2, pp. 462-466, Dec 2021.
S. Giraldo, R. Ramirez, G. Waddell and A. Williamon,？"A Real-time Feedback Learning Tool to Visualize？Sound Quality in Violin Performances", 10th？International Workshop on Machine Learning and？Music, pp. 19-24, Oct 2017.？DOI: https://doi.org/10.5281/zenodo.2580053
M. Okemoto and M. Miura, "Relation between subjective？evaluation for proficiency, expression or technique？and acoustic feature on violin performance",？International Symposium on Music Acoustics, pp.？13-17, Sep 2019.
T. Nakano, M. Goto and Y. Hiraga, "An Automatic？Singing Skill Evaluation Method for Unknown？Melodies Using Pitch Interval Accuracy and Vibrato？Features", International Conference on Spoken？Language Processing, Sep 2006.？DOI: https://doi.org/10.21437/interspeech.2006-474
S. Akinaga, M. Miura, N. Emura and M. Yanagida,？"Toward realizing automatic evaluation of playing？scales on the piano", 9th International Conference on？Music Perception and Cognition, pp. 1843-1847, Aug？2006.
A. Nonogaki, S. Shimazu, N. Emura, M. Miura, S.？Akinaga and M. Yanagida, "Use of spline curve to？evaluate performance proficiency of Czerny piano？piece", International Symposium on Performance？Science, pp. 69-74, 2011.
A. Nonogaki, N. Emura, M. Miura, S. Akinaga and M.？Yanagida, "Evaluation parameters for proficiency？estimation of piano based on tendency of moderate？performance", International Conference on Music？Perception and Cognition, pp. 728-737, 2012.
S. Shimazu and M. Miura, "Method for estimating？proficiency in playing acoustic piano", International？Congress on Acoustics, 2010.
H. Kato and M. Miura, "Use of eigenperformances to？analyze proficiency of piano performance", The？Acoustic Society of Japan, Vol. 36, No. 4, pp.？336-339, 2015.？DOI: https://doi.org/10.1250/ast.36.336

상세보기
L. Marsik, M. Rusek, K. Slaninova, J. Martinovie, and？J. Pokorny. "Evaluation of Chord and Chroma？Features and Dynamic Time Warping Scores on Cover？Song Identification Task", Proc. of Int'l Conf. on？Computer Information Systems and Industrial？Management, pp. 205-217, May 2017.？DOI: https://doi.org/10.1007/978-3-319-59105-6_18
R. B. Dannengerg and N. Hu, "Pattern Discovery？Techniques for Music Audio", Proc. of 3rd Int'l Conf.？on Music Information Retrieval, Vol. 32, No. 2, pp.？63-70, Jun 2003.？DOI: https://doi.org/10.1076/jnmr.32.2.153.16738

상세보기
L. Marsik, "Student Research Abstract: Using Chord？Distance Descriptors to Enhance Music Information？Retrieval", Prof. of the Symposium on Applied？Computing, pp. 963-964, Apr 2017.？DOI: https://doi.org/10.1145/3019612.3019939
C. A. Huang, D. Duvenaud, and K. Z. Gajos,？"ChordRipple: Recommending Chords to Help Novice？Composers Go Beyond the Ordinary", Proc. of the？21st Int'l Conf. on Intelligent User Interfaces, pp.？241-250, Mar 2016.？DOI: https://doi.org/10.1145/2856767.2856792
M. Rohrmeier and I. Cross. "Statistical Properties of？Tonal Harmony in Bach's Chorales", Proc. of 10th？Int'l Conf. on Music Percepion and Cognition, Jan？2008.
PHILDAVEMUSIC: https://phildavemusic.com/

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증