[논문]영상 처리와 딥러닝을 이용한 악보 코드 변환 프로그램

문지수; 김민지; 임영규; 공기석

doi:10.7236/jiibc.2021.21.1.69

영상 처리와 딥러닝을 이용한 악보 코드 변환 프로그램
Conversion Program of Music Score Chord using OpenCV and Deep Learning 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.21 no.1, 2021년, pp.69 - 77

문지수 (한국산업기술대학교 컴퓨터공학부) , 김민지 (한국산업기술대학교 컴퓨터공학부) , 임영규 (한국산업기술대학교 컴퓨터공학부) , 공기석 (한국산업기술대학교 컴퓨터공학부)

초록
AI-Helper

본 논문은 사용자가 입력한 PDF 악보를 사용자가 원하는 조(chord)의 MIDI 파일로 제공하는 앱의 개발을 다룬다. 이 앱은 사용자가 PDF 악보 파일과 바꾸고자 하는 조를 입력하면 조 변환을 위해 PDF 파일을 PNG 파일로 변환한다. 이를 영상 처리 알고리즘을 통해 악보의 음계를 인식하여 구분하고, 딥러닝을 통해 악보 음표의 박자를 인식하여 구분한다. 이를 통해 사용자가 원하는 조와 기존 악보의 MIDI 파일을 제공한다. 개발한 영상 처리 알고리즘과 딥러닝은 2, 4, 8, 16분 음표, 2, 4, 8, 16분 쉼표, 잇단 음표, 화음 음표가 인식 가능하다. 실험결과 악보의 음표 인식률 100%, 딥러닝 모델을 통한 박자 인식률은 90% 이상인 것을 확인하였다.

Abstract ▼ AI-Helper

This paper deals with the development of an application that converts the PDF music score entered by the user into a MIDI file of the chord the user wants. This application converts the PDF file into a PNG file for chord conversion when the user enters the PDF music score file and the chord which the user wants to change. After recognizing the melody of sheet music through image processing algorithm and recognizing the tempo of sheet music notes through deep learning, then the MIDI file of chord for existing sheet music is produced. The OpenCV algorithm and deep learning can recognize minim note, quarter note, eighth note, semi-quaver note, half rest, eighth rest, quarter rest, semi-quaver rest, successive notes and chord notes. The experiment shows that the note recognition rate of the music score was 100% and the tempo recognition rate was 90% or more.

주제어

표/그림 (19)

표 표 1. 관련 유사 서비스 및 프로그램 Table 1. Related Service and Program
표 표 2. 악보 기호 Table 2. Music Sheet Form
표 표 3. 올림표와 내림표에 따른 조 Table 3. Chord by sharp and flat
표 표 4. 조 별 으뜸음과 음계 Table 4. Tonality and Melody by Chord
그림 그림 1. 기존 A 조 악보 Fig. 1. Existing A Chord Music Sheet
그림 그림 2. 변환 된 B 조 악보 Fig. 2. Converted B Chord Music Sheet
그림 그림 3. MIDI 파일 예시 Fig. 3. Example of MIDI File
그림 그림 4. 시스템 구성도 Fig. 4. System Configuration Diagram
그림 그림 5. 악보 파일 입력 시스템 수행 시나리오 Fig. 5. Scenario of Music Sheet Input System
표 표 5. 소프트웨어 개발환경 Table 5. Software Development Environment
그림 그림 6. 조 변환 시스템 수행 시나리오 Fig. 6. Scenario of Chord Conversion System
그림 그림 7. 템플릿 매칭을 통한 음계 인식 순서도 Fig. 7. Flowchart of Melody Recognition by Template Matching
그림 그림 8. 꼬리가 이어진 음표 예시 Fig. 8. Example of Successive Note
그림 그림 9. 화음 음표 예시 Fig. 9. Example of Harmony Note
그림 그림 10. CNN 통한 박자 인식 순서도 Fig. 10. Flowchart of Tempo Recognition by CNN
표 표 6. 박자 인식 모델 훈련 및 검증 음표 데이터 수 Table 6. Number of Training and Verification Note Data for Tempo Recognition Model
표 표 7. 박자 인식 모델 층 구조 Table 7. Model Level Structure about Tempo Recognition
그림 그림 11. MIDI 파일 변환 순서도 Fig. 11. Flowchart of MIDI File Conversion
표 표 8. 음표 음계와 박자 인식 정확도 Table 8. Accuracy of Melody and Tempo Recognition

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 영상처리와 딥러닝을 통해 사용자에게 조 옮김 된 MIDI 파일을 제공하는 프로그램을 다룬다. 프로그램의 이름은 ‘OurChord’라 명한다.

제안 방법

CNN을 이용한 박자 인식 모델은 표 7과 같이 3개의 Conv2D, MaxPooling2D, Flatten, 2개의 Dense 레이어를 거쳐 음표의 강한 특징점을 추출하여 음표의 박자를 구분하도록 훈련하여 모델을 생성하였다. 2분 음표와 4분 음표의 배치 사이즈(Batch Size)는 40, 8분 음표와 16분 음표의 배치 사이즈는 20으로 설정하였고, Epoch는 200으로 설정하여 모델을 생성하였다.
본 논문의 악보 조 변환 프로그램은 기존 프로그램 및 서비스의 단점을 보완하여 잇단 음표와 화음음표를 포함한 음계 인식 정확도와 박자 인식 정확도를 높였고, 사용자에게 MIDI 파일을 제공한다. 또한 앱의 접근성을 보완하여 사용자가 쉽고 편리하게 악보를 수정하여 활용할 수 있도록 하였다.
OurChord 프로그램은 조 변환을 위해 악보 파일을 PNG 파일로 바꾼 뒤 개발한 영상 처리 알고리즘을 통해 악보에 나오는 음표의 음계, 딥러닝 훈련을 통해 생성한 박자 인식 모델을 통해 음표의 박자를 추출한다. 추출한 음표 정보를 통해 PDF 파일의 악보를 수정 가능한 MIDI 파일로 제공하도록 개발하였다.

대상 데이터

악보의 음표 음계를 인식하기 위해 개발한 영상처리 알고리즘과 박자를 인식하기 위한 모델의 정확도를 확인하기 위해 잇단 음표와 화음 음표가 모두 존재하는 악보 10개를 수집하여 악보 인식 정확도를 테스트하였다. 음표 음계 인식 정확도와 박자 인식 정확도를 아래 표 8로 나타내었다.

이론/모형

음표의 y좌표가 오선의 간격 이상 차이가 날 경우 화음 음표라 간주하고, y좌표에 따라 화음 음표의 각 음계를 구분한다. 악보의 쉼표를 인식하기 위해 템플릿 매칭을 사용하였다. 표 2의 쉼표는 음계가 없고 박자만 존재하기 때문에 템플릿 매칭만을 사용하여 쉼표를 인식하였다.

성능/효과

기존에 개발되어 있는 악보 프로그램 및 서비스는 음표 인식률이 매우 낮고, MIDI 파일을 제공하지 않아 악보를 수정할 수 없었다. 또한 매우 비싼 가격에 비해 음표 인식률이 매우 낮았고, 앱의 접근성이 좋지 않은 경우가 많았다.
기존에 개발되어 있는 악보 프로그램 및 서비스는 음표 인식률이 매우 낮고, MIDI 파일을 제공하지 않아 악보를 수정할 수 없었다. 또한 매우 비싼 가격에 비해 음표 인식률이 매우 낮았고, 앱의 접근성이 좋지 않은 경우가 많았다.
본 논문의 악보 조 변환 프로그램은 기존 프로그램 및 서비스의 단점을 보완하여 잇단 음표와 화음음표를 포함한 음계 인식 정확도와 박자 인식 정확도를 높였고, 사용자에게 MIDI 파일을 제공한다. 또한 앱의 접근성을 보완하여 사용자가 쉽고 편리하게 악보를 수정하여 활용할 수 있도록 하였다.
위의 악보 10개에 대한 실험 결과 음표의 음계를 인식하는 영상처리 알고리즘에 대한 정확도는 100% 로 매우 높은 것을 확인하였다. 그에 비해 박자 인식 정확도는 음계 정확도에 비해 낮은 것을 확인할 수 있다.

참고문헌 (20)

forScore, https://forscore.co
Musecore, https://musecore.org/en
Akbobada, https://www.akbobada.com
OpenCV, https://opencv.org
Morphological Transformations, https://docs.opencv.org/master/d9/d61/tutorial_py_morphological_ops.html
Erosion and Dilation, https://kr.mathworks.com/help/images/morphological-dilation-and-erosion.html
TemplateMatchig, https://docs.opencv.org/2.4/doc/tutorials/imgproc/histograms/template_matching/template_matching.html
CNN, https://en.wikipedia.org/wiki/Convolutional_neural_network
Jae-Myung You, "Music Score Recognition Robust to Noise Based on Template Matching", Graduate School of Chonnam National University for a Ph.D. Thesis, 2009, pp. 47-48.
Don-Kuk Yu, Vehicle Plate Extraction using Morphology Operation, Diploma Dissertation(M.S) Dept. of Computer Engineering Graduate School, Dongyang University 2002, pp. 5-7, pp. 17-22.
Young-Mo Han, "Two-dimension Automatic Transformation Template Matching for Image Recognition", Journal of the Korea Academia-Industrial cooperation Society, Vol 20, No 9, pp. 1-6, 2019. DOI : https://doi.org/10.5762/KAIS.2019.20.9.1

원문보기 상세보기
Kyung-Min Lee, Chi-Ho Lin, "Video Stabilization Algorithm of Shaking image using Deep Learning", The Journal of The Institute of Internet, Broadcasting and Communication, Vol 19, No 1, pp. 145-152, Feb. 28, 2019. DOI : https://doi.org/10.7236/JIIBC.2019.19.1.145

원문보기 상세보기
Jung-Jin Kim, Sung-Wook Jo, Young-Min Ji, "Image Classification Using CNN", Korea Information Technology Association, Korea Digital Content Association summer joint academic conference thesis collection in 2017.
MIDI, https://ko.wikipedia.org/wiki/MIDI
Garageband, https://www.apple.com/kr/ios/garageband/
Tensorflow, https://www.tensorflow.org/?hlko
Keras, https://keras.io/ko/
Geeks & Nerds, "Music for Geeks & Nerds Learn more about music with Python and a little bit of math", Ver. 1.5, pp. 31-41, Mar. 2015.
Keras Evaluate, https://keras.io/ko/models/model/
Sung-Woo Park, Kyong-Ho Han, Woo-Young Jang, "CNN Deep Learning Acceleration Algorithm for Mobile System", Joural of KIIT, Vol. 16, No. 10, pp. 1-9, Oct. 31. 2018. DOI : http://dx.dio.org/10.14801/jkiit.2018.16.10.1

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증