악보인식기술에는 형상 매칭 방법, 통계적인 방법, 신경망을 이용한 방법, 구조적 방법 등이 있다. 본 논문에서는 핸드폰의 디지털 카메라로 얻은 저해상도 이미지를 인식하는 기술에 대해 접근한다. 이러한 저해상도 이미지에는 많은 왜곡이 포함되어 있어 기존 기술을 활용할 때 많은 문제점들을 나타난다. 문제점은 입력영상이 저해상도이며 조명 등의 촬영 상태가 좋지 않는 점이며, 인식 이전 단계 과정에서 음표 부분에 손실과 약간의 변형이 생긴다는 것이다. 이들 인식 방법들의 일반적인 흐름은 먼저, 디지털이미지를 확보하기 위해 카메라 기능을 이용하여 획득한다. 그런 후에 이진화, 오선 제거, 객체영역 분리가 이루어진 후 인식과정을 통해 악보 인식이 이루어진다. 본 연구에서는 특히 핸드폰이라는 제한적인 상황에서 탑재된 카메라를 통해 획득된 이미지를 대상으로 이러한 문제점을 극복하기 위한 인식 기술을 연구하였다. 먼저, 음표를 머리, 대, 꼬리 부분으로 분리하였다. 그리고 음표의 머리 부분에 템플릿을 적용하였고, 나머지 부분에는 패턴을 적용하여 단일 음표로 이루어진 악보에 대해서 100% 가까운 인식률을 얻을 수 있었다.
악보인식기술에는 형상 매칭 방법, 통계적인 방법, 신경망을 이용한 방법, 구조적 방법 등이 있다. 본 논문에서는 핸드폰의 디지털 카메라로 얻은 저해상도 이미지를 인식하는 기술에 대해 접근한다. 이러한 저해상도 이미지에는 많은 왜곡이 포함되어 있어 기존 기술을 활용할 때 많은 문제점들을 나타난다. 문제점은 입력영상이 저해상도이며 조명 등의 촬영 상태가 좋지 않는 점이며, 인식 이전 단계 과정에서 음표 부분에 손실과 약간의 변형이 생긴다는 것이다. 이들 인식 방법들의 일반적인 흐름은 먼저, 디지털이미지를 확보하기 위해 카메라 기능을 이용하여 획득한다. 그런 후에 이진화, 오선 제거, 객체영역 분리가 이루어진 후 인식과정을 통해 악보 인식이 이루어진다. 본 연구에서는 특히 핸드폰이라는 제한적인 상황에서 탑재된 카메라를 통해 획득된 이미지를 대상으로 이러한 문제점을 극복하기 위한 인식 기술을 연구하였다. 먼저, 음표를 머리, 대, 꼬리 부분으로 분리하였다. 그리고 음표의 머리 부분에 템플릿을 적용하였고, 나머지 부분에는 패턴을 적용하여 단일 음표로 이루어진 악보에 대해서 100% 가까운 인식률을 얻을 수 있었다.
For music score recognition, several approaches have been proposed including shape matching, statistical methods, neural network based methods and structural methods. In this paper, we deal with recognition for low resolution images which are captured by the digital camera of a mobile phone. Conside...
For music score recognition, several approaches have been proposed including shape matching, statistical methods, neural network based methods and structural methods. In this paper, we deal with recognition for low resolution images which are captured by the digital camera of a mobile phone. Considerable distortions are included in these low resolution images, so when existing technology is used, many problems appear. First, captured images are not stable in the sense that they contain lots of distortions or non-uniform illumination changes. Therefore, notes or symbols in the music score are damaged and recognition process gets difficult. This paper presents recognition technology to overcome these problems. First, musical note to head, stick, tail part are separated. Then template matching on head part of musical note, and remainder part is applied. Experimental results show nearly 100% recognition rate for music scores with single musical notes.
For music score recognition, several approaches have been proposed including shape matching, statistical methods, neural network based methods and structural methods. In this paper, we deal with recognition for low resolution images which are captured by the digital camera of a mobile phone. Considerable distortions are included in these low resolution images, so when existing technology is used, many problems appear. First, captured images are not stable in the sense that they contain lots of distortions or non-uniform illumination changes. Therefore, notes or symbols in the music score are damaged and recognition process gets difficult. This paper presents recognition technology to overcome these problems. First, musical note to head, stick, tail part are separated. Then template matching on head part of musical note, and remainder part is applied. Experimental results show nearly 100% recognition rate for music scores with single musical notes.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그래서 본 논문에서는 이러한 이미지에 포함된 에러와 변형으로부터 강인한 인식기술을 개발하는 것에 목표를 두었다. 그리고 인식기술을 개발하기 위해 먼저, 음표의 특성을 연구하였고 음표는 크게 머리, 대, 꼬리 부분으로 이루어져 있다는 중요한 특징을 발견하였다.
악보의 형태는 매우 다양하며 그것을 규정하기가 매우 어렵다. 본 논문에서는 이러한 매우 복잡한 악보의 형태를 관찰하여 음표와 비음표 부분으로 개선된 분류 체계를 세웠다. 또한 음표 부분에 대해서는 수직성분을 기준으로 하여 머리 형태가 Top인지 Bottom인지를 결정하고 이렇게 해서 머리, 대, 꼬리 부분을 분리하고 부분적 템플릿 매칭과 패턴 매칭을 통한 인식기를 정의하였다.
본 논문은 모바일 환경에서의 인식기의 성능에 초점을 두었다. 신경망은 매우 많은 계산량이 필요하며 또한 저해상도의 영상에서의 발생한 오류를 해결하는데 어려움을 가지고 있다.
이러한 기술 동향 중에 모바일 폰에 탑재된 디지털 카메라를 이용하여 악보를 인식하는 기술이 있다. 본 연구는 핸드폰의 디지털카레라를 이용하여 악보 이미지를 획득하고 인식한 후에 연주를 듣는 기술을 다루고 있다.
이 논문은 기호의 크기순으로 분리하였고, 음표, 쉼표, 조표 등으로 인식되는 부분을 제외하고는 악보상잡영으로 제거하였다. 이 논문에서는 크기에 의한 분류로 인해 왜곡이 발생할 경우 인식률이 떨어짐을 지적하였다. 인식률은 왜곡이 없는 경우 97.
본 논문에서 사용한 이미지는 SAMSUNG Mobile Phone(B3200)에서 획득된 이미지를 사용하였다. 이 논문은 일반적인 디지털 카메라와 같이 필터 기능, 높은 해상도, 오토 포커싱이 지원되지 않는 핸드폰의 카메라 기능에 국한하였다. 이유는 핸드폰에서 바로 악보 이미지를 획득하고 약 15초 내의 실시간 재생을 목표로 했기 때문이다.
제안 방법
그래서 본 논문에서는 이러한 이미지에 포함된 에러와 변형으로부터 강인한 인식기술을 개발하는 것에 목표를 두었다. 그리고 인식기술을 개발하기 위해 먼저, 음표의 특성을 연구하였고 음표는 크게 머리, 대, 꼬리 부분으로 이루어져 있다는 중요한 특징을 발견하였다. 그래서 이러한 특징을 이용하여 머리 부분은 템플릿 매칭을, 꼬리부분에는 패턴 매칭을 적용하였고, 실험한 결과 만족할만한 좋은 성능을 확보하였다.
또한 음표 부분에 대해서는 수직성분을 기준으로 하여 머리 형태가 Top인지 Bottom인지를 결정하고 이렇게 해서 머리, 대, 꼬리 부분을 분리하고 부분적 템플릿 매칭과 패턴 매칭을 통한 인식기를 정의하였다. 그리고, 추가적으로 기존의 분류체계에서는 점인식을 기호로 분류한 반면 제안한 논문에서는 음표 인식 부분에 추가함으로서 후처리의 난점을 보완하였다. 그리고 제안한 접근 방법에 의해 실험한 결과 단일 음표로 구성된 동요에 대해서는 거의 정밀한 인식 효과를 얻을 수 있었다.
음표 부분의 마지막 감지 영역은 점 성분이다. 기존의 분류방법들은 비음표부분으로 점 영역을 분류하는데 본 논문에서 제안한 분류체계에서는 점 성분이 음표 분류 영역에 포함되어 있다.
본 논문에서는 이러한 매우 복잡한 악보의 형태를 관찰하여 음표와 비음표 부분으로 개선된 분류 체계를 세웠다. 또한 음표 부분에 대해서는 수직성분을 기준으로 하여 머리 형태가 Top인지 Bottom인지를 결정하고 이렇게 해서 머리, 대, 꼬리 부분을 분리하고 부분적 템플릿 매칭과 패턴 매칭을 통한 인식기를 정의하였다. 그리고, 추가적으로 기존의 분류체계에서는 점인식을 기호로 분류한 반면 제안한 논문에서는 음표 인식 부분에 추가함으로서 후처리의 난점을 보완하였다.
이러한 악보를 인식하기 위해 템플릿 매칭을 이용하는 일반적인 접근 기법은 다음과 같다. 먼저, 악보에 대한 템플릿을 얻기 위해 PC기반 악보 생성 프로그램을 이용하여 음표 및 악상 기호의 평균 영상을 각 기호의 템플릿으로 지정한다.
이 논문에서는 음표를 다음과 같은 계층구조로 나누고 템플릿 매칭을 적용하였다.
이 논문은 기호의 크기순으로 분리하였고, 음표, 쉼표, 조표 등으로 인식되는 부분을 제외하고는 악보상잡영으로 제거하였다. 이 논문에서는 크기에 의한 분류로 인해 왜곡이 발생할 경우 인식률이 떨어짐을 지적하였다.
대상 데이터
본 논문에서 사용한 이미지는 SAMSUNG Mobile Phone(B3200)에서 획득된 이미지를 사용하였다. 이 논문은 일반적인 디지털 카메라와 같이 필터 기능, 높은 해상도, 오토 포커싱이 지원되지 않는 핸드폰의 카메라 기능에 국한하였다.
이유는 핸드폰에서 바로 악보 이미지를 획득하고 약 15초 내의 실시간 재생을 목표로 했기 때문이다. 여기서 사용된 핸드폰의 촬영한 이미지이며 해상도는 1600x1200이다. 그리고, 본 논문에서 제안한 알고리즘의 성능을 증명하기 위해 비교 논문[5]에서 제시한 특정 이미지에 대해 비교 실험한 결과를 표 1에서 보여주고 있다.
성능/효과
그리고 인식기술을 개발하기 위해 먼저, 음표의 특성을 연구하였고 음표는 크게 머리, 대, 꼬리 부분으로 이루어져 있다는 중요한 특징을 발견하였다. 그래서 이러한 특징을 이용하여 머리 부분은 템플릿 매칭을, 꼬리부분에는 패턴 매칭을 적용하였고, 실험한 결과 만족할만한 좋은 성능을 확보하였다.
그리고, 추가적으로 기존의 분류체계에서는 점인식을 기호로 분류한 반면 제안한 논문에서는 음표 인식 부분에 추가함으로서 후처리의 난점을 보완하였다. 그리고 제안한 접근 방법에 의해 실험한 결과 단일 음표로 구성된 동요에 대해서는 거의 정밀한 인식 효과를 얻을 수 있었다.
신경망은 매우 많은 계산량이 필요하며 또한 저해상도의 영상에서의 발생한 오류를 해결하는데 어려움을 가지고 있다. 본 논문은 음표의 분류 체계를 개선함으로서 매우 좋은 성능을 나타내었고 분류 체계에 의한 부분적 템플릿 적용과 패턴 매칭을 이용함으로 계산량을 줄였다. 이러한 분류 기준은 관련연구에서 참고할 개선된 모델이 될 것으로 기대한다.
후속연구
향후 연구에서는 비음표 부분에 대한 분류체계를 정의할 것이며, 추가적으로 멀티 헤더에 대한 부분도 보완하고자 한다.
질의응답
핵심어
질문
논문에서 추출한 답변
신경회로망을 이용한 시스템은 무엇인가?
인공 신경망(ANN: Artificial Neural Networks)을 이용한 방법으로 인간의 신경망 조직을 모형으로 하여 많은 수의 단순한 프로세스들을 연결하여 패턴을 인식하는 기술이다. 신경회로망을 이용한 시스템은 학습과 기억을 통하여 문자를 인식하는 동적인 시스템이다. 이러한 동적 특성으로 인해 훈련되지 않은 다른 패턴에도 쉽게 적용할 수 있는 가능성이 있다.
악보인식기술에는 어떠한 방법들이 있는가?
악보인식기술에는 형상 매칭 방법, 통계적인 방법, 신경망을 이용한 방법, 구조적 방법 등이 있다. 본 논문에서는 핸드폰의 디지털 카메라로 얻은 저해상도 이미지를 인식하는 기술에 대해 접근한다.
저해상도 이미지가 가지는 문제점은?
이러한 저해상도 이미지에는 많은 왜곡이 포함되어 있어 기존 기술을 활용할 때 많은 문제점들을 나타난다. 문제점은 입력영상이 저해상도이며 조명 등의 촬영 상태가 좋지 않는 점이며, 인식 이전 단계 과정에서 음표 부분에 손실과 약간의 변형이 생긴다는 것이다. 이들 인식 방법들의 일반적인 흐름은 먼저, 디지털이미지를 확보하기 위해 카메라 기능을 이용하여 획득한다.
참고문헌 (10)
이이삭, 최나영, 김인중, "선 추적과 템플릿 매칭을 이용한 악보 인식 시스템", 2007 한국컴퓨터 종합학술대회 논문집, 제34권, 제1호, pp.417-421, 2007.
전진석, "동적 후보 영역과 이중 템플릿 매칭을 이용한 차량 번호판 추출 및 인식", 한밭대 정보통신전문대학원 석사논문, 2004.
오영준 외 2명, "템플릿 매칭에 기반한 한글 지문자 인식", 신호처리 합동학술대회 논문집, 제20권, 제1호, 2007.
이성기,신채욱,"신경망을 이용한 악보인식",한국정보과학회 논문지 제21권, 제7호, 1994.
박건희 외 5인, "휴대폰 카메라로 촬영한 악보 영상 인식을 위한 의사트리 알고리즘", 한국콘텐츠학회논문지, 제8권, 제6호, 2008.
M. Hidetoshi, Yasuaki Nak ano,"Head and Stem Extraction from Printed Music Scores Using a Neural Network Approach," IEEE, 1995.
T. Fubito, "Symbol Recognition of Printed Piano Scores with Touching Symbols," Pattern Recognition, ICPR 18th International Conference, pp.480-483, 2006.
F. Bernhard, "Orientation template matching for Face Localization in Complex Visual Scenes," Image Processing . International Conference, Vol.2. pp.251-254, 2000.
K. Kunio, "Music Recognition Using Note Transition Context," Acoustics, Speeh and Signal Processing, IEEE International Conference, Vol.2, pp.3593-3598, 1998.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.