선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 악보 구성 기호를 추출하고 인식하는 방법을 제안하였다. 악보 구성 기호의 추출은 악보 영상을 그레이 레벨로 변환한 후, 평균 이진화 방법을 적용하여 이진화하고 4 방향 윤곽선 알고리즘을 적용하여 작은 악절 영역을 추출하였다.
- 따라서 악보 작성이 디지털화됨으로 인하여 악보가 전용 소프트웨어로 제작되고 있지만, 기존의 악보 제작 소프트웨어들은 다른 소프트웨어들로 작성된 악보들은 편집하지 못하거나 인쇄된 악보의 경우에는 편집이 어렵다는 단점이 있다. 악보의 편집을 위해 수작업으로 악보를 입력하게 되면 빠르고 정확한 입력을 할 수가 없다[1丄 따라서 본 논문에서눈이러한 문제점을 개선하기 위하여 스캔으로 획득한 악보 영상에 대한 인식 방법을 제안한다. 악보의 정확한 인식을 위해 획득한 악보 영상에 평균 이진화를 적용하여 이진화 하고, 이진화된 영상을 4방향 윤곽선 추적 알고리즘을 적용하여 악보 구성 기호외의 잡음 영역을 제거한다.
제안 방법
- 개별 코드 인식을 위해 적용된 Hierarchical ART2 알고리즘의 학습 및 인식 성능을 평가하기 위하여 100개의 악보 영상에서 추출한 악보 구성 기호 88개를 학습 패턴으로 적용하였다. 그리고 테스트 패턴은 기호 코드 10467개를 테스트 하였다.
- 본 논문에서 제안한 악보 구성 기호 추출 방법은 평균 이진화 기법을 적용하여 악보 영상을 이진화 한 후에 4방향 윤곽선 추적 알고리즘으로 작은 악절 영역을 추출한다. 추출된 작은 악절 영역의 수평 히스토그램을 이용하여오선를 제거한 후, Grassfire 알고리즘을 이용하여 악보 구성 기호들을 추출하고 서로 연결되어 있는 음표들을 분리한다.
- 악보 구성 기호를 추출하기 위해 Grassfire 알고리즘으로 라벨링 하여 악보 구성 기호를 추출하였고, 추출된 악보 구성 기호들을 확대할 경우에 발생하는 두께의 차이를 줄이기 위하여 세선화 하였다. 세선화 된 기호들 중 잇단 음표들은 수직 히스토그램을 적용하여 분리시키고 정규화하여 악보 구성 기호들을 추출하였다. 추출된 기호들은 Hierarchical ART2 알고리즘을 적용하여 각 악보 구성 기호들을 인식하였다.
- 작은 악절 영역에 포함되지 않는 제목, 가사 등은 잡음으로 간주하여 제거하였고, 작은 악절 영역에서 오선은 수평 히스토그램을 적용하여 제거하였다. 악보 구성 기호를 추출하기 위해 Grassfire 알고리즘으로 라벨링 하여 악보 구성 기호를 추출하였고, 추출된 악보 구성 기호들을 확대할 경우에 발생하는 두께의 차이를 줄이기 위하여 세선화 하였다. 세선화 된 기호들 중 잇단 음표들은 수직 히스토그램을 적용하여 분리시키고 정규화하여 악보 구성 기호들을 추출하였다.
- 방법을 제안하였다. 악보 구성 기호의 추출은 악보 영상을 그레이 레벨로 변환한 후, 평균 이진화 방법을 적용하여 이진화하고 4 방향 윤곽선 알고리즘을 적용하여 작은 악절 영역을 추출하였다. 작은 악절 영역에 포함되지 않는 제목, 가사 등은 잡음으로 간주하여 제거하였고, 작은 악절 영역에서 오선은 수평 히스토그램을 적용하여 제거하였다.
- 악보의 편집을 위해 수작업으로 악보를 입력하게 되면 빠르고 정확한 입력을 할 수가 없다[1丄 따라서 본 논문에서눈이러한 문제점을 개선하기 위하여 스캔으로 획득한 악보 영상에 대한 인식 방법을 제안한다. 악보의 정확한 인식을 위해 획득한 악보 영상에 평균 이진화를 적용하여 이진화 하고, 이진화된 영상을 4방향 윤곽선 추적 알고리즘을 적용하여 악보 구성 기호외의 잡음 영역을 제거한다. 수평 히스토그램을 이용하여 오선을 제거하고, 세선화 알고리즘을 적용하여 객체의 골격을 추출 한 후에 Grassfire 알고리즘으로 모든 악보 구성 기호를 찾는다.
- 세선화된 악보 구성 기호들 중에서 그림 7과같이 꼬리가 연결 되어 있는 잇단 음표들은 수직 히스토그램을 이용하여 기둥 영역을 찾은 후에 영역을 분할한다. 영역 분할이 완료된 악보 구성 기호들을 Hierarchical ART2 알고리즘의 입력 패턴으로 적용하기 위해 영역을 일정한 크기로 정규화 한다. 그림 8은 악보 구성 기호를 정규화하여 나타낸 것이다.
- 이진화 된 영상에 4방향 윤곽선 추적 알고리즘을 적용하여 작은 악절 영역을 추출한다.
- 악보 구성 기호의 추출은 악보 영상을 그레이 레벨로 변환한 후, 평균 이진화 방법을 적용하여 이진화하고 4 방향 윤곽선 알고리즘을 적용하여 작은 악절 영역을 추출하였다. 작은 악절 영역에 포함되지 않는 제목, 가사 등은 잡음으로 간주하여 제거하였고, 작은 악절 영역에서 오선은 수평 히스토그램을 적용하여 제거하였다. 악보 구성 기호를 추출하기 위해 Grassfire 알고리즘으로 라벨링 하여 악보 구성 기호를 추출하였고, 추출된 악보 구성 기호들을 확대할 경우에 발생하는 두께의 차이를 줄이기 위하여 세선화 하였다.
- 수평 히스토그램을 이용하여 오선을 제거하고, 세선화 알고리즘을 적용하여 객체의 골격을 추출 한 후에 Grassfire 알고리즘으로 모든 악보 구성 기호를 찾는다. 찾은 객체의 수직 히스토그램을 이용하여 잇단 음표를 잘라내고, 악보 구성 기호의 크기를 정규화한 후에 Hierarchical ART2 알고리즘을 적용하여 악보 구성 기호를 인식한다.
대상 데이터
- 적용하였다. 그리고 테스트 패턴은 기호 코드 10467개를 테스트 하였다. Hierarchical ART2 알고리즘으로 인식한 결과는 표 2와 같다.
- 0으로 구현하였다. 제안된 악보 인식 방법의 성능을 평가하기 위해 100장의 악보 영상을 스캔하여 획득된 악보 영상을 대상으로 실험하여 인식 성능을 평가하였다.
이론/모형
- 그림 2와 같이 획득된 악보 영상에서 악보 구성 기호들을 추출하기 위해, 영상 안에 모든 픽셀에 대한 평균값을 임계치로 하는 평균 이진화 기법을 적용하여 영상을 이진화 한다. 이진화 된 영상에 4방향 윤곽선 추적 알고리즘을 적용하여 작은 악절 영역을 추출한다.
- 본 논문에서는 이러한 경계 변수의 특성을 고려하여 두 개의 층으로 구성된 클러스터링 방법인 Hierarchical ART2 알고리즘⑸을 적용하여 인식한다.
- 본 논문에서는 추출된 악보 구성 기호의 학습 및 인식을 위해 Hierarchical ART2 알고리즘을 적용한다. ART2 신경회로망은 기존에 학습되어있었던 것이 새로운 학습에 의해 지워지지 않도록 새로운 지식을 자동으로 전체 구조에 일관성 있는 방법으로 통합하며 실시간으로 빠르고 안정적으로 학습할 수 있는 적응적 인구 조를 가지고 있다.
- 악보의 정확한 인식을 위해 획득한 악보 영상에 평균 이진화를 적용하여 이진화 하고, 이진화된 영상을 4방향 윤곽선 추적 알고리즘을 적용하여 악보 구성 기호외의 잡음 영역을 제거한다. 수평 히스토그램을 이용하여 오선을 제거하고, 세선화 알고리즘을 적용하여 객체의 골격을 추출 한 후에 Grassfire 알고리즘으로 모든 악보 구성 기호를 찾는다. 찾은 객체의 수직 히스토그램을 이용하여 잇단 음표를 잘라내고, 악보 구성 기호의 크기를 정규화한 후에 Hierarchical ART2 알고리즘을 적용하여 악보 구성 기호를 인식한다.
- 악보 구성 기호들은 오선과 기타 잡음 영역들이 제거된 영상에 Grassfire 알고리즘을 적용하여 추출한다. Grassfire 알고리즘은 자기 호출을 이용하여 모든 인접 요소가 라벨링될 때까지 현재 관심 화소의 주변 인접 화소를 차례로 검사하면서 라벨링하는 방법이다.
- 악보 구성 요소는 각각의 다른 영역 비율로 인해 정규화시 악보 구성 요소의 두께가 변하는 문제점이 있어 정규화 과정에서 비율에 대한 오차를 최소화하기 위해 Grassfire 알고리즘을 적용한 영상에 세선화 방법[4]을 적용한다. 세선화는 영상의 골격만을 추출하는 영상처리기법으로, 여러 픽셀로 된 두꺼운 영역을 1 픽셀 값의 일률적 선으로 표시하여 두꺼운 선들의 골격만을 추출하는 영상처리 기법이다.
- 세선화 된 기호들 중 잇단 음표들은 수직 히스토그램을 적용하여 분리시키고 정규화하여 악보 구성 기호들을 추출하였다. 추출된 기호들은 Hierarchical ART2 알고리즘을 적용하여 각 악보 구성 기호들을 인식하였다.
- 작은 악절 영역을 추출한다. 추출된 작은 악절 영역의 수평 히스토그램을 이용하여오선를 제거한 후, Grassfire 알고리즘을 이용하여 악보 구성 기호들을 추출하고 서로 연결되어 있는 음표들을 분리한다. 그림 1은 제안된 악보 구성 기호를 추출하는 과정을 나타낸 것이다.
성능/효과
- 높은음자리표나 올림표, 내림표 등의 나머지 코드들은 995개 중 980개가 인식 되었다. 따라서 Hierarchical ART2 알고리즘이 개별 코드 인식에 있어서 효율적인 것을 확인할 수 있다. Hierarchical ART2 알고리즘으로 악보 구성 기호의 인식에 실패한 경우는 추출한 개별문자에 잡음이 제거되지 않은 경우와 음표와 쉼표가 함께 추출된 경우이다.
- 본 논문에서 제안한 악보 영상 추출 및 인식 방법을 적용한 결과, 표 1에서와 같이 100장의 악보 영상에서 10734의 악보 구성 기호 중에서 10467개의 악보 구성 기호가 추출되었다.
- 제안된 악보 구성 기호 추출 및 인식 방법의 성능을 평가하기 위해 악보 영상 100장을 대상으로 실험한 결과, 100장의 악보 영상에 대해 10734개 중에서 10467개가 추출되었다. 추출된 개별 코드를 Hierarchical ART 알고리즘을 적용하여 인식한 결과 10467개의 악보 구성 기호 중에서 9668개가 인식되었다.
- 추출된 개별 코드를 Hierarchical ART 알고리즘을 적용하여 인식한 결과 10467개의 악보 구성 기호 중에서 9668개가 인식되었다.
후속연구
- 향후 연구 방향은 악보 구성 기호의 추출률을 개선하기 위해 퍼지 마스크를 이용한 방법에 대해 연구할 것이고 현재 적용된 Hierarchical ART2 알고리즘의 문제점을 개선하여 인식률을향상시킬 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.