필기체 문자 인식은 온라인 필기체 문자 인식과 오프라인 필기체 문자 인식으로 나누어진다. 온라인 필기체 문자 인식은 타블렛과 같은 펜 기반의 전자식 입력 장치를 이용하여 필기의 순서와 획의 위치와 같은 동적인 필기 정보를 문자의 입력 시 획득할 수 있어 오프라인 필기체 문자 인식에 비해 큰 연구 성과를 이루었다. 그러나 오프라인 필기체 문자 인식은 온라인 필기체 문자 인식에서와 같이 동적인 정보를 입력받을 수 없고, 다양한 필기와 자소의 겹침이 심하며 획 사이의 잡영을 많이 가지고 있어 인식의 전처리 결과에 따라 인식 성능이 크게 달라진다. 본 논문에서는 오프라인 필기체 한글 문자 인식을 위해 문자의 동적인 정보를 포함하는 획을 효과적으로 추출하는 방법을 제안한다. 제안된 방법은 전처리 과정으로 먼저 Watershed알고리즘을 이용하여 입력된 필기체 문자 영상의 향상 및 이진화를 수행한다. 이진화된 문자부를 변형된 Lu와 Wang의 세선화 알고리즘을 사용하여 세선화를 수행한 후 문자에서의 특징점을 추출하여 세그먼트 화소열을 추출하고, 최대 허용 오차법을 이용하여 벡터화한다. 벡터화의 수행으로 몇 개의 획이 하나의 세그먼트로 묶인 경우, 하나의 세그먼트 화소열은 2 또는 그 이상의 세그먼트 벡터로 분리된다. 추출된 세그먼트 벡터들을 완전한 획으로 재구성하기 위해서 오른손 필기 좌표계 시스템을 이용하여 벡터의 방향적인 성분을 인간의 필기 획의 방향에 알맞게 수정하고, 수정된 세그먼트 벡터의 방향성과 분기 정보를 이용하여 인접한 결합 가능한 세그먼트 벡터를 결합함으로써 문자 인식에 적합한 완전한 획으로 재구성한다. 실험 결과 제안된 방법이 필기체 한글 문자 인식에 적합함을 알 수 있었다.
필기체 문자 인식은 온라인 필기체 문자 인식과 오프라인 필기체 문자 인식으로 나누어진다. 온라인 필기체 문자 인식은 타블렛과 같은 펜 기반의 전자식 입력 장치를 이용하여 필기의 순서와 획의 위치와 같은 동적인 필기 정보를 문자의 입력 시 획득할 수 있어 오프라인 필기체 문자 인식에 비해 큰 연구 성과를 이루었다. 그러나 오프라인 필기체 문자 인식은 온라인 필기체 문자 인식에서와 같이 동적인 정보를 입력받을 수 없고, 다양한 필기와 자소의 겹침이 심하며 획 사이의 잡영을 많이 가지고 있어 인식의 전처리 결과에 따라 인식 성능이 크게 달라진다. 본 논문에서는 오프라인 필기체 한글 문자 인식을 위해 문자의 동적인 정보를 포함하는 획을 효과적으로 추출하는 방법을 제안한다. 제안된 방법은 전처리 과정으로 먼저 Watershed 알고리즘을 이용하여 입력된 필기체 문자 영상의 향상 및 이진화를 수행한다. 이진화된 문자부를 변형된 Lu와 Wang의 세선화 알고리즘을 사용하여 세선화를 수행한 후 문자에서의 특징점을 추출하여 세그먼트 화소열을 추출하고, 최대 허용 오차법을 이용하여 벡터화한다. 벡터화의 수행으로 몇 개의 획이 하나의 세그먼트로 묶인 경우, 하나의 세그먼트 화소열은 2 또는 그 이상의 세그먼트 벡터로 분리된다. 추출된 세그먼트 벡터들을 완전한 획으로 재구성하기 위해서 오른손 필기 좌표계 시스템을 이용하여 벡터의 방향적인 성분을 인간의 필기 획의 방향에 알맞게 수정하고, 수정된 세그먼트 벡터의 방향성과 분기 정보를 이용하여 인접한 결합 가능한 세그먼트 벡터를 결합함으로써 문자 인식에 적합한 완전한 획으로 재구성한다. 실험 결과 제안된 방법이 필기체 한글 문자 인식에 적합함을 알 수 있었다.
Handwritten character recognition is classified into on-line handwritten character recognition and off-line handwritten character recognition. On-line handwritten character recognition has made a remarkable outcome compared to off-line hacdwritten character recognition. This method can acquire the d...
Handwritten character recognition is classified into on-line handwritten character recognition and off-line handwritten character recognition. On-line handwritten character recognition has made a remarkable outcome compared to off-line hacdwritten character recognition. This method can acquire the dynamic written information such as the writing order and the position of a stroke by means of pen-based electronic input device such as a tablet board. On the contrary, Any dynamic information can not be acquired in off-line handwritten character recognition since there are extreme overlapping between consonants and vowels, and heavily noisy images between strokes, which change the recognition performance with the result of the preprocessing. This paper proposes a method that effectively extracts the stroke including dynamic information of characters for off-line Korean handwritten character recognition. First of all, this method makes improvement and binarization of input handwritten character image as preprocessing procedure using watershed algorithm. The next procedure is extraction of skeleton by using the transformed Lu and Wang's thinning: algorithm, and segment pixel array is extracted by abstracting the feature point of the characters. Then, the vectorization is executed with a maximum permission error method. In the case that a few strokes are bound in a segment, a segment pixel array is divided with two or more segment vectors. In order to reconstruct the extracted segment vector with a complete stroke, the directional component of the vector is mortified by using right-hand writing coordinate system. With combination of segment vectors which are adjacent and can be combined, the reconstruction of complete stroke is made out which is suitable for character recognition. As experimentation, it is verified that the proposed method is suitable for handwritten Korean character recognition.
Handwritten character recognition is classified into on-line handwritten character recognition and off-line handwritten character recognition. On-line handwritten character recognition has made a remarkable outcome compared to off-line hacdwritten character recognition. This method can acquire the dynamic written information such as the writing order and the position of a stroke by means of pen-based electronic input device such as a tablet board. On the contrary, Any dynamic information can not be acquired in off-line handwritten character recognition since there are extreme overlapping between consonants and vowels, and heavily noisy images between strokes, which change the recognition performance with the result of the preprocessing. This paper proposes a method that effectively extracts the stroke including dynamic information of characters for off-line Korean handwritten character recognition. First of all, this method makes improvement and binarization of input handwritten character image as preprocessing procedure using watershed algorithm. The next procedure is extraction of skeleton by using the transformed Lu and Wang's thinning: algorithm, and segment pixel array is extracted by abstracting the feature point of the characters. Then, the vectorization is executed with a maximum permission error method. In the case that a few strokes are bound in a segment, a segment pixel array is divided with two or more segment vectors. In order to reconstruct the extracted segment vector with a complete stroke, the directional component of the vector is mortified by using right-hand writing coordinate system. With combination of segment vectors which are adjacent and can be combined, the reconstruction of complete stroke is made out which is suitable for character recognition. As experimentation, it is verified that the proposed method is suitable for handwritten Korean character recognition.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 오프라인 필기체 한글 문자에서 획을 추출하기 위한 새로운 방법을 제안한다. 제안된 방법은 첫째, 전처리 과정으로써 Watershed 알고리즘을 이용하여 입력된 필기체 문자 영상의 향상, 이진화 그리고 특징점 추출에 적합하게 변형된 Lii와 Wang의 세선화로서 골격선 및 문자의 특징점 추출을 수행하고 둘째, 획 추출을 위한 방법으로 추출된 특징점을 이용한 세그먼트(segment) 화소 열 추출, 세그먼트 추적에 의한 벡터화 그리고 세::L먼트 벡터의 분리 및 병합을 수행하여 문자 인식에 적합한 완전한 획을 추출한다.
본 논문은 Watershed 알고리즘을 적용하여 문자 영상의잡영을 효과적으로 흡수하여 영상 향상의 효과를 통해 배경 영역과 문자 영역을 분리하는 이진화를 수행하였다. 수행 시간과 품질을 고려해 Watershed 알고리즘 수행 단계어서 좋은 결과를 보인 방법들로써 알고리즘을 구성하였다.
가설 설정
이 때 결합될 세그먼트 벡터의 특징은 다음과 같다. 1) 결합될 세그먼트 벡터의 방향성이 같아야 한다. 2) 오차 범위는 두가지로 나뉘는데 먼저 첫 번째로 결합될 세그먼트 벡터들의 양 끝단이 특징점이 끝점일 경우는 25", 분기점일 경우는 50°로 설정하여 실험을 수행한 결과 좋은 결과를 보였다.
제안 방법
분할 함수는 문턱치 처리로 1Z 배경 성분으로 분리된 Watershed 영상의 강도(intensity) 분포를 조사하여 일정한 인접 강도 값과의 거리가 문턱치 이상이면 2차 배경 성분으로 분리한다. Watershed 변환을 수행하여 필기체 문자 영상의 끝 선의 흘림이나 배경에 포핟될 확률이 높은 잡영을 흡수함으로써 영상 향상의 결과를 얻을 수 있고, 적합한 분할 함수 값을 얻어 배경 성분의 분리를 적절히 수행하였다.
영상 향상 및 분할의 전체적인 구성도는 (그림 1)에 보여준다. Wa tershed 영상 변환 과정 중 고도를 가진 경사 영상을 구하기 위해 프리윗(prewitt) 기울기 연산자를 이용하였고, 8방향 이웃 픽셀을 고려한 지역적 저고도 값(local mini ma)을추출하였다. 그리고 영역 병합 단계에서는 평균값의 차를 이용한 방법을 이용하였고, 이러한 방법을 통해 Watershed 영상을 분할 함수를 적용하여 배경 영역과 문자 영어을 효과적으로 분리하였다.
인접한 강도의 값의 차이가 멀수록 배경 성분일 확률이 높다. 가장 적절한 배경 성분 확률값을 구하여 2차 배경 성분을 분리하였다. 배경 성분 확률값은 사용되는 필기체 문자 DB(data base) 에서 통계적 확률 수치를 구하여 얻어냈다.
Wa tershed 영상 변환 과정 중 고도를 가진 경사 영상을 구하기 위해 프리윗(prewitt) 기울기 연산자를 이용하였고, 8방향 이웃 픽셀을 고려한 지역적 저고도 값(local mini ma)을추출하였다. 그리고 영역 병합 단계에서는 평균값의 차를 이용한 방법을 이용하였고, 이러한 방법을 통해 Watershed 영상을 분할 함수를 적용하여 배경 영역과 문자 영어을 효과적으로 분리하였다. 분할 함수는 문턱치 처리로 1Z 배경 성분으로 분리된 Watershed 영상의 강도(intensity) 분포를 조사하여 일정한 인접 강도 값과의 거리가 문턱치 이상이면 2차 배경 성분으로 분리한다.
기울기 연산은 프리윗 연산자를 이용하였다. 기울기 영상 변환을 통해 오프라인 필기체 한글 문자의 배경 영역과 문자 영역을 에지(edge) 부분을 중심으로 부분적인 분리를 수행함과 함께 영상의 고도를 이용한 Wate rshed 알고리즘을 수행하기 위한 전 단계를 수행한다. 대부분 수평 방향과 수직 방향으로 이루어진 한글 문자 특성을 고려하여 수평 방향과 수직 방향에 민감한 프리윗 연산자의 특징과 결합한다.
기울기 영상에서 8방향 이웃 픽셀을 조사하여 지역적으로 낮은 고도를 가진 픽셀을 탐색한다. 지역적으로 8방향 이웃 픽셀 탐색 조건의 문턱치 설정은 식 (3) 과 같이 전체공간 D에서 픽셀의 명도 값 함수 f(p)가 지역적으로 낮은 명도 값 hmin과 같은 값을 가지는 픽셀의 위치와 값을 저고도 값으로 설정하고, 이 값이 8방향 이웃 픽셀 탐색 조건의 문턱 치로 설정되어 전체 공간 D에서 8방향 지역적 저고도 값을 저고도 값과의 거리를 척도로 해서 추출한다.
본 논문에서는 Lii와 Wang[9]의 세선화 알고리즘의 세선화 결과를 골격선 및 특징점 추출에 적합하게 후처리를 수행하여 사용하였다. Lii와 Wang의 세선화 알고리즘은 (그림 4-a)에서 보는 바와 같이 A 부분의 획의 분기 또는 B 부분의 획의 연결 부분의 특성이 각기 달라 특징점을 추출하기에는 부적합함을 알 수 있다.
방법에 대한 연구가 필요하다. 본 연구에서는 온라인 필기체 문자인식 시 입력되는 여러 가지 동적인 정보 가운데 인식 시 중요한 정보인 획과 획의 방향성을 오프라인 필기체 한글문자에서 추출하기 위해 Watershed 알고리즘을 이용하여 그레이 영상을 이 진화하여 문자부와 배경 간의 분리를 수행함으로써 필기시의 용지 및 필기도구의 특성에 적합하게 분리를 수행하였고, 획추출에 적합한 변형된 세선화 방법을 통해 문자에서의 특징점을 주줄하여 세그먼트를 추적함으로써 문자의 분기 및 교차특성에 적합하게 획을 구성하는 세그먼트 화소열을 추출할 수 있었다. 추출된 세그먼트 화소열들을 최대 허용오차법을 이용하여 벡터화를 수행함으로써 여러 개의 획이 하나의 세그먼트 화소 열로 병합된 부분의 적절한 분리가 가능하였으며, 추출된 벡터의 위치, 오른손 필기 좌표 계 시스템을 이용한 인간의 필기 방향성을 이용한 수정된 방향성분을 적절히 이용하여 교차점이 분기점으로 오분류된 경우로 인한 분리된 획을 하나의 완전한 획으로 병합함으로서 필기체 한글 문자인식에 적합한 획을 추출하였다.
문자 영역을 분리하는 이진화를 수행하였다. 수행 시간과 품질을 고려해 Watershed 알고리즘 수행 단계어서 좋은 결과를 보인 방법들로써 알고리즘을 구성하였다. 영상 향상 및 분할의 전체적인 구성도는 (그림 1)에 보여준다.
위한 새로운 방법을 제안한다. 제안된 방법은 첫째, 전처리 과정으로써 Watershed 알고리즘을 이용하여 입력된 필기체 문자 영상의 향상, 이진화 그리고 특징점 추출에 적합하게 변형된 Lii와 Wang의 세선화로서 골격선 및 문자의 특징점 추출을 수행하고 둘째, 획 추출을 위한 방법으로 추출된 특징점을 이용한 세그먼트(segment) 화소 열 추출, 세그먼트 추적에 의한 벡터화 그리고 세::L먼트 벡터의 분리 및 병합을 수행하여 문자 인식에 적합한 완전한 획을 추출한다.
여기서 평균값은 영상에서의 형태상의 강도를 의미한다. 최종적인 Watershed 알고리즘을 적용하여 변환된 영상은 영상의 평균값 즉 영상에서의 강도 값으로 표현하였다.
추출된 특징점을 이용하여 세그먼트 화소 열을 추적(그림 10-g) 한다. 추출된 세그먼트 화소 열들을 각각 최대 허용 오차 법을 이용하여 벡터화(그림 10-h)를 수행하고 추출된 세그먼트 벡터의 방향 성분을 오른손 좌표 시스템을 이용하여 수정, 보완(그림 1(H) 한다. 또한 세그먼트 벡터들의 위치, 분기 여부의 정보를 이용하여 연결 가능한 세그먼트 벡터들을 완전한 하나의 획으로 결합(그림 10-j) 함으로써 필기체 문자에서 인식을 위한 동적인 정보를 포함하는 획을 추출한다.
특징점을 이용하여 세그먼트 화소 열을 추적하여 추출된 세그먼트 화소열 각각을 최대 허용 오차 법을 이용■礼여 벡터화 함으로써 세그먼트 벡터를 추출한다. 벡터화 시 하나의 세그먼트 화소 열은 각각의 특성에 따라 둘 또는 그 이상의 세그먼트 벡터로의 분리가 이루어지며, 추출된 세그먼트 벡터 각각의 방향, 위치, 분기 여부 정보를 이용하여 둘 또는 그 이상의 세그먼트 벡터를 결합함으로써 세그먼트 벡터를 인식에 적합한 완전한 획으로 재구성한다.
대상 데이터
얻어낸다. 기울기 연산은 프리윗 연산자를 이용하였다. 기울기 영상 변환을 통해 오프라인 필기체 한글 문자의 배경 영역과 문자 영역을 에지(edge) 부분을 중심으로 부분적인 분리를 수행함과 함께 영상의 고도를 이용한 Wate rshed 알고리즘을 수행하기 위한 전 단계를 수행한다.
실험에 사용된 샘플은 KMST에서 제작한 Korea Nati onal Language Information Base(대한민국 국어 정보 베이스) CD-ROM에 수록된 한국어 필기체 데이터 베이스로써, 데이터 수집 용지는 갱지이며 필기도구는 사인펜인 정 서체의 양호한 품질의 오른손 필기 데이터를 사용하여 제안된 획 추출 알고리즘을 적용하였다.
데이터처리
가장 적절한 배경 성분 확률값을 구하여 2차 배경 성분을 분리하였다. 배경 성분 확률값은 사용되는 필기체 문자 DB(data base) 에서 통계적 확률 수치를 구하여 얻어냈다.
인접 영역의 유사도는 서로 다른 인접 영역의 평균값의 차를 이용하여 구하고, 분할된 영역 R(p) 와 인접한 다른 분할된 영역 R(r)의 평균값의 차 Rmeandiff는 식(5)과 같이 구한다. 얻어진 평균값의 차는 문턱치 비교로서 유사도를 판단한 후 영역을 병 합한다. 여기서 평균값은 영상에서의 형태상의 강도를 의미한다.
이론/모형
각각의 세그먼트 데이터의 점들을 추적하면서 세그먼트 벡터 데이터로의 변환을 수행한다. 벡터화를 위해 본 논문에서는 최대 허용 오차 법[10]을 사용하였으며 그 과정은 다음과 같다.
저장된 각각의 세그먼트 화소 열을 최대 허용 오차법(ma ximum permission error method)을 이용하여 벡터화를 수행한다. 각각의 세그먼트 데이터의 점들을 추적하면서 세그먼트 벡터 데이터로의 변환을 수행한다.
성능/효과
1) 결합될 세그먼트 벡터의 방향성이 같아야 한다. 2) 오차 범위는 두가지로 나뉘는데 먼저 첫 번째로 결합될 세그먼트 벡터들의 양 끝단이 특징점이 끝점일 경우는 25", 분기점일 경우는 50°로 설정하여 실험을 수행한 결과 좋은 결과를 보였다. 여러개의 획이 하나의 세그먼트로 오분류 된 경우는 이미 벡터화 과정에서 분리가 이루어졌다.
(그림 9-b)의 결과는 오른손 필기 좌표계 시스템에 의해 세그먼트 벡터의 방향 정보를 수정, 보완한 결과로써 총 18개의 세그먼트 벡터 가운데 10개의 세그먼트 벡터의 뱡향 정브가 수정되었다. 또한 (그림 9-c)의 결과는 추출된 세그먼트 벡터의 방향성과 분기 여부 정보를 이용하여 연결 가능한 2개 이상의 세그먼트 벡터를 하나의 완전한 획으로 재결합한 결과로서 총 18개의 세그먼트 벡터를 이용하여 최종적으로 문자 인식을 위한 11개의 모든 획이 추출된 결과이다.
(그림 9-b)의 결과는 오른손 필기 좌표계 시스템에 의해 세그먼트 벡터의 방향 정보를 수정, 보완한 결과로써 총 18개의 세그먼트 벡터 가운데 10개의 세그먼트 벡터의 뱡향 정브가 수정되었다. 또한 (그림 9-c)의 결과는 추출된 세그먼트 벡터의 방향성과 분기 여부 정보를 이용하여 연결 가능한 2개 이상의 세그먼트 벡터를 하나의 완전한 획으로 재결합한 결과로서 총 18개의 세그먼트 벡터를 이용하여 최종적으로 문자 인식을 위한 11개의 모든 획이 추출된 결과이다.
본 연구에서는 온라인 필기체 문자인식 시 입력되는 여러 가지 동적인 정보 가운데 인식 시 중요한 정보인 획과 획의 방향성을 오프라인 필기체 한글문자에서 추출하기 위해 Watershed 알고리즘을 이용하여 그레이 영상을 이 진화하여 문자부와 배경 간의 분리를 수행함으로써 필기시의 용지 및 필기도구의 특성에 적합하게 분리를 수행하였고, 획추출에 적합한 변형된 세선화 방법을 통해 문자에서의 특징점을 주줄하여 세그먼트를 추적함으로써 문자의 분기 및 교차특성에 적합하게 획을 구성하는 세그먼트 화소열을 추출할 수 있었다. 추출된 세그먼트 화소열들을 최대 허용오차법을 이용하여 벡터화를 수행함으로써 여러 개의 획이 하나의 세그먼트 화소 열로 병합된 부분의 적절한 분리가 가능하였으며, 추출된 벡터의 위치, 오른손 필기 좌표 계 시스템을 이용한 인간의 필기 방향성을 이용한 수정된 방향성분을 적절히 이용하여 교차점이 분기점으로 오분류된 경우로 인한 분리된 획을 하나의 완전한 획으로 병합함으로서 필기체 한글 문자인식에 적합한 획을 추출하였다.
후속연구
있음을 알 수 있었다. 그러나 이러한 오류는 인식을 위한 자음부와 모음 부의 분리 시에 추출된 획의 정보 뿐 아니라 하나의 획으로 병합되기 전의 세그먼트 벡터 정보 또한 같이 이용한다면 이러한 오류는 해결할 수 있을 것으로 기대된다.
본 논문의 효용성을 높이기 위해서 향후 연구 과제로는 효과적인 문자 인식을 위해 추출된 획의 방향 성분, 분기 여부, 위치 등의 여러 가지 정보를 이용하여 한글 문자에서의 자음부와 모음 부의 분리에 대한 연구, 분리된 자음 부와 모음 부의 인식 그리고 인식된 문자의 오인식된 결과의 보정을 위한 자연어 처리 측면의 후처리에 대한 연구가 수행되어야 할 것이다.
참고문헌 (12)
H. Chang and H. Yan, 'Analysis of Stroke Structure of Handwritten Chinese Character,' IEEE Transactions on Systems, Man, and Cybernetics, Vol.29, No.1, pp.47-61, Feb., 1999
최경주, 변혜란, 이일병, '효과적인 이진화를 위한 영상 개선 기법의 정의 및 구현,' 정보과학회논문지, Vol.26, 제2호, pp.284-296, 1999
D.S. Doermann, and A. Rosenfeld, 'Recovery of Temporal Information from Static Images of Handwriting,' Proc. CVPR'92, pp.162-168, 1992
C.M. Provitera, and R. Plamondon, 'A System for Scanning and Segmenting Cursively Handwritten Words into Basic Strokes,' Proc. 3rd ICDAR'95, pp.1047-1050, 1995
J. Serra and L. Vincent, 'Lecture Notes in Mathematical Morphology,' Ecole Nationale Superieure des Mines de Paris, France, 1989
P. Soille and L. Vincent, 'Determining Watershed in Digital Pictures via Flooding Simulations,' In Visual Communications and Image Processing'90, Vol. SPIE-1360, 1990
Michel Couprie and Gilles Bertrand, 'Topological Grayscale Watershed Transformation,' In SPIE Vision Geometry V Proceedings, Vol.3168, pp.136-146, 1997
Jos B.T.M Roerdink and Arnold Meijster, 'The Watershed Transform : Definitions, Algorithms and Parallelization Strategies,' Instituter for Mathematics and Computing Science, Report IWI 99-9-06, 1999
H.E. Lu and P.S.P. Wang, 'A Comment of 'A Fast Parallel Algorithm for Thinning Digital Patterns,' Commun. ACM, Vol.29, No.3, pp.239-242, 1986
※ AI-Helper는 부적절한 답변을 할 수 있습니다.