본 논문은 한글 모음의 구조적 특징을 이용하여 자연영상에 포함된 한글 문자영역을 검출하는 기법을 제안하였다. 자연 영상을 명도영상으로 변환하고 에지 및 연결요소 기반 방법으로 특징값을 추출하며, 추출된 특징값은 필터링을 수행하여 한글 문자의 특징에 맞지 않는 특징값을 제거하여 한글 문자영역 병합을 위한 후보를 선정한다. 선정된 후보 특징값은 한글 자소 병합 알고리즘으로 하나의 문자로 병합하여 후보 문자영역으로 검출하고, 한글 문자 유형 판별 알고리즘으로 한글 문자영역 여부를 판별함으로서 최종적인 한글 문자영역을 검출한다. 실험결과, 복잡한 배경을 갖고 다양한 환경에서 촬영된 영상에서 한글 문자영역을 효과적으로 검출하였고, 제안한 문자영역 검출 방법은 향상된 검출 결과를 보여 주었다.
본 논문은 한글 모음의 구조적 특징을 이용하여 자연영상에 포함된 한글 문자영역을 검출하는 기법을 제안하였다. 자연 영상을 명도영상으로 변환하고 에지 및 연결요소 기반 방법으로 특징값을 추출하며, 추출된 특징값은 필터링을 수행하여 한글 문자의 특징에 맞지 않는 특징값을 제거하여 한글 문자영역 병합을 위한 후보를 선정한다. 선정된 후보 특징값은 한글 자소 병합 알고리즘으로 하나의 문자로 병합하여 후보 문자영역으로 검출하고, 한글 문자 유형 판별 알고리즘으로 한글 문자영역 여부를 판별함으로서 최종적인 한글 문자영역을 검출한다. 실험결과, 복잡한 배경을 갖고 다양한 환경에서 촬영된 영상에서 한글 문자영역을 효과적으로 검출하였고, 제안한 문자영역 검출 방법은 향상된 검출 결과를 보여 주었다.
We proposes the method to detect the Hangul character region from natural image using topological structural feature of Hangul grapheme. First, we transform a natural image to a gray-scale image. Second, feature extraction performed with edge and connected component based method, Edge-based method u...
We proposes the method to detect the Hangul character region from natural image using topological structural feature of Hangul grapheme. First, we transform a natural image to a gray-scale image. Second, feature extraction performed with edge and connected component based method, Edge-based method use a Canny-edge detector and connected component based method applied the local range filtering. Next, if features are not corresponding to the heuristic rule of Hangul character, extracted features filtered out and select candidates of character region. Next, candidates of Hangul character region are merged into one Hangul character using Hangul character merging algorithm. Finally, we detect the final character region by Hangul character class decision algorithm. Experimental result, proposed method could detect a character region effectively in images that contains a complex background and various environments. As a result of the performance evaluation, A proposed method showed advanced results about detection of Hangul character region from mobile image.
We proposes the method to detect the Hangul character region from natural image using topological structural feature of Hangul grapheme. First, we transform a natural image to a gray-scale image. Second, feature extraction performed with edge and connected component based method, Edge-based method use a Canny-edge detector and connected component based method applied the local range filtering. Next, if features are not corresponding to the heuristic rule of Hangul character, extracted features filtered out and select candidates of character region. Next, candidates of Hangul character region are merged into one Hangul character using Hangul character merging algorithm. Finally, we detect the final character region by Hangul character class decision algorithm. Experimental result, proposed method could detect a character region effectively in images that contains a complex background and various environments. As a result of the performance evaluation, A proposed method showed advanced results about detection of Hangul character region from mobile image.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
기존연구 방법은 복잡한 배경 속에 한글 문자가 있는 경우에는 한글 문자영역을 효과적으로 검출하지 못하는 문제점이 있었다. 따라서 본 논문은 이러한 문제점을 해결하고자 한글문자 자소의 위상적인 구조 특징을 이용하여 문자영역을 검출하는 방법을 제안한다. 본 논문에서 제안한 한글 문자영역 검출 방법의 절차는 그림 1에 제시하였다.
본 논문은 자연영상에 존재하는 한글 문자영역을 검출하기 위해 한글 자소의 위상적인 구조 특징 및 한글 유형 특징을 이용한 방법을 제안하였다. 제안한 문자영역 검출을 위한 실험 영상은 KAIST 인공지능 연구실 사이트[10]에서 제공하는 영상 데이터베이스를 사용하였다.
본 논문은 한글 자소의 위상적인 구조 특징을 이용하여 자연영상에서 문자영역을 검출을 위한 기법을 제안하였다. 한글 문자 자소의 위상적인 특징값으로부터 한글 자소를 병합하는 한글 자소병합 알고리즘을 제안하였다.
에지 기반 방법으로 검출하지 못한 문자영역은 연결요소 기반 방법으로 검출하는 것은 알 수 있었다. 이처럼 상호보완적인 문자영역 검출이 이루어짐을 실험결과로 알게 되었다. 실험결과 재현율은 성능향상 결과를 얻었다.
제안 방법
추출된 특징 값은 레이블링하여 에지 및 연결 요소 성분을 객체로 추출한다. 세 번째 단계는 검출된 에지 및 연결 요소 레이블 중에서 문자영역 특징에 맞지 않는 것은 제거하는 필터처리를 수행한다. 기존의 연구에서 에서 에지 및 연결 요소 기반 방법을 이용하여 특징 값을 필터링하는 방법을 논하였다[7].
기존의 연구에서 에서 에지 및 연결 요소 기반 방법을 이용하여 특징 값을 필터링하는 방법을 논하였다[7]. 필터링 과정으로 선정된 특징 값은 한글 자소 병합 알고리즘을 이용하여 하나의 문자영역으로 병합하고 병합한 문자영역은 한글 문자 유형 판별 알고리즘을 이용하여 문자 여부를 판별하여 최종적인 문자영역을 검출한다.
한글 자소 병합 알고리즘으로 검출된 후보 문자영역은 한글 문자 유형 판별 알고리즘을 이용하여 한글 문자영역으로 검출하였다. 한글 문자 유형 판별을 위해서 6가지 유형의 한글 문자 유형 판별 알고리즘을 제안하였다. 다양한 환경에서 촬영된 자연영상으로 실험한 결과, 문자영역 검출 성능은 82.
본 논문은 한글 자소의 위상적인 구조 특징을 이용하여 자연영상에서 문자영역을 검출을 위한 기법을 제안하였다. 한글 문자 자소의 위상적인 특징값으로부터 한글 자소를 병합하는 한글 자소병합 알고리즘을 제안하였다. 한글 자소 병합 알고리즘으로 검출된 후보 문자영역은 한글 문자 유형 판별 알고리즘을 이용하여 한글 문자영역으로 검출하였다.
대상 데이터
본 논문은 자연영상에 존재하는 한글 문자영역을 검출하기 위해 한글 자소의 위상적인 구조 특징 및 한글 유형 특징을 이용한 방법을 제안하였다. 제안한 문자영역 검출을 위한 실험 영상은 KAIST 인공지능 연구실 사이트[10]에서 제공하는 영상 데이터베이스를 사용하였다. 이것은 모바일 카메라를 사용하여 촬영되었고, 실내, 실외, 조명, 그림자 등의 다양한 환경에서 촬영된 영상으로 구성되었다.
이론/모형
한글 문자는 초성, 중성, 종성의 자소로 구성됨으로 모든 자소를 하나로 병합해야만 의미 있는 문자를 구성한다. 따라서 추출된 특징 값은 한글 자소 병합 알고리즘을 이용하여 하나의 문자영역으로 병합된다. 한글 자소 병합 알고리즘은 자소 병합을 위해서 위에서 아래방향으로 그리고 왼쪽에서 오른쪽 방향으로 자소를 병합하는 과정을 반복적으로 수행함으로써 이루어진다.
두 번째 단계는 특징추출 과정으로 에지 및 연결 요소 성분을 특징으로 추출한다. 에지 특징 추출은 캐니-에지 검출기[6]를 사용하였고, 연결 요소 특징 추출은 픽셀과 인접한 8방향 이웃 픽셀 값의 최소값과 최대값의 차를 구하는 범위 필터를 수행한 결과 얻어진 값을 임계 치를 적용하여 구한다. 추출된 특징 값은 레이블링하여 에지 및 연결 요소 성분을 객체로 추출한다.
한글 문자영역 검출을 위한 첫 번째 단계는 RGB 24비트 컬러 영상을 256밝기 값을 갖는 명도(Gray-scale) 영상으로 변환하고, 전처리 과정으로 잡음제거를 위한 미디언 필터처리를 하고 영상대비 개선을 위해서는 엔드-인 탐색방법을 이용하였다. 두 번째 단계는 특징추출 과정으로 에지 및 연결 요소 성분을 특징으로 추출한다.
한글 문자 자소의 위상적인 특징값으로부터 한글 자소를 병합하는 한글 자소병합 알고리즘을 제안하였다. 한글 자소 병합 알고리즘으로 검출된 후보 문자영역은 한글 문자 유형 판별 알고리즘을 이용하여 한글 문자영역으로 검출하였다. 한글 문자 유형 판별을 위해서 6가지 유형의 한글 문자 유형 판별 알고리즘을 제안하였다.
성능/효과
따라서 실험결과 가장 높은 재현율을 보였지만 상대적으로 조명의 또 다른 영향으로 정확률이 떨어지는 결과를 보여주었다. 그림 4의 (e)는 세로문자 영상은 한글 문자가 세로로 배열된 것으로, 주로 간판 영상에서 많이 볼 수 있는 영상으로 실험결과, 제안한 문자영역 검출 기법은 전체적으로 재현율과 정확률이 낮은 결과를 나타내었다. 그 이유는 한글 자소 병합과정에서 가로로 배열된 문자의 경우, 오른쪽 인접 영역의 문자는 문자의 구조적 특징이 수직 모음 성분으로 시작될 수 없는 고유한 특징을 갖고 있지만, 세로 방향으로 배열된 한글 문자는 그러한 고유 특징을 갖고 있지 않다.
그림 4의 (d)는 문자영역이 조명의 영향을 받은 것으로 문자영역 주변이 흐릿해지는 경우가 많다. 그러나 문장영역과 주변의 밝기 값이 차이가 뚜렷하게 나타남으로써 문자영역을 잘 검출하는 것을 알 수 있었다. 따라서 실험결과 가장 높은 재현율을 보였지만 상대적으로 조명의 또 다른 영향으로 정확률이 떨어지는 결과를 보여주었다.
한글 문자 유형 판별을 위해서 6가지 유형의 한글 문자 유형 판별 알고리즘을 제안하였다. 다양한 환경에서 촬영된 자연영상으로 실험한 결과, 문자영역 검출 성능은 82.3%의 재현율로 비교적 높은 재현율을보 였고, 상대적으로 정확률이 57.9%로 낮은 성능을 보였다.
그림 4의 (c)는 문자영역이 그림자의 영향을 받은 영상으로 문자영역의 대비값의 변화가 크게 나타나는 특징을 갖는다. 따라서 문자영역의 대비가 큰 경우는 문자영역이 강조되어 재현율은 높지만 대비 변화에 따라서 잡음영역이 강조되어 문자영역으로 잘못 검출함으로써 재현율이 낮아졌다. 그림 4의 (d)는 문자영역이 조명의 영향을 받은 것으로 문자영역 주변이 흐릿해지는 경우가 많다.
그러나 문장영역과 주변의 밝기 값이 차이가 뚜렷하게 나타남으로써 문자영역을 잘 검출하는 것을 알 수 있었다. 따라서 실험결과 가장 높은 재현율을 보였지만 상대적으로 조명의 또 다른 영향으로 정확률이 떨어지는 결과를 보여주었다. 그림 4의 (e)는 세로문자 영상은 한글 문자가 세로로 배열된 것으로, 주로 간판 영상에서 많이 볼 수 있는 영상으로 실험결과, 제안한 문자영역 검출 기법은 전체적으로 재현율과 정확률이 낮은 결과를 나타내었다.
이것은 문자영역의 에지 특징은 상대적으로 검출이 잘되는 반면 연결 요소 성분은 여러 가지 주변 환경의 영향을 훨씬 더 많이 받음으로 그 특징값을 충분히 얻지 못하기 때문이다. 반면 에지 기반 방법은 문자영역의 배경이 복잡하거나 재질감이 있는 경우에는 문자영역 에지가 아닌 잡음 성분 에지를 많이 검출함으로서 정확률이 낮아지는 단점이 있음을 알 수 있었다.
본 논문에서 제안한 방법은 에지 및 연결 요소 기반 방법을 결합한 것으로 두 방법의 결과를 병합함으로 재현율은 향상 되었지만 상대적으로 정확률은 낮아지는 단점이 있었다. 정확률은 두 방법으로 검출된 결과로 정확하게 검출하지 못한 영역을 병합하는 방식을 취함에 따라서 일반적인 경우 검출된 문자영역이 두 방법에서 모두 잘 못 검출되고, 각각의 영역이 서로 겹치지 않는다면 검출된 영역의 매칭률은 2배로 낮아지는 결과를 얻게 되기 때문이다.
성능 평가는 실험대상 영상의 종류별로 평가하여 그림 5의 그래프로 제시하였다. 성능평가 결과, 가장 낮은 성능을 보여준 실험영상은 세로문자 영상으로 세로로 배열된 문자영역을 검출하는 과정에서 한글 문자 자소 병합의 특징이 뚜렷하지 못함으로써 비롯된 결과이다.
이처럼 상호보완적인 문자영역 검출이 이루어짐을 실험결과로 알게 되었다. 실험결과 재현율은 성능향상 결과를 얻었다. 그러나 정확률은 에지 기반 방법과 연결 요소 기반 방법의 결과를 병합함으로서 검출된 잡음영역의 수가 증가함으로써 낮아지게 되었다.
전반적으로 실험결과, 에지 기반 방법이 재현율이 높은 것으로 나타났다. 이것은 문자영역의 에지 특징은 상대적으로 검출이 잘되는 반면 연결 요소 성분은 여러 가지 주변 환경의 영향을 훨씬 더 많이 받음으로 그 특징값을 충분히 얻지 못하기 때문이다.
후속연구
또 다른 방법은 일반적으로 문자영역은 지역적군집성을 갖고 있으므로 에지 및 연결 요소 기반 방법의 검출 결과에 대해서 문자영역이 갖는 지역적 군집성을 조사하고 이러한 군집성이 없다면 문자영역이 아닌 것으로 판단함으로써 정확률을 높일 수 있을 것이다. 또한 문자영역의 픽셀은 배경과 높은 대비를 갖는 특징이 있으므로 문자영역의 분포 특징을 추출하고 이를 임계값 설정하여 문자영역과 배경 영역을 판별함으로써 정확률을 향상시킬 수 있을 것이다.
그러므로 세로 방향으로 배열된 문자영역의 경우, 자소 병합 과정에서 주변 문자의 거리에 따라 영향을 받음으로 상대적으로 배열된 문자와의 거리가 가까운 경우에는 자소 병합이 정확하게 되지 않음으로써 발생하는 문제이다. 이 문제는 세로문자 병합 과정에서 병합을 위한 한글 문자의 구조적 특징을 추가적으로 적용함으로써 해결해야 할 필요가 있음을 알 수 있었다.
향후 연구과제는 정확률을 높이기 위해서 에지 및 연결 요소 기반 방법을 이용하여 특징값을 추출한 후 그 결과를 하나로 통합하는 방법에 관한 연구가 필요하며 자연영상이 기울어진 경우에도 문자영역을 검출할 수 있도록 기울기 검출 및 보정에 관한 연구가 필요하다. 한글 모음 구조의 형태학적인 특징과 위상학적인 특징을 추출하고 이를 조합하여 한글문자 영역의 고유특징을 검출할 수 있는 방법에 관한 연구도 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
자연영상에 포함된 문자는 어떤 과정이 필요한가?
모바일 기기에 저장된 영상은 네트워크 기술과 컴퓨터 비전 기술로 융합되어 다양한 응용 프로그램의 중요한 데이터로 이용된다. 자연영상에 포함된 문자는 그 영역의 정보를 찾고 인식하는 과정이 필요하다. 그러므로 자연영상에 포함된 문자영역을 정확하게 검출하는 것이 중요한 연구 과제이다.
모바일 기기에 저장된 영상은 어디에 이용되는가?
모바일 기기에 저장된 영상은 네트워크 기술과 컴퓨터 비전 기술로 융합되어 다양한 응용 프로그램의 중요한 데이터로 이용된다. 자연영상에 포함된 문자는 그 영역의 정보를 찾고 인식하는 과정이 필요하다.
자연영상에 포함된 문자영역은 어떤 특징이 있는가?
자연영상에 포함된 문자영역을 검출하고 인식하는 연구 분야는 시각장애인 보조 시스템[1], 모바일 로봇 내비게이션[2], 번호판 인식[3], 콘텐츠 기반 비디오/이미지 코딩/색인[4] 등이다. 자연영상에 포함된 문자는 다양한 글자체, 크기, 기울기를 갖고, 조명, 그림자 등의 영향으로 글자색이 변하는 특징이 있으므로 자연영상에서 문자영역 검출 방법은 문자 및 문자영역의 다양한 특징을 고려해야 한다[5].
참고문헌 (10)
N. Ezaki, M. Bulacu, L. Schomaker: Text detection from natural scene images: towards a system for visually impaired persons. In: Proc. of the 17th International Conference on Vol. 2, pp.683-686, 2004
Xiaoqing Liu and Jagath Samarabandu: An Edge-Based Text Region Extraction Algorithm for Indoor Mobile Robot Navigation. In: International Journal of Signal Processing, Vol.3(4), pp.273-280, 2006
Kim, S., Kim D., Y. Ryu, Y., and Kim, G: A Robust License-Plate Extraction Method under Complex Image Conditions, In: Proceedings of International Conference on Pattern Recognition, Vol. 3, pp.216-219, 2002
Smith, M. A. and T. Kanade: Video Skimming for Quick Browsing Based on Audio and Image Characterization. Carnegie Mellon University, Technical Report CMU-CS-95-186, 1995
Chung-Mong Lee, A. Kankanhalli: Automatic Extraction of Characters in Complex Scene Images. International Journal of Pattern Recognition and Artificial Intelligence, Vol.9(1), pp. 67-82, 1995
Park, Jong Cheon. : Detection Method of Character Region Using Hangul Structure from Natural Image, Department of Computer Engineering, Doctoral Thesis, University of Chungbuk National, 2011
Oh, In. Gwan.: Study on the Extraction of Character and Special Character from Hangeul Documents with English, Master's Thesis, Department of Computer Science, University of Kwangwoon, 1993
C. Yi and Y. Tian :Text String Detection from Natural Scenes by Structure-based Partition and Grouping. In : IEEE Transactions on Image Proc., PMID:21411405, 2011
KAIST Scene Text Database, http://ai.kaist.ac.kr/home/DB/SceneText
※ AI-Helper는 부적절한 답변을 할 수 있습니다.