[논문]다양한 배경에서 히스토그램과 한글의 구조적 특징을 이용한 문자 검출 방법

표성국; 박영수; 이강성; 이상훈

doi:10.15207/jkcs.2019.10.3.015

다양한 배경에서 히스토그램과 한글의 구조적 특징을 이용한 문자 검출 방법
Hangeul detection method based on histogram and character structure in natural image 원문보기

한국융합학회논문지 = Journal of the Korea Convergence Society, v.10 no.3, 2019년, pp.15 - 22

표성국 (광운대학교 플라즈마 바이오 디스플레이학과) , 박영수 (광운대학교 인제니움학부대학) , 이강성 (광운대학교 인제니움학부대학) , 이상훈 (광운대학교 인제니움학부대학)

초록
AI-Helper

본 논문에서는 자음과 모음이 분리되어 검출되는 한글의 문제점을 해결하기 위해 히스토그램과 자음, 모음 문자의 구조적 특징을 이용한 한글 검출 방법을 제안하였다. 제안하는 방법은 한글 검출 과정에서 불필요한 잡음을 제거하기 위해 DoG(Difference of Gaussian)을 이용하여 배경을 제거하였다. 배경이 제거된 이미지에서 누적 히스토그램을 사용하여 위해 이진화 이미지로 변환하였다. 그 후 수평 누적 히스토그램을 사용하여 문자열 위치를 찾고, 찾은 문자열 이미지에서 수직히스토그램을 사용하여 문자 결합을 진행하였다. 하지만 '가', '라' '귀' 와 같이 자음 모음이 수평으로 존재하는 단어는 하나의 문자로 결합이 어렵기 때문에 문자의 구조적 특징을 이용하여 결합하였다. 본 실험에서는 다양한 배경을 가진 알파벳으로 구성된 이미지, 한글로 구성된 이미지, 알파벳과 한글이 혼합된 이미지를 가지고 실험하였다. 제안하는 방법은 K-means와 MSER 문자 검출 방법이랑 비교했을 때 알파벳 검출률은 2%정도 낮지만 한글이 포함된 문자 검출 방면에서는 90.6%로 약 5% 높은 검출률을 보였다.

Abstract ▼ AI-Helper

In this paper, we proposed a Hangeul detection method using structural features of histogram, consonant, and vowel to solve the problem of Hangul which is separated and detected consonant and vowel The proposed method removes background by using DoG (Difference of Gaussian) to remove unnecessary noise in Hangul detection process. In the image with the background removed, we converted it to a binarized image using a cumulative histogram. Then, the horizontal position histogram was used to find the position of the character string, and character combination was performed using the vertical histogram in the found character image. However, words with a consonant vowel such as '가', '라' and '귀' are combined using a structural characteristic of characters because they are difficult to combine into one character. In this experiment, an image composed of alphabets with various backgrounds, an image composed of Korean characters, and an image mixed with alphabets and Hangul were tested. The detection rate of the proposed method is about 2% lower than that of the K-means and MSER character detection method, but it is about 5% higher than that of the character detection method including Hangul.

주제어

표/그림 (18)

그림 Fig. 1. Difference between alphabet and Hangul detection (a) Alphabet detection (b) Hangul detection
그림 Fig. 2 The six structures of Korean characters IC and FC are the initial consonant and final consonant, respectively. VV and HV mean the vertical vowel and horizontal vowel, respectively
그림 Fig. 3. The algorithm of the proposed method
그림 Fig. 4. An example of obtaining a binary image using DoG filtered results for a Natural image (a) Original image (b) DoG filter applied image (c) Binarization applied image
그림 Fig. 5. Horizontal / Vertical Cumulative Histogram (a) Binarization image (b) Horizontal histogram labeling image (c) Vertical histogram labeling image
그림 Fig. 6. Vertical histogram labeling process (a) Original image (b) Vertical histogram labeling image (c) Vertical histogram labeling result image
그림 Fig. 7. Consonant, vowel combination method
그림 Fig. 8. Consonant, vowel combination process (a) Vertical histogram labeling result (b) Consonant and vowel centering
그림 Fig. 9. Experimental image
그림 Fig. 10. Image of experiment result ① (a) Original image (b) MSER detection result (c) Cumulative histogram detection result (d) Proposed method
그림 Fig. 11. Image of experiment result ② (a) Original image (b) MSER detection result (c) Cumulative histogram detection result (d) Proposed method
그림 Fig. 13. Comparison of experiment results ⓛ (a) Original image (b) K-means detection (c) MSER detection (d) Proposed method
그림 Fig. 13. Comparison of experiment results ② (a) Original image (b) K-means detection (c) MSER detection (d) Proposed method
그림 Fig. 12. Image of experiment result ③ (a) Original image (b) MSER detection result (c) Cumulative histogram detection result (d) Proposed method
그림 Fig. 15. Comparison of experiment results ③ (a) Original image (b) K-means detection (c) MSER detection (d) Proposed method
그림 Fig. 16. Comparison of experiment results ④ (a) Original image (b) K-means detection (c) MSER detection (d) Proposed method
그림 Fig. 17. Detection failure image ⑤
표 Table 1. Hangeul detection comparison table

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

누적 히스토그램은 특정 픽셀까지 나온 관측값을 모두 누적해서 세는 방법이다[17]. 본 논문에서는 수평방향과 수직방향으로 누적하여 문자열 위치판별과 문자결합을 진행하였다. 식(2)과 식(3)은 각각 수평, 수직 누적 히스토그램 수식이다.
본 논문에서는 자연이미지에서 히스토그램과 구조적 특징을 이용해 한글 검출 연구를 진행하였다. DoG필터를 통해 배경과 잡음을 제거하였고 히스토그램을 이용하기 위해 이진이미지로 변환하였다.
특히 자연 이미지에 포함 된 문자는 그 영역의 정보를 나타내기 때문에 중요하다. 이러한 이유로 본 논문에서는 다양한 배경 이미지에서 한글 검출 방법을 제안하였다.

제안 방법

본 논문에서는 자연이미지에서 히스토그램과 구조적 특징을 이용해 한글 검출 연구를 진행하였다. DoG필터를 통해 배경과 잡음을 제거하였고 히스토그램을 이용하기 위해 이진이미지로 변환하였다. 이진 이미지에서 수평 히스토그램을 이용하여 문자열의 위치를 찾은 후 수직 히스토그램을 통해 문자결합을 진행하였다.
식(5)와 식(6)은 자음과 모음을 구분하는 식이다. 각 자음과 모음의 센터 점 사이의 거리 를 구하여 하나의 문자로 결합하였다. 식(7)은 센터 점 사이 를 가지고 자음과 모음을 결합하는 과정이다.
다른 문자와 달리 ‘에’, ‘어’, ‘타’ 와 같은 문자는 자음과 모음이 분리되어 검출되기 때문에 각각의 자음 모음을 크기로 판별하여 중심점을 잡아주고 거리를 이용해 하나의 문자로 결합하여 검출하였다.
본 논문에서 제안하는 자연이미지에서 한글 검출 방법은 DoG를 통해 잡음이 제거된 문자영역을 얻고 이진화를 통하여 흑백영상을 획득하였다. 획득한 이진영상에서 수평 누적 히스토그램을 이용해 문자열 위치를 찾은 후 수직 누적 히스토그램을 이용해 문자결합을 하였다.
획득한 이진영상에서 수평 누적 히스토그램을 이용해 문자열 위치를 찾은 후 수직 누적 히스토그램을 이용해 문자결합을 하였다. 수직 누적 히스토그램을 이용하여도 자음과 모음이 결합되지 않는 문제점을 해결하기 위해 자음, 모음의 크기와 위치정보를 판별하여 하나의 문자로 결합하여 검출하였다. Fig.
5는 이진화가 적용된 이미지에서 수평 / 수직 누적 히스토그램을 이용하여 문자영역 구분과 문자 결합을 진행한 결과이다. 수평 누적 히스토그램을 이용하여 문자 영역을 찾고, 찾은 문자열영역에서 수직 누적 히스토그램을 이용하여 문자를 검출하였다.
Table 1은 제안하는 문자검출 방법과 문자검출 알고리즘인 K-means와 MSER을 비교한 표이다. 알파벳만 존제하는 이미지, 한글만 존재하는 이미지, 알파벳과 한글이 섞인 이미지를 가지고 비교하였다. 제안하는 문자검출 방법은 알파벳으로 구성된 이미지에서는 MSER보 다는 검출률이 낮지만 한글이 포함된 다양한 이미지에서는 K-means 알고리즘과 MSER 방법보다 높은 검출률을 나타내었다.
다양하고 복잡한 배경에서 촬영 된 이미지이다. 알파벳으로 구성된 이미지와, 한글로 구성된 이미지, 알파벳과 한글이 혼합된 이미지에서 실험을 진행하였다. 알파벳으로 구성된 이미지뿐만 아니라 자음과 모음으로 구성되어 있는 한글 이미지에서도 문자 검출이 가능하였다.
하지만 한글의 구조적 특징상 자음과 모음이 결합되지 않은 문제점이 발생된다. 이 문제점을 해결하기 위해 자음 다음에는 모음이 오는 한글의 구조적 특징과 자음과 모음의 크기는 서로 다르다는 특징으로 자음과 모음을 결합하였다. 자음과 모음의 각각 중심점 사이의 거리를 판별하여 결합을 진행하였고 자음과 모음으로 분리되어 검출되는 한글도 하나의 문자로 검출하는 결과를 나타내었다.
이러한 문제를 해결하기 위해 한글의 구조적 특징을 사용하여 자음과 모음을 결합하였다. Fig.
‘폐’, ‘휠’ 같은 경우에는 하나의 문자로 검출이 되었지만 ‘에’, ‘어’, ‘타’ 와 같은 경우에는 자음과 모음이 분리되어 검출되었다. 이러한 문제점을 해결하기 위해 한글의 구조적 특징과 자음, 모음의 형태학적 특징을 이용하여 두 문자를 결합하였다.
DoG필터를 통해 배경과 잡음을 제거하였고 히스토그램을 이용하기 위해 이진이미지로 변환하였다. 이진 이미지에서 수평 히스토그램을 이용하여 문자열의 위치를 찾은 후 수직 히스토그램을 통해 문자결합을 진행하였다. 자음과 모음이 수평으로 존재하는 한글에서 결합이 안 되는 문제점을 해결하기 위해 자음 모음의 크기와 구조적 특징을 이용하여 하나의 문자로 결합하여 검출하였다.
자연이미지에서 배경과 잡음을 제거하기 위해DoG(Diffrence of Gaussian)[14]을 사용하고 누적 히스토그램을 위해 이진화 영상으로 바꿔주었다. 이진화 된 영상을 수평 히스토그램을 사용하여 한글의 영역을 구하고 구한 한글영역에서 수직 히스토그램을 사용하여 한글결합을 진행하였다. 하지만 한글의 구조적 특징상 자음과 모음이 결합되지 않은 문제점이 발생된다.
자음과 모음이 수평으로 존재하는 한글에서 결합이 안 되는 문제점을 해결하기 위해 자음 모음의 크기와 구조적 특징을 이용하여 하나의 문자로 결합하여 검출하였다. 자음과 모음으로 구성되어 검출하기 힘든 한글을 하나의 문자로 검출하였다.
이 문제점을 해결하기 위해 자음 다음에는 모음이 오는 한글의 구조적 특징과 자음과 모음의 크기는 서로 다르다는 특징으로 자음과 모음을 결합하였다. 자음과 모음의 각각 중심점 사이의 거리를 판별하여 결합을 진행하였고 자음과 모음으로 분리되어 검출되는 한글도 하나의 문자로 검출하는 결과를 나타내었다.
이진 이미지에서 수평 히스토그램을 이용하여 문자열의 위치를 찾은 후 수직 히스토그램을 통해 문자결합을 진행하였다. 자음과 모음이 수평으로 존재하는 한글에서 결합이 안 되는 문제점을 해결하기 위해 자음 모음의 크기와 구조적 특징을 이용하여 하나의 문자로 결합하여 검출하였다. 자음과 모음으로 구성되어 검출하기 힘든 한글을 하나의 문자로 검출하였다.
MSER방법에서는 알파벳은 잘 검출되었으나 한글은 자음과 모음이 분리되어 검출되는 결과를 나타냈다. 제안하는 방법은 알파벳 뿐 아니라 자음, 모음이 분리되어 검출되던 한글도 하나의 문자로 검출하였다.
누적 히스토그램을 이용하여 문자 검출을 진행하면 (c)이미지와 같이 하나의 문자로 결합이 되었지만 ‘가’, ‘위’, ‘회’ 같은 문자는 아직도 분리되어 검출되었다. 최종적으로 한글의 구조적 특징을 이용하여 자음과 모음을 결합하여 하나의 문자로 검출하였다.
본 논문에서 제안하는 자연이미지에서 한글 검출 방법은 DoG를 통해 잡음이 제거된 문자영역을 얻고 이진화를 통하여 흑백영상을 획득하였다. 획득한 이진영상에서 수평 누적 히스토그램을 이용해 문자열 위치를 찾은 후 수직 누적 히스토그램을 이용해 문자결합을 하였다. 수직 누적 히스토그램을 이용하여도 자음과 모음이 결합되지 않는 문제점을 해결하기 위해 자음, 모음의 크기와 위치정보를 판별하여 하나의 문자로 결합하여 검출하였다.

대상 데이터

본 논문에서는 KAIST 자연이미지 텍스트 데이터 셋[18]을 가지고 실험을 진행하였다. 다양하고 복잡한 배경에서 촬영 된 이미지이다.

데이터처리

문자열 위치를 찾고 문자 검출을 위해 수평 / 수직 누적 히스토그램을 이용하였다. Fig.

이론/모형

자연 이미지에서 배경과 잡음을 제거하기 위해 Dog필터를 적용시켰다. 식(4)의 DoG필터를 이용함으로써 명도대비가 낮거나 조명의 영향을 받은 자연 이미지에 대해서도 문자영역이 강조된 이진 영상으로 변환하였다.
자연이미지에서 배경과 잡음을 제거하기 위해DoG(Diffrence of Gaussian)[14]을 사용하고 누적 히스토그램을 위해 이진화 영상으로 바꿔주었다. 이진화 된 영상을 수평 히스토그램을 사용하여 한글의 영역을 구하고 구한 한글영역에서 수직 히스토그램을 사용하여 한글결합을 진행하였다.

성능/효과

10은 알파벳으로 구성된 이미지에 대한 실험결과이다. 알파벳으로만 구성된 이미지에서는 MSER방법과 제안하는 방법 모두 검출이 가능하다.
알파벳만 존제하는 이미지, 한글만 존재하는 이미지, 알파벳과 한글이 섞인 이미지를 가지고 비교하였다. 제안하는 문자검출 방법은 알파벳으로 구성된 이미지에서는 MSER보 다는 검출률이 낮지만 한글이 포함된 다양한 이미지에서는 K-means 알고리즘과 MSER 방법보다 높은 검출률을 나타내었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	MSER 알고리즘이란 무엇인가?	문자 검출 연구는 주로 알파벳을 탐지하기 위해 수행되었으며, 검색 방법은 K-means[5,6], SWT(Stroke Width Transform)[7,8], MSER(Maximally Stable External Regions)[9-11]등이 있다. 그 중 문자의 획 내에서 굵기 변화가 거의 없다는 점을 이용하여 획 폭이 일정하다면 문자로 간주하는 알고리즘인 SWT방법과 이미지 내 강도가 주변에 인접한 픽셀들과 상이한 픽셀들의 집합 영역을 문자로 검출하는 알고리즘인 MSER방법이 많이 연구되어 알파벳 문자 검출 성능이 높아졌다. 그러나 한글은 자음과 모음 두 개 이상의 문자로 구성되어 있기 때문에 한글 검출[12]과 인식[13]은 여전히 어려운 연구과제로 남아 있다.
	DoG필터를 적용함으로서 얻을 수 있는 효과는 무엇인가?	자연 이미지에서 배경과 잡음을 제거하기 위해 Dog필터를 적용시켰다. 식(4)의 DoG필터를 이용함으로써 명도대비가 낮거나 조명의 영향을 받은 자연 이미지에 대해서도 문자영역이 강조된 이진 영상으로 변환하였다.
	자음과 모음이 분리되어 검출되는 이유는 무엇인가?	한글에서 ‘아’, ‘타’, ‘위’ 같은 경우에는 오른쪽 모음이 분리되어있기 때문에 하나의 문자로 검출하지 못한다.

참고문헌 (18)

Xiao Qin, Xutao Chu, Changan Yuan & Ruili Wang (2018). Entropy-based feature extraction algorithm for stone carving character detection The Journal of Engineering 16(11), 1719-1723. DOI: 10.1049/joe.2018.8318
Chong Yu, Yonghong Song, Quan Meng Yuanlin Zhang & Yang Liu (2015) Text detection and recognition in natural scene with edge analysis. IET Computer Vision 9(4), 603-613. DOI: 10.1049/iet-cvi.2013.0307

상세보기
Parul Sahare & Sanjay B. Dhok (2018). Multilingual Character Segmentation and Recognition Schemes for Indian Document Images, IEEE Access 6(1), 10603-10617. DOI: 10.1109/ACCESS.2018.2795104

상세보기
Lukas Neumann & Jiri Matas (2016). Real-Time Lexicon-Free Scene Text Localization and Recognition, IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(9), 1872-1885. DOI: 10.1109/TPAMI.2015.2496234

상세보기
E.J. Bellegarda, J.R. Bellegarda, D. Nahamoo & K.S. Nathan (1994). A fast statistical mixture algorithm for on-line handwriting recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 16(12), 1227-1233. DOI: 10.1109/34.387484

상세보기
Ga-On Kim, Gang-Seong Lee & Sang-Hun Lee (2014). An Edge Extraction Method Using K-means Clustering In Image .Journal of Digital Convergence, 12(11), 281-288, 1738-1916
Oussama Zayene, Mathias Seuret & Sameh M. Touj (2016, Apr). Text Detection in Arabic News Video Based on SWT Operator and Convolutional Auto-Encoders. 2016 12th IAPR Workshop on Document Analysis Systems (DAS), (pp.13-18) Greece : CPS
Yuanyuan Feng, Yonghong Song & Yuanlin Zhang (2016, Dec). Scene text detection based on multi-scale SWT and edge filtering. 2016 23rd International Conference on Pattern Recognition (ICPR), (pp.645-650). Mexico : IEEE
Adiba Tabassum & Shweta A. Dhondse. (2015, Apr). Text Detection Using MSER and Stroke Width Transform. 2015 Fifth International Conference on Communication Systems and Network Technologies, (pp.568-571). (pp.4-6) India : IEEE
Savita Choudhary, Nikhil Kumar Singh & Sanjay Chichadwani. (2018,Feb). Text Detection and Recognition from Scene Images using MSER and CNN. 2018 Second International Conference on Advances in Electronics, Computers and Communications (ICAECC). (pp.1-4), India : IEEE
Myoung-Kwan Oh & Jong-Cheon Park. (2017). Long Distance Vehicle License Plate Region Detection Using Low Resolution Feature of License Plate Region in Road View Images. Journal of Digital Convergence, 15(1), 239-245, 1738-1916.
Jinsu Jo, Jihyun Lee & Yillbyung Lee. (2009, Nov). Stroke-Based Online Hangul/Korean Character Recognition. 2009 Chinese Conference on Pattern Recognition, (pp.1-5), China : IEEE
Kyung-Won Kang & J.H. Kim. (2004). Utilization of hierarchical, stochastic relationship modeling for Hangul character recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 26(9), 1185-1196. DOI: 10.1109/TPAMI.2004.74

상세보기
Soo-Chang Pei & Li-Heng Chen. (2015). Image Quality Assessment Using Human Visual DOG Model Fused With Random Forest. IEEE Transactions on Image Processing 24(11), 3282-3292. DOI: 10.1109/TIP.2015.2440172

상세보기
Jangho Kim, Yong-Joong Kim, Yonghyun Kim & Daijin Kim. (2016, Oct). Detecting Korean characters in natural scenes by alphabet detection and agglomerative character construction. 2016 IEEE International Conference on Systems, Man, and Cybernetics (SMC), (pp.9-12). Hungary : IEEE
Sung Hoon Kim, Hyung Ho Kim & Hyon Soo Lee. (2013). An Improved Face Recognition Method Using SIFT-Grid. Journal of Digital Convergence, 11(2), 229-307, 1738-1916

원문보기 상세보기
R.A. Melnyk & Yu.I. Kalychak. Detection of Defects in Printed Circuit Boards by Flood-Fill Algorithm and Distributed Cumulative Histogram.(2018, Sept). 2018 IEEE 13th International Scientific and Technical Conference on Computer Sciences and Information Technologies (CSIT). Ukraine : IEEE
D. Karatzas, F. Shafait, S. Uchida, M. Iwamura, L. G. i. Bigorda, S. R. Mestre, J. Mas, D. F. Mota, J. A. Almaz'an, & L. P. de las Heras, Icdar 2013 robust reading competition.(2013, Aug) 2013 12th International Conference on Document Analysis and Recognition, (pp.1484-1493). USA : CPS

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증