[논문]자연 이미지에서 명암차이를 이용한 MSER 기반의 문자 검출 기법

김준혁; 이상훈; 이강성; 김기봉

doi:10.15207/jkcs.2019.10.5.027

자연 이미지에서 명암차이를 이용한 MSER 기반의 문자 검출 기법
MSER-based Character detection using contrast differences in natural images 원문보기

한국융합학회논문지 = Journal of the Korea Convergence Society, v.10 no.5, 2019년, pp.27 - 34

김준혁 (광운대학교 플라즈마바이오디스플레이학과) , 이상훈 (광운대학교 인제니움학부대학) , 이강성 (광운대학교 인제니움학부대학) , 김기봉 (대전보건대학교 컴퓨터정보학과)

초록
AI-Helper

본 논문에서는 문자 영역의 패턴을 분석하여 배경 영역을 제거하는 방법을 제안하였다. 명암이 일정한 영역을 구분하는 MSER(Maximally Stable External Regions)방법의 문자 검출에서는 배경 영역이 포함되어 검출되었다. 이러한 문제점을 해결하기 위해 자연 이미지에서 MSER 방법을 사용하여 명암 값이 차이가 나는 영역과 차이가 나지 않는 영역 즉 문자 영역과 배경 영역을 구해 변화율을 계산하여 배경을 제거하였다. 그러나 배경이 제거된 이미지에서 일부 제거되지 않는 배경 영역이 생겨 LBP(Local Binary Patterns)방법을 사용하여 이미지에서 균일한 값을 갖는 영역을 문자 영역이라고 판단하고 문자를 검출하였다. 실험 데이터는 배경이 단순한 이미지, 문자가 정면으로 구성된 이미지, 문자가 기울어진 이미지 등의 다양한 자연 이미지를 실험하였다. 제안하는 방법을 기존의 MSER, MSER+LBP 방법의 문자 검출 방법과 비교하였을 때 약 1.73%로 높은 검출률을 보였다.

Abstract ▼ AI-Helper

In this paper, we propose a method to remove the background area by analyzing the pattern of the character area. In the character detection result of the MSER(Maximally Stable External Regions) method which distinguishes a region having a constant contrast background regions were detected. To solve this problem, we use the MSER method in natural images, the background is removed by calculating the change rate by searching the character area and the background area which are not different from the areas where the contrast values are different from each other. However, in the background removed image, using the LBP(Local Binary Patterns) method, the area with uniform values in the image was determined to be a character area and character detection was performed. Experiments were carried out with simple images with backgrounds, images with frontal characters, and images with slanted images. The proposed method has a high detection rate of 1.73% compared with the conventional MSER and MSER + LBP method.

주제어

표/그림 (15)

그림 Fig. 1. Example of MSER Result (a) Original Image (b) Result of MSER
그림 Fig. 2. Flowchart of proposed text detection image
그림 Fig. 3. Noise Removal Result (a) Original Image (b) MSER Result (c) Noise Removal Result
그림 Fig. 4. Measurement of change rate using contrastdifference
그림 Fig. 5. Remove Non Text Areas Result (a) Original Image (b) MSER Result (c) Remove Non Text Areas Result
그림 Fig. 6. Text detection using texture information Result (a) Remove Non Text Areas Result (b) Result of LBP (c) Background removal using LBP
그림 Fig. 7. Text detection Result (a) Remove Non Text Areas Result (b) Background removal using LBP (c) Text detection Result
그림 Fig. 8. ICDAR 2017 Data Set Image
그림 Fig. 9. Image of experiment result (a) Original Image (b) MSER Result (c) MSER+LBP Result (d) Proposed method
그림 Fig. 10. Image of experiment result (a) Original Image (b) MSER Result (c) MSER+LBP Result (d) Proposed method
그림 Fig. 11. Image of experiment result (a) Original Image (b) MSER Result (c) MSER+LBP Result (d) Proposed method
그림 Fig. 12. Image of experiment result (a) Original Image (b) MSER Result (c) MSER+LBP Result (d) Proposed method
그림 Fig. 13. Image of experiment result (a) Original Image (b) MSER Result (c) MSER+LBP Result (d) Proposed method
그림 Fig. 14. Image of experiment result (a) Original Image (b) MSER Result (c) MSER+LBP Result (d) Proposed method
표 Table. 1 Result of Character Detection Rate

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 명암과 질감 등의 정보를 사용하는 기존 텍스처 기반 방법의 문자와 배경을 분리한 뒤 문자를 검출 하는 방법을 연구 하였다. 먼저 가우시안 필터를 사용하여 잡음을 제거하고, MSER 방법을 사용하여 배경을 제거하였다.

제안 방법

가우시안 필터를 사용하여 잡음을 제거하였다. 그 후 MSER기반의 명암정보를 이용하여 명암 값이 차이가 많이 나는 영역과 차이가 많이 나지 않는 영역을 구한다음 변화율을 구해 배경 영역을 제거하였다. 그러나 일부 배경 영역이 제대로 제거되지 않아 질감 정보를 이용한 LBP 방법을 사용해 일정한 문자패턴을 찾아 배경 영역을 제거하고 문자를 검출하였다.
제안하는 방법은 이미지에서 MSER 방법을 사용하였을때 문자 영역과 배경 영역의 명암 값의 차이가 많이 나는 영역과 명암 값의 차이가 많이 나는 영역 대비 명암 값의 차이가 적은 영역을 구하였다. 그 후 영역들의 변화율을 구하여 배경 영역을 제거하였다.
그 후 MSER기반의 명암정보를 이용하여 명암 값이 차이가 많이 나는 영역과 차이가 많이 나지 않는 영역을 구한다음 변화율을 구해 배경 영역을 제거하였다. 그러나 일부 배경 영역이 제대로 제거되지 않아 질감 정보를 이용한 LBP 방법을 사용해 일정한 문자패턴을 찾아 배경 영역을 제거하고 문자를 검출하였다. 다양한 자연 이미지에서도 검출을 할 수 있는 개선된 결과를 얻었다.
본 논문에서는 명암과 질감 등의 정보를 사용하는 기존 텍스처 기반 방법의 문자와 배경을 분리한 뒤 문자를 검출 하는 방법을 연구 하였다. 먼저 가우시안 필터를 사용하여 잡음을 제거하고, MSER 방법을 사용하여 배경을 제거하였다. MSER 방법은 어둡거나 밝은 영역 즉 명암값이 일정한 영역을 찾는 방법이기 때문에 배경 영역과 문자 영역이 같이 검출 될 수 있다.
1은 제안하는 문자 검출 방법과 기존의 문자 검출 방법인 MSER과 MSER+LBP 방법을 비교한 표이다. 배경이 단순한 이미지, 문자가 정면으로 되어있는 이미지, 문자가 옆으로 기울어져있는 이미지로 비교하였다. 제안하는 문자 검출 방법은 MSER과 MSER+LBP 방법보다 높은 검출률을 나타내었다.
제안하는 방법의 명암차이를 이용한 MSER 방법을 사용해 배경 영역을 제거하였다. 배경이 제거된 이미지에서 문자패턴에 대한 정보를 판단하여 최종적으로 문자 검출을 하였다.
본 논문에서 제안하는 문자 검출 방법은 가우시안 필터를 통해 잡음이 제거된 이미지를 얻었다. 그 후 명암값이 일정한 영역을 구하는 MSER 방법의 결과에서 배경 영역이 포함되어 검출되었다.
본 논문에서 제안하는 방법은 자연 이미지에서 기존의 MSER 결과에 배경 영역이 검출되어 배경을 제거하는 연구를 진행하였다. 가우시안 필터를 사용하여 잡음을 제거하였다.
본 논문에서는 공개 데이터 셋인 ICDAR 2017을 이용하여 실험을 진행 하였다. 실험에 쓰인 이미지들은 각각 배경이 단순한 이미지, 문자가 정면으로 되어있는 이미지, 문자가 기울어져 있는 이미지로 실험을 하였다. 실험은 ICDAR2017의 300장의 이미지, 총 4265개의 문자로 구성된 이미지로 실험을 진행하였다.
실험은 ICDAR2017의 300장의 이미지, 총 4265개의 문자로 구성된 이미지로 실험을 진행하였다. 실험에서 비교하기 위해 기존의 MSER 방법, MSER+LBP 방법, 제안하는 방법을 사용하여 실험을 진행하였다. Fig.
원본이미지를 그레일 스케일로 변환 후 가우시안 필터를 적용하였다. 이미지에서 잡음을 제거하기 위해 가우시안 필터를 적용하였다.
MSER 방법은 어둡거나 밝은 영역 즉 명암값이 일정한 영역을 찾는 방법이기 때문에 배경 영역과 문자 영역이 같이 검출 될 수 있다. 이 문제를 해결하기 위해 제안하는 방법은 문자에 대한 명암과 배경 영역의 명암의 차이를 이용하여 배경을 제거 하였다. 배경 영역이 제거된 이미지에서 일부 배경 영역이 제거가 되지 않는 부분도 문자패턴특성을 사용하여 배경 영역을 제거하고 문자 검출 결과를 나타내었다.
제거된 이미지에서 일부 배경 영역이 제거가 되지 않는 부분이 존재하였다. 이러한 문제를 해결하기 위해 LBP 방법을 사용하여 이미지에서 균일한 값을 갖는 영역을 문자 영역이라고 판단하고 문자를 검출하는 방법을 제안하였다. Fig.
그 후 명암값이 일정한 영역을 구하는 MSER 방법의 결과에서 배경 영역이 포함되어 검출되었다. 이러한 문제를 해결하기 위해 명암차이를 이용하여 배경을 제거하였다. 제거된 이미지에서 일부 배경 영역이 제거가 되지 않는 부분이 존재하였다.
원본이미지를 그레일 스케일로 변환 후 가우시안 필터를 적용하였다. 이미지에서 잡음을 제거하기 위해 가우시안 필터를 적용하였다. 식 (4)는 가우시안 필터의 식을 나타낸다.
4의 그림처럼 명암의 변화가 비슷한 값들 중 문자 영역과 배경 영역의 명암 값의 차이가 많이 나는 영역 R_(l+a)을 구하고 명암 값의 차이가 많이 나는 영역 대비 명암 값의 차이가 적은 영역 R_(l+β)을 구한다. 점진적으로 변화하는 명암 값을 비교하여 구하였다. 식(5)를 통해 명암의 변화율을 구하여 배경 영역을 제거하는 과정이다.
MSER+LBP 방법은 질감정보를 사용하는 LBP 방법을 통해 배경 영역이 제거되었으나 문자 영역이 중복으로 검출되는 결과가 나타났다. 제안하는 방법은 MSER 결과를 통해 명암정보를 이용하였을 때 값이 차이가 많이 나는 영역과 많이 나지 않는 영역을 구해 배경 영역을 제거하여 문자 영역만 검출 하였다.
MSER 방법은 주변에 비해 어둡거나 밝은 영역의 변화가 비슷한 값들을 가진 영역들을 분류하는 방법이다. 제안하는 방법은 이미지에서 MSER 방법을 사용하였을때 문자 영역과 배경 영역의 명암 값의 차이가 많이 나는 영역과 명암 값의 차이가 많이 나는 영역 대비 명암 값의 차이가 적은 영역을 구하였다. 그 후 영역들의 변화율을 구하여 배경 영역을 제거하였다.
MSER+LBP 방법은 일부 유리창 부분이 제거되었지만 여전히 검출되었다. 제안하는 방법의 명암차이를 이용한 MSER 방법을 사용해 배경 영역을 제거하였다. 배경이 제거된 이미지에서 문자패턴에 대한 정보를 판단하여 최종적으로 문자 검출을 하였다.
MSER+LBP 방법은 배경 영역이 어느 정도 제거가 되었으나 일부 영역이 검출되는 결과를 보였다. 하지만 제안하는 방법은 명암차이를 이용한 MSER 방법을 사용하여 배경 영역을 제거하고 문자 영역만 검출하였다.
MSER 방법은 배경 영역을 제거하지 못해 문자 영역과 배경 영역이 검출되었고 MSER+LBP 방법은 LBP 방법을 통해 배경 영역을 제거하였으나 여전히 배경 영역이 검출되는 결과를 나타났다. 하지만 제안하는 방법은 문자 영역만 검출하였다.
MSER+LBP 방법은 배경 영역이 어느 정도 제거가 되었으나 일부 영역이 검출되는 결과를 보였다. 하지만 제안하는 방법은 문자패턴을 이용해 배경 영역을 제거하고 문자 영역만 검출하였다.

대상 데이터

본 논문에서는 공개 데이터 셋인 ICDAR 2017을 이용하여 실험을 진행 하였다. 실험에 쓰인 이미지들은 각각 배경이 단순한 이미지, 문자가 정면으로 되어있는 이미지, 문자가 기울어져 있는 이미지로 실험을 하였다.
실험에 쓰인 이미지들은 각각 배경이 단순한 이미지, 문자가 정면으로 되어있는 이미지, 문자가 기울어져 있는 이미지로 실험을 하였다. 실험은 ICDAR2017의 300장의 이미지, 총 4265개의 문자로 구성된 이미지로 실험을 진행하였다. 실험에서 비교하기 위해 기존의 MSER 방법, MSER+LBP 방법, 제안하는 방법을 사용하여 실험을 진행하였다.

이론/모형

본 논문에서 제안하는 방법은 자연 이미지에서 기존의 MSER 결과에 배경 영역이 검출되어 배경을 제거하는 연구를 진행하였다. 가우시안 필터를 사용하여 잡음을 제거하였다. 그 후 MSER기반의 명암정보를 이용하여 명암 값이 차이가 많이 나는 영역과 차이가 많이 나지 않는 영역을 구한다음 변화율을 구해 배경 영역을 제거하였다.
하지만 MSER 방법을 사용하여 명암 값의 변화율을 구해 제거를 하였음에도 일부 배경 영역이 제거되지 않은 결과가 나타났다. 이러한 문제를 해결하기 위해 질감 정보를 이용하는 LBP 방법을 사용하여 문자 검출 하였다.

성능/효과

11은 이미지에서 문자가 정면으로 되어있는 이미지의 실험결과이다. MSER 방법은 배경 영역을 제거하지 못해 문자 영역과 배경 영역이 검출되었고 MSER+LBP 방법은 LBP 방법을 통해 배경 영역을 제거하였으나 여전히 배경 영역이 검출되는 결과를 나타났다. 하지만 제안하는 방법은 문자 영역만 검출하였다.
마찬가지로 MSER은 배경 영역이 검출되었다. MSER+LBP 방법은 질감정보를 사용하는 LBP 방법을 통해 배경 영역이 제거되었으나 문자 영역이 중복으로 검출되는 결과가 나타났다. 제안하는 방법은 MSER 결과를 통해 명암정보를 이용하였을 때 값이 차이가 많이 나는 영역과 많이 나지 않는 영역을 구해 배경 영역을 제거하여 문자 영역만 검출 하였다.
7은 문자 검출 결과 이미지이다. 기존의 배경 영역이 제거되지 않은 상태에서의 문자 검출 과정을 LBP 방법을 이용해 영상 내 문자의 질감정보를 활용함으로써 개선된 문자 검출 결과를 얻을 수 있었다.
배경이 단순한 이미지, 문자가 정면으로 되어있는 이미지, 문자가 옆으로 기울어져있는 이미지로 비교하였다. 제안하는 문자 검출 방법은 MSER과 MSER+LBP 방법보다 높은 검출률을 나타내었다.

후속연구

다양한 자연 이미지에서도 검출을 할 수 있는 개선된 결과를 얻었다. 향후 연구 방향으로는 복잡한 배경을 제거하고 문자 검출률을 높이는 연구가 필요할 것으로 사료된다. 또한 MSER 기반으로 하는 문자 검출 연구에 도움이 될 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	MSER 방법은 무엇인가?	MSER 방법은 이미지에서 문자들의 명암 값이 비슷한 값을 가지는 규칙을 이용하여 비슷한 값을 가지는 영역들을 검출하는 방법으로 문자 검출 방법에 많이 사용되는 알고리즘이다.[15-19] 이러한 영역을 구하기 위해 이미지를 그레이 스케일로 변환 후 값을 0부터 255 또는 255에서 0까지 점진적으로 변화 시키면서 연결된 각 픽셀들의 일정한 영역을 구하는 방법이다.
	이미지의 잡음을 제거하는 방법은 무엇인가?	원본이미지를 그레일 스케일로 변환 후 가우시안 필터를 적용하였다. 이미지에서 잡음을 제거하기 위해 가우시안 필터를 적용하였다. 식 (4)는 가우시안 필터의 식을 나타낸다.
	MSER방법을 이용하여 문자 검출을 하는 방법 중 배경 영역이 포함되어 검출되는 것을 해결하는 방안은 무엇인가?	명암이 일정한 영역을 구분하는 MSER(Maximally Stable External Regions)방법의 문자 검출에서는 배경 영역이 포함되어 검출되었다. 이러한 문제점을 해결하기 위해 자연 이미지에서 MSER 방법을 사용하여 명암 값이 차이가 나는 영역과 차이가 나지 않는 영역 즉 문자 영역과 배경 영역을 구해 변화율을 계산하여 배경을 제거하였다. 그러나 배경이 제거된 이미지에서 일부 제거되지 않는 배경 영역이 생겨 LBP(Local Binary Patterns)방법을 사용하여 이미지에서 균일한 값을 갖는 영역을 문자 영역이라고 판단하고 문자를 검출하였다.

참고문헌 (21)

X. C. Yin. & X. Yin. & K. Huang. & H. W. Hao. (2013). Robust Text Detection in Natural Scene Images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(5), 970-983. Dol: 10.1109/TPAMI.2013.182

상세보기
Lele Xie, Tasweer Ahmad & Lianwen Jin. (2018). A New CNN-Based Method for Multi-Directional Car License Plate Detection, IEEE Transactions on Intelligent Transportation Systems, 19(2). 507-517. DOI: 10.1109/TITS.2017.2784093

상세보기
1st Author Zhandong Liu et al. (2017). Method for unconstrained text detection in natural sence image. IET Computer Vision 11(7), 596-604 DOI: 10.1049/iet-cvi.20160452

상세보기
A. Raza & I. Siddiqi & C. Djeddi & A. Ennaji. (2013). Multilingual Artificial Text Detection Using a Cascade of Transforms. In Document Analysis and Recognition(ICDAR) 2013 12th International Conference on, 309-313.
H. I. Koo & D. H. Kim. (2013). Scene Text detection via Connected Component Clustering and Nontext Filtering. IEEE transactions on image processing, 2296-2305.
S. K. Pyo & G. S. Lee & Y. S. Park & S. H. Lee (2018). A license plate detection method based on contour extraction that adapts to environmental changes. Journal of the Korea Convergence Society, 9(9), 31-39.
Yuanyuan Feng, Yonghong Song. (2016). Yuanlin Zhang, Scene text detection based on multi-scale swt and edge filtering. 2016 23rd International Conference on, 645-650.
P. Sujatha & K. K. Sudha. (2015). Performance Analysis of Different Edge Detection Techniques for Image Segmentation. Indian Journal of Science and Technology, 1-6.
J. Y. Kim. (2015). Method on Detection Specific Region Using License Plate Edge Feature In Car Image. Master dissertation. Kwangwoon University, Seoul.
C. Yu. & Y. h. Song. & Q. Meng. & Y. Zhang. & Y. Liu. (2015). Text detection and recongnition in natural scene with edge analysis. IET Computer Vision., 9(4) 603-613. DOI: 10.1049/iet-cvi.2013.0307.

상세보기
G. O. Kim & G. S. Lee & S. H. Lee (2014). An Edge Extraction Method Using K-means Clustering In Image. Journal of Digital Convergence. 12(11), 281-288.
E. G. Rhee (2017). Security Algorithm for Vehicle Type Recognition. Journal of Convergence for Information Technology, 7(2), 77-82.
J. C. Han & B. C. Koo & K. J. Cheoi (2017). Obstacle Detection and Recognition System for Autonomous Driving Vehicle. Journal of Convergence for Information Technology, 7(6), 229-235.
L. Kang & Y. Li & D. Doermann. (2014). Orientation Robust Text Line Detection in Natural Images. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 4023-4041.
M. Donoser. & H. Bischof. (2006) Efficent Maximally Stable Extermal Region (MSER) Tracking. 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06). DOI: 10.1109/CVPR.2006.107
M. W. Kim. & I. S. Oh. (2014) Stroke Width Transfrom and Feature Extraction for Maximally Stable Extermal Regions(MSER). Journal of KIISE : Computing Practices and Letters. 20(1), 21-25.
A. Tabassum & S. A. Dhondse. (2015). Text Detection Using MSER and Stroke Width Transform. 2015 Fifth International Conference on Communication Systems and Network Technologies, 568-571. DOI: 10.1109/CSNT.2015.154
J. H. Yang. (2017). Text area detection using text shape analysis in natural since image with enhanced object boundary. Master dissertation. Kwangwoon University, Seoul.
M. K. Oh & J. C. Park (2017). Long distance vehicle license plate region detection using Low resolution feature of license plate region in road view images. Journal of Digital Convergence. 15(1), 239-245.
A. Satpathy. & X. Jiang. & H. L. Eng. (2014) LBP-Based Edge-Texture Features for Object Recognition. IEEE Transactions on image Processing 23(5). DOI: 10.1109/TIP.2014.2310123

상세보기
K. Meena. & A. Suruliandi. (2011). Local binary patterns and its variants for face recognition. 2011 International Conference on Recent Trends in Information Technology (ICRTIT). 782-786.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증