본 논문은 이미지에서 효과적인 문자검출을 위해 색상단순화 및 윤곽선에서의 패턴 분석을 통한 문자 검출방법을 제안한다. 윤곽선 기반방법을 사용하는 문자검출 알고리즘은 단순한 배경의 이미지에서는 우수한 성능을 보이지만, 복잡한 배경의 이미지에서는 성능이 떨어지는 단점이 있다. 따라서 제안하는 방법은 복잡한 배경에서의 비문자영역을 최소화하기 위해 이미지 단순화 및 패턴분석을 통한 문자 검출 알고리즘을 제안한다. 먼저 이미지에서의 문자영역 부분을 검출하기 위하여 전처리 과정으로 K-means 군집화를 사용하여 이미지의 색상을 단순화하고, 색상 단순화 과정에서의 물체의 경계의 흐릿해짐을 개선하기 위해 고주파통과필터를 통해 물체의 경계를 강화한다. 그 후 모폴로지 기법의 팽창과 침식의 차이를 이용하여 물체의 윤곽선을 검출하고, 획득한 영역의 윤곽선 부분의 정보(높이, 너비 면적)를 구한 후 패턴분석을 통해 조건을 줌으로써 문자 후보영역을 판별하여 문자가 아닌 불필요한 영역(그림, 배경)을 제거한다. 최종 결과로 라벨링을 통해 불필요한 영역이 제거된 결과를 보여준다.
본 논문은 이미지에서 효과적인 문자검출을 위해 색상단순화 및 윤곽선에서의 패턴 분석을 통한 문자 검출방법을 제안한다. 윤곽선 기반방법을 사용하는 문자검출 알고리즘은 단순한 배경의 이미지에서는 우수한 성능을 보이지만, 복잡한 배경의 이미지에서는 성능이 떨어지는 단점이 있다. 따라서 제안하는 방법은 복잡한 배경에서의 비문자영역을 최소화하기 위해 이미지 단순화 및 패턴분석을 통한 문자 검출 알고리즘을 제안한다. 먼저 이미지에서의 문자영역 부분을 검출하기 위하여 전처리 과정으로 K-means 군집화를 사용하여 이미지의 색상을 단순화하고, 색상 단순화 과정에서의 물체의 경계의 흐릿해짐을 개선하기 위해 고주파통과필터를 통해 물체의 경계를 강화한다. 그 후 모폴로지 기법의 팽창과 침식의 차이를 이용하여 물체의 윤곽선을 검출하고, 획득한 영역의 윤곽선 부분의 정보(높이, 너비 면적)를 구한 후 패턴분석을 통해 조건을 줌으로써 문자 후보영역을 판별하여 문자가 아닌 불필요한 영역(그림, 배경)을 제거한다. 최종 결과로 라벨링을 통해 불필요한 영역이 제거된 결과를 보여준다.
In this paper, we propose a text extraction method by pattern analysis on contour for effective text detection in image. Text extraction algorithms using edge based methods show good performance in images with simple backgrounds, The images of complex background has a poor performance shortcomings. ...
In this paper, we propose a text extraction method by pattern analysis on contour for effective text detection in image. Text extraction algorithms using edge based methods show good performance in images with simple backgrounds, The images of complex background has a poor performance shortcomings. The proposed method simplifies the color of the image by using K-means clustering in the preprocessing process to detect the character region in the image. Enhance the boundaries of the object through the High pass filter to improve the inaccuracy of the boundary of the object in the color simplification process. Then, by using the difference between the expansion and erosion of the morphology technique, the edges of the object is detected, and the character candidate region is discriminated by analyzing the pattern of the contour portion of the acquired region to remove the unnecessary region (picture, background). As a final result, we have shown that the characters included in the candidate character region are extracted by removing unnecessary regions.
In this paper, we propose a text extraction method by pattern analysis on contour for effective text detection in image. Text extraction algorithms using edge based methods show good performance in images with simple backgrounds, The images of complex background has a poor performance shortcomings. The proposed method simplifies the color of the image by using K-means clustering in the preprocessing process to detect the character region in the image. Enhance the boundaries of the object through the High pass filter to improve the inaccuracy of the boundary of the object in the color simplification process. Then, by using the difference between the expansion and erosion of the morphology technique, the edges of the object is detected, and the character candidate region is discriminated by analyzing the pattern of the contour portion of the acquired region to remove the unnecessary region (picture, background). As a final result, we have shown that the characters included in the candidate character region are extracted by removing unnecessary regions.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 이미지내의 색상 단순화 및 이미지 패턴 분석을 통해 문자영역을 검출하는 알고리즘을 제안하였다. 제안하는 방법은 기존의 이미지를 K-means 군집화를 사용하여 색상단순화를 진행함으로써 복잡한 색상을 가진 이미지나, 복잡한 배경의 이미지에서도 기존의방법보다 효율적인 문자 검출 결과가 가능하였다.
제안 방법
윤곽선 기반 방법은 일반적으로 이미지에서 밝기 차이를 사용하여 물체의 윤곽선을 구하는 방법으로 어떠한 연산자를 사용하는가에 따라 윤곽선 결과의 차이가 생기고 복잡한 배경에서는 결과가 좋지 않다는 단점을 가지고 있다. 그러나 본 논문에서는 윤곽선 기반 방법의 단점을 극복하기 위해 이미지에서의 문자들이 동일 색상을 가지고 있다는 특성을 사용하여 K-means 군집화로 이미지를 색상을 단순화하고, 이미지의 윤곽선을 형태학필터의 침식과 팽창의 차이를 통해 구하고, 글자 영역의 패턴을 분석 통해 각 비문자영역과 문자영역의 특징을 비교하여, 분류하고 최종 문자영역의 결과를 얻게 된다. 본 논문은 다음과 같이 구성되어있다.
먼저 이미지에서의 동일 영역의 문자들은 같은 색상을 가지고 있다는 특성을 사용하여 K-means 군집 화를 통해 글자 및 이미지의 색상을 단순화하고, 경계가 흐릿해지는 부분을 개선하고 효과적인 윤곽선 검출을 할 수 있도록 고주파통과필터를 사용하였다. 그렇게 얻은 윤곽선을 글자후보영역과 비후보 영역으로 구분하기 위해 글자영역의 패턴을 분석 후 조건을 주어 나누어준다. 나누어진 글자영역의 결과를 라벨링함으로써 최종 글자 영역이 검출되는 결과를 보여준다.
제안하는 방법은 기존의 이미지를 K-means 군집화를 사용하여 색상단순화를 진행함으로써 복잡한 색상을 가진 이미지나, 복잡한 배경의 이미지에서도 기존의방법보다 효율적인 문자 검출 결과가 가능하였다. 또한 고주파통과필터를 통해 색상단순화에서 생기는 물체의 경계부분의 흐릿해짐을 강화하여 윤곽선 추출 과정에서의 부정확함을 개선하였고, 이미지 패턴 분석을 통해 각각의 윤곽선의 높이, 너비, 면적을 계산하고, 수식을 적용함으로써 각각의 영역들을 문자영역과 비 문자영역으로 구분하였다. 최종 결과로 라벨링 과정을 통해 문자영역을 검출하였다.
제안하는 방법은 윤곽선 기반 방법을 통해 문자를 추출한다. 먼저 이미지에서의 동일 영역의 문자들은 같은 색상을 가지고 있다는 특성을 사용하여 K-means 군집 화를 통해 글자 및 이미지의 색상을 단순화하고, 경계가 흐릿해지는 부분을 개선하고 효과적인 윤곽선 검출을 할 수 있도록 고주파통과필터를 사용하였다. 그렇게 얻은 윤곽선을 글자후보영역과 비후보 영역으로 구분하기 위해 글자영역의 패턴을 분석 후 조건을 주어 나누어준다.
본 논문에서는 모폴로지 그라디언트 방법을 사용했는데 이 방법은 모폴로지 연산 자중 팽창과 침식의 차이를 이용해 물체의 윤곽선을 얻는 방법이다. 모폴로지 연산자에서 팽창은 주변보다 밝고 작은 크기의 얼룩이나 잡음을 제거하기 위해 사용하고 팽창은 연결된 유사한 색상 또는 밝기 값을 가진 영역의 구성요소를 찾고자 할 때 사용하는데 이 둘의 차이를 사용하여 윤곽선을 구하였다. 수식(4)에서 dst(x,y)는 결과이미지의 x,y위치의 픽셀 값이고 src(x,y)는 입력이미지의 x,y위치의 픽셀 값으로 침식연산은 윈도우내의 주변 픽셀 값들 중 가장 작은 값으로 설정하는 최소값 필터를 적용하는 방법으로 수식은 다음과 같다.
문자영역의 평균 높이와 평균 너비를 임계값(θ2=0.5)을 통해 문자영역보다 작은 비 문자영역을 구분하였다.
본 실험은 Windows 10 환경에서 Visual Studio 2015 프로그램으로 OpenCV를 사용하여 개발하였다. 다음 그림은 제안하는 방법을 다양한 영상에서 실험을 수행한 결과로 (a)는 Original Image, (b)는 Connected component based Result이고, (c)는 Edge based Result, (d)는 Proposed Method Result를 나타낸다.
7]에서 전처리 단계를 수행한 후 이미지 결과를 보게 되면 문자영역보다 작은 영역이 검출되는 결과를 볼 수 있다. 이러한 영역들을 제거하기 위하여 수식(8)을 적용하였다.
제안하는 알고리즘은 그림[1]에서와 같이 전처리 단계와 후처리단계로 나누어진다. 전처리 단계에서는 문자검출을 진행하기 전 이미지를 단순화하고 윤곽선 부분을 강조하여 후처리단계에서의 검출성능을 향상시키기 위한 단계로 K-means 군집화, 고주파통과필터, 윤곽선 검출을 실행하는 단계이다.
데이터처리
이러한 분석을 통해 검출된 영역의 최대 영역이 이미지전체의 영역으로 검출될 경우나 넓은 면적을 가진 그림영역을 제거하기 위하여 임계값(θ1=0.1)을 주어 분류를 하였다.
제안하는 알고리즘은 정확도의 성능을 평가하기위하여 정확도를 Precision(정확도)와 Recall(재현율)로 계산 하였고, 성능비교를 위해 IRNTE(비문자 추출의 역 비율)을 측정하였다. 여기서 Precision과 Recall에 사용한 TNOCT(Total number of correct texts)는 이미지 내에서 검출된 정확한 문자개체의 개수이고, NODT(Number of detected texts)는 검출된 개체의 개수이다.
또한 고주파통과필터를 통해 색상단순화에서 생기는 물체의 경계부분의 흐릿해짐을 강화하여 윤곽선 추출 과정에서의 부정확함을 개선하였고, 이미지 패턴 분석을 통해 각각의 윤곽선의 높이, 너비, 면적을 계산하고, 수식을 적용함으로써 각각의 영역들을 문자영역과 비 문자영역으로 구분하였다. 최종 결과로 라벨링 과정을 통해 문자영역을 검출하였다. 그러나 외부이미지에서 빛의 노출이 심하거나 문자의 색이 다양할 경우 K-means군집화에서 각각 다른 영역으로 색상이 처리 되었고, 문자와 크기가비슷한 이미지에서 문자와 이미지를 동일 영역으로 판단 하여 처리하는 불완전한 결과를 보였다.
이론/모형
이러한 문제를 해결하기 위하여 다양한 방법들이 제시되었는데 그 중 대표적인 방법으로는 영역기반 방법 [10], 윤곽선기반 방법[11], 텍스처 기반방법[12], 연결기반 방법이 있다. 본 논문에서는 이러한 방법 중 윤곽선 기반방법[13]을 사용하여 문자 검출을 진행하였다. 윤곽선 기반 방법은 일반적으로 이미지에서 밝기 차이를 사용하여 물체의 윤곽선을 구하는 방법으로 어떠한 연산자를 사용하는가에 따라 윤곽선 결과의 차이가 생기고 복잡한 배경에서는 결과가 좋지 않다는 단점을 가지고 있다.
[15] 이러한 이미지 에서 글자들은 같은 색상을 가지고 있다는 특성이 있다. 이러한 특성으로 인해 본 논문에서는 전처리 과정에서 같은 색상으로 이미지의 그룹을 단순화 시키는 K-means 클러스터링을 사용한다. K-means 클러스터링의 수식은 다음과 같다.
제안하는 방법은 윤곽선 기반 방법을 통해 문자를 추출한다. 먼저 이미지에서의 동일 영역의 문자들은 같은 색상을 가지고 있다는 특성을 사용하여 K-means 군집 화를 통해 글자 및 이미지의 색상을 단순화하고, 경계가 흐릿해지는 부분을 개선하고 효과적인 윤곽선 검출을 할 수 있도록 고주파통과필터를 사용하였다.
성능/효과
각 결과의 정확도 및 재현율을 보게 되면 시각적인 차이가 있음에도 불구하고 문자의 개체수가 비문자의 개체 수보다 훨씬 커서 수치적인 정확도 및 재현율에 영향을미치지 못하는 것을 알 수 있다. 따라서 IRNTE를 별도로 측정하였는데 [Fig.
최종 결과로 라벨링 과정을 통해 문자영역을 검출하였다. 그러나 외부이미지에서 빛의 노출이 심하거나 문자의 색이 다양할 경우 K-means군집화에서 각각 다른 영역으로 색상이 처리 되었고, 문자와 크기가비슷한 이미지에서 문자와 이미지를 동일 영역으로 판단 하여 처리하는 불완전한 결과를 보였다. 향후 사용자가 초기 값을 정해주는 색상 단순화가 아닌 이미지 내부색 상을 통한 색상 단순화 과정과 문자와 이미지의 내부 픽셀 분포도 비교를 통한 비 문자영역 제거를 알고리즘에추가하여 보완함으로써 더욱 효율적인 문자추출이 가능할 것으로 예상된다.
첫 번째 행은 문자 및 그림이 포함된 이미지를 사용하였는데, 그림을 보면 (b)에서 문자영역뿐만 아니라 비 문자영역 또한 검출되었으나, 제안하는 방법에서는 비 문자영역으로 판단하여 문자영역만 검출하는 결과를 보여 준다. 두 번째 행과 세 번째 행의 연결기반방법은 이진화의 임계값에 따라 문자영역들이 일부분이 탐지되지 않았고, 윤곽선기반 방법에서는 비 문자영역들이 탐지되는 것을 볼 수 있다. 그러나 제안하는 방법에서는 이미지 분석을 통해 오 탐지된 작은 영역들이 사라진 결과를 볼 수 있다.
10]을 보면 윤곽선기반 방법의 결과 에서 글자 영역주변에 비문자 영역이 탐지되었으나 제안 하는 방법의 결과에서는 이러한 영역들이 제거된 결과를 볼 수 있다. 또한 윤곽선기반 방법의 경우 3번째 그림과 7번째 그림에서 비문자 영역이 탐지되어 81.8%의 평균을 보였고 제안하는 방법의 경우 영화포스터 이미지를 제외한 모든 영상에서 비문자영역이 제거되어 다른 두 방법 보다 높게 측정된 결과를 볼 수 있다.
다섯 번째 행과 여섯 번째 행의 문자만 있는 단순 이미지에서는 연결구성요소 방법을 제외한 두결과가 비슷한 결과를 보였다. 일곱 번째 행에서는 책 이미지를 검출하였는데 연결기반방법은 임계값에 따라 문자영역이 손실된 영역이 있고, 제안하는 방법 또한 K-means 군집화에 의해 배경이 있는 글자 영역이 동일 색상이 되어 검출하는 못하는 결과를 보였다. 마지막 행에서는 야외이미지에서 빛에 의해 문자영역의 색상이 달라진 이미지로 K-means군집화를 통한 색상 단순화과정 에서 문자영역을 오 탐지하는 결과를 보여준다.
본 논문에서는 이미지내의 색상 단순화 및 이미지 패턴 분석을 통해 문자영역을 검출하는 알고리즘을 제안하였다. 제안하는 방법은 기존의 이미지를 K-means 군집화를 사용하여 색상단순화를 진행함으로써 복잡한 색상을 가진 이미지나, 복잡한 배경의 이미지에서도 기존의방법보다 효율적인 문자 검출 결과가 가능하였다. 또한 고주파통과필터를 통해 색상단순화에서 생기는 물체의 경계부분의 흐릿해짐을 강화하여 윤곽선 추출 과정에서의 부정확함을 개선하였고, 이미지 패턴 분석을 통해 각각의 윤곽선의 높이, 너비, 면적을 계산하고, 수식을 적용함으로써 각각의 영역들을 문자영역과 비 문자영역으로 구분하였다.
후속연구
그러나 외부이미지에서 빛의 노출이 심하거나 문자의 색이 다양할 경우 K-means군집화에서 각각 다른 영역으로 색상이 처리 되었고, 문자와 크기가비슷한 이미지에서 문자와 이미지를 동일 영역으로 판단 하여 처리하는 불완전한 결과를 보였다. 향후 사용자가 초기 값을 정해주는 색상 단순화가 아닌 이미지 내부색 상을 통한 색상 단순화 과정과 문자와 이미지의 내부 픽셀 분포도 비교를 통한 비 문자영역 제거를 알고리즘에추가하여 보완함으로써 더욱 효율적인 문자추출이 가능할 것으로 예상된다.
질의응답
핵심어
질문
논문에서 추출한 답변
이미지에서 문자검출에 어려움을 주는 요소에는 무엇이 있는가?
[8] 이러한 문자검출은 컴퓨터 비전 분야에 사용하며 이미지에서 텍스트 영역을 블록 또는 영역으로 얻음으로써 텍스트 및 비 텍스트로 분류하는 방법이다.[9,] 이미지에서 문자검출은 문자의 크기, 모양, 방향뿐만 아니라 낮은 화소, 명암, 복잡한 배경 등 다양한 조건들이 문자검출에 어려움을 준다. 이러한 문제를 해결하기 위하여 다양한 방법들이 제시되었는데 그 중 대표적인 방법으로는 영역기반 방법 [10], 윤곽선기반 방법[11], 텍스처 기반방법[12], 연결기반 방법이 있다.
문자 검출은 어떠한 분야에서 활용이 가능한가?
[2,3] 이미지에서 포함된 문자는 이름이나 제목, 날짜, 내용정보 등 중요한 정보가 포함되어있다.[4] 이에 따라 문자 검출은 자동차 번호 검출[5], 글자 검색, 동영상 자막 검색[6,7] 내용분석 등 다양한 분야에서 활용이 가능하다.[8] 이러한 문자검출은 컴퓨터 비전 분야에 사용하며 이미지에서 텍스트 영역을 블록 또는 영역으로 얻음으로써 텍스트 및 비 텍스트로 분류하는 방법이다.
연결기반 방법의 단점은 무엇인가?
이 방법은 주로 모폴로지 기법을 사용하여 문자 영역을 검출한 다. 그러나 낮은 해상도나 복잡한 이미지에서의 문자 감지가 힘들다는 단점이 있다.
참고문헌 (17)
C.P.Sumathi, T.Santhanam, N.Priya, "Techniques and challenges of automatic text extraction in complex images: a survey", Journal of Theoretical and Applied Information Technology, Vol. 35, No. 2, pp. 225-235, 2012.
MS.Uddin, T.Rahman, US.Busra, M.Sultana, "Automated extraction of text from images using morphology based approach", International Journal of Electronics & Informatics, Vol. 1, No. 1, pp. 14-19 2012.
T.Khatib, H.Karajeh, H.Mohammad, L.Rajab, "A hybrid multilevel text extraction algorithm in scene images", AcademicJounals, Vol. 55, No. 2, pp. 105-113, 2013.
C.Strouthpoulos, N.Papamarkos, A.E.Atsalakis, "Text extraction in complex color document", Pattern Recognition, Vol. 35, No. 8, pp. 1742-1758, 2002.
BB.Sharma, A.Joshi, RK.Sharma, M.Jahan, "Text data extraction from images of number plate and sign boards", International Journal of Electronics, Electrical and Computational System, Vol. 4, No. 9, 2015.
P.Shivakumara, T.Q.Phan, C.L.Tan, "A Laplacian approach to multi-oriented text detection in video" IEEE Trans. Pattern Anal. Mach. Intell, Vol. 33, No. 2, pp. 412-419, 2011.
Z.Guo, Y.Li, Y.Wang, S.Liu, T.Lei, Y.Fan, "A method of effective text extraction for complex video scene"Mathematical Problems in Engineering Volume 2016 , pp. 1-11, 2016.
B.Gatos, I.Pratikakis, K.Kepene, S.J.Perantonis, "Text detection in indoor/outdoor scene images" First workshop of camera-based document analysis and recognition, pp. 127-132, 2005.
GG.Devi, CP.Sumathi, "Text extraction from images using gamma correction method and different text extraction methods - a comparative analysis", Journal of Computer Science, vol. 10, no. 4, pp. 705-715, 2014.
Z.Huang, J.Leng, "Text extraction in natural scenes using region-based method", Journal of Digital Information Management, Vol. 12, No. 4, pp. 246-254, 2014.
X..Zhang, F.Sun, L.Gu, "A Combined Algorithm for video text extraction", 2010 Seventh International Conforence on Fuzzy Systeims and konwledge dicovery, Vol. 5, No, 10, pp. 2294-2298, 2010.
B.Wang, XF.Li, F.Liu, F.Q. Hu, "Color text image binarization based on binary texture analysis", Pattern recognition letters, Vol. 26, No. 10, pp. 1568-1576, 2005.
E.Rhee, "Security Algorithm for Vehicle Type Recognition," Journal of Convergence for Information Technology, Vol. 7, No. 2, pp. 77-82, 2017.
M.S.Choi, "Complex Color Model for Efficient Representation of Color-Shape in Content-based Image Retrieval", Journal of digital Convergence , Vol. 15, No. 4, pp. 267-273, 2017.
J,H.Park, G.S.Lee, S.H.Lee, "A Study on the Convergence Technique enhanced GrabCut Algorithm Using Color Histogram and modified Sharpening filter", Journal of the Korea Convergence Society, Vol. 6, No. 6, pp. 1-8, 2015.
G.O. Kim, G.S. Lee, S.H. Lee, "An Edge Extraction Method Using K-means Clustering In Images", The Society of Digital Policy and Management, Vol. 12, No. 11, pp. 281-288, 2014.
J.H.Kim, S.H.Lee, G.S.Lee, Y.S.Park, Y.P.Hong, "Using a Method Based on a Modified K-Means Clustering and Mean Shift Segmentation to Reduce File Sizes and Detect Brain Tumors from Magnetic Resonance (MRI) Images." Wireless Personal Communications, Vol. 89, No. 3, pp. 993-1008, 2016.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.