실세계에서 텍스트가 포함 된 장면은 텍스트를 추출하고 인식하여 많은 정보를 얻을 수 있으므로, 장면의 텍스트 영역을 추출하고 인식하는 기술들은 꾸준히 발전하고 있다. 장면에서 텍스트 영역을 추출하는 기술은 크게 텍스쳐를 기반으로 하는 방법과 연결요소방법, 그리고 이 둘을 적절히 혼합하는 방법들로 구분 할 수 있다. 텍스처를 기반으로 하는 방법은 영상의 색상, 명도 등의 정보를 이용하여 텍스트가 다른 요소와는 다른 값을 갖는다는 것을 기반으로 한다. 연결 요소 방법은 장면의 각 화소마다 인접해 있는 유사 화소를 연결 요소로 만들어 기하학적인 특성을 이용하여 판별한다. 본 논문에서는 텍스트 영역 추출의 정확도를 높이기 위해 영상의 기울기를 검출하고 보정한 후 에지를 적응적으로 변경하는 방법을 제안한다. 제안 방법은 영상의 기울기를 보정한 후 텍스트가 포함 된 정확한 영역만 추출하기 때문에 MSER보다 15%, EEMSER보다 10% 더 정확하게 영역을 얻었다.
실세계에서 텍스트가 포함 된 장면은 텍스트를 추출하고 인식하여 많은 정보를 얻을 수 있으므로, 장면의 텍스트 영역을 추출하고 인식하는 기술들은 꾸준히 발전하고 있다. 장면에서 텍스트 영역을 추출하는 기술은 크게 텍스쳐를 기반으로 하는 방법과 연결요소방법, 그리고 이 둘을 적절히 혼합하는 방법들로 구분 할 수 있다. 텍스처를 기반으로 하는 방법은 영상의 색상, 명도 등의 정보를 이용하여 텍스트가 다른 요소와는 다른 값을 갖는다는 것을 기반으로 한다. 연결 요소 방법은 장면의 각 화소마다 인접해 있는 유사 화소를 연결 요소로 만들어 기하학적인 특성을 이용하여 판별한다. 본 논문에서는 텍스트 영역 추출의 정확도를 높이기 위해 영상의 기울기를 검출하고 보정한 후 에지를 적응적으로 변경하는 방법을 제안한다. 제안 방법은 영상의 기울기를 보정한 후 텍스트가 포함 된 정확한 영역만 추출하기 때문에 MSER보다 15%, EEMSER보다 10% 더 정확하게 영역을 얻었다.
In the modern real world, we can extract and recognize some texts to get a lot of information from the scene containing them, so the techniques for extracting and recognizing text areas from a scene are constantly evolving. They can be largely divided into texture-based method, connected component m...
In the modern real world, we can extract and recognize some texts to get a lot of information from the scene containing them, so the techniques for extracting and recognizing text areas from a scene are constantly evolving. They can be largely divided into texture-based method, connected component method, and mixture of both. Texture-based method finds and extracts text based on the fact that text and others have different values such as image color and brightness. Connected component method is determined by using the geometrical properties after making similar pixels adjacent to each pixel to the connection element. In this paper, we propose a method to adaptively change to improve the accuracy of text region extraction, detect and correct the slope of the image using edge and image segmentation. The method only extracts the exact area containing the text by correcting the slope of the image, so that the extracting rate is 15% more accurate than MSER and 10% more accurate than EEMSER.
In the modern real world, we can extract and recognize some texts to get a lot of information from the scene containing them, so the techniques for extracting and recognizing text areas from a scene are constantly evolving. They can be largely divided into texture-based method, connected component method, and mixture of both. Texture-based method finds and extracts text based on the fact that text and others have different values such as image color and brightness. Connected component method is determined by using the geometrical properties after making similar pixels adjacent to each pixel to the connection element. In this paper, we propose a method to adaptively change to improve the accuracy of text region extraction, detect and correct the slope of the image using edge and image segmentation. The method only extracts the exact area containing the text by correcting the slope of the image, so that the extracting rate is 15% more accurate than MSER and 10% more accurate than EEMSER.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 기울기를 가진 문자와 배경이 혼합된 장면에서 문자의 기울기를 검출하기 위해 모폴로지를 이용하여 전처리를 한다. 전처리 방법으로는 회색조 영상을 두고 닫기 후 열기 연산을 한다.
본 장에서는 장면 영상에서 문자열 영역 추출의 정확도를 높이기 위해 장면 영상의 기울기를 추출하고 보정하여 EEMSER에서 경계선 임계값을 계산하기 위한 캐니 연산자 과정을 적응적 방법을 적용한 방법을 제안한다.
실세계 장면 영상에서 문자를 추출할 때, 문자열이 기울어져 있으면 문자가 포함된 영역의 범위가 넓어지는 문제점을 개선하기 위한 방법으로 영상의 기울기를 추출 및 보정하는 방법을 본 연구에서 제안했다. 이 방법은 영상의 경계선을 구하고 3X3으로 영상을 분할한 후 기울기의 정확도를 위해 경계선이 포함되지 않은 영역은 연산에서 배제하고 각 영역의 경계선 집중도를 구해 영상 전체의 최적의 기울기를 구하였다.
가설 설정
각각의 객체는 SW값의 분산이 낮은 경향이 있다. 종횡비를 0.1과 10 사이의 값으로 제한하여 같은 영역의 글자는 자간이 글자의 폭의 3배를 넘을 수 없고 글자는 같은 색을 가지고 있다고 가정하여 글자의 영역을 판단한다. 하지만 폰트에 따라 글자가 항상 같은 폭을 갖지는 않기 때문에 글자가 다른 폭을 갖는 형태라면 글자로 판단하지 못할 수 있다.
제안 방법
[7]에서 제안한 방법인 EEMSER에서 캐니 연산자를 사용하여 결과 영상을 구하는 방법을 수정했다. 캐니 연산자 과정의 네 번째 단계인 두 개의 임계 값으로 크기를 구분하는 부분에서 일반적으로 두 개의 임계값을 사용자 임의로 입력하는 경우가 많다.
전처리 방법으로는 회색조 영상을 두고 닫기 후 열기 연산을 한다. 모폴로지 연산 후 결과영상에 캐니 연산자를 사용하여 경계선을 검출한다. 또한 영상의 최적 기울기를 구하기 위해 검출된 경계선의 영상을 3X3으로 분할한다.
[12]는 FIS을 이용한 경계선 추출을 제안하였다. 영상의 명도 히스토그램을 이용하여 각 화소들을 명도에 따른 그룹으로 나눈다. 각 그룹마다 경계선을 추출할 때 사용할 임계값을 추론하는데 3가지 통계치를 이용한다.
하지만 이 두 개의 임계값을 계산할 수 있는 방법들이 있는데 이 방법들 중에서 히스토그램을 이용하는 방법이 존재한다. 영상의 히스토그램은 특정 요소에 관한 분포를 보이는데 본 연구에서는 명도에 대한 히스토그램을 사용한다. 이는 최솟값, 최댓값, 평균값, 그리고 중앙값 등을 쉽게 구할 수 있기 때문이다.
최대 경계선집중도를 갖는 기울기를 구하는 방법으로는 영상의 분할된 영역을 –45°부터 45°까지 1°간격으로 투영하여 경계선 투영 히스토그램을 생성하고 이를 이용하여 분할된 각 영역의 최대 경계선 집중도를 갖는 기울기를 구한다. 이 때 분할된 각영역의 최대 경계선 집중도를 갖는 기울기를 최빈값과 중앙값을 이용하여 영상의 최적 기울기를 구하고 보정한 후 EEMSER의 캐니 연산자 임계값을 명도 히스토그램을 이용해 적응적으로 적용하는 방법을 제안한다. 제안된 방법을 이용하여 기울기를 가진 문자가 포함된 장면에서 문자 추출 결과 MSER과 EEMSER보다 높은 추출 정확도를 보이는 것을 알 수 있다.
실세계 장면 영상에서 문자를 추출할 때, 문자열이 기울어져 있으면 문자가 포함된 영역의 범위가 넓어지는 문제점을 개선하기 위한 방법으로 영상의 기울기를 추출 및 보정하는 방법을 본 연구에서 제안했다. 이 방법은 영상의 경계선을 구하고 3X3으로 영상을 분할한 후 기울기의 정확도를 위해 경계선이 포함되지 않은 영역은 연산에서 배제하고 각 영역의 경계선 집중도를 구해 영상 전체의 최적의 기울기를 구하였다. 기울기 보정은 영상에 포함되어 있는 문자 영역을 수평으로 정렬하기 위함이다.
이 방법은 문자 영역에서 캐니 연산자를 사용하여 경계선 영상을 구한다. 이 후 경계선 영상을 다양한 방향으로 투영시켜 경계선의 집중도를 계산하고 최대 경계선 집중도가 생성되는 최적의 기울기를 구한다. 최적 기울기를 검출하는 3단 coarse-to-fine 탐색 알고리즘은 다음과 같다.
각 그룹마다 경계선을 추출할 때 사용할 임계값을 추론하는데 3가지 통계치를 이용한다. 이 후에 18개의 규칙이 정의된 FIS에 입력되어 멤버십 함수에 의해 정도가 표현되고 이 정도를 이용하여 경계선을 추출한다.
이런 문자열의 특성은 가로 방향으로 경계선을 많이 발생시킨다. 이를 이용하여 경계선 누적 히스토그램을 생성하고 최적 기울기를 검출한다. 최적 기울기를 검출하기 위해 투영 히스토그램을 이용하여 3단계 검출 알고리즘을 사용하는데, 다음은 세 번째 단계인 단계 3만 보이고 있다.
제안 방법에서는 영상에서 경계선을 추출하기 위해 캐니 연산자를 사용한다. 캐니 연산자는 소벨 연산자와 라플라시안 연산자에 비해 잡음에 민감하지 않으며 강한 경계선을 추출할 수 있다.
최대 경계선집중도를 갖는 기울기를 구하는 방법으로는 영상의 분할된 영역을 –45°부터 45°까지 1°간격으로 투영하여 경계선 투영 히스토그램을 생성하고 이를 이용하여 분할된 각 영역의 최대 경계선 집중도를 갖는 기울기를 구한다.
소벨 연산자 영상은 잡음에는 민감하지 않으나 경계선이 뚜렷하지 않고 라플라시안 연산자 영상은 경계선은 강하나 잡음에 민감하다. 캐니 연산자 영상은 잡음에도 민감하지 않으며 경계선도 뚜렷하여 본 연구에서는 캐니 연산자를 사용하여 경계선을 추출한다. 경계선 추출 영상을 이용하여 경계선이 포함되지 않는 영역을 배제하기 위해 그림 9와 같이 경계선 추출 영상을 분할한다.
성능/효과
제안 방법이 기존의 방법에 비하여 성능이 향상되었으며, 이에 대한 평균을 도표로 나타낸 것이 그림 18이다. 그림 18을 통해 제안 방법이 기존의 EEMSER보다 10%, MSER 보다는 15% 성능이 향상된 것을 알 수 있다.
기울기 보정은 영상에 포함되어 있는 문자 영역을 수평으로 정렬하기 위함이다. 실험을 통해 제안한 문자 영역 추출 방법이 기존의 MSER보다는 15%, EEMSER보다 10% 더 정확하게 문자 영역을 추출할 수 있었다.
이 때 분할된 각영역의 최대 경계선 집중도를 갖는 기울기를 최빈값과 중앙값을 이용하여 영상의 최적 기울기를 구하고 보정한 후 EEMSER의 캐니 연산자 임계값을 명도 히스토그램을 이용해 적응적으로 적용하는 방법을 제안한다. 제안된 방법을 이용하여 기울기를 가진 문자가 포함된 장면에서 문자 추출 결과 MSER과 EEMSER보다 높은 추출 정확도를 보이는 것을 알 수 있다.
제안된 방법의 성능을 평가하기 위한 척도는 기존의 방법과 제안된 방법이 영상에서 텍스트 영역을 얼마나 정확하게 찾아내는 가를 정확도로 표현한다. 그림 17은 그림 16의 실험 영상을 이용하여 기울기 보정 후 실험한 문자 영역을 표시한 결과이며, 이를 바탕으로 기존의 EEMSER과 MSER 방법과 비교하여 표 1에 보이고 있다.
후속연구
이를 보완하기 위해 영상의 크기에 따른 적응적 임계값을 적용할 수 있는 방법에 대한 연구가 필요하고 본 논문의 연구 및 실험을 할 때 정지된 실세계의 영상으로만 하여 현실에서 사용 시 효용성이 낮을 것으로 보인다. 이를 보완하고 현실에서 효용성을 높이기 위해 모바일, 또는 카메라를 이용한 실시간 영상에서 제안한 방법의 적용에 관한 연구가 필요하다.
향후 연구 과제로는 본 논문에서 MSER의 특징으로 인해 영상의 크기에 따라 결과가 상이하게 나올 수 있다. 이를 보완하기 위해 영상의 크기에 따른 적응적 임계값을 적용할 수 있는 방법에 대한 연구가 필요하고 본 논문의 연구 및 실험을 할 때 정지된 실세계의 영상으로만 하여 현실에서 사용 시 효용성이 낮을 것으로 보인다. 이를 보완하고 현실에서 효용성을 높이기 위해 모바일, 또는 카메라를 이용한 실시간 영상에서 제안한 방법의 적용에 관한 연구가 필요하다.
향후 연구 과제로는 본 논문에서 MSER의 특징으로 인해 영상의 크기에 따라 결과가 상이하게 나올 수 있다. 이를 보완하기 위해 영상의 크기에 따른 적응적 임계값을 적용할 수 있는 방법에 대한 연구가 필요하고 본 논문의 연구 및 실험을 할 때 정지된 실세계의 영상으로만 하여 현실에서 사용 시 효용성이 낮을 것으로 보인다.
질의응답
핵심어
질문
논문에서 추출한 답변
텍스처를 기반으로 하는 방법의 원리는 무엇인가?
텍스처를 기반으로 하는 방법은 영상의 색상, 명도 등의 정보를 이용하여 문자와 문자가 아닌 요소와는 다른 값을 갖는다는 전제하에 이러한 영상에 포함된 정보를 이용하여 문자를 찾아 추출한다. 이에 반해 연결 요소 방법은 장면의 각 화소 마다 인접해 있는 유사 화소를 연결요소로 그룹을 만드는 것과 같은 기하학적인 특성을 이용하여 문자와 문자가 아닌 요소를 판별한다.
장면에서 문자를 추출하는 기술은 크게 구분할 수 있는가?
이러한 문자 정보를 이용해 시각장애인을 위한 시각보조 시스템이 개발 중이고 외국인이 여행 중에 휴대용 장비를 통해서 외국어로 된 지리정보와 관광정보 등을 텍스트 검출과 변환 기술로 외국인들이 이해할 수 있는 문자로 변환 가능하도록 하는 시스템이 개발 중이다. 이런 이유로 장면의 문자 영역을 추출하고 인식하는 기술들은 꾸준히 발전하고 있으며 장면에서 문자를 추출하는 기술은 크게 텍스처를 기반으로 하는 방법과 연결요소 방법, 그리고 이 둘을 적절히 혼합하는 방법[1-3]들로 구분 할 수 있으며 이 외에도 다양한 텍스트 영역 검출 방법에 관한 연구가 진행되어 왔다[4-6].
기울기를 추출 및 보정하는 방법들의 특징은 무엇인가?
기울기를 추출 및 보정하는 방법으로는 경계선과 최소자승법을 이용한 기울기 보정 방법[8], 객체의 위치와 최소자승법을 이용한 기울기 보정 방법[9], 투영 히스토그램을 이용한 방법[10]등이 있다. 이 방법들은 문서 영상 또는 문자열이 다수 포함된 장면에서는 빠르고 정확도가 높으나 문자와 배경이 혼합된 장면에서는 상대적으로 낮은 정확도를 보이고 있다. 특히 최소자승법을 이용한 방법은 정상적인 데이터 분표에 속하지 않는 데이터가 존재한다면 잘못된 근사결과를낼 수 있는 최소자승법의 한계로 인해 문자와 배경이 혼합된 장면에서는 적용하기 힘든 방법이다.
참고문헌 (12)
L. Yao, J. Wenjing, S. Chunhua, and A. Hengel, "Character3ness: an indicator of text in the wild", IEEE Trans. Image Process. Vol. 23, No. 4, pp. 1666-1677, 2014.
L. Kang, Y. Li, and D. Doermann, "Orientation robust text line detection in natural images". Proc. IEEE Int. Conf. Comput. Vis. Pattern Recognit. pp. 4034-4041, 2014.
M. C. Sung, B. Jun, H. Cho, and D. Kim, "Scene text detection with robust character candidate extraction method", Proc. 13th ICDAR. pp. 426-430, 2015.
B. Epshtein, E. Ofek, and Y. Wexler, "Detecting text in natural scenes with stroke width transform", CVPR , pp. 2963 -29702010.
M. W. Kim, and I. S. Oh, "Stroke Width Transform and Feature Extraction for Maximally Stable External Regions(MSER)", Journal of KIISE : Computing Practices and Letters, Vol. 20, No. 1, pp. 21-252014.
Y. Park, S. Park, and Y. G. Seo. "An Extracting Text Area Using Adaptive Edge Enhanced MSER in Real World Image", Journal of Digital Contents Society, Vol. 17, No. 4, pp. 219-226, 2016.
Chen H., Tsai S., Schroth G., Che, D., Grzeszczuk R. and Girod B., "Robust text detection in natural images with edge-enhanced maximally stable extremal regions", In Image Processing (ICIP), 18th IEEE International Conference on, pp. 2609-2612, 2011.
P, Malathi. "Skew Detection based on Bounding Edge Approximation", IOSR Journal of Computer Engineering, Vol. 16, pp. 136-139, 2014.
B. Drako, "The evaluation of the initial skew rate for printed text", Journal of Electrical Engineering, Vol. 62, No. 3, pp. 134-140, 2011.
Ju J. H., and Oh J. S., "Skew Correction of Document Images using Edge", Journal of the Korea Institute of Information and Communication Engineering, Vol. 16, No. 7, pp. 1487-1494, 2012.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.