박영목
(GeongNam Nat'l Univ. of Science and Technology, Institute of Computer Information)
,
박순화
(Gyeongsang Univ. Dept. of Computer Science and Graduate School of CCBM)
,
서영건
(Gyeongsang Univ. Dept. of Computer Science and Graduate School of CCBM)
일반 생활 속에서 우리 인간의 눈으로 정보를 인식하고 그 정보를 이용하는 것에는 한계가 없을 만큼 다양하고 방대하다. 그러나 인공지능이 발달한 현재의 기술로도, 인간의 시각 처리 능력에 비하면 턱없이 능력이 부족하다. 그럼에도 불구하고 많은 연구자들은 실생활 속에서 정보를 얻고자 하고 있고, 특히 글자로 된 정보를 인식하는데 많은 노력을 기울이고 있다. 글자를 인식하는 분야에서 일반적인 문서에서 글자를 추출하는 것은 일부 정보처리 분야에서 이용되고 있지만, 실영상에서 문자를 추출하고 인식하는 부분은 아직도 많이 부족하다. 그 이유는 실영상에서는 색깔, 크기, 방향, 공통점 등에서 다양한 특징을 갖고 있기 때문이다. 본 논문에서는 이런 다양한 환경에서 문자 영역을 추출하기 위하여 적응적 에지 강화 기반의 MSER을 적용하여 장면 텍스트 추출을 시도하고, 비교적 좋은 방법임을 실험으로 보인다.
일반 생활 속에서 우리 인간의 눈으로 정보를 인식하고 그 정보를 이용하는 것에는 한계가 없을 만큼 다양하고 방대하다. 그러나 인공지능이 발달한 현재의 기술로도, 인간의 시각 처리 능력에 비하면 턱없이 능력이 부족하다. 그럼에도 불구하고 많은 연구자들은 실생활 속에서 정보를 얻고자 하고 있고, 특히 글자로 된 정보를 인식하는데 많은 노력을 기울이고 있다. 글자를 인식하는 분야에서 일반적인 문서에서 글자를 추출하는 것은 일부 정보처리 분야에서 이용되고 있지만, 실영상에서 문자를 추출하고 인식하는 부분은 아직도 많이 부족하다. 그 이유는 실영상에서는 색깔, 크기, 방향, 공통점 등에서 다양한 특징을 갖고 있기 때문이다. 본 논문에서는 이런 다양한 환경에서 문자 영역을 추출하기 위하여 적응적 에지 강화 기반의 MSER을 적용하여 장면 텍스트 추출을 시도하고, 비교적 좋은 방법임을 실험으로 보인다.
In our general life, what we recognize information with our human eyes and use it is diverse and massive. But even the current technologies improved by artificial intelligence are exorbitantly deficient comparing to human visual processing ability. Nevertheless, many researchers are trying to get in...
In our general life, what we recognize information with our human eyes and use it is diverse and massive. But even the current technologies improved by artificial intelligence are exorbitantly deficient comparing to human visual processing ability. Nevertheless, many researchers are trying to get information in everyday life, especially concentrate effort on recognizing information consisted of text. In the fields of recognizing text, to extract the text from the general document is used in some information processing fields, but to extract and recognize the text from real image is deficient too much yet. It is because the real images have many properties like color, size, orientation and something in common. In this paper, we applies an adaptive edge enhanced MSER(Maximally Stable Extremal Regions) to extract the text area in those diverse environments and the scene text, and show that the proposed method is a comparatively nice method with experiments.
In our general life, what we recognize information with our human eyes and use it is diverse and massive. But even the current technologies improved by artificial intelligence are exorbitantly deficient comparing to human visual processing ability. Nevertheless, many researchers are trying to get information in everyday life, especially concentrate effort on recognizing information consisted of text. In the fields of recognizing text, to extract the text from the general document is used in some information processing fields, but to extract and recognize the text from real image is deficient too much yet. It is because the real images have many properties like color, size, orientation and something in common. In this paper, we applies an adaptive edge enhanced MSER(Maximally Stable Extremal Regions) to extract the text area in those diverse environments and the scene text, and show that the proposed method is a comparatively nice method with experiments.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
(그림 3)은 MSER을 통해 검출된 텍스트 영역을 표시하고 있다. 각 독립된 영역 별로 다른 색깔로 표시하였으며, MSER을 이용하여 충분히 후보 영역을 검출할 수 있지만, 에지 강화를 이용하면 훨씬 더 좋은 후보 영역을 얻을 수 있게 되며, 그 기술을 적용하여 실험한 결과를 본 연구에서 보이게 된다. 에지 강화를 위해서 캐니 연산자를 이용하여 검출된 경계 영역으로 번짐 효과를 제거하고 영역의 경계를 강화시키는 방법을 이용한다.
본 연구는 Edge-Enhanced MSER에서 캐니 연산자 결과를 구하는 부분 중 경계를 구하는 부분을 수정하여 적용하는 방법인 적응적 에지 강화 기법을 적용한 MSER을 제안하였다. Edge-Enhanced MSER은 기존의 MSER 영상과 캐니 연산자 결과영상을 혼합한 방법으로 성능이 우수하지만 캐니 연산자는 임계값 설정에 따라 전혀 다른 영상을 얻게 된다.
기존의 연구들은 효과가 입증이 됐으나 나름대로의 문제를 가지고 있다. 본 연구에서는 Edge-Enhanced MSER이 가지고 있는 문제점을 바탕으로 캐니 연 산 자 에 서 필 요 한 임 계 값 을 계 산 하 여 Edge-Enhanced MSER에 적용시킨 적응적 에지 강화기반의 MSER 방법을 제안하고 실험을 통하여 우수성을 증명한다.
가설 설정
각각의 객체는 SW값의 분산이 낮은 경향이 있다. 종횡비를 0.1과 10 사이의 값으로 제한하여 같은 영역의 글자는 자간이 글자의 폭의 3배를 넘을 수 없고 글자는 같은 색을 가지고 있다고 가정하여 글자의 영역을 판단한다. 하지만 폰트에 따라 글자가 항상 같은 폭을 갖지는 않기 때문에 글자가 다른 폭을 갖는 형태라면 글자로 판단하지 못할 수 있다.
제안 방법
본 연구에서 제안하는 에지 강화 기반의 임계값 계산은 기본적으로 (그림 3)의 방법을 따르고 캐니 연산자 부분에서 결과 영상을 구하는 방법을 수정했다. 캐니 연산자 과정의 네 번째 단계인 두 개의 임계값으로 크기를 구분하는 부분에서 일반적으로 두 개의 임계값을 사용자 임의로 입력하는 경우가 많다.
각 독립된 영역 별로 다른 색깔로 표시하였으며, MSER을 이용하여 충분히 후보 영역을 검출할 수 있지만, 에지 강화를 이용하면 훨씬 더 좋은 후보 영역을 얻을 수 있게 되며, 그 기술을 적용하여 실험한 결과를 본 연구에서 보이게 된다. 에지 강화를 위해서 캐니 연산자를 이용하여 검출된 경계 영역으로 번짐 효과를 제거하고 영역의 경계를 강화시키는 방법을 이용한다. 경계를 늘린 후에는 연결요소를 이용하여 기하학 처리와 SW 정보를 가지고 비텍스트 영역을 제거한다.
Upadhyay 외 2인은 FIS(Fuzzy Inference System)을 이용한 경계선 추출을 제안하였다[8]. 영상의 명도 히스토그램을 이용하여 각 픽셀들을 명도에 따른 그룹으로 나눈다. 각 그룹마다 경계선을 추출할 때 사용할 임계값을 추론하는데 3가지 통계치를 이용한다.
영상의 히스토그램은 특정 요소에 관한 분포를 보이는데 본 연구에서는 명도에 대한 히스토그램을 사용한다. 이는 최솟값, 최댓값, 평균값, 그리고 중앙값 등을 쉽게 구할 수 있기 때문이다.
각 그룹마다 경계선을 추출할 때 사용할 임계값을 추론하는데 3가지 통계치를 이용한다. 이 후에 18개의 룰이 정의된 FIS에 입력되어 멤버쉽 함수에 의해 정도가 표현되고 이 정도를 이용하여 경계선을 추출한다.
닫힘은 팽창 연산 후 다시 침식 연산을 수행하여 가늘게 패인 부분을 채워주는 역할을 한다. 이 후에 문자 영역을 인식하게 되는데, 본 제안 방법에서는 문자는 가로로 나열 형이 많다는 특징과 영역의 외곽선만 있어도 구분이 가능하다는 것을 이용한다.
대상 데이터
식 (2)에서 p는 정확도를 의미하고 이는 추출된 영역과 실제 텍스트 영역의 비를 의미한다. 본 실험을 진행한 시스템 환경으로는 Windows 7 Professional 64비트 운영체제, 8GB 메모리를 사용하였다.
성능/효과
이에 대한 평균을 차트로 나타낸 것이 (그림 11)이다. (그림 12)를 통해 제안 방법이 기존의 Edge-Enhanced MSER보다 5%, MSER 보다는 20% 성능이 향상된 것을 알 수 있다.
Edge-Enhanced MSER은 기존의 MSER 영상과 캐니 연산자 결과영상을 혼합한 방법으로 성능이 우수하지만 캐니 연산자는 임계값 설정에 따라 전혀 다른 영상을 얻게 된다. 우리는 이 임계값을 히스토그램의 중앙값을 이용하여 계산하고 이를 적용하여 경계가 강화된 영상을 얻을 수 있었으며 더욱 정확한 텍스트 영역의 위치를 찾을 수 있었다.
제안된 방법의 성능을 평가하기 위한 척도는 기존의 방법과 제안된 방법이 영상에서 텍스트 영역을 얼마나 정확하게 찾아내는 가를 정확도로 표현한다. (그림 11)은 (그림 10)에 대한 모폴포지 연산을 한 후의 결과를 나타내며, (그림 12)는 모폴로지 연산 후의 객체 단위의 레이블링을 한 것이다.
텍스트 영역을 표시한 결과이며 이를 바탕으로 기존의 Edge-Enhanced MSER과 MSER 방법과 비교하여 에 보이고 있으며 제안 방법이 기존의 방법에 비하여 성능 향상을 보이고 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
연결요소 방법에서는 어떠한 방식으로 텍스트를 판별하는가?
텍스처를 기반으로 하는 방법은 영상의 색상, 명도 등의 정보를 이용하여 텍스트가 비텍스트 요소와는 다른 값을 갖는다는 전제하에 텍스트를 찾아 추출한다. 이에 반해 연결요소 방법은 영상의 각 픽셀마다 인접해 있는 유사 픽셀을 연결요소로 그룹지어 기하학적인 특성을 이용하여 텍스트인지 아닌지 판별한다. 이런 연결요소 방법의 큰 획을 그은 이론이 있다면 스트로크폭 변환 (Stroke Width Transform, SWT)와 MSER일 것이다.
장면 텍스트 추출 기술은 어떻게 구분될 수 있는가?
이런 이유는 영상 내부의 텍스트 영역을 추출하고 인식하는 기술들은 꾸준히 발전하고 있으며 이렇게 텍스트를 추출하는 것을 장면 텍스트 추출이라고 한다. 장면 텍스트 추출 기술은 크게 텍스처를 기반으로 하는 방법과 연결요소 방법, 그리고 이 둘을 적절히 혼합하는 방법들로 크게 구분할 수 있다[1-4].
스트로크 폭 변환을 이용한 글자 추출에서 나타날 수 있는 문제점은 무엇인가?
1과 10 사이의 값으로 제한하여 같은 영역의 글자는 자간이 글자의 폭의 3배를 넘을 수 없고 글자는 같은 색을 가지고 있다고 가정하여 글자의 영역을 판단한다. 하지만 폰트에 따라 글자가 항상 같은 폭을 갖지는 않기 때문에 글자가 다른 폭을 갖는 형태라면 글자로 판단하지 못할 수 있다. 그림에서 2, 3은 상하좌우로 스캔하여 최소의 픽셀을 의미하며, 글자의 폭을 의미한다.
참고문헌 (11)
Kang, Le, et al., "Orientation robust text line detection in natural images.", Computer Vision and Pattern Recognition (CVPR), IEEE, 2014.
Sung, Myung-Chul, et al., "Scene Text Detection with Robust Character Candidate Extraction Operator.", 13th ICDAR, 2015.
Li, Yao, et al., "Characterness: an indicator of text in the wild.", Image Processing, IEEE Transactionson 23.4 : pp.1666-1677, 2014.
Canny, John, "A computational approach to edge detection." IEEE Trans. Pattern Anal. Mach. Intell., vol. 8, pp.679-698, 1986.
Fang, Mei, et al., "The study on an application of otsu Operator in canny operator." International Symposium on Information Processing (ISIP). 2009.
Chen, H., et al., "Robust text detection in natural images with edge-enhanced maximally stable extremal regions." In Image Processing (ICIP), 18th IEEE Int ernational Conference on, pp.2609-2612, Sep. 2011.
Upadhyay, Nishchal Gyan, and Kamlesh Lakhwani, "Edge Detection Using Fuzzy Approach Involving Automatic Threshold Generation.", International Journal Of Scientific & Techonology Research Vol. 2, Iss. 7, pp.128-131, July 2013.
Epshtein, Boris, et al., "Detecting text in natural scenes with stroke width transform.", Computer Vision and Pattern Recognition, IEEE, 2010.
Kerry D. Wong, "Canny Edge Detection Auto Thresholding", http://www.kerrywong.com/2009/05/07/canny-edge-detection-auto-thresholding/, Sep. 2015.
S. H. Park and etc, "AEMSER Using Adaptive Threshold of Canny Operator To Extract Scene Text", J. of Digital Contents Society, Vol. 16, No. 6, pp. 953-961, 2015.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.