[논문]에지 및 컬러 양자화를 이용한 모바일 폰 카메라 기반장면 텍스트 검출

박종천; 이근왕

doi:10.5762/kais.2010.11.3.847

에지 및 컬러 양자화를 이용한 모바일 폰 카메라 기반장면 텍스트 검출
Mobile Phone Camera Based Scene Text Detection Using Edge and Color Quantization 원문보기

한국산학기술학회논문지 = Journal of the Korea Academia-Industrial cooperation Society, v.11 no.3, 2010년, pp.847 - 852

박종천 (충북대학교 컴퓨터공학과) , 이근왕 (청운대학교 멀티미디어학과)

초록
AI-Helper

자연 영상 내에 포함된 텍스트는 영상의 다양하고 중요한 특징을 갖는다. 그러므로 텍스트를 검출하고 추출하여 인식하는 것이 중요한 연구대상으로 연구되고 있다. 최근 모바일 폰 카메라를 기반으로 다양한 분야에서 많은 응용 기술이 연구 개발되고 있다. 본 논문은 에지 및 연결요소를 이용한 장면 텍스트 검출 방법을 제안한다. 그레이스케일 영상으로부터 에지 성분 검출과 지역적 표준편차를 이용하여 텍스트 영역의 경계선을 검출하고, RGB 컬러공간의 유클리디안 거리를 기준으로 연결요소를 검출한다. 검출된 에지 및 연결요소를 레이블링하고 각각 영역의 외곽사각형을 구한다. 텍스트의 휴리스틱 이용하여 후보 텍스트를 추출한다. 후보 텍스트 영역을 병합하여 하나의 후보 텍스트 영역을 생성하고, 후보 텍스트의 지역적 인접성과 구조적 유사성으로 후보 텍스트를 검증함으로서 최종적인 텍스트 영역을 검출하였다. 실험결과 에지 및 컬러 연결요소 특징을 상호 보완함으로서 텍스트 영역의 검출률을 향상시켰다.

Abstract ▼ AI-Helper

Text in natural images has a various and important feature of image. Therefore, to detect text and extraction of text, recognizing it is a studied as an important research area. Lately, many applications of various fields is being developed based on mobile phone camera technology. Detecting edge component form gray-scale image and detect an boundary of text regions by local standard deviation and get an connected components using Euclidean distance of RGB color space. Labeling the detected edges and connected component and get bounding boxes each regions. Candidate of text achieved with heuristic rule of text. Detected candidate text regions was merged for generation for one candidate text region, then text region detected with verifying candidate text region using ectilarity characterization of adjacency and ectilarity between candidate text regions. Experctental results, We improved text region detection rate using completentary of edge and color connected component.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

반면, 연결요소-기반 방법은 에지-기반 방법의 문제점을 보완할 수 있으나 빛과 조명에 민감한 문제점이 있다. 따라서 이러한 문제점을 상호 보완하기 위한 방법으로 본 논문은 각각의 방법을 조합하고 결합함으로서 자연 영상에서 텍스트 영역을 검출하는 알고리즘을 제안한다.
본 논문에서는 모바일 폰 카메라로부터 획득한 자연영상에 존재하는 텍스트 영역을 효율적으로 검출하기 위해 에지 성분과 지역적 표준편차 그리고 RGB 컬러 유클리디안 거리를 이용한 연결요소 성분의 특징으로 텍스트 영역을 검출하는 방법을 제안하였다. 각각의 방법으로 검출된 영역의 조합하여 최종적인 텍스트 영역을 검출하였다.

제안 방법

RGB 컬러 영상으로부터 RGB 컬러의 유클리디안 거리를 산출함으로서 연결요소 성분을 검출한다. 식2는 RGB 컬러의 유클리디안 거리를 계산하는 수식을 보여준다.
컬러 영상으로부터 RGB 유클리디안 거리를 기준으로 연결요소를 검출한다. 각각의 결과를 레이블링하여 외각사각형을 구하고 이를 분석하여 후보 텍스트를 선정한다. 선정된 후보 텍스트를 조합 및 결합하여 텍스트 영역을 설정하고 텍스트의 지역성과 구조적 특징을 휴리스틱을 이용하여 검증함으로서 최종적인 텍스트 영역을 검출한다.
본 논문에서는 모바일 폰 카메라로부터 획득한 자연영상에 존재하는 텍스트 영역을 효율적으로 검출하기 위해 에지 성분과 지역적 표준편차 그리고 RGB 컬러 유클리디안 거리를 이용한 연결요소 성분의 특징으로 텍스트 영역을 검출하는 방법을 제안하였다. 각각의 방법으로 검출된 영역의 조합하여 최종적인 텍스트 영역을 검출하였다. 따라서 각각의 방법의 문제점을 보완할 수 있었다.
2.5 후보 텍스트 결합 및 검증

검출한 에지 성분과 지역적 표준편차 그리고 RGB 거리를 이용한 연결요소 성분으로 검출된 후보 텍스트 영역에 가중치를 부여하여 서로 합병함으로서 후보 텍스트 영역을 선정한다. 선정된 후보 텍스트 영역의 에지의 모양과 텍스트 영역 수평/수직 프로파일 특징을 이용하여 후보 텍스트 영역을 검증한다.
그리고 5×5마스크 크기를 갖는 미디언 필터(Median)를 적용함으로서 영상의 잡음 크기를 제거한다. 그리고 그레이스케일 영상으로 변환하여 에지 성분을 검출할 수 있도록 한다.
연결요소 성분 검출은 컬러 영상과 그레이스케일 영상 각각에 대해서 수행된다. 먼저 그레이스케일 영상에 대해서는 지역적 표준편차를 구하고 이를 임계값을 기준으로 연결요소 성분을 얻는다. 지역적인 3×3 영상의 중심 픽셀을 기준으로 이웃한 8 방향 픽셀에 대한 표준편차를 식 1로 구한다.
그림 1에 제시한 과정을 수행함으로서 텍스트 영역을 검출한다. 모바일 폰 카메라로 획득된 24비트 컬러를 갖는 자연 영상을 그레이스케일 영상으로 변환하고 전처리 과정을 수행하여 영상 개선 및 잡음을 제거한다. 그레이스 케일 영상으로부터 에지를 검출하고, 지역적 표준편차를 이용하여 텍스트 영역 경계의 연결성분을 검출한다.
본 논문에서는 텍스트 영역 검출률의 성능을 평가하기 위해 다양한 환경에서 모바일 폰 카메라를 이용하여 촬영된 영상을 사용하였고, 평가방법은 아래와 같은 식을 이용하여 정확률(Precision)과 재현율(Recall)로 평가하였다[9].
산출된 표준편차를 영상 전체의 표준편차에 따라 임계값을 설정하여 연결요소 성분을 검출한다. 실험결과 임계값은 영상전체의 표준편차가 70보가 크면 5로 설정하고 작으면 15로 설정하였다.
검출한 에지 성분과 지역적 표준편차 그리고 RGB 거리를 이용한 연결요소 성분으로 검출된 후보 텍스트 영역에 가중치를 부여하여 서로 합병함으로서 후보 텍스트 영역을 선정한다. 선정된 후보 텍스트 영역의 에지의 모양과 텍스트 영역 수평/수직 프로파일 특징을 이용하여 후보 텍스트 영역을 검증한다. 합병 조건은 세 가지 방법으로 검출된 영역이 2 이상일 때 겹쳐지는 영역으로 하였다.
각각의 결과를 레이블링하여 외각사각형을 구하고 이를 분석하여 후보 텍스트를 선정한다. 선정된 후보 텍스트를 조합 및 결합하여 텍스트 영역을 설정하고 텍스트의 지역성과 구조적 특징을 휴리스틱을 이용하여 검증함으로서 최종적인 텍스트 영역을 검출한다.
에지 검출결과 대비가 낮은 경우 텍스트 영역의 에지 성분을 검출하지 못하는 문제점을 보완하기 위해서 지역적 연결성을 고려한 연결요소 성분을 검출한다. 연결요소 성분 검출은 컬러 영상과 그레이스케일 영상 각각에 대해서 수행된다.
연결요소-기반 방법은 픽셀값의 지역적 유사성을 바탕으로 그룹화 하는 과정을 수행함으로써 영상 전체에 존재하는 개별 영역을 식별하는 방법으로 기존의 관련된 연구들을 보면, Jain과 Yu은 입력영상으로 정지 영상, 웹 영상, 컬러 영상 및 동영상에서 문자를 검출하는 방법을 제안하였다[5]. 정지 영상과 웹 영상에서는 문자의 밝기 값이 균일하다는 특징을 이용하고, 컬러 영상 및 동영상에 대해서는 컬러 연속성을 이용하고, 전자의 전처리 과정으로 밝기 값이 균일한 특징을 이용하여 다중치 분해(multi-valued decomposition)로 영역을 검출하고, 후자의 컬러 연속성을 이용하여 색줄임을 수행한 후 다중치 분해로 문자와 배경을 분리한 연결요소를 분석하여 텍스트 영역을 검출하였다.
그레이스 케일 영상으로부터 에지를 검출하고, 지역적 표준편차를 이용하여 텍스트 영역 경계의 연결성분을 검출한다. 컬러 영상으로부터 RGB 유클리디안 거리를 기준으로 연결요소를 검출한다. 각각의 결과를 레이블링하여 외각사각형을 구하고 이를 분석하여 후보 텍스트를 선정한다.
검출된 에지 및 연결요소 성분을 레이블링하고 외곽사각형 영역을 구한다[8]. 텍스트의 특징을 휴리스틱을 적용하고 이를 분석하여 후보 텍스트를 선정하였다. 레이블링 과정은 에지 및 연결요소 검출과정에서 이진 영상으로부터 8 방향으로 연결된 성분을 모두 찾아 번호를 할당하는 작업을 수행하게 된다.

데이터처리

모바일 폰 카메라로 획득된 24비트 컬러를 갖는 자연 영상을 그레이스케일 영상으로 변환하고 전처리 과정을 수행하여 영상 개선 및 잡음을 제거한다. 그레이스 케일 영상으로부터 에지를 검출하고, 지역적 표준편차를 이용하여 텍스트 영역 경계의 연결성분을 검출한다. 컬러 영상으로부터 RGB 유클리디안 거리를 기준으로 연결요소를 검출한다.
그러므로 에지 성분을 검출함으로서 텍스트의 특징을 검출한다. 에지 성분 검출은 Canny-Edge 검출기[7]를 이용하였고, 검출을 위한 파라미터는 실험결과 임계값은 0.3, 시그마(sigma)값은 1.0으로 설정하였다. 그림 2는 에지 검출 결과를 보여준다.

성능/효과

기존의 텍스트 영역 검출에 관한 연구 방법은 대부분 제한된 환경에서 얻어진 영상의 텍스트 영역 검출률은 높았으나, 다양한 외부 환경과 복잡한 배경을 갖는 영상에 포함된 텍스트의 경우는 검출률이 낮았다.
실험결과 배경이 비교적 단순한 간판, 광고판, 안내 표지판은 다른 영상에 비해 상대적으로 높은 정확도를 보였고, 배경이 다양하고 복잡한 교통 표지판과 번호판은 낮은 Precision과 Recall 값을 나타냈다.
텍스트 영역 검출 방법의 기존의 연구는 대부분 배경과 텍스트 영역이 차이가 뚜렷한 영상에서는 정확한 텍스트 영역을 검출하였으나 배경이 복잡하고 대비가 낮은 영상에 포함된 텍스트는 검출률이 떨어지는 결과를 보였다. 자연 영상에 포함된 텍스트는 다양한 조명 변화와 그에 따른 그림자, 텍스트의 크기와 종류, 방향, 다양한 컬러 분포 등의 특징으로 인하여 텍스트 영역을 정확이 검출하기 어려운 문제점이 있다.

후속연구

텍스트가 아닌 영역을 제거를 위한 임계값을 결정하는 파라미터는 영상을 얻는 시점의 날씨, 조명, 그리고 시간 등에 따라 적절하게 설정되어야 함으로 이에 대한 데이터를 충분히 얻어야 하고 적절한 파라미터의 설정에 관한 연구가 필요하다. 추가적으로 모바일 폰에 내장될 것을 고려하여 알고리즘을 최적화하는 연구도 요구된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	문자영역 검출 방법은 어떻게 분류할 수 있는가?	문자영역 검출 방법은 영역-기반 방법(Region-based method)과 질감-기반 방법(Texture-based method) 으로 크게 분류할 수 있는데 영역-기반 방법은 텍스트 영역의 컬러 정보, 밝기 정보, 텍스트와 배경 영역이 갖는 특징의 차이를 이용하여 텍스트 영역과 배경 영역을 분리함으로서 텍스트 영역을 검출하는 방법으로 이는 다시 에지-기반 방법과 연결요소-기반 방법으로 분류된다. 에지-기반 방법은 텍스트 영역의 에지를 검출하고 그 특징을 분석함으로서 텍스트 영역을 검출하는 방법으로, 이와 관련된 연구를 살펴보면,
	그레이스케일 영상에서 연결요소 성분 검출 방법은?	연결요소 성분 검출은 컬러 영상과 그레이스케일 영상 각각에 대해서 수행된다. 먼저 그레이스케일 영상에 대해서는 지역적 표준편차를 구하고 이를 임계값을 기준으로 연결요소 성분을 얻는다. 지역적인 3×3 영상의 중심 픽셀을 기준으로 이웃한 8 방향 픽셀에 대한 표준편차를 식 1로 구한다.
	텍스트 영역을 정확이 검출하기 어렵게 하는 요소는?	텍스트 영역 검출 방법의 기존의 연구는 대부분 배경과 텍스트 영역이 차이가 뚜렷한 영상에서는 정확한 텍스트 영역을 검출 하였으나 배경이 복잡하고 대비가 낮은 영상에 포함된 텍스트는 검출률이 떨어지는 결과를 보였다. 자연 영상에 포함된 텍스트는 다양한 조명 변화와 그에 따른 그림자, 텍스트의 크기와 종류, 방향, 다양한 컬러 분포 등의 특징으로 인하여 텍스트 영역을 정확이 검출하기 어려운 문제점이 있다.

참고문헌 (9)

N. Ezaki, M. Bulacu, L. Schomaker, "Text detection from natural scene images: towards a system for visually impaired persons", Pattern Recognition, ICPR 2004, Proceedings of the 17th International Conference on Volume 2, pp.683-686, 2004.
Toan Nguyen Dinh, Jonghyun Park, GueeSang Lee, "Low-Complexity Text Extraction in Korean Signboard for Mobile Applications", CIT(Computer and Information Technology), 2008. 8th IEEE International Conference on pp.333-337, 2008
Minhua Li, Chunheng Wang, "An Adaptive Text Detection Approach in Images and Video Frames", Neural Networks, IJCNN 2008, pp.72-77, 2008.
Smith, M. A. and T. Kanade, "Video Skimming for Quick Browsing Based on Audio and Image Characterization", Carnegie Mellon University, Technical Report CMU-CS-95-186, 1995.
Anil K. Jain, Bin Yu, "Automatic Text Location in Images and Video Frames", Pattern Recognition, Vol.31, No. 12, pp. 2055-2076, 1998.

상세보기
Wolf, C., J.M. Jolion and F. Chassaing, "Text Localization, Enhancement and Binarization in Multimedia Documents," In Proceedings of the International Conference on Pattern Recognition, Vol.4, pp. 1037-1040, 2002.
J. Canny, "A Computational Approach to Edge Detection", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. PAMI-8, No. 6, pp.679-698, 1986.

상세보기
Haralick, Robert M., and Linda G. Shapiro, "Computer and Robot Vision", Vol 1, Addison - Wesley, pp.28-48, 1992.
Junker, M. and R. Hoch, "On the Evaluation of Document analysis components by recall, precision, and accuracy", Proceedings of ICDAR, pp.713-716, 1999.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증