[논문]MSER-b 이진화 기법을 이용한 스마트폰 문서 이미지 보정 기법

유영중; 문상호; 박성호

doi:10.6109/jkiice.2015.19.1.201

MSER-b 이진화 기법을 이용한 스마트폰 문서 이미지 보정 기법
Rectification of Document Image on Smartphone Using MSER-b Binarization 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.19 no.1, 2015년, pp.201 - 207

유영중 (Department of Computer Engineering, Busan University of Foreign Studies) , 문상호 (Department of Computer Engineering, Busan University of Foreign Studies) , 박성호 (Information Technology Center, Pusan National University)

초록
AI-Helper

스마트폰 카메라로 생성한 문서 이미지는 촬영 방법에 따라 일반 스캐너에 비해 회전 왜곡과 원근 왜곡이 발생한다. 본 논문에서는 MSER-b 통해 조명에 영향을 적게 받는 이미지를 생성하고 텍스트 이미지의 특성을 고려한 텍스트 영역 윤곽선 검출 기법을 제안하고 이를 통해 왜곡된 문서 이미지를 보정하여 프린터 품질의 이미지로 복원하였다. 그리고 제안한 기법의 성능 평가를 위해 현재 서비스되고 있는 타사의 제품과 비교하였으며, 다양한 왜곡에 대하여 효과적으로 처리가 가능함을 실험을 통해 보였다.

Abstract ▼ AI-Helper

The smartphone with camera can easily generate an image instead of a scanner. However the document image through a smartphone can have distortions related rotation or perspective. In this paper, we proposed a method to generate the document image in that distortions are reduced from the captured document image through a smartphone. For this, the original document image through a smartphone is preprocessed using the MSER-b technique to reduce the light effect. Then, the text area contour is extracted using the characteristics of the document image. Lastly, rotation or perspective distortions are reduced using the extracted text area contour. For experiments, the proposed method is compared two other products. Through experiments, we show that the distortions within the captured document image through smartphone can be effectively reduced.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 스마트폰 촬영을 통해 획득한 문서이미지를 프린트 품질의 이미지로 보정하기 위한 방법을 제시하고 성능을 현재 서비스되고 있는 타사의 제품과 비교하였으며, 다양한 왜곡에 대하여 효과적으로 처리가 가능함을 실험을 통해 보였다.
본 논문은 스마트 폰을 통해 획득한 문서 이미지를 사용자의 추가적인 작업 없이 자동화된 보정 알고리즘을 통하여 정규화된 문서 이미지를 생성하는 방법을 제안하고 있다. 특히, 스마트 폰 환경에서 발생할 수밖에 없는 불규칙한 조명 환경과 잡음 이미지 등을 처리하여 문서의 여백과 문서를 구분하는 윤곽선을 검출하여 문서를 보정하는 기법을 제안한다.

제안 방법

카메라로부터 캡처된 이미지를 보정하는 연구는 광학 문자 인식(OCR)을 위한 전처리 과정으로 진행되어왔다. 광학 문자 인식을 위해 카메라 캡처 문서 이미지를 입력받아 이미지의 왜곡을 보정하여 정규화 함으로써 문자의 인식률을 높이는 역할을 수행한다. 이러한 연구는 자동차 번호판, 바코더, QR코더 인식과 같은 특수한 분야에서 특정한 색상의 외곽선이나 위치 패턴을 이용하여 이미지를 보정하는 기법을 활용하고 있다[1].
이들 텍스트 줄이 형성하고 있는 선분을 조사함으로써 텍스트 영역 왜곡 정도를 파악한다. 본 논문에서는 MSER-b 기법으로 이진화 되어 있는 이미지에 에지 이진화 기법을 추가 적용하여 허프변환 선분 검출에 필요한 대상 점의 개수를 줄였다.
)에서 텍스트 영역의 윤곽선을 검출하고 텍스트 영역의 꼭지 점을 찾아야 한다. 본 논문에서는 가로 윤곽선을 먼저 검출하고 이 정보를 이용하여 세로 윤곽선을 검출한다. 텍스트 영역은 여러 개의 텍스트 줄로 구성되며 텍스트 줄은 각각의 텍스트로 구성된다.
그림 7은 현재 스마트 폰에서 서비스되고 있는 다른 제품과 본 논문의 결과를 비교하였다. 비교 프로그램은 앱 스토어를 통해 설치한 스마트폰용 스캔 프로그램으로 윤곽선 검출 기능을 포함한 제품 중에서 비교적 성능이 좋은 두 회사의 제품(A사, B사)을 선택하였다.
의 왜곡 정도를 검출해야 한다. 왜곡된 정도를 검출하기 위해서 문서에 포함된 텍스트와 배경을 분리하는 이진화 작업을 수행한다. Yin[3,4]등은 에지 검출 이진화 기법을 적용하였으나, 그림 3의 (a), (e)에서 보듯이 이진화 결과 이미지에 텍스트 영역이 아닌 잡음 이미지가 포함되어 용지 내에서 텍스트 영역을 검출하기 위한 전처리로 효과적이지 못했다.
텍스트 영역은 여러 개의 텍스트 줄로 구성되며 텍스트 줄은 각각의 텍스트로 구성된다. 이들 텍스트 줄이 형성하고 있는 선분을 조사함으로써 텍스트 영역 왜곡 정도를 파악한다. 본 논문에서는 MSER-b 기법으로 이진화 되어 있는 이미지에 에지 이진화 기법을 추가 적용하여 허프변환 선분 검출에 필요한 대상 점의 개수를 줄였다.
본 논문은 스마트 폰을 통해 획득한 문서 이미지를 사용자의 추가적인 작업 없이 자동화된 보정 알고리즘을 통하여 정규화된 문서 이미지를 생성하는 방법을 제안하고 있다. 특히, 스마트 폰 환경에서 발생할 수밖에 없는 불규칙한 조명 환경과 잡음 이미지 등을 처리하여 문서의 여백과 문서를 구분하는 윤곽선을 검출하여 문서를 보정하는 기법을 제안한다.

이론/모형

본 논문에서는 실험을 위해 OpenCV 2.4에서 제공하는 허프변환 관련 함수와 투시변환 함수를 사용하였다. 실험에서는 경험적 임계값(T_space = 40, T_h = 10, T_v = 3) 을 사용하였다.
또한 널리 알려진 이진화 기법인 Otsu기법은 그림 3의 (b)에서 보듯이 조명에 따른 그림자 처리가 효율적이지 못하여 I_S의 텍스트 영역이 손실되는 이진화 결과 이미지(I_B)를 생성함으로써 스마트폰과 같이 다양한 조명 환경에서 입력되는 스마트폰 문서 이미지의 전처리 이진화 기법으로는 적절하지 못하다. 본 연구에서는 스마트폰 문서 이미지의 효율적인 이진 이미지 생성을 위해 기존에 제시된 다양한 기법을 적용해 보았으며, 그중에서 이미지의 객체 추출에 많이 사용되는 MSER(Maximally Stable Extremal Region)기법에 기반한 문서 이진화 기법인 MSER-b기법[6]이 본 연구의 환경에서 발생하는 잡음 제거 및 음영처리에서 우수한 성능을 나타내어 본 연구의 전처리 단계의 이진화 알고리즘으로 사용하였다. 그림 3의 (c), (g)는 MSER-b 이진화 기법을 적용한 이진 이미지를 보여준다.

성능/효과

그림 8은 본 논문에서 제안한 방법을 통해 회전 왜곡문서 및 원근 왜곡 문서와 보정 결과를 보여준다. 그 결과 본 논문에서 제시한 방법이 스마트폰 촬영 시 발생하는 문서의 왜곡을 효과적으로 처리하고 있음을 확인할 수 있다. 그림8의 (b)-(f)의 보정되지 않은 왜곡은 렌즈 왜곡으로 본 논문에서는 처리하지 않았다.
그림 7에서 보듯이 A사 제품과 B사 제품은 텍스트 영역의 윤곽선을 정확하게 검출하지 못하는 반면 본 논문에서 제안한 방법은 텍스트 영역의 윤곽선을 정확하게 검출한다.

후속연구

이러한 연구는 자동차 번호판, 바코더, QR코더 인식과 같은 특수한 분야에서 특정한 색상의 외곽선이나 위치 패턴을 이용하여 이미지를 보정하는 기법을 활용하고 있다[1]. 그러나 그림 1과 같이 스마트 폰 카메라로 입력된 일반문서 이미지는 특정한 색상의 외곽선이나 위치 패턴 등을 이용할 수 없음으로 직사각형 형태의 정규화된 이미지로 보정하기 위해서는 추가적인 연구가 필요하다.
그러나 본 논문은 객체 기반 이진화 기법인 MSER-b 기법을 사용함으로써 처리시간이 타사의 제품보다 많이 소요되는 단점을 가지고 있다. 향후 이러한 단점을 보완하여 스마트폰을 통해 서비스할 수 있도록 추가 연구가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	스마트폰 카메라로 생성한 문서 이미지의 단점은 무엇인가?	카메라를 탑재한 스마트폰은 스캐너를 대체하여 편리하게 문서 이미지를 생성할 수 있다. 그러나 스마트폰 카메라로 생성한 문서 이미지는 그림 1과 같이 촬영 방법에 따라 일반 스캐너에 비해 회전 왜곡이 발생하거나 원근 왜곡이 발생한다. 이러한 이미지 왜곡은 촬영자의 노력에 따라 왜곡을 줄일 수 있지만 촬영자의 노력만으로 완전히 해소하기는 매우 어렵다.
	광학 문자 인식(OCR)위해 이미지 왜곡을 보정하여 정규화하는 방법을 활용하는 분야에는 무엇이 있는가?	광학 문자 인식을 위해 카메라 캡처 문서 이미지를 입력받아 이미지의 왜곡을 보정하여 정규화 함으로써 문자의 인식률을 높이는 역할을 수행한다. 이러한 연구는 자동차 번호판, 바코더, QR코더 인식과 같은 특수한 분야에서 특정한 색상의 외곽선이나 위치 패턴을 이용하여 이미지를 보정하는 기법을 활용하고 있다[1]. 그러나 그림 1과 같이 스마트 폰 카메라로 입력된 일반문서 이미지는 특정한 색상의 외곽선이나 위치 패턴 등을 이용할 수 없음으로 직사각형 형태의 정규화 된 이미지로 보정하기 위해서는 추가적인 연구가 필요하다.
	Chen등이 제안한 반자동 기법이란 무엇인가?	이러한 문제를 해결하기 위한 다른 접근 방식은 사용자가 스마트 폰으로 촬영한 문서 이미지에서 문서의 모서리를 사용자가 지정하여 보정하는 수동방식이 있다. 또한 Chen[5]등이 제안한 방법으로 사용자가 스마트 폰의 위치를 조절하여 문서 이미지가 직사각형에 가깝게 조절되었을 때 자동으로 촬영되어 정규화 문서이미지를 캡처하는 반자동 기법이 있다. 그러나 현재 많은 스마트폰 앱에서 채택하고 있는 수동방식의 경우 스마트폰의 작은 화면에서 사용자가 일일이 문서 이미지의 모서리를 지정하는 것은 정밀하지 못할 뿐 아니라 불편한 작업이 되고 있다.

참고문헌 (6)

Hee-Jung Yeom, Sung-Jong Eun, Taeg-Keun Whangbo. "Recognition of Car License Plate Using Geometric Information from Portable Device Image." Journal of t The Korea Contents Association. Vol. 10 No. 10, 2010.

원문보기 상세보기
Jagannathan, L., and C. V. Jawahar. "Perspective correction methods for camera based document analysis." Proc. First Int. Workshop on Camera-based Document Analysis and Recognition. pp. 148-154, 2005.
Yin, Xu-Cheng, Jun Sun, and Satoshi Naoi. "Perspective rectification for mobile phone camera-based documents using a hybrid approach to vanishing point detection." International Workshop on Camera-Based Document Analysis and Recognition. Vol. 2, pp.37-44, 2007.
Yin, Xu-Cheng, et al. "Robust vanishing point detection for MobileCam-based documents." Document Analysis and Recognition (ICDAR), 2011 International Conference on. IEEE, pp. 136-140, 2011.
Chen, F., Carter, S., Denoue, L., & Kumar, J., "SmartDCap: semi-automatic capture of higher quality document images from a smartphone." Proceedings of the 2013 international conference on Intelligent user interfaces. ACM, pp. 287-296 2013.
Young-jung Yu, "Document Image Binarization Technique using MSER", Journal of the Korea Institute of Information and Communication Engineering. Vol. 18 No. 8, pp. 1941-1947, 2014.

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증