[논문]에지를 이용한 문서영상의 기울기 보정

주재현; 오정수

doi:10.6109/jkiice.2012.16.7.1487

에지를 이용한 문서영상의 기울기 보정
Skew Correction of Document Images using Edge 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.16 no.7, 2012년, pp.1487 - 1494

주재현 (부경대학교 이미지시스템공학과) , 오정수 (부경대학교 이미지시스템공학과)

초록
AI-Helper

본 논문에서 선명 화질은 물론 저화질 문서영상에서 에지를 이용해 문서영상의 기울기를 검출하고, 보정하는 알고리즘을 제안한다. 제안된 알고리즘은 영상 복잡도를 이용해 문자영역을 선택하여 에지를 검출하고, 이들을 다양한 방향으로 투영하여 투영 히스토그램들을 생성한다. 그리고 히스토그램들에서 에지 집중도를 평가하여 문서영상의 기울기를 검출하고 기울어진 문서 영상을 보정한다. 고속 기울기 검출을 위해 부표본화와 3단 coarse-to-fine 탐색 알고리즘을 사용한다. 선명 화질과 저화질 영상의 기울기 검출에서 제안된 알고리즘의 최대 검출 오차와 평균오차가 기존 유사 알고리즘의 50% 정도이고, 기울기 검출 시간은 25%정도로 감소된다. 모바일기기로 취득된 밝기 불균일 영상에서는 기존 알고리즘은 적절한 2진 영상을 얻을 수 없어 기울기 검출이 어려우나 제안된 알고리즘의 평균 검출 오차 0.1o 이하로 기울기를 검출한다.

Abstract ▼ AI-Helper

This paper proposes an algorithm detecting the skew of the degraded as well as the clear document images using edge and correcting it. The proposed algorithm detects edges in a character region selected by image complexity and generates projection histograms by projecting them to various directions. And then it detects the document skew by estimating the edge concentrations in the histograms and corrects the skewed document image. For the fast skew detection, the proposed algorithm uses downsampling and 3 step coarse-to-fine searching. In the skew detection of the clear and the degraded images, the maximum and the average detection errors in the proposed algorithm are about 50% of one in a conventional similar algorithm and the processing time is reduced to about 25%. In the non-uniform luminance images acquired by a mobile device, the conventional algorithm can't detect skews since it can't get valid binary images, while the proposed algorithm detect them with the average detection error of 0.1o or under.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그림 1에 문서영상의 기울기(Θ₁)와 임의 문자영역의 기울기(Θ₂)를 보여주고 있고 이들은 서로 같다. 그래서 본 논문에서는 잘 정렬된 문자영역을 찾고 문자영역에서 기울기를 검출한다.
최근 고해상도의 문서영상에서 영상 전체를 대상으로 한 기울기 검출은 많은 계산 낭비를 가져온다. 본 논문에서는 문서영상의 특성을 고려하여 문서영상에 부표본화를 수행하고, 부표본화된 영상에서 문서영상의 기울기를 잘 표현할 수 있는 문자영역을 선택하여 전체 계산량을 줄인다. 실험적으로 A4 크기의 문서영상일 경우, 장축은 600화소가 적절하고, 확대 촬영 혹은 모바일 기기를 통해 근접 촬영하는 경우, 장축은 300~400화소가 적절하였다.
본 논문은 선명 화질은 물론 저화질 영상에 대응하기 위해 Ishitani 알고리즘의 장점을 취하면서 단점을 보완하는 알고리즘을 제안한다. 제안된 알고리즘은 가로세로 영상 복잡도를 이용해 문자영역을 선택하여 밝기변화를 볼 수 있는 에지를 검출하고 다양한 방향의 투영 히스토그램을 생성한다.
본 장에서는 효율적인 문서영상 기울기 보정 알고리즘을 개발하기 위해 활용될 수 있는 문서영상들의 특성들을 분석한다.

가설 설정

그림 3은 저화질 문서영상에서 검출된 에지영상을 보여주고 있다. 그림 3(b)는 소벨 에지 검출기로 에지를 구하고 레벨 24로 2진화한 영상으로 불규칙한 잡음 에지와 두터운 에지는 문자의 방향성에 혼란을 줄 것이다. 그림 3(c)는 소벨 에지 검출기로 에지를 구하고 레벨 84로 2 진화한 영상으로 불규칙한 잡음 에지는 제거하였으나 방향성이 강한 라인 에지까지 제거하고 있다.

제안 방법

각 영상들은 ±30˚, ±20˚, ±10˚로 회전하여 제안된 알고리즘에 적용되었다.
제안된 알고리즘은 가로세로 영상 복잡도를 이용해 문자영역을 선택하여 밝기변화를 볼 수 있는 에지를 검출하고 다양한 방향의 투영 히스토그램을 생성한다. 그리고 투영 히스토그램에서 에지 집중도를 평가하여 기울기를 검출하고, 문자영상이 갖는 특성을 이용해 검출된 기울기에 대해 신뢰성을 평가한다. 또한 기울기 검출의 고속 처리를 위해 부표본화와 3단 coarse-to-fine 탐색 알고리즘을 적용하고 있다.
또한 고속 알고리즘을 위해 부표본화를 수행하였고, 에지 집중도 평가에 3단 coarse-to-fine 고속 탐색 알고리즘을 적용하였다. 다양하게 기울어진 영상들에서 기울기 검출 실험이 수행되었다. 선명 화질 영상과 저화질 영상에서 기존 Ishitani 알고리즘은 각각 최대 검출 오차가 0.
단계 1에서 투영각 변화를 크게 하면 국부 최대를 검출할 수 있어 본 논문에서는 선명한 문자영역에서 나타나는 에지 집중도의 분포특성을 고려해 3˚을 사용한다. 단계 3에서 최소 투영각 변화를 인식 가능한 0.
실험적으로 A4 크기의 문서영상일 경우, 장축은 600화소가 적절하고, 확대 촬영 혹은 모바일 기기를 통해 근접 촬영하는 경우, 장축은 300~400화소가 적절하였다. 따라서 본 논문에서 문서영상의 부표본 화는 스캔된 영상은 장축을 600 화소로 조정하고, 확대 촬영된 영상은 장축을 화질에 따라 300 혹은 400 화소로 조정한다. 저화질 영상을 저해상도로 부표본화할 경우 문자와 배경이 경계가 불분명하여 측정 오차가 다소 발생하여 저화질일수록 더 많은 화소를 요구한다.
특히 저화질 영상에서 두터운 에지는 다방향성 에지로 표현되고, 불규칙적인 잡음 에지는 방향성이 없어 기울기 검출을 어렵게 한다. 따라서 본 논문에서는 방향성이 고려되고 가는 에지를 발생시키는 케니 에지 검출기를 사용한다. 이는 많은 계산량을 요구하나 에지 검출 영역이 문자영역의 내접원으로 제한되어 문제가 되지 않는다.
문서영상의 기우러짐과 관계없이 문자영역은 복잡도가 높으므로 문서영상에서 일정 화소 간격으로 이동하면서 일정 영역의 영상 복잡도를 평가하여 최대 영상 복잡도를 갖는 영역을 문자영역으로 선택하였다. 후보 문자영역의 이동 간격과 크기는 각각 부표본화된 영상의 장축의 10%와 36%이다.
선명 화질은 물론 저화질 문서영상을 대상으로 가로세로 밝기변화 정보를 갖는 에지를 이용한 고속 기울기 보정 알고리즘을 제안하였다. 영상 복잡도에 의해 선택된 문자영역에서 케니 에지 검출기를 이용해 가늘고 방향성 있는 에지를 생성하고, 투영 방향을 회전하며 에지의 투영 히스토그램들을 생성하고, 에지 집중도를 계산하여 문서영상의 기울기로 결정하였다.
실험에서 Ishitani 알고리즘은 대상 영상을 원영상 크기 그대로, 제안된 알고리즘은 대상 영상의 장축을 600 화소가 되게 축소하여 사용하였고, 탐색영역은 모두 장축의 36%를 이용하였고, 투영 각도는 -45˚∼45˚ 범위로 한정하여 0.1˚의 정밀도까지 탐색하였다.
선명 화질은 물론 저화질 문서영상을 대상으로 가로세로 밝기변화 정보를 갖는 에지를 이용한 고속 기울기 보정 알고리즘을 제안하였다. 영상 복잡도에 의해 선택된 문자영역에서 케니 에지 검출기를 이용해 가늘고 방향성 있는 에지를 생성하고, 투영 방향을 회전하며 에지의 투영 히스토그램들을 생성하고, 에지 집중도를 계산하여 문서영상의 기울기로 결정하였다. 또한 고속 알고리즘을 위해 부표본화를 수행하였고, 에지 집중도 평가에 3단 coarse-to-fine 고속 탐색 알고리즘을 적용하였다.
본 논문에서 제안하는 문서영상의 기울기 보정 알고리즘은 그림 2과 같이 수행된다. 입력된 영상에서 문자 영역을 선택하고, 문자영역에서 에지추출, 에지투영, 에지 집중도 평가를 통해 기울기를 검출하고, 기울기의 신뢰성을 평가하여 영상을 보정한다.
본 논문은 선명 화질은 물론 저화질 영상에 대응하기 위해 Ishitani 알고리즘의 장점을 취하면서 단점을 보완하는 알고리즘을 제안한다. 제안된 알고리즘은 가로세로 영상 복잡도를 이용해 문자영역을 선택하여 밝기변화를 볼 수 있는 에지를 검출하고 다양한 방향의 투영 히스토그램을 생성한다. 그리고 투영 히스토그램에서 에지 집중도를 평가하여 기울기를 검출하고, 문자영상이 갖는 특성을 이용해 검출된 기울기에 대해 신뢰성을 평가한다.
불균일한 밝기 분포로 적절한 2진 영상을 얻을 수 없는 Ishitani 알고리즘에는 적용할 수 없었다. 제안된 알고리즘은 대상영상의 장축을 400 화소로 축소하고 기울기 탐색영역은 기준축의 40%를 이용하였다. 탐색 각도는 -45˚∼45˚ 범위로 한정하였으며, 0.
제안된 알고리즘을 두 가지 측면에서 성능을 평가하였다. 첫 번째는 선명한 영상과 저화질 영상에 대해 Ishitani 알고리즘과 제안된 알고리즘을 비교하였고, 두 번째는 스마트폰 카메라로 취득된 저화질 영상에서 제안된 알고리즘의 성능을 평가하였다.
첫 번째 성능 평가를 위해 웹매거진인 CJ 매거진 2010년 11월호 1∼14페이지에서 문자와 그림이 적절하게 섞여 있는 페이지를 860×1177 해상도로 취득하여 10장의 선명한 실험 영상을 만들었고, 이들을 146× 200 해상도로 축소시켰다가 다시 원영상 크기로 확대해 저화질 실험 영상을 만들고 다시 이들을 ±30˚, ±20˚, ±10˚로 회전하여 알고리즘들에 각각 적용하였다.
제안된 알고리즘을 두 가지 측면에서 성능을 평가하였다. 첫 번째는 선명한 영상과 저화질 영상에 대해 Ishitani 알고리즘과 제안된 알고리즘을 비교하였고, 두 번째는 스마트폰 카메라로 취득된 저화질 영상에서 제안된 알고리즘의 성능을 평가하였다. 실험은 Inter core i5(2.

대상 데이터

두 번째 평가는 그림 10과 같이 문자영역과 그림, 차트같은 비문자영역이 존재하며 조명 불균형으로 그림자가 존재하는 스마트폰으로 취득된 1944×2592 해상도 영상들에서 수행되었다.
원의 영상은 469×600 해상도의 일부 영상을 확대한 영상이다.
저화질 영상은 원영상을 243×324 해상도 영상으로 축소 후 원영상 해상도로 확대하여 생성되었다.

데이터처리

07˚이다. 직접 취득한 밝기가 불균일 영상에서는 Ishitani 알고리즘은 적절한 2진 영상을 얻을 수 없어 기울기 검출이 어려우나 제안된 알고리즘의 평균 검출 오차 0.1˚ 이하로 기울기를 검출하였다. 또한 제안된 고속 알고리즘의 기울기 검출 시간은 Ishitani 알고리즘과 비교해 1/4에 불과하다.

이론/모형

영상 복잡도에 의해 선택된 문자영역에서 케니 에지 검출기를 이용해 가늘고 방향성 있는 에지를 생성하고, 투영 방향을 회전하며 에지의 투영 히스토그램들을 생성하고, 에지 집중도를 계산하여 문서영상의 기울기로 결정하였다. 또한 고속 알고리즘을 위해 부표본화를 수행하였고, 에지 집중도 평가에 3단 coarse-to-fine 고속 탐색 알고리즘을 적용하였다. 다양하게 기울어진 영상들에서 기울기 검출 실험이 수행되었다.

성능/효과

또한 저화질 영상에서는 그림 9에 보이는 것처럼 객체와 배경의 구분이 모호해져 문자를 구성하는 가로세로 획을 표현할 수 있는 이상적인 2진 영상을 얻을 수가 없다. 그 결과 Ishitani 알고리즘에서 검출 성능은 더 떨어지는 반면 제안된 알고리즘은 수직 에지가 유효하여 검출 성능이 거의 유지된다. 한편 계산 시간 측면에서 부표본화에 의한 영상처리 화소 수의 축소와 3단 coarse-tofine 탐색은 제안된 알고리즘의 처리 시간을 Ishitani 알고리즘의 1/4 정도로 줄여 주었다.
회전된 문서영상들을 대상으로 한 실험 결과를 표 1에서 비교하고 있다. 기울기 검출에서나 계산 시간에서 제안된 알고리즘이 모두 좋은 성능을 보였다. 다소 크게 느껴지는 0.
또한 기울기 검출의 고속 처리를 위해 부표본화와 3단 coarse-to-fine 탐색 알고리즘을 적용하고 있다. 다양한 영상을 이용한 실험 결과는 제안된 알고리즘이 선명 화질은 물론 저화질 영상에서 기울진 문서영상을 고속으로 잘 보정해 주고 있는 것을 확인시켜 주고 있다.
다양하게 기울어진 영상들에서 기울기 검출 실험이 수행되었다. 선명 화질 영상과 저화질 영상에서 기존 Ishitani 알고리즘은 각각 최대 검출 오차가 0.6˚와 0.7˚이고, 평균 검출 오차가 0.12˚와 0.18˚인 반면에 제안된 알고리즘은 최대 검출 오차가 0.2˚와 0.3˚이고, 평균 검출 오차가 0.06˚와 0.07˚이다. 직접 취득한 밝기가 불균일 영상에서는 Ishitani 알고리즘은 적절한 2진 영상을 얻을 수 없어 기울기 검출이 어려우나 제안된 알고리즘의 평균 검출 오차 0.
1˚의 정밀도까지 탐색하였다. 실험 결과는 원영상과 저화질의 영상에서 평균 절대 오차는 각각 0.05˚와 0.10˚이고 계산 시간은 각각 98ms와 97ms 로 보여주고 있다. 제안된 알고리즘은 실 생활에서 취득되는 이상적이지 않은 영상에서도 높은 신뢰도를 보여주고 있다.
또한 제안된 고속 알고리즘의 기울기 검출 시간은 Ishitani 알고리즘과 비교해 1/4에 불과하다. 실험 결과를 통해 제안된 알고리즘은 일반 문서영상뿐만 아니라 저화질 문서영상에서 고속으로 높은 신뢰도의 문서 기울기를 검출하고 영상을 잘 보정하는 것을 보여주고 있다.
10˚이고 계산 시간은 각각 98ms와 97ms 로 보여주고 있다. 제안된 알고리즘은 실 생활에서 취득되는 이상적이지 않은 영상에서도 높은 신뢰도를 보여주고 있다.
그 결과 Ishitani 알고리즘에서 검출 성능은 더 떨어지는 반면 제안된 알고리즘은 수직 에지가 유효하여 검출 성능이 거의 유지된다. 한편 계산 시간 측면에서 부표본화에 의한 영상처리 화소 수의 축소와 3단 coarse-tofine 탐색은 제안된 알고리즘의 처리 시간을 Ishitani 알고리즘의 1/4 정도로 줄여 주었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Ishitani 알고리즘은 어떤 장점이 있는가?	이 알고리즘들은 문자 주도적이고 선명한 영상을 대상으로 하고, 특히 주파수변환이나 허프변환을 이용한 알고리즘들은 많은 계산량이 요구되고 최근접 클러스터를 이용한 알고리즘은 text line을 가져야 하는 제한을 갖고 있다. 투영 히스토그램을 이용하는 Ishitani 알고리즘[7]은 선명한 문서영상에서 유효하고 문자영역과 비문자영역을 판단할 수 있는 장점이 있으나, 저화질 영상에서는 문자와 배경의 경계가 분명하지 않아 적절한 이진 영상을 얻을 수 없어 기울기 검출의 정확도가 떨어지고, 문자영역의 크기, 고려되는 문자영역의 수, 기울기 범위에 따라 매우 많은 계산량이 요구될 수 있다.
	제안하는 문서영상의 기울기 보정 알고리즘은 어떤 과정을 거쳐 영상을 보정하는가?	본 논문에서 제안하는 문서영상의 기울기 보정 알고리즘은 그림 2과 같이 수행된다. 입력된 영상에서 문자 영역을 선택하고, 문자영역에서 에지추출, 에지투영, 에지 집중도 평가를 통해 기울기를 검출하고, 기울기의 신뢰성을 평가하여 영상을 보정한다.
	기존 기울기 보정 알고리즘으로 어떤 것이 있는가?	따라서 모바일기기로 취득될 가능성이 있는 저화질 문서영상의 기울기 보정은 기존 알고리즘과 다른 접근이 필요하다. 기존 기울기 보정 알고리즘은 행간 여백의 교차 상관관계를 이용해 기울기를 보정하는 알고리즘[1,2,3], 주파수변환에 의한 푸리에공간에서 최대 밀도를 검출하여 기울기를 보정하는 알고리즘[4], 허프변환에 의한 변환공간에서 최대 분포점을 검출하여 기울기를 보정하는 알고리즘[5], 최근접 클러스터을 이용해 기울기를 보정하는 알고리즘[6], 투영 히스토그램을 이용해 기울기를 보정 하는 알고리즘[7] 등이 있다. 이 알고리즘들은 문자 주도적이고 선명한 영상을 대상으로 하고, 특히 주파수변환이나 허프변환을 이용한 알고리즘들은 많은 계산량이 요구되고 최근접 클러스터를 이용한 알고리즘은 text line을 가져야 하는 제한을 갖고 있다.

참고문헌 (7)

H. Yan, "Skew Correction of Document Images using Interline Cross Correlation," CVGIP, Vol. 55, No. 6, pp 538-543, 1993.
Avanindra and S. Chaudhuri, "Robust Detection of Skew in Document Images," IEEE Trans. on Image Processing, Vol. 6, No. 2, pp. 344-349, 1997.

상세보기
B. Gatos, N. Papamarkos, and C. Chamzas, "Skew Detection and Text Line Position Determination in Digitized Documents," Pattern Recognition, Vol. 30, No. 9, pp. 1505-1519, 1997.

상세보기
W. Postl, "Detection of Linear Oblique Structures and Skew Scan in Digitized Documents," Proc. of 8th Int'l. Conf. on Pattern Recognition, pp. 687-689, 1986.
A. Amin and S. Fischer, "A document skew detection method using the hough transform," Pattern Anal. and Appl., vol. 3, no. 3, pp. 243-253, 2000.

상세보기
Lu and C. L. Tan, "A nearest-neighbor chain based approach to skew estimation in document images," Pattern Recognition Letter, vol. 24, no. 14, pp. 2315- 2323, 2003.

상세보기
Y. Ishitani, "Document Skew Detection Based on Local Region Complexity," ICDAR, pp. 49-52, 1993.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증