[논문]시공간 정보를 이용한 자막 탐지 및 향상 기법

정종면

doi:10.9708/jksci.2009.14.8.043

[국내논문] 시공간 정보를 이용한 자막 탐지 및 향상 기법
A Method for Text Detection and Enhancement using Spatio-Temporal Information 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.14 no.8, 2009년, pp.43 - 50

초록
AI-Helper

디지털 비디오에서 텍스트 정보는 비디오 데이터의 시청각적인 정보를 보강하고 부가 정보를 제공하기 때문에 방대한 멀티미디어의 내용을 예측할 수 있는 중요한 단서를 제공한다. 본 논문에서 제안된 방법은 주어진 영상열로부터 자막의 획 특징을 이용하여 자막을 탐지하고, 프로젝션을 이용하여 자막의 위치를 찾는다. 찾아진 자막을 포함하는 바운딩박스에 대한 기하학적인 검증을 거친 후, 서로 인접하는 프레임에 있는 바운딩박스 중 공간적으로 동일한 위치의 바운딩박스에 대한 MAD를 이용하여 바운딩박스를 추적하고, 시간적 중복성을 이용하여 바운딩박스 영역의 화질을 향상시킨다. 다양한 비디오에 대한 실험 결과는 제안된 방법의 타당성을 보인다.

Abstract ▼ AI-Helper

Text information in a digital video provides crucial information to acquire semantic information of the video. In the proposed method. text candidate regions are extracted from input sequence by using characteristics of stroke and text candidate regions are localized by using projection to produce text bounding boxes. Bounding boxes containing text regions are verified geometrically and each bounding box existing same location is tracked by calculating matching measure. which is defined as the mean of absolute difference between bounding boxes in the current frame and previous frames. Finally. text regions are enhanced using temporal redundancy of bounding boxes to produce final results. Experimental results for various videos show the validity of the proposed method.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 참고문헌 ⑺에서 제안한 방법으로 자막 영역을 탐지한 다음 비디오의 시공간적인(spatio-temporal) 특징을 이용하여 복잡한 배경을 갖는 비디오로부터 자막의 색상, 위치 등에 무관하게 자막을 강건하게 추출하기 위한 알고리즘을 제안한다. 그림 1은 제안하는 방법의 개략적인 흐름을 보이고 있는데, 그림에서 보이는 바와 같이 주어진 한 개의 프레임으로부터 자막의 존재 여부를 탐지한 후 자막의 위치를 찾아 바운딩박스로 표현한다.
자막 영역을 효과적으로 찾기 위해서는 자막 영역에서 프로젝션의 peak가 강하게 나타나는 것이 바람직하다. 따라서 본 논문에서는 획 경계선의 내부를 채운 다음 프로젝션을 수행함으로써 프로젝션이 효과적으로 수행될 수 있도록 하였다. 이를 위하여 모폴로지 연산을 다시 한번 수행하여 인접한 획 경계선들을 통합한다.
이 경우는 이전 프레임까지는 존재했던 텍스트가 현재 프레임에서 사라져 더 이상 존재하지 않는 경우와, 현재 프레임에 존재하지만 어떤 이유로 인해 대응 관계를 찾는데 실패한 경우를 포함하는데, 바운딩박스가 더 이상 존재하지 않는 경우는 BS(t)의 바운딩박스 시퀀스와 BS(tT)의시퀀스는 각각 BS(t-l)과 BS(t-2)에서 복사한 것이다. 따라서 본 논문에서는 바운딩박스 시퀀스 중 BS(t)와 BS(tT)이모두 복사된 시퀀스인 경우 사라진 자막으로 판단하고 자막 향상과정을 수행한다.
본 논문에서 제안하는 자막 추출 기법의 타당성을 입증하기 위하여 다양한 비디오에 대한 실험을 수행하였다. 실험에 사용한 영상은 7*4280 0또는 9*5640 0해상도, 256단계의농담(gray scale) 값을 갖는 뉴스, 스포츠, 쑈 프로그램 등이다.
본 논문에서는 시공간 정보를 이용하여 텍스트 정보를 효과적이고 강건하게 추출하기 위한 알고리즘을 제안하였다. 제안된 알고리즘은 각 프레임에 대해 자막이 될 가능성이 높은 픽셀을 의미하는 씨앗점을 추출하고 모폴로지 연산과 프로젝션 기법을 이용하여 자막 영역을 찾는다.
보이고 있다. 본 논문에서는 두 바운딩박스의 겹쳐지는 영역이 일정 비율 이상일 경우 서로 대응될 가능성이 있다고 판단한다. 겹침 비율 은 (식 1)-(식 4)에 의해 계산된다.

가설 설정

로 나누어서 자막의 위치를 찾는 하향식 접근 방법이 있다〔13T 4〕. 자막 분리 단계에서는 자막 영역을 이루는 픽셀은 다른 영역과는 다른 색상을 일관되게 갖는다는 가정 하에, 배경과 자막 영역을 분리해 낸다〔15〕. 한편, 획 정보를 이용하여 씨앗점을 추출한 다음 모폴로지를 적용하여 효과적으로 자막을 추출할 수 있는 알고리즘이 제안되었다〔7〕.
존재한다. 기존의 연구들은 공통적으로 텍스트 영역은 배경과 높은 대비 (contrast)를 갖는다는 점을 가정하고 있으며, 텍스트가 수평 혹은 수직 방향으로 정렬되어 있다는 가정과 텍스트의 크기는 일정하다는 가정 하에 텍스트를 추출한다. 그러나 비디오에 존재하는 텍스트 정보는 그 해상도가 좋지 않고, 복잡한 배경, 다양한 폰트와 특수 효과의 영향 등으로 인해 다양한 장르의 비디오에 적용하기에 어렵다.

제안 방법

시간 정보를 이용하여 자막 바운딩 박스를 추적한 다음. 프레임 사이의 중복성을 이용하여 화질을 향상시켜 최종 결과를 도출한다. 본 논문의 이후 구성은 다음과 같다.
얻어진 것이 아니라면 고립되어 나타난다. 이런 특징을 이용하여 씨앗점에 대한 모폴로지 연산을 통해 자막 후보영역을 탐색한다. 먼저 주어진 씨앗점에 대해 모폴로지 폐쇄 연산 (morphological closing)을 수행하면 고립되어 있는 씨앗점, 즉 잘못된 씨앗점들은 변화가 없는 반면, 실제 자막을 이루는 씨앗 점들은 일정한 영역에 집중적으로 분포하기 때문에 서로 연결되어 한 개의 영역으로 통합되어 자막 후보 영역이 된다.
따라서 본 논문에서는 획 경계선의 내부를 채운 다음 프로젝션을 수행함으로써 프로젝션이 효과적으로 수행될 수 있도록 하였다. 이를 위하여 모폴로지 연산을 다시 한번 수행하여 인접한 획 경계선들을 통합한다. 획 경계 영역에 대해 모폴로지폐쇄 연산을 수행하면 서로 인접한 획 경계는 자막 영역으로 병합되며, 획 경계 내부 영역도 채워지게 된다.
현재 프레임에 대한 바운딩박스 추출과 기하학적 검증이 이루어진 후, 바운딩박스 시퀀스 BS(t-l)에 존재하는 바운딩 박스들과 현재 프레임에서 얻은 바운딩박스 B(t)들과의 대응 관계를 검사한다. 인접한 프레임에서 동일한 텍스트를 나타내는 바운딩박스는 그 크기와 밝기 구조가 서로 같아야 한다.
그러나 잡음과 복잡한 배경, 그리고 테두리 효과 등의 영향으로 서로 인접한 프레임에 존재하는 동일 텍스트 영역에 대한 바운딩 박스는 그 크기와 좌표가 정확하게 일치하지 않는 경우가 대부분이고 이럴 경우 바운딩박스에 대한 정합이 어렵다. 이러한 문제를 해결하기 위하여 본 연구에서는 텍스트 추적을 위하여, 바운딩박스 탐색, 바운딩박스 정합, 바운딩박스 시퀀스 생성으로 이루어진 3단계 알고리즘을 제안한다.
많다. 본 논문에서는 바운딩박스 시퀀스 BS(t-l, j) 에 있는 바운딩 박스와 위의 자막 탐색 영역 내에 존재하는 t 번째 프레임의 바운딩 박스가 충분히 겹쳐지면 이 바운딩 박스는 서로 대응될 가능성이 있다고 판단하고 바운딩박스 정합단계를 수행한다.
그러나 그림 2에서 보인 바와 같이 두 바운딩박스의 크기가 일치하지 않는 경우가 많다. 따라서 본 논문에서는 두 바운딩 박스의 크기가 정확히 일치하지 않은 경우, 두 바운딩박스가 모두 겹쳐지는 영역에 대해서만 MAD를 계산하고, MAD가 충분히 작은 경우 두 바운딩박스가 서로 대응되는 것으로 하였다.
전자일 경우에는 BS(t-l)에서 해당 바운딩 박스의 추적을 종료해야 하며, 후자일 경우에는 BS(t)에 BS(t-l)의 바운딩 박스를 추가하지는 않되, B(t+1)의 바운딩박스와 대응 관계를 탐색하기 위해 해당 바운딩박스를 다음 프레임으로 전달시켜야 한다. 본 논문에서는 현재 프레임 t에서 대응 관계를 찾지 못한 바운딩박스 시퀀스는 이전 프레임 t-1에 존재하는 바운딩박스를 현재 프레임으로 복사하여 t 프레임으로 전달한 후 t + 1 프레임과의 대응관계를 검사 할 수 있도록 한다. 이렇게 t 프레임으로 복사된 바운딩박스는 t+1 에서도 대응 관계를 찾지 못할 경우에는 사라진 바운딩박스로 간주하여 바운딩 박스에서 제거하며, t + 1에서 대응관계를 찾을 경우에는 어떤 이유로 인해 일시적으로 대응관계를 찾지 못한 것으로 간주하여 이후 프레임에서 정상적으로 바운딩박스에 대한 추적을 계속한다.
그러나 바운딩박스 시퀀스의 바운딩박스들은 여러가지 잡음의 영향과 더불어 자막 바운딩 박스 탐색과정에 자막에 대한 여러가지 특수효과로 인해 그 크기와 위치가 정확하게 일치하지 않는 경우가 대부분이다. 본 논문에서는 서로 일치하지 않는 위치의 바운딩 박스 시퀀스의 최종 위치 결정은 해당 바운딩박스 시퀀스의 크기와 위치에 대한 누적된 정보를 기반으로 한다. 바운딩박스의 최종 위치 (xl, yl), (x2, y2)는 다음의 식에 의해 계산된다.
제안된 알고리즘은 각 프레임에 대해 자막이 될 가능성이 높은 픽셀을 의미하는 씨앗점을 추출하고 모폴로지 연산과 프로젝션 기법을 이용하여 자막 영역을 찾는다. 그런 다음 시간적으로 인접한 프레임간의 자막 영역을 MAD를 이용하여 추적한다.

대상 데이터

BS(t-l)은 t-1 프레임에서 관리, 추적하고 있는 바운딩 박스의 모든 정보를 가지고 있는데, 바운딩박스가 시작된 프레임부터 현재까지 바운딩박스의 위치, 크기 , 밝기 정보 등을 갖는다. 본 연구에서 매칭을 위해 사용한 특징 (feature)은 바운딩 박스의 위치, 크기, 그리고 밝기 정보 등이다.
실험에 사용한 영상은 7*4280 0또는 9*5640 0해상도, 256단계의농담(gray scale) 값을 갖는 뉴스, 스포츠, 쑈 프로그램 등이다. 그림 3은 실험에 사용한 영상열의 일부를 보이고 있는더L 그림 3(b)와 그림 3(c)에서 자막의 내용이 바뀌고 있는 모습을 보이는 것을 볼 수 있다.

이론/모형

본 논문에서 사용하는 자막 영역 탐지 알고리즘은 참고문헌〔7〕 에서 사용된 방법을 기반으로 한다. 간략하게 이를 기술하면 다음과 같다.
탐색 영역 내에 존재하는 바운딩박스 중 겹침 비율 & 이충분히 큰 바운딩박스에 대해 바운딩박스 정합을 수행하는데, 바운딩박스 정합 척도는 계산량이 적은 MAD(Mean of Absolute Difference) 를 사용하였다. (식 5)는 MAD를 계산하기 위한 식을 보이고 있다.

성능/효과

제안된 방법을 방송 프로그램에서 추출한 981프레임에 존재하는 5466개의 글자에 대하여 실험한 결과 잘못된 텍스트 검출(false positive)은 없었으며 텍스트를 추출하는데 실패한 경우(false negative)는 508회가 관측되어, 본 논문에서 제안된 알고리즘의 정확도(precision)는 100%, 검출률 (recall)은 90.7% 이었다.
추적이 끝난 자막 영역은 시간적 중복성을 이용하여 화질을 향상시켜 최종 자막을 추출한다. 제안된 방법은 획의 특성에 기반하여 자막 영역를 추출하고, 일부 프레임에서 자막 추적에 실패하더라도 강건하게 자막 영역 추적을 계속할 수 있으며 이는 실험을 통해 확인되었다. 향후, 자막 영역에 대한 이진화 방법에 대한 연구와 이진화된 자막 영역 중 어느 영역이 자막이고 어느 영역이 배경인지 판단하기 위한 색상 극화 (color polarity) 기법에 대한 연구가 필요하다.

후속연구

제안된 방법은 획의 특성에 기반하여 자막 영역를 추출하고, 일부 프레임에서 자막 추적에 실패하더라도 강건하게 자막 영역 추적을 계속할 수 있으며 이는 실험을 통해 확인되었다. 향후, 자막 영역에 대한 이진화 방법에 대한 연구와 이진화된 자막 영역 중 어느 영역이 자막이고 어느 영역이 배경인지 판단하기 위한 색상 극화 (color polarity) 기법에 대한 연구가 필요하다.

참고문헌 (17)

신성윤, 표성배, 이양원, "대용량 비디오 데이터베이스 구축을 위한 비디오 개요 추출," 한국컴퓨터정보학회논문지, 제14권 1호, 255-265쪽, 2006년.
K. Jung, K. Kim, A. Jain, "Text Information extraction in images and video: a survey," Pattern Recognition, vol. 37, pp. 977-997, May 2004.

상세보기
M. R. Lyu, J, Song, and M. Cai, "A Comprehensive Method for Multilingual Video Text Detection, Localization, and Extraction," IEEE Trans. on CSVT., vol. 15n no 2, Feb. 2005.
R. Lienhart and A. Wernicke, "Localizing and Segmenting Text in Images and Videos," IEEE Trans. on Circuits and Systems for Video technology, vol. 12, no. 4, pp. 256-268, Apr. 2002.

상세보기
Y. Hasan and L. Karam, "Morphological Text Extraction from Images," IEEE Trans. on Image Processing, vol. 9, no. 11, Nov. 2000.
C. W. Lee, K. Jung, H. J. Kim, "Automatic text detection and removal in video sequences," Pattern Recognition Letters, vol. 24, pp. 2607-2623, Nov. 2003.

상세보기
정종면, 차지훈, 김규헌, "디지털 비디오를 위한 획기반 자막 추출 알고리즘," 퍼지 및 지능시스템학회 논문지, vol. 17, no. 3, pp. 297-303, 2007년 6월

원문보기 상세보기
H. Li, D. Doerman, and O. Kia, "Automatic text detection and tracking in digital video," IEEE Trans. on Image Processing, vol. 9, no. 1, pp. 147-156, Jan. 2000.

상세보기
O. Shiku, Y. Xiao, H. Yan, "Extraction of character patterns in different styles and orientations from natural scene images," Proc. of 2004 Int. Symp. on Intelligent Multimedia, Video and Speech Processing, pp. 719-722, Oct. 2004.
A. Jian and S. Bhattacharjee, "Text segmentation using gabor filters for automatic document processing," Machine Vis. Applicat., vol. 5, pp. 169-184, 1992.

상세보기
V. Wu, R. Manmatha, and E. Riseman, ？"Textfinder: An automatic system to detect and recognize text in images," IEEE Trans. on Pattern Analysis and Machine Intelligent, vol. 21. no. 11, pp. 1224-1229, Nov. 1999.

상세보기
A. Jain and B. Yu, "Automatic text location in images and video frames," Pattern Recognition, vol. 31. no. 12, pp. 2055-2076, 1998.

상세보기
M. Cai, J. Song, and M. Lyu, "A new approach for video text detection," Proc. of Int. Conf. on Image Process, pp. 117-120, Sep. 2002.
A. Wernicke and R. Lienhart, "On the segmentation of text in videos," Proc. of IEEE Int. Conf. on Multimedia Expo, vol. 3, pp. 1511-1514, Jul. 2000.
S. Antani, D. Crandall, and R. Kasturi, "Robust extraction of text in video," 15th Int. Conf. on Pattern Recognition, vol. 1, pp. 831-834, Sep. 2001.
W. Huang, P. Shivakumara and C. L. Tan, "Detecting Moving Text in Video Using Temporal Information," Proceedings of 19th ICPR, Dec. 2008.
D. Palma, J. Ascenso, F. Pereira, "Automatic Text Extraction in Digital Video Based on Motion Analysis," LNCS 3211 Image Analysis and Recognition, pp. 588-596, 2004.

저자의 다른 논문 :

LOADING...

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증