[논문]동영상에 삽입된 자막 내 문자영역화소추출

안권재; 김계영

동영상에 삽입된 자막 내 문자영역화소추출
Extraction text-region's pixel on caption of video 원문보기

안권재 (숭실대학교 컴퓨터학과) , 김계영 (숭실대학교 컴퓨터학부)

본 논문은 동영상 내 삽입된 자막을 문자인식이 가능하도록 문자영역을 이루는 화소를 추출하는 방법을 제안한다. 최초 자막영상을 통계학적 방법을 이용하여 색상극성을 결정한다. 이 후 색상극성에 따른 잡음제거 방법을 명암값기반과 형태학적기반으로 달리한다. 제안된 방법은 각 색상결정에 따른 적합한 잡음제거를 수행함으로서 추출된 화소들이 이루는 문자영역의 영상을 이용하여 문자인식을 수행하였을 때 기존방법보다 높은 문자인식률을 보였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 동영상 내 인위적으로 삽입된 자막에 대해문자인식에 적합하도록 문자를 추출하는 방법에 대해 기술하였다. 실험에서 알 수 있듯이 각 색상극성에 따라 효율적인 잡음제거 방법을 채택함으로서 문자인식률을 높일 수 있었다.

제안 방법

본 논문에서는 이러한 문제점을 보안하기 위하여 자막에 대한 색상극성 결정 이 후, 그 결과에 따라 잡음제거 방법을 달리한다.
8Ghz, 4G RAM이며, 구현은 MFC2005로 구현하였다. 실험은 자막에 대해 본 논문에서 제안된 방법의 문자추출방법과 Lyu의 방법의 문자추출방법으로 얻어진 영상을 문자인식을 수행하였다. 색상극성 분류 후 BonB, WonW는 기존 Lyu의 문자추출방법[3]과 같고 BonW, WonB는 다르기 때문에 BonW, WonB에 대한 자막만을 실험에 사용하였다.
[7]은 [6]을 이용하여 얻어진 이진화 영상에서 해당 논문에서 [그림 1]에서 보는 바와 같이 제안된 2개의 마스크를 이용하여 검은색 에지와 흰색 에지를 구한다. 이 후 구해진 각각의 색상에 대한 총합의 비율을 구한 후 문자 단위로 외곽에지를 제거 후 다시 에지들의 총합의 비율을 구하여 이전에 구해진 총합의 비율과 비교하여 색상에 대한 극성결정을 한다.
색상극성 결정 후 문자화소를 흰색으로 전환한다. 이 후 연결된 흰색화소에 대해 연결성 분석을 통해 각 객체 및 객체의 평균 명암값을 구한고 가로방향 스미어링을 이용하여 이웃 객체가 명암값이 유사할 경우 연결한다. 이후 흰색화소에 대해 세로방향 투영을 실시하여 투영된 결과에서 각 bin과 이웃 bin 대해 연결성 분석을 실시하되 누적 화소의 개수가 일정 개수보다 적은 bin이 존재할 경우 잡음 객체가 누적된 것으로 판단하고 누적화소가 없는 bin으로 판단한다.
자막에 대해 문자영역을 이루는 화소만을 추출하기 위해 최초 입력자막에 대해 색상극성 결정을 수행한다. 색상극성 결정은 [7] 의 방법을 사용한다.

대상 데이터

실험에 쓰인 자막은 각 방송사 MBC, KBS, SBS 별로 방송하는 뉴스에서 30개씩 총 90개를 수작업으로 추출하였다. 동영상의 해상도는 640 X 360이었으며, 실험에 사용된 자막은 자막의 크기에 따라 자막의 경계에서 1개에서 10개의 화소의 여분을 두고 추출하였다. 그 이유는 [3]의 문자추출 방법이 약간의 여분공간을 필요로 하기 때문이며, 실험에서 [7]의 방법이 약간의 여분이 있을 때 정확도가 높았다.
본 논문의 실험환경의 시스템은 듀얼코어 2.8Ghz, 4G RAM이며, 구현은 MFC2005로 구현하였다. 실험은 자막에 대해 본 논문에서 제안된 방법의 문자추출방법과 Lyu의 방법의 문자추출방법으로 얻어진 영상을 문자인식을 수행하였다.
색상극성 분류 후 BonB, WonW는 기존 Lyu의 문자추출방법[3]과 같고 BonW, WonB는 다르기 때문에 BonW, WonB에 대한 자막만을 실험에 사용하였다. 실험에 쓰인 자막은 각 방송사 MBC, KBS, SBS 별로 방송하는 뉴스에서 30개씩 총 90개를 수작업으로 추출하였다. 동영상의 해상도는 640 X 360이었으며, 실험에 사용된 자막은 자막의 크기에 따라 자막의 경계에서 1개에서 10개의 화소의 여분을 두고 추출하였다.

이론/모형

색상극성 결정 결과가 WonW, BonB와 같이 배경과 문자의 명암값 대비가 좋지 않은 경우 기존 [3]과 같이 Dam-point-labeling 방법을 수행한다.
자막에 대해 문자영역을 이루는 화소만을 추출하기 위해 최초 입력자막에 대해 색상극성 결정을 수행한다. 색상극성 결정은 [7] 의 방법을 사용한다. [7]은 [6]을 이용하여 얻어진 이진화 영상에서 해당 논문에서 [그림 1]에서 보는 바와 같이 제안된 2개의 마스크를 이용하여 검은색 에지와 흰색 에지를 구한다.

성능/효과

위의 [표 2]에서 보는 것과 같이 제안된 방법은 기존 [3]의 문자 추출의 단점인 잡음이 많은 점과 문자정보가 손실되는 문제점을 어느정도 보완한 것을 볼수 있다. 또한 [표 3]에서 보는 바와 같이 제안된 문자추출방법으로 얻은 영상에 대한 문자인식 결과가 [3] 의 문자추출방법으로 얻은 영상에 대한 문자인식결과 보다 우수한 것을 알 수 있었다.
본 논문은 동영상 내 인위적으로 삽입된 자막에 대해문자인식에 적합하도록 문자를 추출하는 방법에 대해 기술하였다. 실험에서 알 수 있듯이 각 색상극성에 따라 효율적인 잡음제거 방법을 채택함으로서 문자인식률을 높일 수 있었다.
이 후 연결된 흰색화소에 대해 연결성 분석을 통해 각 객체 및 객체의 평균 명암값을 구한고 가로방향 스미어링을 이용하여 이웃 객체가 명암값이 유사할 경우 연결한다. 이후 흰색화소에 대해 세로방향 투영을 실시하여 투영된 결과에서 각 bin과 이웃 bin 대해 연결성 분석을 실시하되 누적 화소의 개수가 일정 개수보다 적은 bin이 존재할 경우 잡음 객체가 누적된 것으로 판단하고 누적화소가 없는 bin으로 판단한다. 이 후 분할영역은 잡음제거 시 누락되는 구간이 없도록 비어있는 bin의 중간 지점까지 분할영역을 잡는다.

후속연구

그 이유는 [3]의 문자추출 방법이 약간의 여분공간을 필요로 하기 때문이며, 실험에서 [7]의 방법이 약간의 여분이 있을 때 정확도가 높았다. 하지만 본 논문은 문자추출방법에 관한 논문이므로 여분 공간 확보와 [7]의 정확도 관계에 대한 자세한 실험은 다루지 않겠다.
향후, BonB, WonW에 대한 [3]의 방법보다 우수한 형태학적 잡음제거 방법에 대해 연구할 계획이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

동영상에 삽입된 자막 내 문자영역화소추출
Extraction text-region's pixel on caption of video 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

동영상에 삽입된 자막 내 문자영역화소추출 Extraction text-region's pixel on caption of video 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

동영상에 삽입된 자막 내 문자영역화소추출
Extraction text-region's pixel on caption of video 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper