[논문]뉴스 비디오에서의 효율적인 장면 전환과 앵커 화면 검출

강현철; 이진성; 이완주

뉴스 비디오에서의 효율적인 장면 전환과 앵커 화면 검출
Efficient Detection of Scene Change and Anchorperson Frame in News Video 원문보기

정보과학회논문지. Journal of KIISE. 소프트웨어 및 응용, v.32 no.12, 2005년, pp.1157 - 1163

강현철 (인천대학교 정보통신공학과) , 이진성 ((주)네오미디어 개발A팀) , 이완주 (용인대학교 컴퓨터정보처리학과)

초록
AI-Helper

본 논문에서는 방대한 양의 방송 데이타를 처리하기 위하여 MPEG(Motion Picture Expert Group) 스트림 비디오에서 빠르고 효과적으로 비디오를 분할하는 기법을 제안한다. 이를 위해, MPEG 압축 도메인에서 최소 디코딩을 수행하여 I-프레임의 DC 이미지를 추출함으로써 통해 실행 시간을 단축하고, 밝기 정보와 색상 정보를 함께 고려한 변형된 히스토그램 비교법을 도입하여 장면전환을 빠르고 정확하게 검출하였다. 그리고 추출된 장면전환에 대해 앵커 프레임과 비앵커 프레임을 구별하기 위해 신경망 기법을 도입하였다.

Abstract ▼ AI-Helper

In this paper, an efficient and fast method to segment a video in the MPEG(motion picture expert group) video stream is proposed. For the real time processing of large amount of broadcasting data, we use DC images of I-frames in an MPEG compressed video with minimal decoding. Using the modified histogram comparison which counts on not only luminance but also chrominance information, the scene change detection was performed in the fast and accurate way Also, to discriminate anchorperson frame from non-anchor frame, a neural network method was introduced.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 방대한 양의 방송 데이타를 처리하기 위한 실시간 처리를 대상으로 하며 다양한 종류의 비디 오에 대해 빠르고 비교적 정확한 장면전환을 검출하고 자 한다. 또한 뉴스 비디오의 경우, 사건별로 앵커의 도 입부, 사건 보도 등이 반복적으로 진행되기 때문에 비디 오 스트림으로부터 앵커장면을 검출함으로써 정형화된 구조 정보를 검출하고자 한다. 이러한 구조적 정보는 추 가되는 시간 정보와 함께 향후 검색에 중요한 역할을 하게 되며, 수행 결과, 비디오 요약(video summary) 또는 비디오 줄거리를 얻을 수 있게 된다.
본 논문에서는 뉴스 동영상에서 단순히 색상 정보만 을 이용하거나, 뉴스 동영상의 특성만을 이용하기 보다 는 신경망을 이용하여 앵커 장면을 검출할 수 있는 새로운 알고리즘을 제안한다. 이는 앵커 장면과 비앵커 장 면 검출을 일종의 패턴 분류 문제로 생각할 수 있기 때문이다.
본 논문에서는 방대한 양의 방송 데이타를 처리하기 위한 실시간 처리를 대상으로 하며 다양한 종류의 비디 오에 대해 빠르고 비교적 정확한 장면전환을 검출하고 자 한다. 또한 뉴스 비디오의 경우, 사건별로 앵커의 도 입부, 사건 보도 등이 반복적으로 진행되기 때문에 비디 오 스트림으로부터 앵커장면을 검출함으로써 정형화된 구조 정보를 검출하고자 한다.
본 논문에서는 비디오 자료의 구조화를 위한 장면전 환 검출 방법 및 앵커 장면을 검출하는 새로운 방법을 제안하였다. 기존의 대부분의 연구는 실시간 처리를 고 려하지 않은 비디오 자료의 의미적 동질성을 찾는 부분 에 많은 초점을 맞추었으나, 방대한 양의 비디오 자료를 실시간으로 처리하지 못한다면 계속적인 비디오 자료의 증가를 감당할 수 없을 것이다.
그림 3은 앵커장면이 갖는 공간적 구성 모델을 신경 망 입력을 위한 입력 모델로 모델링 한 그림을 나타낸다. 본 논문에서는 앵커 구간을 찾는 것을 목적으로 하 되 내용기반 검색에 있어 중요한 부분은 뉴스 아이콘도 포함하고 있기 때문에 앵커 모델과 앵커 및 뉴스아이콘 이 포함된 모델을 구분하였다. 그러나 여기서 제안된 모 델링의 경우, 기자 역시 앵커와 유사한 모델로 모델링 되어 질 수 있고, 장면들의 다양성으로 인해 앵커 모델 과 유사한 모델들이 존재할 수 있는 문제가 남아 있다.
본 논문은 장면전환의 경계를 검출하면서 전체적인 처리 속도를 단축시키기 위해서 MPEG 도메인 데이타 의 전체 복호화를 이용하기 보다는 최소한의 복호화에 의해 얻어진 데이타를 이용한다. 최소한의 복호화란 MPEG 복호화 중 역양자화를 거친 다음 IDCT (inverse discrete cosine transform)를 거치기 바로 직전 까지를 말한다.

제안 방법

뉴스 동영상을 의미적인 뉴스 클립의 구조화를 위한 앵커 구간과 비앵커 구간을 추출하였고, 이를 이용하여 앵커 구간과 전체 뉴스를 대표하는 영상을 제시할 수 있고, 빠르게 효율적인 분석을 위하여 MPEG 영상의 전체 복호화가 아닌 부분 복호화를 통하여 전체 분석 속도를 향상 시켰다. 실험 결과 장면전환 검출의 경우 사람이 인지한 결과와 크게 다르지 않았으며, 앵커 장면 의 검색을 위해 신경망을 도입함으로써 좀 더 정확한 검출이 가능함을 알 수 있었다.
가장 일반적으로 사용되는 밝 기 성분만의 히스토그램 누적차를 이용할 경우에는 그림 1(c)에서 보듯이 여전히 임계치 설정에 많은 문제점을 가지고 있다. 따라서 본 논문에서는 장면간 거리를 두드러지게 하기 '위해 프레임간 히스토그램 누적 차 [4-6]를 사용하되 변형된 방법을'사용한다. 밝기 성분은 전체 이미지를 대표하기는 하지만 색상 정보를 가지고 있지 않기 때문에 비슷한 밝기 분포만 가지게 되면 오 검출하기 쉽다.
이러한 형태는 휘 도 성분의 양자화 후 특징 벡터를 추출했을 때 대부분의 영상이 비슷한 양자화 값을 가져 특징차를 구해도 큰 차이가 나지 않는다. 따라서 장면간의 거리를 두드러 지게 하는 방법이 필요하게 되는데 이를 위해 몇 가지 방법에 대해 제안한 방법과 비교한다.
본 논문에서는 뉴스 동영상에서 단순히 색상 정보만 을 이용하거나, 뉴스 동영상의 구조적 특성만을 이용하기 보다는 신경망을 사용하여 앵커 장면을 검출하였다. 이는 앵커 장면과 비앵커 장면을 일종의 패턴 분류 문 제로 생각할 수 있기 때문이다.
그림 1(d)에서도 알 수 있듯이 본 논문 에서 제안한 방법이 다른 세 가지 경우보다 장면간 거리 차가 잘 나타나고 있음을 알 수 있다. 실시간 처리를 목적으로 하기 때문에 비교적 복잡하지 않으면서 정확 하게 장면전환을 검출할 수 있는 변형된 히스토그램 누 적차 기법을 제안한다.

대상 데이터

본 논문에서 제안된 알고리즘을 실험하기 위해 TV 방송 프로그램 중에서 뉴스 동영상 을 그 주 대상으로 하였다. 동영상 데이타는 MPEG-1 으로 부호화된 데이타이다. MPEG 데이타의 GOP는 IBBPBBP.
0을 사용하였다. 본 논문에서 제안된 알고리즘을 실험하기 위해 TV 방송 프로그램 중에서 뉴스 동영상 을 그 주 대상으로 하였다. 동영상 데이타는 MPEG-1 으로 부호화된 데이타이다.

이론/모형

신경망은 최초 훈련 시 점에서만 많은 시간을 요구하고 실제 적용에서는 짧은 시간 안에 계산이 가능하기 때문에 많은 계산을 해야 하는 동영상 처리에 적합하게 이용할 수 있다. 신경망 모델은 AD ALINE 네트워크를 사용하였다.

성능/효과

또한 배경을 이용한 방법[15]에서는 처리 시간 은 빠르지만, 앵커의 배경이 일정하다는 가정하에 이루 어지므로, 배경이 달라질 경우 대처하기 어려운 단점을 가지고 있다. 그러나 제안된 방법의 경우는 배경에 대한 처리에 능동적일 뿐 아니라 실시간 처리가 가능함을 알 수 있다.
01 초가 소요되었다. 따라서 NTSC 방식에 의하면 초당 29.97초의 프레임률이 필요 한데 이는 한 프레임을 처리하는데 필요한 시간이 0.033 초 이내이어야 함을 의미하고 제안된 알고리즘의 경우 실시간 처리가 가능함을 알 수 있다.
여기서 N느 올바르게 검출된 컷 수를 의미하고, & 은 검출하지 못한 컷 수 舟는 잘못 검출한 컷 수를 의미한다. 살험에서 알 수 있듯이 Recalle 평균 95.1%, Precisione 93.8%로 좋은 결과를 나타낸다, 일반적으로 카메라 효과에 의해 많은 오검출이 발생할 수 있는데 반해 제안한 방법은 이런 오검출이 줄어들었음을 알 수 있다.
뉴스 동영상을 의미적인 뉴스 클립의 구조화를 위한 앵커 구간과 비앵커 구간을 추출하였고, 이를 이용하여 앵커 구간과 전체 뉴스를 대표하는 영상을 제시할 수 있고, 빠르게 효율적인 분석을 위하여 MPEG 영상의 전체 복호화가 아닌 부분 복호화를 통하여 전체 분석 속도를 향상 시켰다. 실험 결과 장면전환 검출의 경우 사람이 인지한 결과와 크게 다르지 않았으며, 앵커 장면 의 검색을 위해 신경망을 도입함으로써 좀 더 정확한 검출이 가능함을 알 수 있었다.
따라서 성능이 좋은 복 잡한 알고리즘보다는 간단하면서 비교적 정확하게 장면 전환을 검출할 수 있는 알고리즘이 필요하고 내용기반 검색을 위해서 뉴스 비디오의 경우 앵커 장면 검출은 필수적이라 할 수 있다. 장면전환 검출 알고리즘의 처리 시간은 평균 0.016초가 소요되었고, 앵커 검출 알고리즘 의 처리시간은 평균 0.01 초가 소요되었다. 따라서 NTSC 방식에 의하면 초당 29.
09초가 소요되므로 실시간 장면전환 검출에 서는 적합하지 못한 특성을 보인다. 제안된 방법은 압축 도메인에서 장면전환을 검출하므로 실시간 처리가 가능 하며 비교적 정확한 검출이 가능함을 알 수 있다.

후속연구

앵커 장면의 검출 경우에는 표 3에서 알 수 있듯이 앵커가 포함되지 않은 화면에 대해 앵커로 잘못 판정을 하였다. 따라서 이후 잘못 판정된 장면에 대하여 2차적 인 판정이 추가된다면 더욱 정확한 판정이 이루어질 것으로 본다.
향후 앵커의 검출에 있어 조금 더 앵커의 특징을 잘 표현할 수 있는 입력 벡터에 대한 연구가 필요할 것으로 보인다.

참고문헌 (15)

S.W. Smoliar and H. Zhang, 'Content-Based Video Indexing and Retrieval,' IEEE Multimedia Magazine, Vol. 1, No.2, pp. 62-72, Summer, 1994

상세보기
R. Zabih, J. Miller, and K. Mai, 'A feature-based algorithm for detecting and classifying scene breaks,' ACM International Conference on Multimedia, CA, pp. 189-200, Nov. 1995
A. Hampapur, Y. Tonomura, H. Hashimoto and Y. Ohba, 'Video indexing using motion vectors,' Proc. of SPIE-VCIP92, San Jose, Vol. 1818, pp.1522-1530, Nov. 1992
B.L. Yeo and B. Liu, 'On the extraction of DC sequences from MPEG compressed video,' IEEE Proc. ICIP, vol. 2, pp. 260-263, Oct. 1995
P. Arman, and H. Zhang, 'Content-Based Representation and Retrieval of Visual Media: A State-of-the-Art Review,' Multimedia Tools and Application, Vol. 3, pp. 179-202, Nov. 1996

상세보기
J. Meng, Y. Juan, S. F. Chang, 'Scene change detection in a MPEG compressed video sequence,' in Proc. SPIE, Vol, 2419, pp. 14-25, Feb. 1995
H. J. Zhang, C. Y. Low, and S. W. Smoliar, 'Video Parsing and Browsing using Compressed Data,' Multimedia Tools and Applications, Vol. 1, pp. 10-28, Feb. 1993
H. J. Zhang, A. Kankanhalli, and S. W. Smoliar, 'Automatic Partitioning of Full Motion Video,' Multimedia Systems, Vol. 1, pp. 10-28, Feb. 1993

상세보기
B. Shen and I. K. Sethi, 'Direct feature extraction from compressed Videos,' IEEE Trans. on Circuits and Systems for Video Technology, Vol. 5, No.6, pp. 533-544, Dec. 1995

상세보기
H. J. Zhang, S. Y. Tan, S. W. Smoliar and Y. Gong, 'Automatic Parsing and Indexing of News Video,' Proceedings of ACM Multimedia Systems, Vol. 2, pp. 45-54, May. 1995
H. Luo and Q. Huang, 'Automatic Model-based Anchorperson Detection,' Proceedings of SPIE on Storage and Retrieval for Media Databases, Vol. 4315, pp. 536-544, Oct. 2001
A. Hanialic, R. L. Lagensijk, J. Biemond, 'Templatebased detection of anchorperson shots in news programs', Processing '98, Chicago(IL, USA), Vol. 3, pp. 148-152, Oct. 1998
M. M. Yeung and B. Liu, 'Efficient matching and clustering of video shots,' IEEE International Conference on Image Processing, Vol. 1, pp. 338-341, 1995
박기태, 황두선, '뉴스 동영상의 앵커 객체 추출을 이용한 앵커 장면 검출', 한국정보과학회, Vol. 30 No. 2-2 pp. 0478-0480, 10. 2003
W. Q. Wang, L.Y Qing, Y. Fu and W. Gao, 'Locating Anchor Shots in Compression Domain Based on Neural Networks,' the Fifth ACCV 2002, Jan 23-25, 2002, Melbourne, Australia

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증