[논문]축구 동영상에서의 장면 구조 분석에 기반한 자동적인 하이라이트 장면 검출

박기태; 문영식

doi:10.3745/kipstb.2007.14-b.1.001

축구 동영상에서의 장면 구조 분석에 기반한 자동적인 하이라이트 장면 검출
Automatic Detection of Highlights in Soccer videos based on analysis of scene structure 원문보기

정보처리학회논문지. The KIPS transactions. Part B. Part B, v.14B no.1 = no.111, 2007년, pp.1 - 4

박기태 (한양대학교 대학원 컴퓨터공학과) , 문영식 (한양대학교 컴퓨터공학과)

초록
AI-Helper

본 논문에서는 축구 동영상으로부터 자동적으로 하이라이트 장면들을 검출하는 방법을 제안한다. 축구 동영상에서 하이라이트 장면들은 슈팅 장면들이나 골 장면들로 정의 될 수 있다. 우리는 축구 동영상에 대한 구조적 분석을 통해서 일반적으로 골 포스트(goal posts) 영역 주위에서 하이라이트 장면들이 나타나는 것과 하이라이트 장면 이후에는 TV 카메라가 축구 선수들이나 관중석을 확대해서 보여주는 것을 확인할 수 있었다. 본 논문에서 축구 동영상으로부터 하이라이트 장면들을 검출하기 위한 과정은 세 단계로 구성된다. 첫 번째 단계는 통계적인 문턱치(statistical threshold)를 이용한 그라운드(playing field) 영역을 추출한다. 두 번째 단계는 골 포스트를 찾기 위해서 그라운드 영역과 그라운드가 아닌 영역들의 경계선 부분을 검출한다. 그리고 마지막 단계에서는 축구 선수나 관객들의 확대 장면을 검출하기 위해서 그라운드가 아닌 영역들에 대해서 connected component labeling 기법을 적용하여 한 장면 내에서 그라운드가 아닌 영역들의 비율을 계산한다. 본 논문에서는 하이라이트 장면 검출에 대한 성능을 평가하기 위하여 정확률(precision)과 재현율(recall)을 사용하고, 실험을 통하여 제안된 방법이 정확률 95.2%, 재현율 854%로 축구 동영상에서 하이라이트 장면을 효과적으로 검출할 수 있음을 확인하였다.

Abstract ▼ AI-Helper

In this paper, we propose an efficient scheme for automatically detecting highlight scenes in soccer videos. Highlights are defined as shooting scenes and goal scenes. Through the analysis of soccer videos, we notice that most of highlight scenes are shown around the goal post area. It is also noticed that the TV camera zooms in a setter player or spectators after the highlight stones. Detection of highlight scenes for soccer videos consists of three steps. The first step is the extraction of the playing field using a statistical threshold. The second step is the detection of goal posts. In the final step, we detect a zooming of a soccer player or spectators by using connected component labeling of non-playing field. In order to evaluate the performance of our method, the precision and the recall are computed. Experimental results have shown the effectiveness of the proposed method, with 95.2% precision and 85.4% recall.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그러나 wipe 장면을 전체 동영상에 대해서 검색한후 이웃한 wipe 장면을 묶어서 하나의 replay 장면으로 검출하기 때문에, 실시간적으로 하이라이트 장면을 검출할 수 가없고, 또한 wipe 장면 패턴이 축구 동영상 마다 달라질 수있기 때문에, 정확한 하이라이트 장면을 추출하기 힘들다. 그러므로, 본 논문에서는 축구 동영상에 대한 구조적인 분석을통하여 일반적으로 축구 동영상에 나타나는 구조를 정형화하여 하이라이트 장면을 검출하는 방법을 제안한다.
본 논문에서는 축구 동영상의 구조적 분석을 통한 하이라이트 장면을 검출하기 위한 방법을 제안하였다. 축구 동영상의 구조에 대한 분석을 통하여 그라운드 영역을 검출한후 정확한 하이라이트 장면을 검출하기위해서 골 라인과 골포스트를 추출하고, 그 후에 연속되는 장면들이 선수나 관객들을 확대하는 장면들이면 나타나는지를 확인하였다.
우리는 축구 동영상에 대한 구조적 분석을 통해서 일반적으로 골 포스트(goal posts) 영역 주위에서 하이라이트 장면들이 나타나는것과 하이라이트 장면 이후에는 TV 카메라가 축구 선수들이나 관중석을 확대해서 보여주는 것을 확인할 수 있었다. 본논문에서는 이러한 구조적인 정보를 이용하여 하이라이트 장면을 검출하고자 한다. 축구 동영상으로부터 하이라이트 장면을 검출하기 위한 과정은 세 단계로 구성된다.

제안 방법

일반적으로 축구 동영상을 분석하면, 골 포스트는 goal line 주위에서 흰색 화소들(white pixels)이 수직으로 두 개가 나타나는 것을 확인할 수 있다. 그러므로, 본 논문에서는 골 포스트를 찾기 위해서, 장면의 전체 영역이 아닌 검출된 goal line의 주변 영역들에 대해서만 흰색 화소들만을 수평축 상으로 투영한다. 그러면, 일정 이상의 간격을 갖는 서로 다른극치들이 나타나는 것을 확인할 수 있고', 이럴 경우에 실제골 포스트를 포함하는 장면으로 결정한다.
그래서 축구 동영상의 구조를 분석한 결과 하이라이트 장면 이후에 선수나 관중석을 확대하는 장면들과같은 비 그라운드 영역이 나타나는 것을 확인할 수 있었다. 그러므로, 본 논문에서는 하이라이트 장면 이후의 비 그라운드 장면을 검출하기 위해서, 축구 동영상의한 장면에서비 그라운드 영역에 해당하는 화소들에 대해 connected component labeling 기법을 사용하여 비 그라운드 영역의비율을 계산하다[101 만약 비 그라운드 영역의 비율이 일정한 문턱치 이상이면 비 그라운드를 확대한 장면으로 검출한다. (그림 5)는 선수들을 확대한 비 그라운드 장면 검출 예제를 보여주고 있다.
그러므로 기존 방법들에서 사용하고 있는 고정된 색상 정보를 이용하면그라운드를 효과적으로 검출하기 힘들다. 따라서 본 논문에서는 고정된 색상의 문턱치 정보를 사용하지 않고, 환경적인 변화에 적응적인 그라운드 검출을 위해서 통계적인 문턱치를 계산한다. 이를 위해, HSI 색상 모델을 사용하여 각각의 채널에 대해서 히스토그램을 구성한 후에 각각의 히스토그램에서 극치(peak)값을 가지는 빈(bin)을 조사하여 일정한문턱치 이상의 화소수를 갖는 극치 주변의 빈들에 대해서통계적인 문턱치로 사용되는 평균 (mean) 과 표준편차 (standard deviation)를 계산함으로써, 여러 환경에 적응적인그라운드 영역을 검출한다.
축구 동영상을 테스트 영상으로 사용하였다. 또한, 본 논문에서 사용된 축구 동영상들은 그림자가 지거나 햇빛이 강하게내리쬐는 것과 같은 다양한 환경을 포함하는 동영상 9가지를사용하였다. 실험 환경은 펜티엄 4 3.
(그림 5)는 선수들을 확대한 비 그라운드 장면 검출 예제를 보여주고 있다. 본 논문에서는 비 그라운드 장면을 검출하는 과정에서 전체 영역을 고려하지 않고, 화면의 절반이하의 영역에 대해서만 고려하였다. 왜냐하면, TV 카메라가 (그림 5)-(a)에서 보는 바와 같이 선수들의 허리의 윗부분을.
검출하는 과정이다. 본 논문에서는 정확한 골 포스트를검출하기 위해서 (그림 2)와 같이 첫 번째 단계에서 구성된이진 영상으로부터 그라운드 영역과 비 그라운드 영역을 분할하는 경계선(goal line)을 먼저 찾는다. 이를 위해, 그라운드 영역과 배경 영역이 이웃한 화소들(pixels)을 찾고, 그런다음, 해당 화소들에 대해 최소 제곱 평균 오차 접근법 (least mean square error fitting)을 적용하여 하나의 직선(line)을검출한다.
성능 평가를 위해서는 정확률(precision)과 재현율(recall) 를 사용하였다. 정확률은 하이라이트 장면으로 검출한 전체장면 수에 대한 실제 하이라이트 장면을 검출한 수를 정의한 것이고, 재현율은 전체 하이라이트 장면 수에 대한 실제하이라이트 장면을 검출한 수를 정의한 것이다.
따라서 본 논문에서는 고정된 색상의 문턱치 정보를 사용하지 않고, 환경적인 변화에 적응적인 그라운드 검출을 위해서 통계적인 문턱치를 계산한다. 이를 위해, HSI 색상 모델을 사용하여 각각의 채널에 대해서 히스토그램을 구성한 후에 각각의 히스토그램에서 극치(peak)값을 가지는 빈(bin)을 조사하여 일정한문턱치 이상의 화소수를 갖는 극치 주변의 빈들에 대해서통계적인 문턱치로 사용되는 평균 (mean) 과 표준편차 (standard deviation)를 계산함으로써, 여러 환경에 적응적인그라운드 영역을 검출한다. 각각의 채널에 대한 통계적인문턱치는 식(1)에 의해 계산된다.
장면을 검출하기 위한 방법을 제안하였다. 축구 동영상의 구조에 대한 분석을 통하여 그라운드 영역을 검출한후 정확한 하이라이트 장면을 검출하기위해서 골 라인과 골포스트를 추출하고, 그 후에 연속되는 장면들이 선수나 관객들을 확대하는 장면들이면 나타나는지를 확인하였다. 그리고, 다양한 환경을 포함하는 축구 동영상에 대하여 실험한 결과 정확률이 95.

대상 데이터

본 논문에 대한 실험 평가를 위하여, 2002 한국/일본 월드컵대회에서 방송된 축구 동영상과 유럽 챔피언스 대회에서 방송된 축구 동영상을 테스트 영상으로 사용하였다. 또한, 본 논문에서 사용된 축구 동영상들은 그림자가 지거나 햇빛이 강하게내리쬐는 것과 같은 다양한 환경을 포함하는 동영상 9가지를사용하였다.

데이터처리

본 논문에서는 정확한 골 포스트를검출하기 위해서 (그림 2)와 같이 첫 번째 단계에서 구성된이진 영상으로부터 그라운드 영역과 비 그라운드 영역을 분할하는 경계선(goal line)을 먼저 찾는다. 이를 위해, 그라운드 영역과 배경 영역이 이웃한 화소들(pixels)을 찾고, 그런다음, 해당 화소들에 대해 최소 제곱 평균 오차 접근법 (least mean square error fitting)을 적용하여 하나의 직선(line)을검출한다. 이 때, 직선이 수평선과 이루는 기울기(slop)가 0.

이론/모형

두 번째 단계는 골 포스트를 찾기 위해서 그라운드영역과 그라운드가 아닌 영역들의 경계선 부분을 검출한다. 그리고 마지막 단계에서는 축구 선수나 관중석의 확대 장면을 검출하기 위해서 비 그라운드 영 역들에 대해서 connected component labeling 기법을 적용하여 한 장면 내에서 비 그라운드영역들의 비율을 계산한다. (그림 1)은 제안한 방법에 대한 전체적인 흐름도를 보여준다.

성능/효과

과는 제안한 방법에 대한 실험결과를 보여주고 있으며, 정확률이 95.16%이고, 재현율이 85.41%로써효과적으로 하이라이트 장면을 검출하는 것을 확인할 수 있다.
수 없다. 그래서 축구 동영상의 구조를 분석한 결과 하이라이트 장면 이후에 선수나 관중석을 확대하는 장면들과같은 비 그라운드 영역이 나타나는 것을 확인할 수 있었다. 그러므로, 본 논문에서는 하이라이트 장면 이후의 비 그라운드 장면을 검출하기 위해서, 축구 동영상의한 장면에서비 그라운드 영역에 해당하는 화소들에 대해 connected component labeling 기법을 사용하여 비 그라운드 영역의비율을 계산하다[101 만약 비 그라운드 영역의 비율이 일정한 문턱치 이상이면 비 그라운드를 확대한 장면으로 검출한다.
축구 동영상의 구조에 대한 분석을 통하여 그라운드 영역을 검출한후 정확한 하이라이트 장면을 검출하기위해서 골 라인과 골포스트를 추출하고, 그 후에 연속되는 장면들이 선수나 관객들을 확대하는 장면들이면 나타나는지를 확인하였다. 그리고, 다양한 환경을 포함하는 축구 동영상에 대하여 실험한 결과 정확률이 95.2%, 재현율이 85.4%로써 효과적으로하이라이트 장면을 검출하는 것을 확인할 수 있었다. 향후과제로는 성능 개선을 위해 오디오 정보와 같은 다른 특징들을 추가로 고려해야 할 것이고, 또한 다른 알고리즘과의비교 분석이 이루어져야 할 것이다.
슈팅 장면이나 골 장면으로 정의될 수 있다. 우리는 축구 동영상에 대한 구조적 분석을 통해서 일반적으로 골 포스트(goal posts) 영역 주위에서 하이라이트 장면들이 나타나는것과 하이라이트 장면 이후에는 TV 카메라가 축구 선수들이나 관중석을 확대해서 보여주는 것을 확인할 수 있었다. 본논문에서는 이러한 구조적인 정보를 이용하여 하이라이트 장면을 검출하고자 한다.

후속연구

4%로써 효과적으로하이라이트 장면을 검출하는 것을 확인할 수 있었다. 향후과제로는 성능 개선을 위해 오디오 정보와 같은 다른 특징들을 추가로 고려해야 할 것이고, 또한 다른 알고리즘과의비교 분석이 이루어져야 할 것이다.

참고문헌 (10)

K. Wan, J. Lim, C. Xu, and X. Yu, 'Real-time Camera Field View Tracking in Soccer Video,' in Proceedings of IEEE ICASSP, Vol. 3, pp. 185-188, 2003
A. Ekin and A. Tekalp, 'Automatic Soccer Video Analysis and Summarization,' IEEE Trans. on Image Processing, Vol. 12, No.7, pp. 796-807, 2003

상세보기
K. Wan, X. Tan, X. Yu, and C. Xu, 'Real-time Goal-mouth Detection in MPEG Soccer Video,' in Proceedings of ACM MM2003, pp. 311-314, 200
Y. Gong, L. T. Sin, C. H. Chuan, H. Zhang, M. Sakauchi, 'Automatic Parsing of TV Soccer Programs,' in Proceedings qf the International Conference on Multimedia Computing and Systems, pp. 167-174, 1995
V. Kobla and D. S. Doermann, 'Extraction of Features for Indexing MPEG Compression Video,' in Proceedings of IEEE First Workshop on Multimedia Signal Processing, pp. 337-342, 1997
최송하, 이성환, '방송용 축구 경기 비디오의 자동 색인 및 분석 기술,' 한국정보과학회 가을 학술발표논문집, Vol. 25, No.2, pp. 550-552, 1998
황본우, 방건, 이미숙, 이성환, '축구 경기 비디오 분석을 위한 하이라이트 자동 추출 방법,' 한국정보과학회 가을 학술발표논문집, Vol. 24, No.2, pp. 347-350, 1997
S. Dagtas and M. Abdel-Mottaleb, 'Extraction of TV Highlights Using Multimedia Features,' IEEE Fourth Workshop on Multimedia Signal Proceeding, pp. 91-96, 2001
김재홍, 낭종호, 하명환, 정병희, 김경수, '스포츠 중계 방송의 특성을 이용한 축구동영상 하이라이트 생성 알고리즘,' 정보과학회 논문지 : 소프트웨어 및 응용 제30권 pp.727-843, 2003
G. Pass, R. Zabih, and J. Miller, 'Comparing Image Using Color Coherence Vectors,' in Proceedings of ACM Multimedia 96, pp. 65-73, 1996

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증