본 논문에서는 비디오 요약을 시각적으로 특징이 있고 주관적으로 중요한 비디오 세그먼트 집합을 구하는 새로운 요약 방식을 기술한다. 시각적으로 특징이 있는 데이터 포인트를 찾기 위해 novelty detection으로 잘 알려져 있는 OC-SVM(One-Class Support Vector Machine)을 사용할 수 있다. 그러나 OC-SVM의 처리과정에 비디오 세그먼트에 대한 사용자의 주관적인 중요도를 반영하기는 어렵다. OC-SVM의 처리과정에 사용자의 주관적 중요성을 반영하기 위해서, 본 논문에서는 OC-SVM의 퍼지 버전을 유도한다. IFOC-SVM(Importance-based Fuzzy One-Class Support Vector Machine)은 비디오 세그먼트의 중요도에 따라 각 데이터 포인트에 가중치를 부여하고 데이터 분포의 서포트를 측정한다. 이때, 구해진 서포트 벡터는 비 오 세그먼트의 중요도와 시각적 특징 관점에서 비디오의 내용을 축약하여 표현한다. 제안된 알고리즘의 성능을 증명하기 위하여 가상의 데이터들과 다양한 종류의 비디오들을 가지고 실험하였다. 실험 결과는 제안하는 방법의 성능이 다른 비디오 요약의 성능보다 우수함을 보여주었다.
본 논문에서는 비디오 요약을 시각적으로 특징이 있고 주관적으로 중요한 비디오 세그먼트 집합을 구하는 새로운 요약 방식을 기술한다. 시각적으로 특징이 있는 데이터 포인트를 찾기 위해 novelty detection으로 잘 알려져 있는 OC-SVM(One-Class Support Vector Machine)을 사용할 수 있다. 그러나 OC-SVM의 처리과정에 비디오 세그먼트에 대한 사용자의 주관적인 중요도를 반영하기는 어렵다. OC-SVM의 처리과정에 사용자의 주관적 중요성을 반영하기 위해서, 본 논문에서는 OC-SVM의 퍼지 버전을 유도한다. IFOC-SVM(Importance-based Fuzzy One-Class Support Vector Machine)은 비디오 세그먼트의 중요도에 따라 각 데이터 포인트에 가중치를 부여하고 데이터 분포의 서포트를 측정한다. 이때, 구해진 서포트 벡터는 비 오 세그먼트의 중요도와 시각적 특징 관점에서 비디오의 내용을 축약하여 표현한다. 제안된 알고리즘의 성능을 증명하기 위하여 가상의 데이터들과 다양한 종류의 비디오들을 가지고 실험하였다. 실험 결과는 제안하는 방법의 성능이 다른 비디오 요약의 성능보다 우수함을 보여주었다.
In this paper, we address a video summarization task as generating both visually salient and semantically important video segments. In order to find salient data points, one can use the OC-SVM (One-class Support Vector Machine), which is well known for novelty detection problems. It is, however, har...
In this paper, we address a video summarization task as generating both visually salient and semantically important video segments. In order to find salient data points, one can use the OC-SVM (One-class Support Vector Machine), which is well known for novelty detection problems. It is, however, hard to incorporate into the OC-SVM process the importance measure of data points, which is crucial for video summarization. In order to integrate the importance of each point in the OC-SVM process, we propose a fuzzy version of OC-SVM. The Importance-based Fuzzy OC-SVM weights data points according to the importance measure of the video segments and then estimates the support of a distribution of the weighted feature vectors. The estimated support vectors form the descriptive segments that best delineate the underlying video content in terms of the importance and salience of video segments. We demonstrate the performance of our algorithm on several synthesized data sets and different types of videos in order to show the efficacy of the proposed algorithm. Experimental results showed that our approach outperformed the well known traditional method.
In this paper, we address a video summarization task as generating both visually salient and semantically important video segments. In order to find salient data points, one can use the OC-SVM (One-class Support Vector Machine), which is well known for novelty detection problems. It is, however, hard to incorporate into the OC-SVM process the importance measure of data points, which is crucial for video summarization. In order to integrate the importance of each point in the OC-SVM process, we propose a fuzzy version of OC-SVM. The Importance-based Fuzzy OC-SVM weights data points according to the importance measure of the video segments and then estimates the support of a distribution of the weighted feature vectors. The estimated support vectors form the descriptive segments that best delineate the underlying video content in terms of the importance and salience of video segments. We demonstrate the performance of our algorithm on several synthesized data sets and different types of videos in order to show the efficacy of the proposed algorithm. Experimental results showed that our approach outperformed the well known traditional method.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
또한, 본 논문에서는 비디오 요약의 성능을 비교 분석하기 위한 새로운 성능 측정 기준을 제시하였다. 이것은 서로 비교할 수 없었던 기존의 다양한 비디오 요약 알고리즘들에 대한 새로운 성능 기준이 될 수 있다.
중요도 측정치는 많은 다른 정보 소스로부터 얻을 수 있고, 응용분야에 종속적이다. 본 논문에서는 비디오 요약에 많이 쓰일 수 있는 두 가지 일반적인 접근 방법을 제안한다.
본 논문에서는 비디오 요약을 시각적으로 특징이 있고, 주관적으로 중요한 세그먼트를 최적으로 선정하는 것으로 새롭게 해석 하였다. 이러한 비디오 요약을 위하여 비디오 세그먼트의 다양 한 정보들에 대한 중요도를 측정하고 이를 비디오 요약에 적용하였다.
제안 방법
(3) 중요도를 가진 세그먼트들을 가지고 IFOCSVM을 실행하여 결과로 나온 서포트 벡터들을 가지고 비디오 요약을 구축한다.
식 (19)에서 S는 선정된 비디오 세그먼트의 집합, n은 S의 개수를 나타낸다. 두 개의 세그먼트의 거리를 측정하기 위하여 L1-distance를 사용하였다.
이러한 퍼지 기반 OC-SVM들의 특징들은 본 논문에서 제안하는 비디오 요약에는 적합하지 않다. 따라서, 본 논문에서는 모든 데이터들의 시각적 특징과 퍼지 맴버쉽을 같이 고려하는 중요도 기반 퍼지 원 클래스 서포트 벡터 머신(Importance- based Fuzzy OC-SVM, 줄여서 IFOC-SVM)을 유도 한다.
그들은 샷의 클러스터 넘버를 비디오 스토리의 기본 단위와“대화”와 “동작”등의 사건을 식별하기 위해 사용하였다. 또한, 비디오 스토리의 기본 단위에 대하여 비디오 포스터(video poster)라 불리는 pictorial 비디오 요약을 개발하였다. 스토리의 기본 단위에 대한 클러스터 장악력은 클러스터에 존재하는 샷의 수 또는 클러스터에 존재하는 샷의 길이에 비례하였다.
시각적 특징 벡터로써 6×6×6 RGB 칼라 히스토그램을 (color histogram) 사용하였다. 또한, 비디오를 세그먼트로 분할하기 위하여 계층적 클러스터링을 (hierarchical clustering) 적용하였고, 세그먼트의 키프레임으로써 세그먼트의 중심에 가장 가까운 프레임을 키프레임으로 선정하였다. 또한, 비디오 요약을 단계별로 점점 상세히 볼 수 있는 scalable video summary scheme을 사용하였다.
이것은 서로 비교할 수 없었던 기존의 다양한 비디오 요약 알고리즘들에 대한 새로운 성능 기준이 될 수 있다. 마지막으로 본 논문에서 제안한 비디오 요약의 성능을 증명하기 위하여 가상의 데이터와 여러 형태의 비디오들을 가지고 실험을 하였다. 실험 결과는 제안하는 비디오 요약 알고리즘이 이벤트 장악력, 길이 장악력과 시각적 다양성 면에서 Manga 보다 성능이 우수함을 보여주었다.
식 (9)는 Quadratic Programming을 이용하여 해를 구할 수 있다. 본 논문에서는 SMO (Sequential Minimal Optimization)을 수정하여 이용 한다[20]. SMO의 알고리즘은1) 먼저 2개의 데이터 포인트를 선택하고, 2) 식 (6)과 식 (8)을 만족시키면서 선택된 2개의 데이터 포인트에 해당하는 αi를 갱신한다.
본 논문에서는 비디오 요약을 “시각적으로 특징이 있고, 주관적으로 중요한 최적의 세그먼트들을 선정하는 것”으로 새롭게 해석하였다.
본 논문에서는 제안한 비디오 요약 알고리즘을 50분 비디오, 5분 뮤직비디오, 10분의 다큐멘터리 비디오에 대하여 실험을 하였다. 시각적 특징 벡터로써 6×6×6 RGB 칼라 히스토그램을 (color histogram) 사용하였다.
시각적 특징 벡터로써 6×6×6 RGB 칼라 히스토그램을 (color histogram) 사용하였다.
본 논문에서는 비디오 요약을 시각적으로 특징이 있고, 주관적으로 중요한 세그먼트를 최적으로 선정하는 것으로 새롭게 해석 하였다. 이러한 비디오 요약을 위하여 비디오 세그먼트의 다양 한 정보들에 대한 중요도를 측정하고 이를 비디오 요약에 적용하였다. 이를 위하여, 기존의 OC-SVM에 주관적인 중요도를 결합한 IFOC-SVM 을 유도 하였다.
이러한 비디오 요약을 위하여 비디오 세그먼트의 다양 한 정보들에 대한 중요도를 측정하고 이를 비디오 요약에 적용하였다. 이를 위하여, 기존의 OC-SVM에 주관적인 중요도를 결합한 IFOC-SVM 을 유도 하였다.
이러한 특징을 이용하여 IFOC-SVM을 반복적으로 수행함으로써 “scalable video summarization”의 구조를 이룰 수 있다. 제안된 알고리즘은 성능을 증명하기 위하여 다양한 비디오를 가지고 실험 하였다.
제안한 비디오 요약 알고리즘의 성능을 알아보기 위하여, 우선 세그먼트의 길이를 중요도 측정치로 사용하였다. 세그먼트의 길이를 IFOC-SVM 의 맴버쉽으로 변환하기 위하여 식 (15)에서와 같이 시그모이드(sigmoid) 함수를 사용하였다.
다양하고 불확실한 정보들을 결합하고 다루기 위한 방법으로 퍼지 집합 이론을 사용한다. 즉, 비디오 세그먼트의 사람의 주관적인 중요도를 퍼지 맴버쉽으로 (fuzzy membership) 표현하고, 퍼지 결합 연산자를 (fuzzy aggregation operator) 사용하여 중요도들을 결합한다.
즉, 비디오 시퀀스를 “시각적인 특징 요소인 칼라, 모션, 또는 시간에 따른 변화 등과 같은 관점에서 특징이 있고”, “사람의 주관적인 판단에 의해 중요한” 세그먼트들의 최적의 집합으로써 간주하였다.
대상 데이터
본 논문에서의 비디오 요약은 길이가 긴 비디오를 대상으로 한다. 길이가 긴 비디오를 프레임 단위로 다루기에는 데이터 양이 너무 많고, 비디오 요약도 제대로 이루어 지지 않기 때문에, 비디오를 세그먼트 단위로 분할을 한 후, 최적의 세그먼트 집합을 구한다.
또한, 비디오 스토리의 기본 단위에 대하여 비디오 포스터(video poster)라 불리는 pictorial 비디오 요약을 개발하였다. 스토리의 기본 단위에 대한 클러스터 장악력은 클러스터에 존재하는 샷의 수 또는 클러스터에 존재하는 샷의 길이에 비례하였다. 이 장악력은 비디오 포스터의 이미지 크기를 결정했다.
이론/모형
더욱이, 이러한 정보들을 직접적으로 다루기에는 애매하거나 모호한 것들이 대부분이다. 다양하고 불확실한 정보들을 결합하고 다루기 위한 방법으로 퍼지 집합 이론을 사용한다. 즉, 비디오 세그먼트의 사람의 주관적인 중요도를 퍼지 맴버쉽으로 (fuzzy membership) 표현하고, 퍼지 결합 연산자를 (fuzzy aggregation operator) 사용하여 중요도들을 결합한다.
또한, 비디오를 세그먼트로 분할하기 위하여 계층적 클러스터링을 (hierarchical clustering) 적용하였고, 세그먼트의 키프레임으로써 세그먼트의 중심에 가장 가까운 프레임을 키프레임으로 선정하였다. 또한, 비디오 요약을 단계별로 점점 상세히 볼 수 있는 scalable video summary scheme을 사용하였다.
제안한 비디오 요약 알고리즘의 성능을 알아보기 위하여, 우선 세그먼트의 길이를 중요도 측정치로 사용하였다. 세그먼트의 길이를 IFOC-SVM 의 맴버쉽으로 변환하기 위하여 식 (15)에서와 같이 시그모이드(sigmoid) 함수를 사용하였다.
특히, C가 1일 때는 아웃라이어 없이 모든 데이터를 포함하는 최소구의 표면에 있는 최적의 서포트 벡터들을 찾는다. 확장가능 비디오 요약 알고리즘은 C를 1로 설정하여 IFOC-SVM을 실행 한다. 실행 결과로써 얻어진 서포트 벡터들은 키프레임 집합이 된다.
성능/효과
(2) 분할된 세그먼트를 가지고 각각의 중요도를 (importance measure) 측정하고, 중요도에 대한 퍼지 맴버쉽 (fuzzy membership)을 구한다.
각 그림에서 흑점은 제안하는 방법의 성능을 나타내고 백점은 Manga의 성능을 나타낸다. 그래프에서 보면 이벤트 장악력과 길이 장악력에서는 제안한 알고리즘이 Manga 보다 성능 그래프가 조금 높은 것을 볼 수 있다. 그러나 시각적 다양성에서는 제안한 알고리즘이 Manga 보다 눈에 띄게 우수한 것을 볼 수 있다.
그래프에서 보면 이벤트 장악력과 길이 장악력에서는 제안한 알고리즘이 Manga 보다 성능 그래프가 조금 높은 것을 볼 수 있다. 그러나 시각적 다양성에서는 제안한 알고리즘이 Manga 보다 눈에 띄게 우수한 것을 볼 수 있다. 이것은 제안한 비디오 요약의 두 가지 기준에서 “시각적으로 특징 있는” 세그먼트를 선정하는 것이 Manga 보다 좋다는 것을 보여준다.
마지막으로 본 논문에서 제안한 비디오 요약의 성능을 증명하기 위하여 가상의 데이터와 여러 형태의 비디오들을 가지고 실험을 하였다. 실험 결과는 제안하는 비디오 요약 알고리즘이 이벤트 장악력, 길이 장악력과 시각적 다양성 면에서 Manga 보다 성능이 우수함을 보여주었다.
위 실험 등을 통하여 세그먼트의 길이, 사용자 성향 이외에도 다양한 비디오의 정보들을 반영하여 비디오 요약에 적용할 수 있다는 것을 알 수 있다.
이러한 퍼지 기반 OC-SVM들의 특징들은 본 논문에서 제안하는 비디오 요약에는 적합하지 않다. 따라서, 본 논문에서는 모든 데이터들의 시각적 특징과 퍼지 맴버쉽을 같이 고려하는 중요도 기반 퍼지 원 클래스 서포트 벡터 머신(Importance- based Fuzzy OC-SVM, 줄여서 IFOC-SVM)을 유도 한다.
질의응답
핵심어
질문
논문에서 추출한 답변
비디오 초록 생성 기술에는 무엇이 있는가?
비디오 내용분석 및 검색에 있어서 비디오 초록 생성은 (Video Abstraction) 원본 비디오를 자동 축약하는 기술로서, 방대한 비디오 정보를 검색/브라우징 하는데 필수적인 기술로서 가장 활발히 연구가 수행되고 있는 분야 중의 하나이다[1]. 비디오 초록 생성 기술은, 크게 “비디오 흝어보기”(Video Skimming), “주요장면 추출하기”(Video Highlights), “비디오 요약하기”(Video Summarization)로 구분 될 수 있다.
비디오 요약은 3단계로 구성되는데 이는 어떻게 이루어 지는가?
(1) 비디오를 세그먼트 단위로 분할한다.
(2) 분할된 세그먼트를 가지고 각각의 중요도를 (importance measure) 측정하고, 중요도에 대한 퍼지 맴버쉽 (fuzzy membership)을 구한다.
(3) 중요도를 가진 세그먼트들을 가지고 IFOCSVM을 실행하여 결과로 나온 서포트 벡터들을 가지고 비디오 요약을 구축한다.
OC-SVM은 어떤 분야에 쓰이고 있는가?
OC-SVM은 “클러스터링”(clustering)[16], “novelty detection”[8,17,18], “내용기반 이미지 검색(contentbased image retrieval)”[7,19] 등과 같은 다양한 응용분야에 쓰이고 있다. [17]에서는 OC-SVM을 갑작스런 스팩트럼 변화 검축에 사용하였고, 기존의 알고리즘보다 우수한 방법이라는 것을 보였다.
참고문헌 (23)
Nevenka Dimitrova, et al. "Applications of Video-Content Analysis and Retrieval", IEEE Multimedia, Vol. 9 Issue. 3, Jul-Sep 2002, pp.42-55
Yeung, M.M., Boon-Lock Yeo: Video Visualization for Compact Presentation and Fast Browsing of Pictorial Content. IEEE Transactions on Circuits and Systems for Video Technology. Vol.7 No.5 October (1997) 771-785
Shingo Uchihashi, Jonathan Foote, Andreas Girgensohn, John Boreczky: Video Magna: Generating Semantically Meaningful Video Summaries. Proceedings of ACM International Conference on Multimedia (1999) 383--391
Yunqiang Chen, Xiang Sean Zhou, Huang, T.S.: One-class SVM for learning in image retrieval. Proceedings of International Conference on Image Processing Vol.1 (2001) 34--37.
B. Scholkopf, J.C. Platt, J. Shawe-Taylor, A. J. Smola, R. C. Williamson: Estimating the Support of a High-Dimensional Distribution. Microsoft Research Technical Report MSR-TR-99-87 (1999)
Pei-Yi Hao "Fuzzy one-class support vector machines" Fuzzy Sets and Systems 159 (2008) 2317 -. 2336
김기주, 최영식 "퍼지 원 클래스 서포트 벡터 머신", 인터넷정보학회논문지 제6권 32호, 2005
YoungSik Choi and KiJoo Kim "Video Summarization Using Fuzzy One-Class Support Vector Machine" LNCS3043, pp.49-/56, 2004
S. W. Smoliar and H. J. Zhang, "Content-based video indexing and retrieval", IEEE Multimedia, 1994, pp. 62-72.
B. Shahraray and D. C. Gibbon, "Automatic generation of pictorial transcripts of video program,s", in Proc. IS&T/SPIE Digital Video Compression: Algorithms and Technologies, SanJose,CA,1995,pp.512-519.
Y. Zhuang, Y. Rui, T. S. Huang, and S. Mehrotra, "Adaptive key frame extraction using unsupervised clustering", ICIP'98, vol. 1, Oct 1998, pp.866-870.
Hanjalic, A., HongJiang Zhang: An Integrated Scheme for Automated Video Abstraction Based on Unsupervised Cluster-Validity Analysis. IEEE Transactions on Circuits and Systems for Video Technology Vol.9 No.8 December (1999) 1280--1289
Asa Ben-Hur, David Horn, Hava T. Siegelmann, and Vladimir Vapnik, "Support Vector Clustering", Journal of Machine Learning Research 2, pp.125-137, 2001.
Manuel Davy and simon Godsill, "Detection of abrupt spectral changes using support vector machines: an application to audio signal segmentation", IEEE International Conference on Acoustics, Speech, and signal Processing, Vol. 2, 12-17, pp.1313-1316, May 2002.
P. Hayton, B. Scholkopf, L. Tarassenko, and P. Anuzis, "Support vector novelty detection applied to jet engine vibration spectra", in NIPS'2000, 2000.
Tax, D. M. J. and Duin, R. P. W., "Image database retrieval with Support vector data description", Proceedings of the Sixth Annual Conference of the Advanced School for Computing and Imaging, ASCI, Delft, June 2000.
J. C. Platt "Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines", Microsoft Research Technical Report, MST-TR-98-14, 1998.
Nello Cristianini and John Shawe-Taylor, "An Introduction to Support Vector Machines and other kernel-based learning methos", Cambridge University Press, 2000.
J. M. Keller, et. al., "Evidence Aggregation Networks for Fuzzy Logic Inference", IEEE Transactions on Neural Networks, Vol. 3, No. 5, pp. 762-769, 1992
YoungSik Choi, Sang-Yoon Lee: Scalable Keyframe Extraction Using One-Class Support Vector Machine. ICCS2003 LNCS2660 (2003) 491-499
※ AI-Helper는 부적절한 답변을 할 수 있습니다.