본 논문은 내용기반 동영상 분할을 위한 장면의 유사도 패턴 비교 방법을 제안한다. 동영상 장면 전환의 종류는 크게 급진적 전환과 디졸브(dissolve), 페이드인(fade-in), 페이드아웃(fade-out), 와이프 전환(wipe transition)을 포함하는 점진적 전환 형태로 나눌 수 있다. 제안하는 방법은 모든 종류의 장면 전환 검출 문제를 단지 발생 유무의 문제로 간단 정의하고, 장면 전환 종류는 별도로 구분하지 않는다. 장면 전환을 검출하기 위해서는 프레임간의 유사도를 정의해야 한다. 본 논문에서는 장면 내 유사도(within similarity)와 장면 간 유사도(between similarity)를 정의하며 두 유사도의 통계적 패턴 비교를 통하여 최종적으로 장면 전환을 검출하게 된다. 장면 내 유사도와 장면 간 유사도의 비율을 구하는 방법을 통해 플래시라이트나영상 내 물체 움직임에 대한 거짓 양성 검출을 별도의 후처리 과정 없이도 방지할 수 있음을 확인하였다. 프레임의 특징 값으로는 컬러 히스토그램과 프레임 내 평균 화소값을 이용하였다. TREC-2001, TREC-2002 동영상 셋을 포함한 실험 셋에서 성능을 평가한 결과 제안하는 알고리즘의 경우 총 91.84%의 재현율(recall)과 86.43%의 정확도(precision)의 성능을 보임을 확인할 수 있었다.
본 논문은 내용기반 동영상 분할을 위한 장면의 유사도 패턴 비교 방법을 제안한다. 동영상 장면 전환의 종류는 크게 급진적 전환과 디졸브(dissolve), 페이드인(fade-in), 페이드아웃(fade-out), 와이프 전환(wipe transition)을 포함하는 점진적 전환 형태로 나눌 수 있다. 제안하는 방법은 모든 종류의 장면 전환 검출 문제를 단지 발생 유무의 문제로 간단 정의하고, 장면 전환 종류는 별도로 구분하지 않는다. 장면 전환을 검출하기 위해서는 프레임간의 유사도를 정의해야 한다. 본 논문에서는 장면 내 유사도(within similarity)와 장면 간 유사도(between similarity)를 정의하며 두 유사도의 통계적 패턴 비교를 통하여 최종적으로 장면 전환을 검출하게 된다. 장면 내 유사도와 장면 간 유사도의 비율을 구하는 방법을 통해 플래시라이트나영상 내 물체 움직임에 대한 거짓 양성 검출을 별도의 후처리 과정 없이도 방지할 수 있음을 확인하였다. 프레임의 특징 값으로는 컬러 히스토그램과 프레임 내 평균 화소값을 이용하였다. TREC-2001, TREC-2002 동영상 셋을 포함한 실험 셋에서 성능을 평가한 결과 제안하는 알고리즘의 경우 총 91.84%의 재현율(recall)과 86.43%의 정확도(precision)의 성능을 보임을 확인할 수 있었다.
In this paper, we propose the comparison method of pattern similarity for video segmentation algorithm. The shot boundary type is categorized as 2 types, abrupt change and gradual change. The representative examples of gradual change are dissolve, fade-in, fade-out or wipe transition. The proposed m...
In this paper, we propose the comparison method of pattern similarity for video segmentation algorithm. The shot boundary type is categorized as 2 types, abrupt change and gradual change. The representative examples of gradual change are dissolve, fade-in, fade-out or wipe transition. The proposed method consider the problem to detect shot boundary as 2-class problem. We concentrated if the shot boundary event happens or not. It is essential to define similarity between frames for shot boundary detection. We proposed 2 similarity measures, within similarity and between similarity. The within similarity is defined by feature comparison between frames belong to same shot. The between similarity is defined by feature comparison between frames belong to different scene. Finally we calculated the statistical patterns comparison between the within similarity and between similarity. Because this measure is robust to flash light or object movement, our proposed algorithm make contribution towards reducing false positive rate. We employed color histogram and mean of sub-block on frame image as frame feature. We performed the experimental evaluation with video dataset including set of TREC-2001 and TREC-2002. The proposed algorithm shows the performance, 91.84% recall and 86.43% precision in experimental circumstance.
In this paper, we propose the comparison method of pattern similarity for video segmentation algorithm. The shot boundary type is categorized as 2 types, abrupt change and gradual change. The representative examples of gradual change are dissolve, fade-in, fade-out or wipe transition. The proposed method consider the problem to detect shot boundary as 2-class problem. We concentrated if the shot boundary event happens or not. It is essential to define similarity between frames for shot boundary detection. We proposed 2 similarity measures, within similarity and between similarity. The within similarity is defined by feature comparison between frames belong to same shot. The between similarity is defined by feature comparison between frames belong to different scene. Finally we calculated the statistical patterns comparison between the within similarity and between similarity. Because this measure is robust to flash light or object movement, our proposed algorithm make contribution towards reducing false positive rate. We employed color histogram and mean of sub-block on frame image as frame feature. We performed the experimental evaluation with video dataset including set of TREC-2001 and TREC-2002. The proposed algorithm shows the performance, 91.84% recall and 86.43% precision in experimental circumstance.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 논문에서는 영상 프레임 시퀀스로부터 영상 프레임의 전체 평균 밝기 값을 이용하여 윈도우 내에서의 분산과 분산의 1차 미분 값을 이용 디졸브 검출 성능을 향상하고자 하였다.
본 논문에서는 동영상의 장면 전환을 검출하기 위하여 장면 간 유사도와 장면 내 유사도를 정의하고 프레임 영상 간 비교 과정에서 생성된 패턴을 사용하여 장면 전환을 검출하는 방법을 제안하였다. 비교적 잡음에 강한 히스토그램 기반의 특징을 이용함과 동시에 영상의 공간적 정보를 이용하기 위한 부분 블록 내 화소 평균값을 이용하여 히스토그램이 갖는 한계를 보완하고자 하였다.
본 논문에서는 장면과 장면간의 전환이 발생하는 구간을 검출하기 위하여 장면 내 유사도와 장면 간 유사도의 비율을 구하고 그 비율이 국부 최소값을 이루는 지점을 장면 전환 지점으로서 검출한다. 이 방법은 장면 내에서 플래시라이트나 물체의 움직임과 같은 일시적이면서 급격한 시각적 변동이 발생하더라도 장면 내 유사도와 장면 간 유사도의 비율을 비교하여 거짓 양성을 방지할 수 있는 효과를 얻는다.
본 논문에서는 동영상의 장면 전환을 검출하기 위하여 장면 간 유사도와 장면 내 유사도를 정의하고 프레임 영상 간 비교 과정에서 생성된 패턴을 사용하여 장면 전환을 검출하는 방법을 제안하였다. 비교적 잡음에 강한 히스토그램 기반의 특징을 이용함과 동시에 영상의 공간적 정보를 이용하기 위한 부분 블록 내 화소 평균값을 이용하여 히스토그램이 갖는 한계를 보완하고자 하였다. 실제 실험 환경에서 높은 검출 성능을 보임을 확인할 수 있었다.
제안하는 동영상 장면 전환 검출 알고리즘은 각 프레임 영상으로부터 특징 값을 추출하고 이를 이용하여 장면 간 유사도와 장면 내 유사도 패턴을 생성한다. 생성된 패턴을 비교하여 최종적으로 장면 전환을 검출해 내는 방법에 대해 서술한다.
하지만 히스토그램 자체는 영상의 공간적 정보를 포함하지 않고 점진적 변화에 대해서 변별력을 보이지 못하는 특성을 보인다. 이를 보완하기 위해서 밝기 영상의 부분 블록 내 화소 평균값을 특징으로 함으로써 공간정보의 변화를 감지할 수 있도록 하였다. H, S, V 채널별로 히스토그램을 추출하였고, 연속하는 프레임 간의 유사도를 FSC 로 정의하고, 식 (1)과 같이 히스토그램 교차(histogram intersection) 방법을 사용하여 계산하였다.
가설 설정
(3) 장면 전환점을 기준으로 장면 간 유사도 SB 는 장면 내 유사도 SW 보다 작거나 같다.
하지만 위와 같은 모델링은 장면 X 에서 Y 로의 전환이 선형적으로 발생함과 동시에 장면 X 와 Y 에서의 카메라 움직임이 없거나 아주 적다는 가정을 포함하고 있다. 이에 본 논문에서는 동일한 장면 내 프레임 간 유사도와 서로 다른 장면 간의 프레임 간 유사도의 관계를 다음과 같이 정의하였다.
제안 방법
유사도 커브에서 디졸브, 페이드 인/아웃, 와이프 전환을 포함한 모든 장면 전환의 경우가 장면 내 부분 블록 차이 평균 값보다 크며 ∆t 가 5 이하일 때는 점진적 변화의 경우 평균 유사도 차이가 크게 두드러지지 않음을 확인할 수 있다. ∆t 별로 임계값을 정하기 위해 3가지 점진적 장면 전환에 유사도 커브의 평균을 구하여 이를 임계값으로 정하되 최소 임계값 10을 만족하도록 정하였다. 전체 프레임 간 유사도 값은 식 (5)와 같이 정의한다.
디졸브와 같은 점진적 변환에서는 장면 전환 시간이 긴 경우 현재 프레임 영상에서 바로 인접한 이웃 프레임만을 비교하는 것만으로는 장면 전환 검출에 한계를 나타낸다. 따라서 많은 연구에서 디졸브 전환을 수식적으로 모델링하고 그에 알맞은 검출 방법들[10,12]을 제안하였다. Su[4]의 경우 기존 장면 전환 모델링의 선형적 한계에 대해 언급하고 전환 구간 내 프레임 간 화소값 증감의 단조성에 기반하여 디졸브 전환을 모델링하였는데 윈도우 내에 존재하는 화소를 행동 패턴에 따라 지지자, 회색분자, 반대자 3개의 카테고리로 분류하였다.
본 논문은 동일 장면 내 프레임들의 유사도가 장면 간의 프레임 유사도보다 높다는 기본적인 가정을 통하여 장면 간의 유사도(between similarity)와 장면 내 유사도(within similarity)를 정의하고 두 유사도간의 비율을 비교하여 장면 전환을 검출한다. 이를 구하기 위해 현재의 영상 프레임을 기준 프레임으로 정의하고 과거 혹은 미래의 단방향으로 인접한 프레임 간의 유사도를 구해 프레임 유사도 패턴을 생성하여 장면 전환을 검출하였다.
본 논문은 동일 장면 내 프레임들의 유사도가 장면 간의 프레임 유사도보다 높다는 기본적인 가정을 통하여 장면 간의 유사도(between similarity)와 장면 내 유사도(within similarity)를 정의하고 두 유사도간의 비율을 비교하여 장면 전환을 검출한다. 이를 구하기 위해 현재의 영상 프레임을 기준 프레임으로 정의하고 과거 혹은 미래의 단방향으로 인접한 프레임 간의 유사도를 구해 프레임 유사도 패턴을 생성하여 장면 전환을 검출하였다.
이후 알고리즘 검증에 관한 실험에서는 4×8 크기를 갖는 패턴을 이용하여 장면 전환을 검출하도록 하였다.
NW 크기를 갖는 윈도우 내에서의 분산과 1차 미분값을 이용 1차 미분 값이 영교차하는 구간을 디졸브 전환의 후보 영역으로 정의하였다. 잡음을 제거하기 위해 구간평균방법(moving average)을 수행하며, 1차 미분 값의 영교차 지점에서의 음의 최소 극값과 양의 최대 극값이 각각 일정값 이상을 만족함과 동시에 구간 내 TR값의 최소값이 THSBD - high 보다 작은 경우 실제 장면 전환으로서 검출하도록 하였다. 그림 6은 프레임 별 밝기 분산의 1차 미분 값의 시퀀스를 보여준다.
장면 전환 검출 성능을 평가하기 위하여 동영상별 검출 성능을 측정하였다. 전반적으로 좋은 성능을 보이고 있으나 점진적 장면 전환에서 장면 간의 유사도가 매우 높거나 장면 전환의 길이가 매우 긴 경우 검출 성능이 상대적으로 떨어지는 것으로 나타났다.
제안하는 동영상 장면 전환 검출 알고리즘은 각 프레임 영상으로부터 특징 값을 추출하고 이를 이용하여 장면 간 유사도와 장면 내 유사도 패턴을 생성한다. 생성된 패턴을 비교하여 최종적으로 장면 전환을 검출해 내는 방법에 대해 서술한다.
이는 별도의 후처리를 요구하지 않으면서도 플래시라이트와 같은 현상에 강인한 특성을 보이게 된다. 제안하는 알고리즘에서는 기준 프레임을 기준으로 과거 혹은 미래의 단방향으로 인접한 이웃 프레임들의 시각적 특징을 비교하도록 하였다. 두 프레임 간격으로 L개의 이웃하는 프레임을 비교하여 L 차원을 갖는 유사도 값 벡터를 생성하고 TS 개의 유사도 벡터를 통해 그림 4와 같이 p×q 크기를 갖는 패턴 P를 생성하였다.
제안하는 알고리즘에서는 영상 프레임으로부터 HSV 컬러 히스토그램과 전체 프레임 영상을 N×N개의 크기를 갖는 부분 블록 영상으로 분할하고 해당 부분 블록 내 화소의 평균값을 특징 값으로 추출하였다.
패턴 사이즈 별 성능 평가를 위해 TR 값만을 이용하여 장면 전환을 검출하도록 하였다. 그림 7은 패턴 사이즈 p×q 에 대한 알고리즘 성능 평가 결과를 나타낸 것이다.
대상 데이터
제안하는 알고리즘의 성능을 평가하기 위하여 영화, 쇼, 뉴스, 다큐멘터리, 스포츠 등 여러 장르의 동영상을 29개 수집하고 장면 전환이 일어나는 구간을 포함하는 49개의 시퀀스를 추출하여 실험 동영상을 구성하였다. 또한 TREC-2001 실험 동영상 7개와 TREC-2002 실험 동영상 12개를 포함하여 실험 영상을 구성하였다. 다음 표 1은 실험 동영상 셋에 대한 장면 전환의 세부 내용을 보여준다.
제안하는 알고리즘의 성능을 평가하기 위하여 영화, 쇼, 뉴스, 다큐멘터리, 스포츠 등 여러 장르의 동영상을 29개 수집하고 장면 전환이 일어나는 구간을 포함하는 49개의 시퀀스를 추출하여 실험 동영상을 구성하였다. 또한 TREC-2001 실험 동영상 7개와 TREC-2002 실험 동영상 12개를 포함하여 실험 영상을 구성하였다.
데이터처리
임계값은 실험치를 통해 결정하였다. 임계값을 결정하기 위한 실험은 TREC-2001 동영상 데이터에서 10개 동영상을 가지고 실험한 결과를 사용하였으며, 장면 전환 시작점을 기준으로 인접한 프레임으로부터 최대 30장 이후 프레임까지 비교하였다. 그림 1은 ∆t 별로 측정한 평균 부분 블록 차이 곡선을 보이고 있다.
이론/모형
이를 보완하기 위해서 밝기 영상의 부분 블록 내 화소 평균값을 특징으로 함으로써 공간정보의 변화를 감지할 수 있도록 하였다. H, S, V 채널별로 히스토그램을 추출하였고, 연속하는 프레임 간의 유사도를 FSC 로 정의하고, 식 (1)과 같이 히스토그램 교차(histogram intersection) 방법을 사용하여 계산하였다.
또한 장면 전환을 검출하기 위한 통계학적 방법도 연구되었는데 Hanjalic[13]의 경우, 장면 전환의 발생 여부를 검출하는 문제로 간단히 정의하고 급진적 장면 전환과 점진적 장면 전환을 구하기 위한 통계적 접근 방법을 제안하였다. 검출을 위해 프레임 유사도에 대한 장면 간 확률 밀도 함수(inter-shot distribution function)와 장면 내 확률 밀도(intra-shot distribution function)를 정의하였고 장면 길이에 따른 사전 정보(priori information)를 사용하였다. 장면 전환을 검출하기 위한 다양한 프레임 비교 방법도 제안되었다.
성능/효과
4×8 크기의 패턴에서 THSBD 값이 0.81 일 때 재현율 88.02%, 정확도 89.96%의 성능을 보였다.
그림 8은 시공간 슬라이스 방법[14], 적응적 임계값을 이용한 방법[15], 그리고 제안하는 알고리즘의 F1 성능 평가 기준을 비교한 그래프이다. TREC-001 동영상 셋을 사용하였으며 그림 8과 같이 제안하는 알고리즘에서 전반적으로 높은 F1 값을 보임을 확인하였다.
하지만 부분 블록 특징 유사도는 플래시라이트 발생에 큰 변화가 없는 것을 보인다. 급진적 장면 전환이 발생하는 30번째 프레임을 기준으로 이후 전체 프레임 유사도는 장면 전환 이전 유사도에 비해 낮음을 확인할 수 있다.
비교적 잡음에 강한 히스토그램 기반의 특징을 이용함과 동시에 영상의 공간적 정보를 이용하기 위한 부분 블록 내 화소 평균값을 이용하여 히스토그램이 갖는 한계를 보완하고자 하였다. 실제 실험 환경에서 높은 검출 성능을 보임을 확인할 수 있었다. 특히 제안하는 알고리즘은 현재 프레임과 이웃한 영상 프레임들과의 유사도 측정 시 미래/과거 단방향으로의 비교 작업만 수행하였고 비교적 이웃 영상 프레임과의 비교 횟수가 적기 때문에 알고리즘 구현에 있어서 보다 효율적이다.
그림 1은 ∆t 별로 측정한 평균 부분 블록 차이 곡선을 보이고 있다. 유사도 커브에서 디졸브, 페이드 인/아웃, 와이프 전환을 포함한 모든 장면 전환의 경우가 장면 내 부분 블록 차이 평균 값보다 크며 ∆t 가 5 이하일 때는 점진적 변화의 경우 평균 유사도 차이가 크게 두드러지지 않음을 확인할 수 있다. ∆t 별로 임계값을 정하기 위해 3가지 점진적 장면 전환에 유사도 커브의 평균을 구하여 이를 임계값으로 정하되 최소 임계값 10을 만족하도록 정하였다.
그림 2(b)는 점진적 변화의 경우로 기준 프레임을 61번째 프레임으로 하였을 때에 71번째 프레임부터 점진적 장면 전환이 발생하는 동영상 시퀀스에 대한 유사도 그림이다. 장면 전환 지점을 기준으로 프레임 간 유사도가 비교적 크게 감소하며 그 값이 동일 장면 내에서 비교한 유사도 값보다는 작다는 것을 확인할 수 있다.
장면 전환 검출 성능을 평가하기 위하여 동영상별 검출 성능을 측정하였다. 전반적으로 좋은 성능을 보이고 있으나 점진적 장면 전환에서 장면 간의 유사도가 매우 높거나 장면 전환의 길이가 매우 긴 경우 검출 성능이 상대적으로 떨어지는 것으로 나타났다. 또한 영상 프레임 전체를 가릴 정도의 가까운 거리에서의 물체 움직임은 거짓 양성 검출로 이어진다는 문제가 있었다.
Yeo[3]의 방법과 같이 후처리를 위하여 프레임 유사도 시퀀스에서 윈도우 내에서 존재하는 2개 이상의 국부 최소값을 비교하여 플래시라이트인지 여부를 판별할 필요가 없어 효율적이다. 제안하는 방법을 통해 장면 전환에 대한 거짓양성율을 줄이는 효과를 얻을 수 있음을 확인하였다.
하지만 실시간 처리를 위해서는 처리 속도의 향상이 좀 더 요구되며 이를 위한 연구를 동반할 필요가 있을 것이다. 제안하는 알고리즘은 장면 간 유사도와 장면 내 유사도를 정의하여 플래시라이트나 특수 효과를 위한 프레임 삽입과 같은 상황에 대해서도 비교적 강건하게 장면 전환을 검출해낼 수 있다. 따라서 제안하는 알고리즘은 입력되는 동영상 스트림의 내용을 기반으로 장면을 분류하고 내용을 요약하는 어플리케이션에 적용할 수 있을 것이며 더 나아가 동영상의 내용 기반 검색에서 동영상 내용을 서술하기 위한 식별자 설계를 위한 요소 기술로 적용할 수 있을 것이라 기대한다.
실제 실험 환경에서 높은 검출 성능을 보임을 확인할 수 있었다. 특히 제안하는 알고리즘은 현재 프레임과 이웃한 영상 프레임들과의 유사도 측정 시 미래/과거 단방향으로의 비교 작업만 수행하였고 비교적 이웃 영상 프레임과의 비교 횟수가 적기 때문에 알고리즘 구현에 있어서 보다 효율적이다. 하지만 실시간 처리를 위해서는 처리 속도의 향상이 좀 더 요구되며 이를 위한 연구를 동반할 필요가 있을 것이다.
후속연구
제안하는 알고리즘은 장면 간 유사도와 장면 내 유사도를 정의하여 플래시라이트나 특수 효과를 위한 프레임 삽입과 같은 상황에 대해서도 비교적 강건하게 장면 전환을 검출해낼 수 있다. 따라서 제안하는 알고리즘은 입력되는 동영상 스트림의 내용을 기반으로 장면을 분류하고 내용을 요약하는 어플리케이션에 적용할 수 있을 것이며 더 나아가 동영상의 내용 기반 검색에서 동영상 내용을 서술하기 위한 식별자 설계를 위한 요소 기술로 적용할 수 있을 것이라 기대한다.
또한 영상 프레임 전체를 가릴 정도의 가까운 거리에서의 물체 움직임은 거짓 양성 검출로 이어진다는 문제가 있었다. 이는 임계값 설정이 동영상 데이터에 따라 민감성과 강인성에 대한 한계가 주된 원인으로서 앞으로 해결해야할 과제로서 추후 계속 연구되어야 할 것이다.
특히 제안하는 알고리즘은 현재 프레임과 이웃한 영상 프레임들과의 유사도 측정 시 미래/과거 단방향으로의 비교 작업만 수행하였고 비교적 이웃 영상 프레임과의 비교 횟수가 적기 때문에 알고리즘 구현에 있어서 보다 효율적이다. 하지만 실시간 처리를 위해서는 처리 속도의 향상이 좀 더 요구되며 이를 위한 연구를 동반할 필요가 있을 것이다. 제안하는 알고리즘은 장면 간 유사도와 장면 내 유사도를 정의하여 플래시라이트나 특수 효과를 위한 프레임 삽입과 같은 상황에 대해서도 비교적 강건하게 장면 전환을 검출해낼 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
동영상 장면 전환의 종류는 어떻게 구분할 수 있는가?
이 중에서도 장면 분할에 의한 동영상 관리 방법은 동영상의 내용을 기반으로 하는 색인(indexing), 브라우징(browsing) 및 검색(retrieval)을 위한 가장 기본적인 과정이다. 동영상 장면 전환의 종류는 크게 카메라 컷을 기준으로 한 급진적 변환(abrupt change)과 디졸브(dissolve), 페이드인(fade-in), 페이드아웃(fadeout) 와이프 전환(wipe transition) 등을 포함하는 점진적 변환(gradual change)로 구분할 수 있다. 동영상 분할을 위한 장면 전환 검출에 대한 대부분의 연구는 시간적으로 인접한 프레임 영상간의 정량적 유사도를 구하고 유사도 값의 국부 최소값을 구하는 방법을 이용한다.
디코딩 이후의 스트림을 이용하는 방법 중 히스토그램 차이에 기반을 두는 방법은 어떤 문제점이 있는가?
화소 값 기반 방법은 비교적 계산양이 적고 급진적 장면 전환에 대해 좋은 검출 성능을 보이지만 영상 프레임 내 물체의 움직임이나 카메라 움직임, 혹은 플래시라이트 등에 민감하기 때문에 높은 거짓 양성율(false positive rate)을 보이는 특성을 보인다[11]. 반면 히스토그램 기반의 방법은 위에서 열거한 방해요소에 대해 비교적 강인한 특성을 보이지만 계산 량이 많기 때문에 속도 면에서는 성능이 떨어진다는 특징이 있다. 디졸브와 같은 점진적 변환에서는 장면 전환 시간이 긴 경우 현재 프레임 영상에서 바로 인접한 이웃 프레임 만을 비교하는 것만으로는 장면 전환 검출에 한계를 나타낸다.
프레임 영상간의 유사도는 어떻게 나눌 수 있는가?
대부분의 장면 전환 알고리즘의 경우 동영상 프레임간의 특징을 비교하여 유사도를 구하게 된다. 프레임 영상간의 유사도는 압축된 스트림 자체에서 특징 정보를 이용하여 정의하는 방법과 디코딩 이후의 스트림으로부터 특징 정보를 이용하여 정의하는 방법으로 나눌 수 있다. 압축된 스트림에서는 DCT 계수[1,2], 매크로블록의 종류[3] 혹은 움직임 벡터[4]에 기반을 두는 방법 등이 있다.
참고문헌 (15)
B. L. Yeo and B. Liu, "Rapid Scene Analysis on Compressed Video," IEEE Trans. on Circuit and System for Video Technology, Vol.5, pp. 533-544, 1995.
H. J. Zhang, C. Y. Low, and S. W. Smoliar, "Video Parsing and Browsing using Compressed data," Multimedia Tools and Applications, Vol.1, pp. 89-111, 1995.
J. Cao and A. Cai, "A Robust Shot Transition Detection Method Based on Support Vector Machine in Compressed Domain," Journal of LSEVIER, Pattern Recognition Letter , Vol. 28, pp. 1534-1540, 2007.
C. W. Su, H. Y. M. Liao, H. R. Tyan, and L. H. Chen, "A Motion Tolerant Dissolve Detection Algorithm," IEEE Trans. on Multimedia, Vol.7, pp. 1106-1113, 2005.
H. J. Zhang, A. Kanakanhall, and S. W. Smoliar, "Automatic Partitioning of Full-Motion Video," Video and Image Processing on Multimedia System, Vol.1, pp. 10-28, 1993.
A. Nagasaka and Y. Tanaka "Automatic Video Indexing and Full-Video Search for Object Appearances," Proceeding of IFIP 2nd Working Conference. Visual Databases System, Vol.2, pp. 113-127, 1992.
C. L. Huang and B. Y. Liao, "A Robust Scene- Change Detection Method for Video Segmentation," IEEE Trans. on Circuits and System for Video Technology, Vol.11, pp. 1281-1288, 2001.
Z. Rasheed and M. Shah, "Video Categorization using Semantics and Semiotics," Video mining, pp. 185-217, 2003.
고경철, 이양원, "변형된 $x^2$ -테스트와 자동 임계치-결정 알고리즘을 이용한 장면전환 검출 기법," 전자공학회논문지, 제42권, 제4호, pp. 51-58, 2005.
B. Truong, C. Dorai, and S. Venkatesh, "New Enhancements to Cut, Fade, and Dissolve Detection Processes in Video Segmentation," Proceedings of the 8th ACM International Conference on Multimedia, pp. 219-227, 2000.
R. Lienhart, "Reliable Dissolve Detection," Proceeding of SPIE in Storage and Retrieval for Media Databases, Vol.4315, pp. 219-230, 2001.
A. Hanjalic and H. Zhang "Optimal Shot Boundary Detection Based on Robust Statistical Models," Proceedings of the IEEE International Conference on Multimedia Computing and Systems, Vol.2, pp. 710-714, 1999.
C. W. Ngo, T. C. Pong, and H. J. Zhang. "Motion Analysis and Segmentation Through Spatio-Temporal Slices Processing," IEEE Trans. on Image Processing, Vol.12, pp. 341-355, 2003.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.