[논문]SIFT를 이용한 장면전환 검출 및 필터링 기술

문원준; 유인재; 이재청; 서영호; 김동욱

doi:10.5909/jbe.2019.24.6.939

SIFT를 이용한 장면전환 검출 및 필터링 기술
Scene Change Detection and Filtering Technology Using SIFT 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.24 no.6, 2019년, pp.939 - 947

문원준 (광운대학교 전자재료공학과) , 유인재 (비욘드테크) , 이재청 (비욘드테크) , 서영호 (광운대학교 전자재료공학과) , 김동욱 (광운대학교 전자재료공학과)

초록
AI-Helper

미디어 시장의 활성화로 영상의 압축, 검색, 편집, 저작권 보호등의 필요성이 높아지고 있다. 본 논문에서는 이 모든 분야에 사용되는 영상의 장면 전환을 검출하는 방법을 제안한다. 유통 과정에서 발생 가능한 해상도 변환, 자막 삽입, 압축, 영상 반전등의 변형이 추가되더라도 동일하게 장면 전환을 검출하기 위해 전처리 과정과 SIFT를 이용한 특징점 추출, 변형을 고려한 매칭 알고리즘을 제시한다. 또한 이를 필터링 기술에 적용하여 알고리즘에서 고려한 변형 이외의 변형에도 유효함을 확인한다.

Abstract ▼ AI-Helper

With the revitalization of the media market, the necessity of compression, searching, editing and copyright protection of videos is increasing. In this paper, we propose a method to detect scene change in all these fields. We propose a pre-processing, feature point extraction using SIFT, and matching algorithm for detecting the same scene change even if distortions such as resolution change, subtitle insertion, compression, and flip are added in the distribution process. Also, it is applied to filtering technology and it is confirmed that it is effective for all transformations other than considering transform.

주제어

표/그림 (10)

그림 그림 1. 각 단계별 SIFT 알고리즘의 영상 변형에 대한 강인성 Fig. 1. Robustness of image distortion for each step of SIFT
그림 그림 2. 장면 전환 검출 알고리즘 Fig. 2. Proposed algorithm of scene change detection
그림 그림 3. 필터링 기술의 검색 알고리즘 Fig. 3. Searching algorithm for filtering technology
그림 그림 4. 반전 및 회전에 대한 서술자 변경 방법: (a) 수평반전, (b) 수직반전, (c) 90˚ 회전, (d) 180˚ 회전, (e) 270˚ 회전 Fig. 4. Method to change the descriptor for flip and rotation: (a) horizontal flip, (b) vertical flip, (c) 90˚ rotation, (d) 180˚ rotation, (e) 270˚ rotation
그림 그림 5. 실험 영상: (a)원본 영상, (b),(c)원본과 유사한 영상, (d),(e)장면 전환된 영상 Fig. 5. Dataset: (a) original image, (b),(c) images similar to the original, (d),(e) scene changed images
표 표 1. 원본 비디오에서 그림 5(a)와의 매칭률 비교 Table 1. Comparison of matching rate from original video to Fig. 5(a)
표 표 2. 원본 비디오의 그림 5(a) 프레임과 변형된 비디오의 그림 5(a)~(e) 프레임간의 매칭률 비교 (단위 : %) Table 2. Comparison of matching ratio between Fig. 5(a) of original video and Fig. 5(a)~(e) of transformed video (Unit : %)
표 표 3. 기존 알고리즘과 제안하는 알고리즘의 정확도 비교 Table 3. Comparison of accuracy between previous algorithm and proposed algorithm
표 표 4. 7개 영상에서 추출되는 DNA와 추출 시간 Table 4. Number of DNA and extraction time from 7 videos
표 표 5. 7개 영상에서 변형에 대한 매칭 결과 Table 5. Matching results for transformation in 7 videos

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 영상에서 특징점을 추출하는 알고리즘 중 가장 정확도가 높은 SIFT 알고리즘을 이용하여 특징점을 추출하고, 서술자의 비교를 통해 유사도를 판단하여 장면전환의 여부를 판단한다^[10]. 이때, 영상의 재배포시 추가될 수 있는 해상도 변경, 압축, 자막 삽입, 영상 반전 등의 변형에도 동일하게 서술자가 추출되도록 순서를 변경하여 영상의 변형 이후 동일하게 장면전환을 판단하며, 따라서 원본의 특징점만 가지고도 변형된 영상에서의 장면전환이 검출 가능함을 보인다.

제안 방법

3.2절에서 제안하는 필터링 기술을 이용하여 7개의 영상에 대해 DNA를 추출 및 매칭에 대해 실험하였다. 표 4에서는 영상에서 DNA를 추출한 것으로, 영상에서 엣지성분이 얼마나 많은지에 따라 유사한 시간임에도 DNA 개수의 편차가 많이 나는 것을 확인할 수 있다.
먼저 다양한 영상이 들어왔을 때, 해상도를 맞추기 위해 고정된 해상도로 변형 후 디코딩하여 프레임을 추출한다. 각각의 프레임에서 SIFT 알고리즘으로 특징점을 추출하고 서술자의 순서를 변경하여 반전, 회전에 대한 데이터를 추가로 추출한다. 그림 4에서 볼 수 있듯이 서술자는 특징점 기준으로 위치에 따라 다른 차원의 범위를 가지기 때문에 영상이 반전될 경우에는 전혀 다른 서술자가 나오게 된다.
2절에 따라 매칭 되는 특징점의 개수로 계산한다. 계산한 매칭률이 임계값보다 낮을 때 장면 전환이 되었다고 판단하여 기존 DNA에 매칭이 되지 않는 점들을 업데이트 한다. 영상의 전체 프레임에 대해 수행한 결과를 DNA라고 하여 영상의 정보로 저장한다.
먼저 영상을 다운샘플링을 통해 가로와 세로를 1/2씩 줄이는 것을 1옥타브(octave)라고 정의하는데, 여러 옥타브를 수행하여 원영상의 크기뿐만 아니라 다양한 스케일에서의 영상을 대상으로 특징점을 추출하기 때문에 스케일 변형에 강인하다. 다음으로 엣지 성분을 추출하기 위해 LoG(Laplace ofGaussian)을 수행해야 하지만, 연산상의 편리함으로 가우시안 필터링을 수행하여 차영상(Difference of Gaussian)을 구하는 방법으로 근사하여 각 스케일에서의 엣지를 추출한다. 즉, 표준편차를 점차 증가시켜가며 가우시안 필터로 저대역 통과 필터링을 수행하여 각 옥타브마다 n+3개의 가우시안 영상을 생성하고, 인접한 두 가우시안 영상들에 대해 차를 계산하여 n+2개의 차영상을 만들어서 LoG를 근사화 한다.
첫 번째로는 영상 제작자들이 장면 구성시 따르는 규칙들을 이용한 방법으로 이를 이용하면 장면전환 검출의 결과를 향상시킬 수 있지만, 영화나 드라마 등에만 한정되는 문제가 발생한다^[5]. 두 번째로는 확률(Stochastic)을 기반으로 하는 방법으로 여러 영상에서 색상이나 엣지(edge)의 밀도 및 방향등을 추출한 정보를 군집화(clustering)하여 Hidden Markov 모델이나 Markov Chain Monte-Carlo 모델 등의 확률 변수를 훈련하고, 사후확률이 최대값을 가지도록 추정하여 장면의 경계를 찾는다. 이 방법은 훈련에 사용되는 데이터에 의존적이어서 충분히 많은 양의 데이터가 있어야 한다.
원본에서 하나의 프레임을 통해 추출한 특징점을 다른 프레임의 특징점과 비교하여 매칭여부를 판단한다. 또한 원본에 해상도 변환, 압축, 반전, 자막 삽입 등의 변형이 가해진 영상에서도 각각 프레임별로 특징점을 추출하여 원본에서 추출한 DNA와의 비교를 통해 매칭의 유효성을 판단한다. 매칭률의 임계값을 어떻게 정의하는지에 따라 장면 전환의 검출 정도는 달라지지만 본 논문에서는 실험에 의해 25%로 정의한다.
본 논문에서는 SIFT알고리즘을 이용하여 영상의 특징점을 추출하고, 이 특징점의 서술자를 기반으로 매칭여부를 통해 장면 전환 검출 및 필터링 검색을 수행한다. 이 때, 변형이 가해진 영상에서도 동일하게 검출 및 검색하기 위해 서술자를 변형에 맞게 변경하는 방법을 제안한다.
먼저 다양한 영상이 들어왔을 때, 해상도를 맞추어 주기위해 고정된 해상도로 영상을 변형하는 전처리 과정을 수행한다. 본 논문에서는 VGA급 영상을 대상으로 하기 때문에 640x480으로 고정하고, 가로와 세로를 1/2씩 다운샘플링 한다. 그 다음 영상을 디코딩하여 프레임을 추출하고, 특정 프레임 주기마다 SIFT 알고리즘을 통해 특징점 추출하여 저장한다.
실제 필터링 성능 평가에서 사용되는 변형 중 로고추가, 자막추가(폰트사이즈 12, 16, 20), 영상 압축(Divx 512Kbps, 700 Kbps), 코덱 변환(H.264, Xvid, WMV), 비율변환(16:9, 4:3), 해상도변환(QVGA, VGA, 800x600), 회전(90°,180°,270°), 반전(수평, 수직), 흑백변환, 밝기변환(+18, +9, -9, -18), 대조변환(120%, 80%), 복합변형(압축+코덱 변환+자막 삽입)등의 총33개의 변형에 대해 실험하였다.
원본에서 하나의 프레임을 통해 추출한 특징점을 다른 프레임의 특징점과 비교하여 매칭여부를 판단한다. 또한 원본에 해상도 변환, 압축, 반전, 자막 삽입 등의 변형이 가해진 영상에서도 각각 프레임별로 특징점을 추출하여 원본에서 추출한 DNA와의 비교를 통해 매칭의 유효성을 판단한다.
본 논문에서는 SIFT알고리즘을 이용하여 영상의 특징점을 추출하고, 이 특징점의 서술자를 기반으로 매칭여부를 통해 장면 전환 검출 및 필터링 검색을 수행한다. 이 때, 변형이 가해진 영상에서도 동일하게 검출 및 검색하기 위해 서술자를 변형에 맞게 변경하는 방법을 제안한다.
제안하는 방법을 장면전환 실험을 통해 매칭의 유효성을 보이고, 이를 통한 필터링 실험으로 정확도를 확인한다. 실험 환경은 인텔코어 i7-3770 CPU와 16GB RAM을 장착한 PC에서 실험하였고, C/C++로 구현하였다.
다음으로 엣지 성분을 추출하기 위해 LoG(Laplace ofGaussian)을 수행해야 하지만, 연산상의 편리함으로 가우시안 필터링을 수행하여 차영상(Difference of Gaussian)을 구하는 방법으로 근사하여 각 스케일에서의 엣지를 추출한다. 즉, 표준편차를 점차 증가시켜가며 가우시안 필터로 저대역 통과 필터링을 수행하여 각 옥타브마다 n+3개의 가우시안 영상을 생성하고, 인접한 두 가우시안 영상들에 대해 차를 계산하여 n+2개의 차영상을 만들어서 LoG를 근사화 한다. 이 때 n은 극점 추출 부분에서 사용되는 영상의 개수이다.

대상 데이터

과의 비교를 한 결과를 표 3에 나타내었다. 데이터는 [7]과의 비교를 위해 hci2000, hci 2006, Expect Panel And Question Session, Energy Motion and Proportionality 비디오^[12]를 이용하였으며, 여기서 사용되는 파라미터 precision, recall, F₁score는 다음과 같이 정의된다. (NTP, NFP, NFN은 각각 True Positives, False Positives, False Negatives의 수를 의미한다.
실험 환경은 인텔코어 i7-3770 CPU와 16GB RAM을 장착한 PC에서 실험하였고, C/C++로 구현하였다. 본 실험은 640x 480 해상도인 7개의 비디오에서 1초마다 한 프레임을 추출하여 실험하였다.
제안하는 방법을 장면전환 실험을 통해 매칭의 유효성을 보이고, 이를 통한 필터링 실험으로 정확도를 확인한다. 실험 환경은 인텔코어 i7-3770 CPU와 16GB RAM을 장착한 PC에서 실험하였고, C/C++로 구현하였다. 본 실험은 640x 480 해상도인 7개의 비디오에서 1초마다 한 프레임을 추출하여 실험하였다.

이론/모형

본 논문에서는 VGA급 영상을 대상으로 하기 때문에 640x480으로 고정하고, 가로와 세로를 1/2씩 다운샘플링 한다. 그 다음 영상을 디코딩하여 프레임을 추출하고, 특정 프레임 주기마다 SIFT 알고리즘을 통해 특징점 추출하여 저장한다. 첫 프레임인 경우 바로 저장을 하고, 첫 프레임이 아닌 경우 기존에 추출했던 특징점들과의 매칭을 통해 매칭률을 비교한다.

성능/효과

필터링 실험에서 검색결과가 정확할 경우 True Positive,다른 영상을 결과를 내는 오인식을 False Positive, 임계값보다 낮아 판단이 불가한 인식불가를 False Negative로 정의하는데, 7개의 원본 DNA를 가지고 33개의 변형 영상을 검색을 수행하여 검색한 결과가 표 5에서 나타내었다. 결과를 보면 매칭의 정확도(TP)가 약 96.5368% 이고, 인식 불가율(FN)은 3.46%, 오인식률(FP)은 약 0%로 필터링 성능평가의 합격 기준인 정확도 95%이상, 오인식률 1%미만을 만족한다.
본 논문은 SIFT와 매칭 알고리즘에 영상 변형에 대한 알고리즘을 추가하여 원본 영상에서 추출한 특징만을 가지고 변형된 영상에서의 장면변환에 대해 강인함을 보였다. 또한, 이를 필터링 기술에 적용하여 평가 기준인 정확도 95%이상, 오인식률 1%미만을 만족하므로 유효함을 확인하였다. 다만, 필터링 기술을 위해서는 정확도 외에도 시간적인 제한조건이 중요하기 때문에 이를 최적화 및 가속화하는 연구를 수행한다면, 실제 필터링 기술에 적용할 수 있을 것이라 사료된다.
본 논문은 SIFT와 매칭 알고리즘에 영상 변형에 대한 알고리즘을 추가하여 원본 영상에서 추출한 특징만을 가지고 변형된 영상에서의 장면변환에 대해 강인함을 보였다. 또한, 이를 필터링 기술에 적용하여 평가 기준인 정확도 95%이상, 오인식률 1%미만을 만족하므로 유효함을 확인하였다.
. 이때, 영상의 재배포시 추가될 수 있는 해상도 변경, 압축, 자막 삽입, 영상 반전 등의 변형에도 동일하게 서술자가 추출되도록 순서를 변경하여 영상의 변형 이후 동일하게 장면전환을 판단하며, 따라서 원본의 특징점만 가지고도 변형된 영상에서의 장면전환이 검출 가능함을 보인다. 이를 실제 특징기반의 필터링 기술에 적용하여 영상 전체의 특징점 정보를 가지고 있을 때, 변형된 영상들에 대해 비교했을 때에도 유효함을 확인한다.
이때, 영상의 재배포시 추가될 수 있는 해상도 변경, 압축, 자막 삽입, 영상 반전 등의 변형에도 동일하게 서술자가 추출되도록 순서를 변경하여 영상의 변형 이후 동일하게 장면전환을 판단하며, 따라서 원본의 특징점만 가지고도 변형된 영상에서의 장면전환이 검출 가능함을 보인다. 이를 실제 특징기반의 필터링 기술에 적용하여 영상 전체의 특징점 정보를 가지고 있을 때, 변형된 영상들에 대해 비교했을 때에도 유효함을 확인한다.
표 3을 보면, 기존의 알고리즘과 비교했을 때, Precision과 Recall, F₁ score는 유사하거나 높은 값을 가지므로 제안하는 알고리즘이 장면 전환 검출에 유효함을 확인할 수 있다.
2절에서 제안하는 필터링 기술을 이용하여 7개의 영상에 대해 DNA를 추출 및 매칭에 대해 실험하였다. 표 4에서는 영상에서 DNA를 추출한 것으로, 영상에서 엣지성분이 얼마나 많은지에 따라 유사한 시간임에도 DNA 개수의 편차가 많이 나는 것을 확인할 수 있다. 개수가 많을수록 매칭 여부를 비교하는 횟수가 많아지기 때문에 추출 시간 역시 DNA의 개수에 비례한다.

후속연구

또한, 이를 필터링 기술에 적용하여 평가 기준인 정확도 95%이상, 오인식률 1%미만을 만족하므로 유효함을 확인하였다. 다만, 필터링 기술을 위해서는 정확도 외에도 시간적인 제한조건이 중요하기 때문에 이를 최적화 및 가속화하는 연구를 수행한다면, 실제 필터링 기술에 적용할 수 있을 것이라 사료된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	금칙어 기반 기술은 어떤 기술인가?	영상을 필터링하는 기술에는 금칙어기반, 해시기반, 특징기반의 필터링 기술이 있다. 첫 번째로 금칙어 기반은 파일 제목, 요약 정보등 금칙어만 매칭하여 필터링을 하므로 연산량이 적지만 단순하게 파일의 이름을 바꾸기만 하여도피할 수 있다. 두 번째로 해시 기반은 영상별 고유의 해시값을 생성하여 저장하는 것인데, 작은 변형만 가해져도 변경되므로 저작권의 보호가 쉽지 않다.
	영상을 필터링하는 기술에는 어떤 기술이 있는가?	영상을 필터링하는 기술에는 금칙어기반, 해시기반, 특징기반의 필터링 기술이 있다. 첫 번째로 금칙어 기반은 파일 제목, 요약 정보등 금칙어만 매칭하여 필터링을 하므로 연산량이 적지만 단순하게 파일의 이름을 바꾸기만 하여도피할 수 있다.
	영상에서 장면 전환을 검출하는 방법을 3가지로 분류하면 어떤 것들이 있는가?	영상에서 장면 전환을 검출하는 방법으로는 크게 3가지의 분류로 나눌 수 있다[4]. 첫 번째로는 영상 제작자들이장면 구성시 따르는 규칙들을 이용한 방법으로 이를 이용하면 장면전환 검출의 결과를 향상시킬 수 있지만, 영화나 드라마 등에만 한정되는 문제가 발생한다[5]. 두 번째로는 확률(Stochastic)을 기반으로 하는 방법으로 여러 영상에서색상이나 엣지(edge)의 밀도 및 방향등을 추출한 정보를 군집화(clustering)하여 Hidden Markov 모델이나 Markov Chain Monte-Carlo 모델 등의 확률 변수를 훈련하고, 사후확률이 최대값을 가지도록 추정하여 장면의 경계를 찾는다. 이 방법은 훈련에 사용되는 데이터에 의존적이어서 충분히 많은 양의 데이터가 있어야 한다. 마지막으로는 그래프 형태로 모델링을 하여 분류하는 방법으로, 각 장면마다 유사도를 계산하여 군집화하여 정렬하고 그래프 분할 알고리즘을 사용하여 전환을 검출한다[6,7].

참고문헌 (12)

KIET, Domestic single media market status and development possibility, KIET Industrial Economics Analysis, pp. 44-53, 2017.
Y. M. Eom, S. I. Park, and C. W. Chung, “An analysis of Scene Change Detection using HEVC coding additional information,” Journal of Broadcast Engineering, Vol. 20, No. 6, pp. 871-879, Nov. 2015

원문보기 상세보기
TTA, Performance Evaluation of Video Contents Filtering, 2013
M. D. Fabro, L. Boszormenyi, "State-of-the-art and future challenges in video scene detection: a survey," Multimedia Systems, Vol.19, No.5, pp.427-454, Oct. 2013. DOI: 10.1007/s00530-013-0306-4

상세보기
C. Jang, S. Lee, "Scene Detection for Movies and Dramas Using Primitive Scene Analysis," Journel of KIISE : Computing Practices and Letters, Vol.19, No.11, pp.601-605, Nov. 2013
J. H. Yoo, H. S. Seok, and B. T. Zhang, "Bayesian Filtering for Background Change Detection in TV Dramas," Journal of KIISE: Computing Practices and Letters, Vol.18, No.4, pp. 341-345, Apr., 2012
S. I. Cho, S. J. Kang, "Histogram Shape-Based Scene-Change Detection Algorithm," IEEE Access, 7, pp.27662-27667, 2019. doi: 10.1109/ACCESS.2019.2898889

상세보기
Korea Copyright Commission, "Hot Issues on the R&D : New Technology of Copyright," Newsletter, Vol.15, 2018
S. K. Rakshit, et al., "VIDEO DATA FILTERING," US Patent 10,223,357, to International Business Machines Corporation, US Patent and Trademark Office, Washington D.C., 2016
D. G. Lowe, “Distinctive Image Features from Scale-Invariant Keypoints,” International Journal of Computer Vision, Vol. 60, No. 2, pp. 91-110, Jan. 2004

상세보기
G. J. Bae, S. I. Cho, S.-J. Kang, and Y. H. Kim, ''Dual-dissimilarity measure-based statistical video cut detection,'' J. Real-Time Image Process., vol. 13, no. 1, pp. 1-11, Jun. 2017

상세보기
G. Marchionini and G. Geisler, ''The open video digital library,'' Digit. Library Mag., vol. 8, no. 12, pp. 1082-9873, Dec. 2002.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증