[논문]샷 경계검출 개선을 위한 칼라, 엣지, 옵티컬플로우 기반의 혼합형 알고리즘 구현

박서린; 임양미

doi:10.9717/kmms.2018.21.8.829

Abstract ▼ AI-Helper

This study attempts to detect a shot boundary in films(or dramas) based on the length of a sequence. As films or dramas use scene change effects a lot, the issues regarding the effects are more diverse than those used in surveillance cameras, sports videos, medical care and security. Visual techniqu...

This study attempts to detect a shot boundary in films(or dramas) based on the length of a sequence. As films or dramas use scene change effects a lot, the issues regarding the effects are more diverse than those used in surveillance cameras, sports videos, medical care and security. Visual techniques used in films are focused on the human sense of aesthetic therefore, it is difficult to solve the errors in shot boundary detection with the method employed in surveillance cameras. In order to define the errors arisen from the scene change effects between the images and resolve those issues, the mixed algorithm based upon color histogram, edge histogram, and optical flow was implemented. The shot boundary data from this study will be used when analysing the configuration of meaningful shots in sequences in the future.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

비디오파싱은 비정형적인 비디오대용량 데이터를 보다 계층적이고 구조적인 형태로 재구성하기 위한 기술로 비디오 데이터를 기본 구성 단위인 샷으로 분할하기 위한 비디오 분할 단계와 분할된 비디오의 특성을 추출하여 특징 정보를 사용하기 위한 비디오 색인 단계로 구분할 수 있다[1]. 본 연구에서 비디오 분할 목적은 영화나 드라마에 사용된 클라이맥스 편집 패턴을 분석하고자 연구된 단계이다. 기존의 영상 분할을 위한 방법들은 감시카메라나 스포츠 영상, 이미지 검색을 위해 개발된 것들이 주류를 이루고 있어, 영화나 드라마에서 사용되는 특수한 편집기법으로 인한 샷 경계 검출에 사용하기에는 적합하지 않은 부분이 많아 검출 효율성을 높이기 위한 개선에 초점을 두었다.
감독들은 장면의 이해를 돕기 위해 규칙적인 영상기법을 사용하는데 샷사이즈의 변화, 촬영각도의 변화를 이용하여 관객들에게 단절된 샷들 간의 상관관계를 파악할 수 있도록 연출기획을 한다[4]. 본 연구에서는 감독들의 의도를 분석하기 이전에 샷 경계검출을 통해 샷들의 데이터를 자동 수집하기 위해 진행되었다. 본 논문의 구성은 2장에서 관련연구, 3장에서는 영화나 드라마와 같은 영상에서 샷 경계검출을 하는데 있어서 많이 발생하는 문제점을 제시하고 이에 대한 개선 방안에 대한 혼합히스토그램 기반의 샷 경계검출 방법에 대한 연구를 설명한다.
본 연구에서는 하나의 시퀀스에 대한 분석을 위해 20분정도의 영화 영상(하나의 시퀀스 길이 정도가 됨)에서 클라이막스가 담아있는 의미적 장면을 추출하기 위한 목적으로 샷경계 검출을 하였다. 실험으로는 Fig.

가설 설정

2) 엣지히스토그램 알고리즘은 Fig. 4에서 (a)밝은 이미지의 히스토그램과 (b) 어두운 이미지의 히스토그램이 동일함을 볼 수 있다. (c) 엣지이미지 하단과 같이 8개의 방향으로 분류하여 gradient vector field 구하며, 분류된 배열 값을 V₁ 에서부터 V₈로 정의한다.
openCV에서 옵티컬플로우의 라이브러리 지원하고 있어 바운딩 박스(bounding box)는 ‘automatic_shot_boundary_ditection’ 모듈을 사용하여 구현한다. 해당 바운딩 박스를 추적하여 추적 성공이면, 샷이 바뀌지 않은 것이고 추적 실패이면 샷이 바뀐 것으로 가정하여 문제의 프레임을 최소화하는 과정을 더 거쳤다. Fig.

제안 방법

3은 샷 경계검출을 위한 구성도이다. 1 단계에서는 급진적인 변화를 일으킬 경우의 문제점을 해결하기 위해 칼라히스토그램과 엣지 기반 히스토그램의 혼합형 알고리즘을 활용하였고 2단계에서 문제가 되는 프레임들을 해결하기 위해 옵티컬플로워의 트랙커 필터 활용을 추가적으로 진행하였다.
3) 옵티컬플로우 기반의 트랙킹 KCF 필터 사용은 점진적으로 변화하는 디졸브나 패이드 부분의 샷 경계검출 문제점이 커서 추가적으로 수행하였다. 우선 실행한 것은 엣지히스토그램 간의 차를 구하여 추가적으로 최근 5개의 intervalF 의 차이를 다시 비교하여 이 평균보다 클 경우에만 샷 경계가 검출되도록 수정하였다.
본 논문에서 제안하는 샷 경계검출 모델 구조는 영화나 드라마 영상에서 샷 경계검출이 잘되지 않는 부분을 Fig. 2와 같이 정리하고 이들 특성에 맞는 혼합형 알고리즘을 설계하였다. Fig.
본 논문에서는 영화와 드라마와 같은 영상에서 이야기를 전개해 가는 기본 단위인 샷 검출을 위해 칼라 히스토그램, 엣지 히스토그램, 옵티컬 플로우 기반의 혼합형 샷 경계 검출을 시도하였다. 국수적으로 임계치 값의 최적화를 위하여 유전자 알고리즘 적용을 하였지만, 문제가 발생하는 샷 경계검출 데이터를 확보하여 향후 연구에서 딥러닝을 적용할 예정이다.
3) 옵티컬플로우 기반의 트랙킹 KCF 필터 사용은 점진적으로 변화하는 디졸브나 패이드 부분의 샷 경계검출 문제점이 커서 추가적으로 수행하였다. 우선 실행한 것은 엣지히스토그램 간의 차를 구하여 추가적으로 최근 5개의 intervalF 의 차이를 다시 비교하여 이 평균보다 클 경우에만 샷 경계가 검출되도록 수정하였다. (1)과 (2) 단계를 거쳐서 추출된 프레임 중 샷경계가 아님에도 불구하고 검출된 대부분의 프레임들은 점진적인 변화를 갖는 디졸브, 패이드, 클로즈업 상태에서 큰 물체의 움직임이 천천히 있는 것들이다.
(1)과 (2) 단계를 거쳐서 추출된 프레임 중 샷경계가 아님에도 불구하고 검출된 대부분의 프레임들은 점진적인 변화를 갖는 디졸브, 패이드, 클로즈업 상태에서 큰 물체의 움직임이 천천히 있는 것들이다. 이들 프레임만을 대상으로 dense optical flow를 사용해 모션벡터를 추출하였다. openCV에서 옵티컬플로우의 라이브러리 지원하고 있어 바운딩 박스(bounding box)는 ‘automatic_shot_boundary_ditection’ 모듈을 사용하여 구현한다.
영화와 같은 영상에서는 장면전환기법(video transition effects)을 샷과 샷의 연결 부분에 많이 사용하여 정확한 샷 경계 검출이 되지 않는 경우가 많다[2]. 첫 번째로 디졸브(dissove), 패이드인아웃(fade in/out), 슬라이드(slide), 아이리스(iris) 등의 장면전환기법이 있는데 영화에서 주로 많이 사용되는 디졸브와 패이드 장면전환기법에 대해 중점적으로 개선방안 연구를 진행하였다. 두 번째로 조명의 다양한 사용으로 인해 같은 장면임에도 불구하고 조명의 밝기가 극심하게 변할 때 샷 경계검출 오류가 크게 나타난다.

대상 데이터

Table 2는 실험의 목표로 삼았던 하나의 시퀀스 시간을 기준으로 ‘수상한 그녀’의 20분정도 되는 부분 영상을 사용하였다.
Table 2는 실험의 목표로 삼았던 하나의 시퀀스 시간을 기준으로 ‘수상한 그녀’의 20분정도 되는 부분 영상을 사용하였다. 해당 영상은 35252 frame으로 이루어져 있는데 제안된 시스템을 사용하여 총 검출된 샷 경계의 개수는 251이다. 이 중 올바르게 검출된 샷은 202개이고 검출되지 않은 샷 개수는 20개이다.

이론/모형

이 방법은 조명의 밝기가 급격히 변화하여도 히스토그램 변화는 크지만 엣지히스토그램의 변화는 달라지지 않는 특징으로 인해 두 개의 알고리즘을 혼합하여 사용하는 방법이다. 그러나 1차 실험에서 결과는 향상되었지만 디졸브와 패이드 효과를 쓰는 샷들에서는 여전히 큰 향상을 보이지 않아 옵티컬플로우 기반에서 사용하는 KCF 필터 (kernelized correlation filters)를 사용하였다[15]. KCF는 트랙커 함수의 하나로 대부분 목표물과 주변환경을 구별하는 역할로 사용되는 특정분류 모델이다.
Table 1에서 제안된 방법은 두 가지로 나누어 설명한다. 첫 번째로 시도한 방법은 칼라 히스토그램과 엣지 기반의 알고리즘을 사용하였다. 이 방법은 조명의 밝기가 급격히 변화하여도 히스토그램 변화는 크지만 엣지히스토그램의 변화는 달라지지 않는 특징으로 인해 두 개의 알고리즘을 혼합하여 사용하는 방법이다.

성능/효과

첫 번째로 디졸브(dissove), 패이드인아웃(fade in/out), 슬라이드(slide), 아이리스(iris) 등의 장면전환기법이 있는데 영화에서 주로 많이 사용되는 디졸브와 패이드 장면전환기법에 대해 중점적으로 개선방안 연구를 진행하였다. 두 번째로 조명의 다양한 사용으로 인해 같은 장면임에도 불구하고 조명의 밝기가 극심하게 변할 때 샷 경계검출 오류가 크게 나타난다. 세 번째로 익스트림클로즈업(extreme closeup)의 상태에 있을 때 물체가 움직이면 화면 전체의 형상이 바뀌게 되는 것처럼 보여 샷 경계 검출 오류가 발생한다.
두 번째로 조명의 다양한 사용으로 인해 같은 장면임에도 불구하고 조명의 밝기가 극심하게 변할 때 샷 경계검출 오류가 크게 나타난다. 세 번째로 익스트림클로즈업(extreme closeup)의 상태에 있을 때 물체가 움직이면 화면 전체의 형상이 바뀌게 되는 것처럼 보여 샷 경계 검출 오류가 발생한다. 이와 비슷한 영상연출 표현에서 물체가 움직이는 것이 아니라 카메라가 이동하는 경우도 있는데 같은 오류 발생이 일어난다.
이는 개선된 3가지 조건에 맞지 않아 발생한 것으로 추측한다. 총 251개 중에 잘못 검출된 샷의 개수는 49개이며, 그 중에서 dissolve로 인하여 잘못 검출된 샷의 개수는 2개, brightness로 인하여 검출된 개수는 21개, Extreme close-up 것은 24 개다. Extreme close-up의 경우, Fig.

후속연구

본 논문에서는 영화와 드라마와 같은 영상에서 이야기를 전개해 가는 기본 단위인 샷 검출을 위해 칼라 히스토그램, 엣지 히스토그램, 옵티컬 플로우 기반의 혼합형 샷 경계 검출을 시도하였다. 국수적으로 임계치 값의 최적화를 위하여 유전자 알고리즘 적용을 하였지만, 문제가 발생하는 샷 경계검출 데이터를 확보하여 향후 연구에서 딥러닝을 적용할 예정이다. 장면 전환에 사용되는 효과 편집의 상황에 따라 알고리즘의 개선도 필요하지만 Fig.
샷이 변경되었음에도 불구하고 샷경계검출이 되지 않은 추가적인 문제점이 발생하였는데 이유는 틸딩(tilting)과 줌(zoom)에 의한 변화에서 많이 발생하였다. 틸딩과 줌은 카메라의 움직임에 의한 문제로 향후 개선 알고리즘에 추가할 예정이다.
3에서 칼라와 엣지 기반의 히스토그램을 이용한 다음 옵티컬 플로우 방법을 사용하는 2단계 구성으로 인한 계산비용이 효율적이지 못한 단점이 발생하였고, 영화와 드라마에서 사용되는 장면전환 효과의 다양성이 증가함으로 인해 문제 요인도 다양하게 나타나는 것을 인지해야 했다. 향후 연구에는 문제되는 샷들의 상황에 맞는 경계 검출 학습데이터 확보 방안과 샷사이즈 분석을 위해서도 딥러닝에 대한 방안을 고려할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	샷 1개의 단위는 무엇인가?	1은 샷과 프레임 용어의 정의를 돕기 위해 시퀀스 1개를 기준으로 하여 설명한 영상연출기법의 개념이다. 시퀀스(sequence) 1개는 씬(scene: 작은 이야기)들이 2개 이상이 모인 단위, 씬 1개는 샷(shot)들이 2개 이상 모여 작은 이야기 단위, 샷 1개는 카메라가 하나의 장면을 끊지 않고 계속 촬영한 단위, 프레임은 1초당 움직이는 영상을 만들어내기 위한 정지 이미지 단위이다[3]. 한국 비디오 표준 NTSC 방식은 1초당 30프레임을 갖는다.
	CNN을 이용하여 각각의 샷마다 태그(label)을 달아서 샷 경계검출의 문제점은 무엇인가?	Wenjing Tong은 CNN을 이용하여 각각의 샷마다 태그(label)을 달아서 샷 경계검출을 하였다[13]. 히스토그램 방법보다 정확한 결과가 나올 수 있지만 각각의 샷마다 라벨을 달아야하기 때문에 라벨이 없는 샷에서는 샷 경계검출의 잘못된 결과가 나올 수 있다. 그 외에 옵티컬플로우 기반의 샷 경계검출을 하고 있으나, 이 방법은 현재의 샷 내에서 관심영역의 물체를 지정하여 그 영역 내에서 이동 물체의 특징점을 추출하고[14] 이것의 변화를 보는 것이라 장면이 변화하지 않고 물체만 이동하여 프레임 밖으로 나갔을 때도 장면전환이 이루어졌다고 판단하기 때문에 단순히 이 방법만을 사용하는 것은 영화나 드라마와 같은 상황에서 적절치 않다.
	샷경계 검출 방법에는 무엇이 있는가?	샷경계 검출 방법에는 픽셀밝기에 근거한 방법(pixel-based method), 히스토그램 기반(histogrambased method), 이미지엣지 기반(image edge-based method), 옵티컬플로우(optical flow-based method), 딥러닝 기반(deep-based method) 등 다양한 방법들이 있다[5]. 픽셀 기반의 경우는 두 프레임 간의 픽셀 밝기 차이를 계산하여 차이가 가장 많이 난 곳을 샷 경계 특징점으로 결정하는 방법이다.

참고문헌 (15)

S.Y. Kim, A Study on Scene Change Detection Using Frame Similarity in Video, Master's Thesis of Yonsei University, 2003.
H.W. Yoo, D.S. Jang, and Y.K. Na, "Video Shot Boundary Detection Using Correlation of Luminance and Edge Information," Journal of Institute of Control, Robotics and Systems, Vol. 7, No. 4, pp. 304-308, 2001.
J.E. Eom, S.R. Park, and Y.M. Lim, "The System Design and Implementation for Detecting the Types of Shot Size," Proceeding of International Conference of the Korea Multimedia Society, Vol. 21, No. 1, pp. 968-969, 2018.
Y.M. Lim, "The Climax Expression Analysis Based on the Shot-List Data of Movies," Journal of Broadcast Engineering, Vol. 21, No. 6, pp. 965-976, 2016.

원문보기 상세보기
M.O. Huy, K.M. Kim and B.T. Jang, "Deep Learning based Video Story Learning Technology," Journal of Korea Multimedia Society, Vol. 20, No. 3, pp. 23-40, 2016.
G. Pal, D. Rudrapaul, S. Acharjee, R. Ray, S. Chakraborty, and N. Dey, "Video Shot Boundary Detection: A Review," Emerging ICT for Bridging the Future-Proceedings of the 49th Annual Convention of the Computer Society of India CSI, Vol. 2, pp. 119-127, 2015.
A. Nagasaka and Y. Tanaka, "Automatic Video Indexing and Full-Video Search for Object Appearances," Proceedings of the IFIP TC2/WG 2.6 Second Working Conference on Visual Database Systems II , pp. 113-127, 1991.
S.Y. Shin and P.S. Bae, "Video Browsing Using An Efficient Scene Change Detection in Telematics," Journal of Korea Society of Computer Information, Vol. 11, No. 4, pp. 147-154, 2006.
S.Y. Shin, "New Shot Boundary Detection Using Local $X^2$ -Histogram and Normalization," Journal of the Korea Society of Computer and Information, Vol. 12, No. 2, pp. 103-109, 2007.
S.H. Yoen and J.M. Kim, "Robust Illumination Change Detection Using Image Intensity and Texture," Journal of Korea Multimedia Society, Vol. 16, No. 2, pp. 169-179, 2013.

원문보기 상세보기
H.J. Zhang, A. Kankanhalli, and S.W. Smoliar, "Automatic Partitioning of Full-motion Video," Journal of Multimedia Systems, Vol. 1, No. 1, pp. 10-28, 1993.

상세보기
A.M. Alattar, "Detecting and Compressing Dissolve Regions in Video Sequences with DVI Multimedia Image Compression Algorithm," Proceeding of International Symposium on Circuits and Systems, pp. 13-16, 1993.
J.H. Song, R. Sakong, and J.H. Nang, "A Video Shot Boundary Detection Method Based on Video Partition and Convolutional Neural Network," Proceeding of Korea Information Science Society, pp. 865-867. 2017.
J.S. Lee, M.H. Tak, S.K. Kim, B.J. Uoo and Y.H. Joo, "Identification and Tracking of Moving Objects Using Optical Flow Algorithm And Histogram," Journal of The Korean Institute of Electrical Engineers, Vol. 7. pp. 1436-1437, 2014.
The GitHub, https://github.com/uoip/KCFpy. (accessed Aug., 30 2018)

이 논문을 인용한 문헌

저자의 다른 논문 :

LOADING...

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 샷 경계검출 개선을 위한 칼라, 엣지, 옵티컬플로우 기반의 혼합형 알고리즘 구현
The Implementing a Color, Edge, Optical Flow based on Mixed Algorithm for Shot Boundary Improvement 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

연구과제 타임라인

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 샷 경계검출 개선을 위한 칼라, 엣지, 옵티컬플로우 기반의 혼합형 알고리즘 구현 The Implementing a Color, Edge, Optical Flow based on Mixed Algorithm for Shot Boundary Improvement 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

임양미 (12)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 샷 경계검출 개선을 위한 칼라, 엣지, 옵티컬플로우 기반의 혼합형 알고리즘 구현
The Implementing a Color, Edge, Optical Flow based on Mixed Algorithm for Shot Boundary Improvement 원문보기

AI 본문요약
AI-Helper