[논문]Reproducing Summarized Video Contents based on Camera Framing and Focus

Hyung Lee; E-Jung Choi

doi:10.9708/jksci.2023.28.10.085

Reproducing Summarized Video Contents based on Camera Framing and Focus 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.28 no.10, 2023년, pp.85 - 92

Hyung Lee (Dept. of Broadcasting Contents, Daejeon Health Institute of Technology) , E-Jung Choi (Dept. of Media and Visual Communications, Hannam University)

초록
AI-Helper

본 논문에서는 장편의 드라마나 영화에서 스토리 기반의 축약된 요약본을 자동으로 제작하기 위한 방법을 제안한다. 촬영 단계에서 황금분할을 고려한 공간감 있는 프레임 구성과 내용 전달 차원에서 시청자들의 시선을 집중시키기 위한 관심 대상에 대한 초점을 기본 전제로 했다. 이에 적정한 프레임들을 추출하기 위한 방법을 고려하기 위해서 기존의 씬(scene) 및 숏(shot) 검출에 대한 연구, 초점과 관련된 블러 정도를 파악하는 연구들에서 활용되었던 요소 기술들을 활용했다. 유튜브에서 공유되는 영상을 프레임 단위로 변환한 후 프레임별로 특징을 추출하기 위한 영역으로 프레임 전체 영역과 3개의 부분 영역으로 구분했고, 해당 영역별로 각각 라플라시안 연산자와 FFT를 적용한 결과들을 비교하여 상대적으로 일관성 있고 강건한 FFT를 선택했다. 프레임 전체에 대한 계산값과 3개 영역의 계산값들을 비교하여 상대적으로 선명한 영역을 확인할 수 있는 조건을 기반으로 대상 프레임을 선별했다. 이렇게 선별된 결과를 토대로 숏 내에서 프레임들의 연속성을 확보하기 위해 오프라인 변화점 탐지기법을 적용한 결과와 접목시켜 최종 프레임들을 추출했고, 이를 기반으로 편집결정리스트를 구성하였으며, F1-스코어 75.9%를 갖는 62.77%로 축약된 요약본을 제작했다.

Abstract ▼ AI-Helper

In this paper, we propose a method for automatically generating story-based abbreviated summaries from long-form dramas and movies. From the shooting stage, the basic premise was to compose a frame with illusion of depth considering the golden division as well as focus on the object of interest to focus the viewer's attention in terms of content delivery. To consider how to extract the appropriate frames for this purpose, we utilized elemental techniques that have been utilized in previous work on scene and shot detection, as well as work on identifying focus-related blur. After converting the videos shared on YouTube to frame-by-frame, we divided them into a entire frame and three partial regions for feature extraction, and calculated the results of applying Laplacian operator and FFT to each region to choose the FFT with relative consistency and robustness. By comparing the calculated values for the entire frame with the calculated values for the three regions, the target frames were selected based on the condition that relatively sharp regions could be identified. Based on the selected results, the final frames were extracted by combining the results of an offline change point detection method to ensure the continuity of the frames within the shot, and an edit decision list was constructed to produce an abbreviated summary of 62.77% of the footage with F1-Score of 75.9%

주제어

표/그림 (11)

그림 Fig. 1. Video Hierarchy
그림 Fig. 2. Eight RoIs: Based on Golden ratio, a frame is divided into 3 regions, and then 8 small regions which named 'TL', 'TLC', 'TRC', 'BL', BLC', 'BRC', and 'BR' are choose. Where 'T' means top, 'L' as left, 'C' as center, 'R' as right, and 'B' as bottom.
그림 Fig. 3. some results with Laplacian operator
그림 Fig. 4. Six regions with Laplacian operator; the left is the result of the above image of Fig. 3, and the right to the below.
그림 Fig. 5. Signal yielded by FFT to total frames
표 Table 1. Correlations of regions with Laplacian operator at the total sample frames.
표 Table 2. Correlations of regions with Laplacian operator at the chosen frames that may be of medium shot family.
표 Table 3. Correlations of regions with FFT at the same frames in Table 1.
표 Table 4. Correlations of regions with FFT at the same chosen frames in Table 2.
그림 Fig. 6. Zoomed signal from 1st to 1,500th frame
그림 Fig. 7. the above figure by the first condition and the below is final results after applying change point detection in the same range of Fig. 6

AI 본문요약
AI-Helper

가설 설정

본 연구는 서론에서 언급했듯이 유튜브 등의 동영상 공유 플랫폼에서 활용 가능한 요약본 영상을 제작하는 것으로 장르는 드라마로 한정하였다. 아울러 전문적인 영상 제작자가 상황에 맞는 적정한 구도를 고려하여 입체적인 공간 구성으로 프레이밍 하였고, 드라마를 대상으로 했기에 인물들의 대화만으로도 충분히 프로그램의 스토리를 전달할 수 있다고 가정하였다. 이러한 가정을 기반으로 본 논문의 핵심은 촬영 시 충분히 화면분할을 고려하여 관심 대상을 위치 시켜 초점을 맞추고 인물들의 대화에 집중할 수 있는 미디엄 숏 크기 정도의 숏들을 추출하는 것이다.
아울러 전문적인 영상 제작자가 상황에 맞는 적정한 구도를 고려하여 입체적인 공간 구성으로 프레이밍 하였고, 드라마를 대상으로 했기에 인물들의 대화만으로도 충분히 프로그램의 스토리를 전달할 수 있다고 가정하였다. 이러한 가정을 기반으로 본 논문의 핵심은 촬영 시 충분히 화면분할을 고려하여 관심 대상을 위치 시켜 초점을 맞추고 인물들의 대화에 집중할 수 있는 미디엄 숏 크기 정도의 숏들을 추출하는 것이다. 결국, 이러한 인물 중심의 숏들은 1숏 혹은 2숏 정도가 적정하며, 입체감을 확보하고 시청자의 시선을 이끌기 위해서 장면 내 특정 피사체에 포커싱이 되었을 가능성이 높다는 일반적인 환경으로 한정하였다.

제안 방법

3장에서 언급했던 라플라시안 연산자와 FFT를 개별적으로 적용한 결과를 기반으로 영역들을 비교하여 최종적으로 화면을 수직으로 3분할 (Left, Center, Right) 영역으로 구분하였고, 프레임별 특징은 프레임 전체 영역과 3개의 영역들, 총 4개의 FFT 계산값으로 설정하였다. 프레임 전체 영역에 대한 FFT 계산값 파형은 그림 5와 같으며, 앞 부분인 1,500개 프레임들에 대응하는 확장된 파형은 그림 6과 같다.
본 논문은 영상이 내포한 의도를 전달하기 위해서 시청자들의 시선을 끌고 다닐 수 있어야 함을 전제로, 프레임 내에 공간감을 확보하고 시청자들의 시선을 유도 및 집중시키기 위해 특정 피사체에 포커싱된 프레임들과 대사 위주의 숏으로 간주될 수 있는 미디엄 숏 크기의 프레임들을 추출하기 위해, 기존에 연구되어 발표된 요소 기술들로 FFT를 기반으로 프레임을, 그리고 오프라인 변화점 탐지 기법 등을 적용하여 숏들을 추출했고, 이를 기반으로 편집 결정 리스트를 구성하여 75.9%의 F1-스코어를 갖는 62.77%의 요약본 영상을 제작했다.
이를 위해 본 논문에서는 방송국에서 방영한 드라마들 중에서 해당 방송사가 직접 운영하는 유튜브 채널에서 스트리밍하는 ‘몰아보기’ 요약본을 대상으로 선정하여 영상 제작에 대한 경험기반으로 미디엄 숏 크기 정도의 숏들을 추출하여 요약본 영상물을 제작 방법을 제안한다

대상 데이터

709이고 대략 러닝타임은 26분 35초이다. 가능한 최소한의 자막 삽입 등을 고려한 원본 드라마의 내용을 유지하는 동영상을 선정하였고 개별 프레임들을 JPEG 형태로 분리 저장한 대략 47,779개의 프레임을 기반으로 실험 하였다. MPEG 기반 4:2:0이기에 해상도를 보존하기 위해 JPEG 화질을 3가지 정도로 구분하였으나 결과적으로 JPEG 화질이 미치는 영향이 미미하였다.
본 연구는 서론에서 언급했듯이 유튜브 등의 동영상 공유 플랫폼에서 활용 가능한 요약본 영상을 제작하는 것으로 장르는 드라마로 한정하였다. 아울러 전문적인 영상 제작자가 상황에 맞는 적정한 구도를 고려하여 입체적인 공간 구성으로 프레이밍 하였고, 드라마를 대상으로 했기에 인물들의 대화만으로도 충분히 프로그램의 스토리를 전달할 수 있다고 가정하였다.
실험에 사용된 동영상의 정보는 H.264 – MPEG-4 AVC (part 10) (avc1), 1280 x 720, 29.97fps, Planer 4:2:0 YUV, ITU-R BT.709이고 대략 러닝타임은 26분 35초이다
연산자 및 영역 선택을 위한 실험은 30여 분 분량의 47,779개의 프레임들을 대상으로 8개의 영역들과 3개의 영역들 (L = TL + BL, C = TC + BC, R = TR + BR)에 라플라시안 연산자와 FFT를 각각 적용하여 영역별 상관성을 비교하기 위해 표1과 표3에서 제시하였고, 이들 프레임들 중 해당 연구의 취지에 적정한 숏 기반의 30,003개를 선택한 후 영역들간의 상관성을 표2와 표4에 각각 제시하였다. 표1과 표3을 비교해 본다면 라플라시안 연산자도 8개 영역에 적용한 결과가 적정해 보일 수 있겠으나, 반면에 표2와 표4와 비교해 본다면 FFT를 적용함으로써 3개의 영역만으로도 충분하다고 판단할 수 있다.

성능/효과

결과적으로 47,799개의 입력 프레임들로부터 연속된 프레임들의 234개 모음으로 구분하였고 원본 대비 62.77%의 요약본을 제작할 수 있었다.
표1과 표3을 비교해 본다면 라플라시안 연산자도 8개 영역에 적용한 결과가 적정해 보일 수 있겠으나, 반면에 표2와 표4와 비교해 본다면 FFT를 적용함으로써 3개의 영역만으로도 충분하다고 판단할 수 있다. 또한, 실험을 통해 FFT를 적용했을 때 선명도를 구분하기 위한 임계값 설정이 라플라시안 연산자를 적용했을 때 보다 영역별의 선명도를 일반화하기에 상대적으로 적합하다고 판단되었다. 즉, 실험을 통해 선명한 영역은 상대적으로 전체 영역의 선명도 보다 최소한 같거나 높을 것이라는 가설검정을 기반으로 선명도를 구분하기 위한 임계값으로 프레임 전체를 대상으로 계산한 FFT의 결과를 적용할 수 있었다.
이렇게 선정된 프레임들을 수작업으로 분류한 프레임들과 비교하여 혼돈행렬 기반의 평가지표로 정확도는 66.85%, 정밀도는 69.80%, 재현율은 83.18%, F1-스코어는 75.9%를 보였다.
이상에서 소개한 씬 및 숏 탐지 방법들은 결과적으로 인접한 프레임들을 대상으로 프레임별 특징(들)의 유사성과 연속성을 분석하여 씬과 숏의 경계를 찾는 것이 일반적이었다고 볼 수 있겠다.
그림 3의 경우에는 자막으로 인하여 미치는 영향이 크기 때문에 이를 제거한 후 그림 2에서의 8개 영역에 관심 대상의 위치 및 미디엄 숏 크기의 프레임들의 구성을 고려하여 6개의 영역으로 재구성하였다. 자막이 선명하기 때문에 이것이 미치는 영향을 확인하기 위해서 그림 2에서 분할 했던 8개의 영역들을 6개의 영역(TL = TL + TLC, TC = TLC + TRC, TR = TRC + TR, BL = BL + BLC, BC = BLC + BRC, BR = BRC + BR)으로 병합하고 라플라시안 연산자를 적용해서 그림 4와 같은 결과를 얻을 수 있었고, 이를 통해 TR 영역과 BR영역이 배제됨을 확인할 수 있었다.
또한, 실험을 통해 FFT를 적용했을 때 선명도를 구분하기 위한 임계값 설정이 라플라시안 연산자를 적용했을 때 보다 영역별의 선명도를 일반화하기에 상대적으로 적합하다고 판단되었다. 즉, 실험을 통해 선명한 영역은 상대적으로 전체 영역의 선명도 보다 최소한 같거나 높을 것이라는 가설검정을 기반으로 선명도를 구분하기 위한 임계값으로 프레임 전체를 대상으로 계산한 FFT의 결과를 적용할 수 있었다.

후속연구

분명 서사적 내용의 숏들과 서정적 내용의 숏들, 그리고 시청자의 지루함을 달래기 위해 내용의 연속성을 기반으로한 숏 크기 변화 등도 고려할 수 있겠지만, 관심 대상에 집중된 장면만을 기반으로한 숏들을 재배열함으로써 내용만을 전달하기에 적절할 수 있을 것이다. 그래서 촬영 시 카메라의 초점이 시청자의 관심을 유도하기 위함이라는 전제하에 미디엄 숏 정도의 크기만으로도 충분히스토리의 뼈대를 전달할 수 있는 요약 편집본을 제작할 수 있을 것으로 예상된다.
비록 실험 대상 영상이 원본이 아닌 편집된 요약본이었기에 어느 정도의 제약이 있었지만, 해당 연구가 스토리의 연속성을 유지하고 단시간 내에 내용 파악을 위한 요약본 영상 제작에 어느 정도 도움이 될 수 있을 것으로 보이며, 추가적인 연구로는 오디오(다이얼로그) 분석을 추가하여 추출한 숏들의 명확한 바운딩과 이들의 특징점들을 기반으로 비지도학습 모형들을 활용하여 본 연구에서 특정하는 상황별 프레임들을 군집하는 방법을 검토하고, 이의 결과를 기반으로 자동분류할 수 있는 방법을 모색할 예정이다.

참고문헌 (16)

E. J. Choi, "Theory of Film Making", Communication Books, 2020.
Roy Thompson, "Grammar of the Shot," Focal Press, pp. 26-27,？66-97, 2021.
Hervert Zettl, "Television Production Handbook," Thomson, pp.？401-408, 2004.
Hwon, Hyuk Min, Kim, Hyen Ki, "A Study on the Ratio of Video？Screen Using Modulor," Korea Design Forum, no. 15, pp.41-48.？2007
V. T. Chasanis, A. C. Likas and N. P. Galatsanos, "Scene Detection？in Videos Using Shot Clustering and Sequence Alignment," in？IEEE Trans. Multimedia, vol. 11, no. 1, pp. 89-100, Jan. 2009,？DOI:10.1109/TMM.2008.2008924.

상세보기
Dongwook Shin, et al., "Video Scene Detection using Shot？Clustering based on Visual Features," Journal of Korea Intelligent？Information Systems Society, vol. 18, no.2, pp.47-60, 2012.
K. Sakurada, M. Shibuya and W. Wang, "Weakly Supervised？Silhouette-based Semantic Scene Change Detection," 2020 IEEE？ICRA, Paris, France, 2020, pp. 6861-6867, DOI: 10.1109/ICRA40945.2020.9196985.
Enqiang Guo, et. al., "Learning to Measure Change: Fully？Convolutional Siamese Metric Networks for Scene Change？Detection," DOI:10.48550/arXiv.1810.09111
S. H. Adbulhussain, et al, "Methods and challenges in Shot？Boundary Detection: A Review," Entropy(Basel), 2018 Arp;？20(4):214. DOI:10.3390/e20040214

상세보기
Pertuz, S., et. al., (2013). Analysis of focus measure operators？for shape-from-focus. Pattern Recognition, 46(5), 1415-1432.？DOI:10.1016/j.patcog.2012.11.011

상세보기
Rupali Yashwant Landge, Rakesh Sharma, "Blur Detection？Methods for Digital Images-A Survey." Int. Journal of Computer？Applications Technology and Research, Vol.2-4, pp. 495-498,？2013, DOI:10.7753/IJCATR0204.1019
Renting Liu, Zhaorong Li and Jiaya Jia, "Image partial blur？detection and classification," 2008 IEEE Conference on？Computer Vision and Pattern Recognition, Anchorage, AK, 2008,？pp. 1-8, DOI:10.1109/CVPR.2008.4587465.
P. A. Pagaduan, et al, "iBlurDetect: Image Blur Detection？Techniques Assessment and Evaluation Study," In Proceedings？of the International Conference on CESIT 2020, pp.286-291,？DOI:10.5220/0010307700003051
S. Alireza Golestaneh, Lina J. Karam, "Spatially-Varying Blur？Detection Based on Multiscale Fused and Sorted Transform？Coefficients of Gradient Magnitudes," Proceedings of the IEEE？Conference on Computer Vision and Pattern Recognition？(CVPR), 2017, pp. 5800-5809
Y.T Baek, S.B Park, "Shot Type Detecting System using Face？Detection," Journal of The KSCI, Vol. 17, No.9, pp. 49-56, Sep.？2012. DOI:10.9708/jksci/2012.17.9.049

원문보기 상세보기
Truong, C., Oudre, L., & Vayatis, N. (2020). Selective review？of offline change point detection methods. Signal Processing, 167,？107299. DOI:10.1016/j.sigpro.2019.107299

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증