[논문]클립형 미디어 서비스를 위한 동영상 자동 축약 기술 동향 및 신규 서비스 예측

홍순기; 주재환; 김상진

클립형 미디어 서비스를 위한 동영상 자동 축약 기술 동향 및 신규 서비스 예측 원문보기

방송과 미디어 = Broadcasting and media magazine, v.23 no.1, 2018년, pp.14 - 25

홍순기 ((주)에스비에스) , 주재환 ((주)에스비에스) , 김상진 ((주)에스비에스)

초록이 없습니다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

Gygil[3]에 의해 제안된 동영상 축약 기술은 기존의 다양한 이미지 분석 기법을 활용하여 유의미한 결과를 보여주었다. 따라서 본 장에서는 M. Gygil 에 의해 제안된 기술을 분석하여 딥러닝 이전의 자동 축약 기술에 대해 알아보려 한다.
위의 장점에도 불구하고 Yao의 알고리즘은 프레임 레벨의 학습데이터가 필요하다는 점과 공간적/시간적 분석을 위한 딥러닝 신경망이 분리되어 있어 신경망 학습이 힘들고 알고리즘 수행 시간이 오래 걸린다는 단점이 있다. 따라서 이러한 문제를 극복하기 위해 세그멘트 레벨의 학습데이터와 공간적/시간적 분석이 하나의 딥러닝 신경망에서 수행되도록 하기 위한 연구가 진행되었다.
이에 본 기고에서는 클립형 미디어 서비스의 개념과 국내 서비스 동향을 소개하고, 클립형 서비스를 위한 동영상 자동 축약 기술의 발전 과정에 대해 살펴보려 한다. 마지막으로 동영상 자동 축약 기술을 활용하여 지상파 UHD 방송에서 서비스할 수 있는 신규 클립형 미디어 서비스에 대해 예측해 보려 한다.
본 기고에서는 클립형 미디어 서비스의 개념과 국내 서비스 동향을 소개하고, 클립형 서비스를 위한 동영상 자동 축약 기술의 발전 과정에 대해 살펴보았다. 수동 축약 과정에서 발생하는 비용과 서비스 지연 문제를 해결하기 위해, 기존에는 이미지 분석 기술을 활용한 접근을 하였으며, 최근에는 딥러닝 기술을 활용한 접근이 활발하게 이루어지고 있다는 것을 확인할 수 있었다.
이에 본 기고에서는 클립형 미디어 서비스의 개념과 국내 서비스 동향을 소개하고, 클립형 서비스를 위한 동영상 자동 축약 기술의 발전 과정에 대해 살펴보려 한다. 마지막으로 동영상 자동 축약 기술을 활용하여 지상파 UHD 방송에서 서비스할 수 있는 신규 클립형 미디어 서비스에 대해 예측해 보려 한다.

제안 방법

<그림 4>와 같이, 이미지 분석 기술을 활용한 동영상 축약 기술은 크게 콘텐츠 분할, 영상분석, 관심도 예측의 3단계 과정으로 구성되어 있다. 기본적으로 연속된 이미지들을 유의미한 단위의 세그먼트로 분할(1단계)하고, 각 세그먼트에 속해 있는 이미지에서 특징값들을 추출(2단계)한 후, 각 이미지 특징값들의 선형 조합으로 예측한 관심도 지수(Interestness)를 세그먼트 단위로 평균내어 세그먼트의 평균 관심도 지수(단계3)를 구한다. 이 후에는 주어진 목표 시간을 고려하여 관심도 지수가 작은 세그먼트부터 삭제하는 방식으로 축약을 수행한다.
수동 축약 과정에서 발생하는 비용과 서비스 지연 문제를 해결하기 위해, 기존에는 이미지 분석 기술을 활용한 접근을 하였으며, 최근에는 딥러닝 기술을 활용한 접근이 활발하게 이루어지고 있다는 것을 확인할 수 있었다. 마지막으로 딥러닝 기술에 의해 발전된 동영상 자동 축약 기술을 활용하여 시청자에게 신규로 제공할 수 있는 지상파 UHD 방송 기반 클립형 미디어 서비스에 대해 예측해 보았다.
영상 분석을 통해 생성한 특징값 i 를 사용하여 구한 품질 지수를 u_i로 정의하고 이미지 한 장에 총 N개의 특징값들이 존재할 때, 이미지 한 장의 관심도 지수를 아래와 같은 선형 예측 모델을 통하여 구한다.
에 곱해지는 적절한 가중치값 w를 구하는 것이 핵심포인트인데, 특징값들 간의 상호작용을 고려하였다는 특징이 있다. 해당 논문에서는 사람이 직접 축약을 수행하여 Ground truth를 생성하였으며, 최소 자승(Least square) 법을 사용하여 가중치값 w를 학습시켰다.
해당 표준은 ‘차세대방송표준포럼’에서 학계, 국책 연구소, 방송국, TV 제조사 및 장비 업체 등에서 공동으로 표준 초안을 만들었으며, TTA를 통해 최종 표준안으로 채택되었다.

성능/효과

MS社 의 Yao[14]는 <그림 6>과 같이 각각의 이미지(Frame)를 공간적으로 분석하기 위한 딥러닝 신경망(AlexNet)[12]과 순차적인 이미지들(Clip)을시간적으로 분석하기 위한 딥러닝 신경망(C3D)[13]을 사용하여 각 세그먼트의 하이라이트 지수를 구한 후, 하이라이트 지수를 활용하여 동영상 축약을 수행하는 알고리즘을 제안하였다. 딥러닝 신경망을 통해서 기존의 알고리즘에 비해 객체 검출 성능을 향상시켰다는 점과 순차적인 이미지들을 사용하여 시간적 분석을 하는 신경망을 추가했다는 점에서 제안된 알고리즘은 이후 딥러닝을 사용한 동영상 축약 알고리즘에 많은 영향을 주었다. 또한 동영상 축약의 형태를 Timelapse와 Skimming의 2 가지 타입으로 정의한 것도 의미가 있다.
본 기고에서는 클립형 미디어 서비스의 개념과 국내 서비스 동향을 소개하고, 클립형 서비스를 위한 동영상 자동 축약 기술의 발전 과정에 대해 살펴보았다. 수동 축약 과정에서 발생하는 비용과 서비스 지연 문제를 해결하기 위해, 기존에는 이미지 분석 기술을 활용한 접근을 하였으며, 최근에는 딥러닝 기술을 활용한 접근이 활발하게 이루어지고 있다는 것을 확인할 수 있었다. 마지막으로 딥러닝 기술에 의해 발전된 동영상 자동 축약 기술을 활용하여 시청자에게 신규로 제공할 수 있는 지상파 UHD 방송 기반 클립형 미디어 서비스에 대해 예측해 보았다.

후속연구

물론 상기한 신규 클립형 서비스를 실제로 제공하기 위해서는 수신한 IBB App 신호를 단말에서 처리할 수 있는 IBB 표준 개정이 방송사와 단말 제조사 간의 협의를 통해 도출되어야 하고, 단말에서 IBB App 신호에 포함되어 있는 정확한 타이밍에 본 방송을 클립 미디어로 대체할 수 있는 지 검증하는 과정이 필요하다. 하지만 이러한 문제점은 방송사와 단말 제조사의 협력에 의해 어렵지 않게 해결될 것으로 보이며, 상기한 서비스에 한정되지 않고 지상파 UHD 방송 규격을 활용한 시청자 선택형 클립 미디어 서비스는 필연적으로 가까운 미래에 선보여질 것으로 예측된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	최근 시청자는 미디어 소비에 대해 무엇을 원하는가?	최근 시청자는 미디어 소비에 대한 주도권을 자신이 갖기를 원한다. 원하는 미디어를 원하는 시간에 소비하고자 하는 시청자의 욕구를 충족시키기 위해, 미디어 서비스 업체들은 호흡이 긴 동영상을 짧은 길이의 동영상으로 축약하여 제공하는 클립형 미디어 서비스를 제공하고 있다.
	클립형 미디어 서비스란?	최근 시청자는 미디어 소비에 대한 주도권을 자신이 갖기를 원한다. 원하는 미디어를 원하는 시간에 소비하고자 하는 시청자의 욕구를 충족시키기 위해, 미디어 서비스 업체들은 호흡이 긴 동영상을 짧은 길이의 동영상으로 축약하여 제공하는 클립형 미디어 서비스를 제공하고 있다. 이러한 클립형 미디어 서비스를 위해서는 동영상 축약이 필수적으로 필요한데, 현재 대부분의 서비스 업체들은 동영상 축약을 수동으로 진행하고 있다.
	클립형 미디어 서비스는 시대적인 요구에 의해 점점 확대되고 있음을 알 수 있는 것은?	포탈을 통한 방송사 동영상의 클립형 미디어 서비스는 이미 일반화되어 있으며, 방송사 콘텐츠에 대한 홍보뿐만 아니라 프리롤 광고를 통한 광고 수익도 얻고 있다. 포털을 통한 클립형 미디어 서비스의 성공 이후로, 각 방송사들은 페이스북 등의 SNS에 각 사의 채널을 개설한 후 독자적인 클립형 미디어 서비스를 제공하고 있다. 이렇듯 클립형 미디어 서비스는 시대적인 요구에 의해 점점 확대되고 있으며, 이는 2017년 5월 방송을 시작한 지상파 UHDTV 서비스에서도 예외일 수 없다.

참고문헌 (21)

Gygli, M., Grabner, H., Van Gool, L.: Video summarization by learning submodular mixtures of objectives. In: CVPR (2015)
Zhang, K., Chao, W.l., Sha, F., Grauman, K.: Summary transfer: exemplar-based subset selection for video summarization. In: CVPR (2016)
M. Gygil, etc., Creating Summaries from User Video, ECCV2014, pp 505-520
X. Hou, J. Harel and C. Koch, Image Signature: Highlighting Sparse Salient Regions, in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 34, no. 1, pp. 194-201, Jan. 2012.

상세보기
N. Ejaz, I. Mehmood, SW Baik, Efficient visual attention based framework for extracting key frames from videos, in Signal Processing: Image Communication 28 (1), 34-44, Jan. 2013.

상세보기
Y. Ke, X. Tang and F. Jing, The Design of High-Level Features for Photo Quality Assessment, in CVPR, 2006.
Viola, P., Jones, M.: Robust real-time face detection. IJCV (2004)
Felzenszwalb, P.F., Girshick, R.B., McAllester, D., Ramanan, D.: Object detection with discriminatively trained part based models. PAMI (2010)
Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool SURF: Speeded Up Robust Features, Computer Vision and Image Understanding (CVIU), Vol. 110, No. 3, pp. 346 -359, 2008.

상세보기
B. Zhou, A. Khosla, A. Lapedriza, A. Oliva, and A. Torralba. Learning deep features for discriminative localization, CVPR 2016.
R Panda, A Das, Z Wu, J Ernst, AK Roy-Chowdhury, Weakly supervised summarization of web videos, 2017 IEEE International Conference on Computer Vision (ICCV), 3677-3686
A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification with deep convolutional neural networks. In NIPS, 2012.
D. Tran, L. D. Bourdev, R. Fergus, L. Torresani, and M. Paluri. Learning spatiotemporal features with 3d convolutional networks. In ICCV, 2015.
T. Yao, T. Mei, and Y. Rui. Highlight detection with pairwise deep ranking for first-person video summarization. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 982-990, 2016.
M. Abadi, A. Agarwal, P. Barham, E. Brevdo, Z. Chen, C. Citro, G. S. Corrado, A. Davis, J. Dean, M. Devin, S. Ghemawat, I. J. Goodfellow, A. Harp, G. Irving, M. Isard, Y. Jia, R. Jozefowicz, L. Kaiser, M. Kudlur, J. Levenberg, D. Mane, R. Monga, S. Moore, D. G. Murray, C. Olah, M. Schuster, J. Shlens, B. Steiner, I. Sutskever, K. Talwar, P. A. Tucker, V. Vanhoucke, V. Vasudevan, F. B. Viegas, O. Vinyals, P. Warden, M. Wattenberg, M. Wicke, Y. Yu, and X. Zheng., TensorFlow:Large-scale machine learning on heterogeneous distributed systems, arXiv preprint, 1603.04467, 2016. arxiv.org/abs/1603.04467. Software available from tensorflow.org.
Joseph Redmon, "Darknet: Open Source Neural Networks in C," Software available from http://pjreddie.com/darknet/, 2013-2016.
S. Ren, K. He, R. Girshick, and J. Sun. Faster R-CNN: Towards real-time object detection with region proposal networks. In NIPS, 2015.
W. Liu, D. Anguelov, D. Erhan, C. Szegedy, and S. E. Reed. SSD: single shot multibox detector. CoRR, abs/1512.02325, 2015.
COCO:Common Objects in Context (2016). http://mscoco.org/dataset/#detections-leaderboard. Accessed 25 July 2016.
J. Redmon, S. Divvala, R. Girshick, and A. Farhadi. You only look once: Unified, real-time object detection. arXiv preprint arXiv:1506.02640, 2015.
이동관, 지상파 UHD 현황 및 부가서비스, 방송과 기술, 14 Oct. 2016.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증