[논문]채팅 트래픽 분석을 통한 개인방송 하이라이트 검출 : 게임 콘텐츠를 중심으로

김은율; 이계민

doi:10.5909/jbe.2018.23.2.218

채팅 트래픽 분석을 통한 개인방송 하이라이트 검출 : 게임 콘텐츠를 중심으로
Highlight Detection in Personal Broadcasting by Analysing Chat Traffic : Game Contests as a Test Case 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.23 no.2, 2018년, pp.218 - 226

김은율 (서울과학기술대학교 전자IT미디어공학과) , 이계민 (서울과학기술대학교 전자IT미디어공학과)

초록
AI-Helper

최근 개인방송 콘텐츠의 수가 급증함에 따라 시청자의 선택이 용이하도록 방송 내용 중 흥미를 끌 만한 장면을 모아 하이라이트를 제공하는 서비스에 대한 요구가 커지고 있다. 본 논문에서는 채팅 트래픽 정보가 하이라이트 검출에 유용함을 보이고 채팅 트래픽을 이용하여 하이라이트를 검출하는 방법을 제시한다. 또한, 하이라이트 검출에 있어 채팅 트래픽 사용의 효용성을 평가하기 위해 평가 방법을 제안한다. 검출 알고리즘은 시청자 선호도가 높은 게임 방송에 적용하여 그 성능을 확인하였다.

Abstract ▼ AI-Helper

As the number of personal broadcasting contents is rapidly increasing, the demand for a service that provides highlights is growing. A highlight, a collection of interesting scenes, can improve the quality of viewing experience. In this paper, we propose a method to automatically detect highlights using only chat traffic information. We also propose evaluation methods the effectiveness of using chat traffic in highlight detection. We apply the detection algorithm to game broadcasting, which has larger audience, and demonstrate its performance.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서 제안하는 알고리즘은 최종적으로 하이라이트 구간을 검출하는 것이 목표이며 이를 위해 구간의 기준이 될 지점을 찾는 것은 중요하다. 일반적으로 방송에서 흥미로운 부분이 진행될 때는 시청자들이 채팅을 많이 남기는 경향이 있으므로 채팅의 빈도수가 많을 것이라 예상할 수 있다.
본 논문에서는 Jaccard 인덱스와 유사 재현율(pseudo re- call), 유사 정밀도(pseudo precision), F1점수(F1-score)를 이용하여 검출 알고리즘의 성능을 평가하고자 한다.
일반적으로 하이라이트가 시청자들이 흥미를 느낄 만한 부분들을 모아서 만든 영상이라는 것을 고려한다면, 채팅이 많이 이루어지는 부분은 영상의 하이라이트에 속할 가능성이 높다고 볼 수 있다. 본 논문에서는 이러한 특징을 이용하여 하이라이트 구간을 검출하는 알고리즘을 제시한다. 제안하는 알고리즘은 그림 2와 같이 채팅트래픽 추출 및 노이즈 제거, 피크 선정, 구간 설정의 네 단계로 진행된다.
본 논문에서는 제안하는 평가방법을 통해 하이라이트 검출에 있어 채팅 트래픽의 유효성을 검증한다.
본 논문에서는 채팅 정보만을 이용하여 개인방송 하이라이트를 자동으로 검출하는 알고리즘을 제안하였다. 또한, 이 알고리즘으로 검출한 구간의 하이라이트로서의 유효성을 평가하는 방안을 제시하였으며, 실험을 통해 개인방송에서 하이라이트를 검출하기 위한 채팅 트래픽의 이용 가능성을 확인하였다.
본 논문은 채팅 정보가 하이라이트 검출에 있어서 유용할 수 있음을 보이고, 채팅 트래픽을 이용하여 하이라이트를 검출하는 알고리즘과 더불어 제안한 알고리즘의 성능을 평가하는 방법을 제안한다. 이를 위해, 본 논문에서는 개인방송 중 상대적으로 시청자 선호 비중이 높은 게임 방송을 중심으로 제안한 알고리즘을 적용하여 성능을 보인다^[7].
이러한 문제를 해결하기 위해 본 논문은 개인방송 하이라이트를 자동으로 검출하는 알고리즘을 제안한다. 특히 개인방송 플랫폼의 채팅 내역 정보가 하이라이트 검출에 유용함을 보이고자 한다.
이러한 문제를 해결하기 위해 본 논문은 개인방송 하이라이트를 자동으로 검출하는 알고리즘을 제안한다. 특히 개인방송 플랫폼의 채팅 내역 정보가 하이라이트 검출에 유용함을 보이고자 한다. 지상파나 케이블과 같은 일반 방송과 달리, 개인방송은 채팅을 통해 시청자와 콘텐츠 제작자가 실시간으로 소통할 수 있으며 대체로 대다수 시청자가 흥미를 느끼는 이벤트가 있을 때 채팅이 많이 이루어진다.

제안 방법

실험에 사용된 영상은 Twitch에서 중계한 ‘League of Legends’ 대회 영상들이며^[8], 게임 전문 방송국인 OGN에서 제작한 하이라이트가 존재한다. 각각의 하이라이트 영상은 방송국에서 전문 편집자가 정해진 기준에 의해 제작한 영상이므로 실재 하이라이트(ground truth)로 보기에 적합하다고 볼 수 있으므로 이를 기준으로 실험을 진행하였다.
개인방송 플랫폼으로부터 획득할 수 있는 채팅 정보 중에서 채팅의 트래픽 변화를 알기 위해 채팅이 달린 시각에 대한 정보를 추출한다. 획득된 데이터를 이용하여 시간에 따른 채팅 빈도의 변화를 그려보면 그림 3의 미처리 데이터(raw) C_raw(t)와 같다.
따라서 실재 하이라이트와 검출 하이라이트가 정확히 일치하지 않으면 같은 내용의 장면을 검출하여도 Jaccared 인덱스는 작은 값이 나오게 된다. 이런 특성은 채팅 정보가 하이라이트 검출에 유용하다는 것을 보이는 데 어려움이 있으므로, 재현율(recall)과 정밀도(precision)와 유사한 평가지표를 제안하여 이용한다.
본 논문은 채팅 정보가 하이라이트 검출에 있어서 유용할 수 있음을 보이고, 채팅 트래픽을 이용하여 하이라이트를 검출하는 알고리즘과 더불어 제안한 알고리즘의 성능을 평가하는 방법을 제안한다. 이를 위해, 본 논문에서는 개인방송 중 상대적으로 시청자 선호 비중이 높은 게임 방송을 중심으로 제안한 알고리즘을 적용하여 성능을 보인다^[7].
본 논문에서는 이러한 특징을 이용하여 하이라이트 구간을 검출하는 알고리즘을 제시한다. 제안하는 알고리즘은 그림 2와 같이 채팅트래픽 추출 및 노이즈 제거, 피크 선정, 구간 설정의 네 단계로 진행된다.
는 정밀도와 비슷한 형태를 갖는다. 제안한 알고리즘을 통해 검출된 구간 중 실재 하이라이트와 일치하는 부분이 있는 구간의 비율을 나타낸다.

대상 데이터

사용한 데이터의 수는 총 36개이며, 2017년에 개최된 대회 중 4개 -LoL 올스타 2017, LoL 2017 월드 챔피언십, 2017 LoL 챔피언스 코리아 서머, 2017 LoL 챔피언스 코리아 스프링, EM 월드챔피언십 카토비체 2017- 에서 진행된 게임 가운데 일부 게임을 사용하였다. 이 영상들은 평균적으로 36분 25초 길이이며 9,122개의 채팅을 포함하고 있다.
실험에 사용된 영상은 Twitch에서 중계한 ‘League of Legends’ 대회 영상들이며[8], 게임 전문 방송국인 OGN에서 제작한 하이라이트가 존재한다.
앞서 제안한 하이라이트 검출 알고리즘을 평가하기 위해 시청자 선호 비중이 높은 게임 영상^[6]을 이용해 실험을 진행하였다. 실험에 사용된 영상은 Twitch에서 중계한 ‘League of Legends’ 대회 영상들이며^[8], 게임 전문 방송국인 OGN에서 제작한 하이라이트가 존재한다.

이론/모형

94초로 설정 되었고, 검출 구간의 수 n과 검출 구간의 길이 \(S_{offset}\)은 각각 평균적으로 12개 구간과 20초로 설정되었다. 또한 잡음 제거 필터는 윈도우 크기가 7인 moving average 필터를 사용하였다. 제안한 알고리즘을 통해 찾은 하이라이트는 평균적으로 273.
실험은 leave-one-out 방식으로 진행하였다. 36개의 영상 중 하이라이트를 검출하고자 하는 하나의 영상(예, Game 5)을 제외하고 나머지 35개 영상으로 훈련 집합을 만든다.

성능/효과

따라서 제안하는 알고리즘은 성능을 개선시키기 위해 시간 오프셋 \(t_0\)를 고려하였으며, 그림 8은 실제로 성능이 향상된 것을 보인다. Game 13에서 t₀를 고려하지 않을 때의 F1점수는 60.8%이지만 방송 시작 후 약 5분 후부터 검출을 시작하였을 때의 F1점수는 96.57%로 성능이 35.77% 향상되었다. 마찬가지 방법으로 전체 영상에서의 F1점수를 비교해보면 시간 오프셋이 없을 때의 F1점수는 58.
449로 구해졌다. 다시 말해, 실재 하이라이트의 51.2%만이 검출되었으며, 검출된 구간의 전체 길이 267초 가운데 136초만 실제 하이라이트와 일치하는 부분이 존재하는 구간의 길이임을 의미한다.
본 논문에서는 채팅 정보만을 이용하여 개인방송 하이라이트를 자동으로 검출하는 알고리즘을 제안하였다. 또한, 이 알고리즘으로 검출한 구간의 하이라이트로서의 유효성을 평가하는 방안을 제시하였으며, 실험을 통해 개인방송에서 하이라이트를 검출하기 위한 채팅 트래픽의 이용 가능성을 확인하였다. 제안하는 알고리즘은 채팅 정보만을 이용하기 때문에 연산량이 적어 빠른 시간 안에 하이라이트를 검출할 수 있는 장점이 있다.
실험을 통해 채팅 트래픽이 하이라이트 검출에 있어 의미를 가진다는 사실을 알 수 있다. 하지만 위의 두 가지 사례와 같은 경우는 검출 알고리즘이 영상의 정보는 전혀 사용하지 않고 채팅 트래픽 정보만을 이용하여 발생하는 한계점이라 볼 수 있다.
624로 계산되었다. 이 값들은 실재 하이라이트 구간 중 60.3%가 제안하는 알고리즘을 통해 검출되며, 하이라이트로 검출된 부분 중 67.3%가 실재 하이라이트에 해당한다는 것을 뜻한다. 이러한 결과는 하이라이트 검출에 채팅 트래픽 정보가 유용하게 이용될 수 있다는 것을 의미한다.
599로 유사 재현율이 작은 값을 보였다. 이 결과는 실재 하이라이트 중에서 24.5%만 검출되었으며, 검출된 하이라이트의 길이 267초 중 160초 만이 실재 하이라이트와 겹치는 구간의 길이임을 의미한다.
또한, 이 알고리즘으로 검출한 구간의 하이라이트로서의 유효성을 평가하는 방안을 제시하였으며, 실험을 통해 개인방송에서 하이라이트를 검출하기 위한 채팅 트래픽의 이용 가능성을 확인하였다. 제안하는 알고리즘은 채팅 정보만을 이용하기 때문에 연산량이 적어 빠른 시간 안에 하이라이트를 검출할 수 있는 장점이 있다. 차후에는 개인방송 하이라이트 자동 검출의 효용성을 높이기 위해 음향과 영상 정보를 이용하는 방법에 대한 연구를 진행할 계획이다.
제안하는 알고리즘을 통해 검출된 하이라이트는 평가 영상에 대한 실재 하이라이트(ground truth)가 있을 때 유사도 계산으로 알려진 Jaccard 인덱스를 사용하여 정량적으로 평가할 수 있다. 실재 하이라이트를 A, 검출 구간의 집합을 B라 하면, Jaccard 인덱스는 다음과 같이 표기된다
또한 잡음 제거 필터는 윈도우 크기가 7인 moving average 필터를 사용하였다. 제안한 알고리즘을 통해 찾은 하이라이트는 평균적으로 273.97초의 길이로 실재 하이라이트의 평균 길이인 242.69초와 비슷하다. 반면 구간의 수는 약 9.
이 때문에 검출 알고리즘의 성능이 낮아지는 경향이 있다. 필터의 윈도우 크기에 상관없이 대체로 moving average 필터가 좋은 성능을 보였으며, 윈도우 크기가 7일 때 F1점수가 가장 높았다.

후속연구

하지만 위의 두 가지 사례와 같은 경우는 검출 알고리즘이 영상의 정보는 전혀 사용하지 않고 채팅 트래픽 정보만을 이용하여 발생하는 한계점이라 볼 수 있다. 이러한 문제점은 차후에 영상과 음향정보를 결합하여 개선할 수 있을 것이라 기대한다.
제안하는 알고리즘은 채팅 정보만을 이용하기 때문에 연산량이 적어 빠른 시간 안에 하이라이트를 검출할 수 있는 장점이 있다. 차후에는 개인방송 하이라이트 자동 검출의 효용성을 높이기 위해 음향과 영상 정보를 이용하는 방법에 대한 연구를 진행할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	하이라이트 영상 제작의 문제점은 무엇인가?	이처럼 긴 방송은 새로운 시청자의 유입에 대한 걸림돌이 되기도 하며 네트워크 전송 대역 낭비가 될 수 있어 콘텐츠 제작자는 하이라이트 영상을 편집하여 제공하기도 한다. 하지만 이 과정은 편집에 걸리는 시간과 전문 편집 기술이 필요해 이에 따른 비용이 많이 소모되는 문제가 있다.
	개인방송이 지상파나 케이블같은 일반 방송과 다른 특징은 무엇인가?	특히 개인방송 플랫폼의 채팅 내역 정보가 하이라이트 검출에 유용함을 보이고자 한다. 지상파나 케이블과 같은 일반 방송과 달리, 개인방송은 채팅을 통해 시청자와 콘텐츠 제작자가 실시간으로 소통할 수 있으며 대체로 대다수 시청자가 흥미를 느끼는 이벤트가 있을 때 채팅이 많이 이루어진다. 우리는 이러한 점에 주목하여 채팅 트래픽이 높거나 급증하는 부분을 시청자가 흥미를 느끼는 이벤트가 발생한 부분으로 간주하고 이를 하이라이트로 검출한다.
	긴 방송의 문제점은 무엇인가?	개인방송은 길이에 대한 제약이 없기 때문에 1시간 이상 방송하는 경우도 흔하게 존재한다. 이처럼 긴 방송은 새로운 시청자의 유입에 대한 걸림돌이 되기도 하며 네트워크 전송 대역 낭비가 될 수 있어 콘텐츠 제작자는 하이라이트 영상을 편집하여 제공하기도 한다. 하지만 이 과정은 편집에 걸리는 시간과 전문 편집 기술이 필요해 이에 따른 비용이 많이 소모되는 문제가 있다.

참고문헌 (8)

DMC Report, "온라인동영상시장현황및트렌드(Online Video Market Status and Trend)," 2015.10.
H. Tang, V. Kwatra, M. E. Sargin, and U. Gargi, "Detecting highlights in sports videos: Cricket as a test case," Multimedia and Expo (ICME), IEEE International Conference on, Barcelona, Spain, pp. 1-6, 2011, doi:10.1109/ICME.2011.6012139.
Y-L. Lin, V. I. Morariu, W. Hsu, "Summarizing While Recording: Context-Based Highlight Detection for Egocentric Videos", 2015 IEEE International Conference on Computer Vision Workshop (ICCVW), pp. 443-451, Santiago, Chile, 2015, doi:10.1109/ICCVW.2015.65.
M. Gygli, Y. Song, L. Cao, "Video2GIF: Automatic Generation of Animated GIFs from Video", Computer Vision and Pattern Recognition (CVPR) 2016 IEEE Conference on, Las Vegas, NV, USA pp. 1001-1009, 2016.
M. Sun, A. Farhadi, and S. Seitz, "Ranking domain-specific highlights by analyzing edited videos," European Conference on Computer Vision, Zurich, Swiss, pp. 708-802, 2014, doi:10.1007/978-3-319-10590-1_51.

상세보기
Z. Xiong, R. Radhakrishnan, A. Divakaran, T.S. Huang, "Highlights extraction from sports video based on an audio-visual marker detection framework," IEEE International Conference on Mulimedia and Expo, Amsterdam, Netherlands, pp. 29-32, 2005.
Korea Communications Agency, "온라인개인방송서비스이용행태조사(A Study on the User Behavior of Online Personal Broadcasting Service)," 2014.07.
Twitch, https://www.twitch.tv/ (accessed Dec. 28, 2017).

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증