초록 ▼

- 최근 eSports의 호황과 그에 따른 하이라이트 영상에 대한 수요가 늘어남에 따라 시청자의 편의를 위해 하이라이트 영상을 자동으로 예측하는 모델을 제안함.
- 제안하는 모델은 게임 화면 자체를 활용하는 컴퓨터 비전, 채팅을 활용하는 자연어 처리, 해설자의 목소리인 오디오 정보를 이용하여 다원화 방식의 딥러닝, 즉 multi-modal 딥러닝을 통해 비디오에서 하이라이트의 위치가 어디인지를 알려줌.
- 모델은 CNN, LSTM 네트워크 구조를 사용하였으며, 각각의 modal에 대하여 먼저 실험을 거친후, multi-m

- 최근 eSports의 호황과 그에 따른 하이라이트 영상에 대한 수요가 늘어남에 따라 시청자의 편의를 위해 하이라이트 영상을 자동으로 예측하는 모델을 제안함.
- 제안하는 모델은 게임 화면 자체를 활용하는 컴퓨터 비전, 채팅을 활용하는 자연어 처리, 해설자의 목소리인 오디오 정보를 이용하여 다원화 방식의 딥러닝, 즉 multi-modal 딥러닝을 통해 비디오에서 하이라이트의 위치가 어디인지를 알려줌.
- 모델은 CNN, LSTM 네트워크 구조를 사용하였으며, 각각의 modal에 대하여 먼저 실험을 거친후, multi-modal 실험을 진행함.
- 경기가 중계된 방송 플랫폼에서 빅데이터 비디오를 다운로드 받아 학습과 평가를 하였으며, 제안하는 모델이 하이라이트 예측에 유용함을 보였음.

(출처 : 초록 3p)

Abstract ▼

The goal is to automatically generate eSports highlights videos using the Multimodal Deep Learning, which combines Computer Vision and Natural Language Processing, leveraging visual, auditory, and log data from various games and chat data from the Twitch platform.

Due to frequent eSports tour

The goal is to automatically generate eSports highlights videos using the Multimodal Deep Learning, which combines Computer Vision and Natural Language Processing, leveraging visual, auditory, and log data from various games and chat data from the Twitch platform.

Due to frequent eSports tournaments, fans cannot watch and keep up with every game of their favorite team. Moreover, a full match might contain only a few important moments. Therefore, there is an increasing demand for eSports video game summarization, i.e. generating videos showing the important moments(highlights) of the game. YouTube channels for eSports highlights gather hundredsof millions of views.

However, all of the highlight videos are made manually, where an editor has to watch full game to manually annotate best moments. This issue gets even worse during very big tournaments. During major eSports tournaments, where more than 30 matches are played per day, organizers have to hire a crew of dozens of people who sit and watch every match to record the best moments. In contrast, YouTube highlight makers have to sit all day and watch every game to find the best moments, or skip some games at all. Thus, existing highlight creation methods are manual and time consuming. On average it takes at least 1.5 hours to create ahighlight video.

In contrast, we can create highlights in fully automatic manner, as much as possible. This means we can create highlight video for every game and every match played during the day. By leveraging available open source eSports big data,we can train a multi-model deep learning network to predict highlight intervals from a full game video.

Currently, more than 300 hours video are being uploaded to Youtube per a minute. In the modern society, the video contents are exploding and become the most common source of information. Therefore, generating summary (highlight) of the video is essential, since we can save tremendous amount of time for people.

(출처 : SUMMARY 5p)

목차 Contents

• 표지 ... 1
• 제 출 문 ... 2
• 보고서 초록 ... 3
• 요 약 문 ... 4
• S U M M A R Y ... 5
• C O N T E N T S ... 6
• 목차 ... 7
• 제 1 장 연구개발과제의 개요 ... 8
• 1 절. eSports 문화의 배경 ... 8
• 2 절. 문제 정의 ... 9
• 3 절. 연구 목표 ... 10
• 제 2 장 국내외 기술개발 현황 ... 11
• 1 절. 컴퓨터 비전과 오디오 ... 11
• 2 절. 자연어 처리 ... 11
• 제 3 장 방법론 ... 13
• 1 절. 채팅 기반의 하이라이트 검출 모델 ... 13
• 2 절. 게임 로그 기반의 하이라이트 검출 모델 ... 14
• 3 절. 비전과 비디오 기반의 하이라이트 검출 모델 ... 15
• 4 절. 다원화 모델 기반의 하이라이트 검출 모델 ... 16
• 제 4 장 실험 ... 17
• 1 절. 데이터 셋 정보 ... 17
• 2 절. 평가 지표 ... 18
• 3 절. 정량적 평가 ... 20
• 제 5 장 한계 및 향후 연구 방향 ... 22
• 제 6 장 결론 ... 22
• 제 7 장 참고문헌 ... 23
• 끝페이지 ... 24