보고서 정보
주관연구기관 |
한국과학기술원 Korea Advanced Institute of Science and Technology |
연구책임자 |
차미영
|
참여연구자 |
Jean-Charles Bazin
,
조윤재
,
송현호
,
김관동
,
박성규
|
보고서유형 | 최종보고서 |
발행국가 | 대한민국 |
언어 |
한국어
|
발행년월 | 2020-01 |
과제시작연도 |
2019 |
주관부처 |
과학기술정보통신부 Ministry of Science and ICT |
등록번호 |
TRKO202000029180 |
과제고유번호 |
1711100203 |
사업명 |
한국과학기술원연구운영비지원(R&D)(주요사업비) |
DB 구축일자 |
2020-08-22
|
키워드 |
다원화 방식의 딥러닝.이스포츠.컴퓨터 비전.자연어처리.Multi-modal deep learning.eSports.Computer Vision.Natural language processing.
|
초록
▼
- 최근 eSports의 호황과 그에 따른 하이라이트 영상에 대한 수요가 늘어남에 따라 시청자의 편의를 위해 하이라이트 영상을 자동으로 예측하는 모델을 제안함.
- 제안하는 모델은 게임 화면 자체를 활용하는 컴퓨터 비전, 채팅을 활용하는 자연어 처리, 해설자의 목소리인 오디오 정보를 이용하여 다원화 방식의 딥러닝, 즉 multi-modal 딥러닝을 통해 비디오에서 하이라이트의 위치가 어디인지를 알려줌.
- 모델은 CNN, LSTM 네트워크 구조를 사용하였으며, 각각의 modal에 대하여 먼저 실험을 거친후, multi-m
- 최근 eSports의 호황과 그에 따른 하이라이트 영상에 대한 수요가 늘어남에 따라 시청자의 편의를 위해 하이라이트 영상을 자동으로 예측하는 모델을 제안함.
- 제안하는 모델은 게임 화면 자체를 활용하는 컴퓨터 비전, 채팅을 활용하는 자연어 처리, 해설자의 목소리인 오디오 정보를 이용하여 다원화 방식의 딥러닝, 즉 multi-modal 딥러닝을 통해 비디오에서 하이라이트의 위치가 어디인지를 알려줌.
- 모델은 CNN, LSTM 네트워크 구조를 사용하였으며, 각각의 modal에 대하여 먼저 실험을 거친후, multi-modal 실험을 진행함.
- 경기가 중계된 방송 플랫폼에서 빅데이터 비디오를 다운로드 받아 학습과 평가를 하였으며, 제안하는 모델이 하이라이트 예측에 유용함을 보였음.
(출처 : 초록 3p)
Abstract
▼
The goal is to automatically generate eSports highlights videos using the Multimodal Deep Learning, which combines Computer Vision and Natural Language Processing, leveraging visual, auditory, and log data from various games and chat data from the Twitch platform.
Due to frequent eSports tour
The goal is to automatically generate eSports highlights videos using the Multimodal Deep Learning, which combines Computer Vision and Natural Language Processing, leveraging visual, auditory, and log data from various games and chat data from the Twitch platform.
Due to frequent eSports tournaments, fans cannot watch and keep up with every game of their favorite team. Moreover, a full match might contain only a few important moments. Therefore, there is an increasing demand for eSports video game summarization, i.e. generating videos showing the important moments(highlights) of the game. YouTube channels for eSports highlights gather hundredsof millions of views.
However, all of the highlight videos are made manually, where an editor has to watch full game to manually annotate best moments. This issue gets even worse during very big tournaments. During major eSports tournaments, where more than 30 matches are played per day, organizers have to hire a crew of dozens of people who sit and watch every match to record the best moments. In contrast, YouTube highlight makers have to sit all day and watch every game to find the best moments, or skip some games at all. Thus, existing highlight creation methods are manual and time consuming. On average it takes at least 1.5 hours to create ahighlight video.
In contrast, we can create highlights in fully automatic manner, as much as possible. This means we can create highlight video for every game and every match played during the day. By leveraging available open source eSports big data,we can train a multi-model deep learning network to predict highlight intervals from a full game video.
Currently, more than 300 hours video are being uploaded to Youtube per a minute. In the modern society, the video contents are exploding and become the most common source of information. Therefore, generating summary (highlight) of the video is essential, since we can save tremendous amount of time for people.
(출처 : SUMMARY 5p)
목차 Contents
- 표지 ... 1
- 제 출 문 ... 2
- 보고서 초록 ... 3
- 요 약 문 ... 4
- S U M M A R Y ... 5
- C O N T E N T S ... 6
- 목차 ... 7
- 제 1 장 연구개발과제의 개요 ... 8
- 1 절. eSports 문화의 배경 ... 8
- 2 절. 문제 정의 ... 9
- 3 절. 연구 목표 ... 10
- 제 2 장 국내외 기술개발 현황 ... 11
- 1 절. 컴퓨터 비전과 오디오 ... 11
- 2 절. 자연어 처리 ... 11
- 제 3 장 방법론 ... 13
- 1 절. 채팅 기반의 하이라이트 검출 모델 ... 13
- 2 절. 게임 로그 기반의 하이라이트 검출 모델 ... 14
- 3 절. 비전과 비디오 기반의 하이라이트 검출 모델 ... 15
- 4 절. 다원화 모델 기반의 하이라이트 검출 모델 ... 16
- 제 4 장 실험 ... 17
- 1 절. 데이터 셋 정보 ... 17
- 2 절. 평가 지표 ... 18
- 3 절. 정량적 평가 ... 20
- 제 5 장 한계 및 향후 연구 방향 ... 22
- 제 6 장 결론 ... 22
- 제 7 장 참고문헌 ... 23
- 끝페이지 ... 24
※ AI-Helper는 부적절한 답변을 할 수 있습니다.