[논문]장르별 클라이맥스 패턴 적용 자동 영상편집 어플리케이션

임혜정; 문혜준; 박가은; 임양미

장르별 클라이맥스 패턴 적용 자동 영상편집 어플리케이션
Automatic Video Editing Application based on Climax Pattern Classified by Genre 원문보기

임혜정 (덕성여자대학교) , 문혜준 (덕성여자대학교) , 박가은 (덕성여자대학교) , 임양미 (덕성여자대학교)

최근 유튜브, 네이버와 같은 플랫폼 사업자들은 다양하고 많은 동영상확보를 위해 최대한 시간을 적게 들이고 좋은 퀄리티의 영상을 자동으로 생성해주는 어플리케이션을 개발하는데 AI 기술을 적극적으로 사용하고 있다. 가장 주도적으로 진행하는 곳은 IBM 의 왓슨의 인지하이라이트 기술이다. 관중의 함성소리와 스포츠특성 데이터들을 활용하여 하이라이트 부분의 영상만 자동 생성하고 있다. 하지만 현재까지의 기술은 인간의 감성을 자극하는 스토리 전개방식의 자동영상 생성에 있어서는 부족한 부분이 많이 존재한다.이 에 본 논문은 영화의 클라이맥스 부분의 영상편집방식을 분석하여 이에 대한 장르별 샷 사이즈 변화패턴을 시각화한 후, 장르간 편집 차이점을 패턴화한 템플릿을 구축하여 사용자의 이미지 데이터들을 장르별 클라이맥스 패턴의 특성에 맞게 추천하여 짧은 영상을 자동 생성하는 어플리케이션을 개발하였다. 향후 본 연구는 1 인 미디어 산업 및 사이버교육 분야에서 가장 많이 소요되는 영상편집 시간을 단축하는데 큰 효율이 있을 것이라 기대한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이들의 공통된 기술지원은 AI 기술이다. 사용자의 사용패턴과 영상편집의 특성을 학습시켜 최적화된 짧은 동영상을 제공하는 것이다.
우리는 사용자의 어플리케이션 사용 의도를 우선적으로 고려하고자 한다. 사용자는 제작하고 싶은 컨텐츠가 있기 때문에 어플리케이션을 사용할 것이다.

제안 방법

네이버의 블로그 어플리케이션은 동영상촬영, 음성 분리, 자막편집, 스틸 이미지 추출이 가능하고, 아이폰의 아이무비는 공포, 드라마 등의 장르 형식 편집이 가능하도록 템플릿을 제공 및 추천하는 기능이 탑재되어있다. 구글 포토 또한 사용자의 사진과 동영상을 모아놓는 앨범을 활용하여 사진과 동영상을 시각적으로 배치하는 타임라인 기능을 제공한다. 이들의 공통된 기술지원은 AI 기술이다.
본 논문의 구성은 영화의 장르별에서 나타나는 클라이맥스 패턴의 편집 구성분석,학습방법과 환경개발,클라이맥스 시각화, 사용자 이미지데이터 추천시스템 개발 등에 대한 기술적 사항과 본 연구에서 선행 연구됐던 샷 사이즈 분류 및 장르별 클라이맥스 패턴 모델을 제시한다. 둘째,데이터 학습 정확도 향상을 위한 트레이닝 방법과 환경 의 구성도를 설명하고 사용자 디바이스 내에 있는 이미지들의 추천 알고리즘의 구현에 대해 설명하고 향후 연구과제를 도출한다.
하지만 3 분류의 Class 타입으로는 클라이맥스 패턴 유형 검출 정확도가 저조하였고 패턴의 형태가 장르구분까지 는 가능하지 못했다. 따라서 본 연구에서는 샷 사이즈 중 extreme close-up 과 extremelong 샷의 데이터확장을 통해 재 학습을 시도하였고, 추가적으로 close-up 과 full 의 미묘한 샷 사이즈를 분류하여 middle 샷을 추출할 수 있도록 하였다.그림 1은 6Class (extreme close-up, close-up, middle, full, long, extreme long) 모델로 확장하였을 때의 샷 사이즈 데이터 비율이다.
본 논문의 구성은 영화의 장르별에서 나타나는 클라이맥스 패턴의 편집 구성분석,학습방법과 환경개발,클라이맥스 시각화, 사용자 이미지데이터 추천시스템 개발 등에 대한 기술적 사항과 본 연구에서 선행 연구됐던 샷 사이즈 분류 및 장르별 클라이맥스 패턴 모델을 제시한다. 둘째,데이터 학습 정확도 향상을 위한 트레이닝 방법과 환경 의 구성도를 설명하고 사용자 디바이스 내에 있는 이미지들의 추천 알고리즘의 구현에 대해 설명하고 향후 연구과제를 도출한다.
본 연구는 샷 사이즈 패턴 분석을 통해 클라이맥스 부분에서 나타 나는 특징을 기반으로 장르를 분석한다. 이를 위해 선행으로 연구됐던 샷 사이즈 유형 검출 시스템 환경에서 CNN 기반 YOLO 모델을 사용하여 샷 사이즈 유형 close-up, full, long 세 타입을 검출하고 클라이맥스 패턴을 분석하였다 [1].
본 연구는 영화의 클라이맥스 부분의 샷 사이즈, 샷 앵글, 샷의 길이를 활용하여 사용자의 스마트 폰 내에 저장된 이미지를 활용하여 영화의 장르별로 나타나는 특징적인 편집 패턴을 활용하여 짧은 영상을 자동 편집하는 어플리케이션을 개발한다.
본 연구의 현재까지 진행은 드라마(로맨스)와 공포 영화의 클라이맥스 시각화와 추천 시스템을 통한 이미지데이터들을 활용하여 장르별 클라이맥스 표현이 가능한 어플리케이션을 구현하였다. 하지만 아직 장르 내 세부적 분류에 맞는 장르 패턴분석이 이루어지지 않았으며, 추가적인 분석을 통해 세부 장르별 템플릿을 구성할 예정이다.
본 연구는 샷 사이즈 패턴 분석을 통해 클라이맥스 부분에서 나타 나는 특징을 기반으로 장르를 분석한다. 이를 위해 선행으로 연구됐던 샷 사이즈 유형 검출 시스템 환경에서 CNN 기반 YOLO 모델을 사용하여 샷 사이즈 유형 close-up, full, long 세 타입을 검출하고 클라이맥스 패턴을 분석하였다 [1].하지만 3 분류의 Class 타입으로는 클라이맥스 패턴 유형 검출 정확도가 저조하였고 패턴의 형태가 장르구분까지 는 가능하지 못했다.

후속연구

하지만 인서트 샷의 시점과 샷의 길이에 대한 데이터 부족으로 일반화 하기에는 아직 이르다고 판단하였다. 따라서 향후, 이에 대한 추가적인 데이터를 더욱 확보하고 추천시스템을 개선할 수 있는 방법을 고려하여 사용자 사진과의 매칭에 대한 추가적인 연구를 진행할 예정이다.
따라서 사용자가 디바이스 내에 저장된 수많은 이미지 중에 영상에 사용될 이미지 pool 을 구성한다. 이후 클라이맥스 패턴을 구성하는 메타데이터를 기반으로 이미지 pool 내에서 최종적으로 영상에 사용될 사진을 추천한다.
본 연구의 현재까지 진행은 드라마(로맨스)와 공포 영화의 클라이맥스 시각화와 추천 시스템을 통한 이미지데이터들을 활용하여 장르별 클라이맥스 표현이 가능한 어플리케이션을 구현하였다. 하지만 아직 장르 내 세부적 분류에 맞는 장르 패턴분석이 이루어지지 않았으며, 추가적인 분석을 통해 세부 장르별 템플릿을 구성할 예정이다. 하지만 인서트 샷의 시점과 샷의 길이에 대한 데이터 부족으로 일반화 하기에는 아직 이르다고 판단하였다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

장르별 클라이맥스 패턴 적용 자동 영상편집 어플리케이션
Automatic Video Editing Application based on Climax Pattern Classified by Genre 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

장르별 클라이맥스 패턴 적용 자동 영상편집 어플리케이션 Automatic Video Editing Application based on Climax Pattern Classified by Genre 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

장르별 클라이맥스 패턴 적용 자동 영상편집 어플리케이션
Automatic Video Editing Application based on Climax Pattern Classified by Genre 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper