초록 ▼

□ 연구의 목적 및 내용
누구나 쉽게 뮤비감독처럼 자신의 일상을 뮤직비디오로 만들어 공유할 수 있는 모바일 뮤직비디오 편집 툴 ‘Groovo’ 구현을 위한 기술개발
- 이미지/영상에 어울리는 음악 연상의 문제 해결
- 아마추어도 손쉽게 영상 효과 및 전환을 음악과 동기시킬 수 있도록 함

□ 연구개발 성과
○ 인공지능 기반의 영상-대-음악 추천시스템 - 5백만 이상 플레이리스트, 3000만 이상 (중복 포함) 학습곡 크롤링 및 벡터화
- 100만여개의 뮤직비디오/광고 영상을 대상으로 장소, 얼굴

□ 연구의 목적 및 내용
누구나 쉽게 뮤비감독처럼 자신의 일상을 뮤직비디오로 만들어 공유할 수 있는 모바일 뮤직비디오 편집 툴 ‘Groovo’ 구현을 위한 기술개발
- 이미지/영상에 어울리는 음악 연상의 문제 해결
- 아마추어도 손쉽게 영상 효과 및 전환을 음악과 동기시킬 수 있도록 함

□ 연구개발 성과
○ 인공지능 기반의 영상-대-음악 추천시스템 - 5백만 이상 플레이리스트, 3000만 이상 (중복 포함) 학습곡 크롤링 및 벡터화
- 100만여개의 뮤직비디오/광고 영상을 대상으로 장소, 얼굴 인식 및 인코딩, 멀티모덜 임베딩
- 관련 데이터 정제와 태깅 시스템 개발
- 모바일 환경에서 상용화 가능하도록 추천 엔진 최적화 (서버 처리 속도 개선)
○ 비트 검출, 영상-효과 동기 기술 - 오디오 신호로부터 리듬 및 보컬 데이터 분리, 검출 및 영상 적용 타이밍/세기 동기화
- 음악 분위기와 어울리며 비트/멜로디에 반응하는 비주얼 필터 개발 (10 여종 이상)
- 모바일 환경에서 상용화 가능하도록 리듬 검출 엔진 최적화
○ 위 기술이 적용된 모바일 어플리케이션 groovo 개발 및 UX 합리화 - 사용자가 선택한 이미지/영상에 어울리는 음악 추천 제공
- 선택한 노래에서 검출된 비트/키프레임 타이밍에 맞게 적용되는 영상효과
- 동시 선택 가능한 이미지/영상 10개 이상, 쉬운 편집 등 UX 합리화

□ 연구개발 성과의 활용 계획 (기대 효과)
○ 영상-대-음악추천시스템
- 어울리는 배경음악 선택의 어려움을 AI의 도움으로 해결
- 유사 아티스트나 장르 등 전문적인 사전지식 없이 선택된 학습된 모델을 통해 사진/영상과 유사한 장면이 주로 사용된 뮤직비디오/광고 영상에 삽입된 음악과 유사 음악을 추천
- 사용자들이 선택한 영상-음악 데이터가 늘어날수록 추천시스템 성능 고도화
○ 리듬/키프레임 검출 및 영상-음악 동기화
- 미리 수동 맵핑한 제한적 라이브러리 대신 사용자가 선택한 음악을 실시간으로 분석하여 리듬(베이스 드럼/스네어 드럼)부 분리/검출 및 키프레임을 검출하여 효과 적용 타이밍을 계산
- 사용자가 수동으로 이펙트 적용 타이밍/세기를 지정할 필요 없이 시스템이 자동으로 적용
- 아마추어도 전문가 수준의 이펙트를 손쉽게 적용하여 고퀄리티의 스낵사이즈 영상 콘텐츠 제작 가능

(출처 : 요약문 3p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요약문 ... 3
• 목차 ... 4
• 1. 연구개발과제의 개요 ... 5
• 가. 연구개발 목적 ... 5
• 나. 연구개발의 필요성 ... 5
• 다. 연구개발 범위 ... 5
• 2. 연구수행내용 및 성과 ... 6
• 가. 연구결과 ... 6
• 나. 연구개발 추진전략·방법 ... 6
• 다. 연구개발 수행과정 ... 9
• 라. 연구개발 성과 ... 10
• 3. 목표 달성도 및 관련 분야 기여도 ... 11
• 가. 목표 달성도 ... 11
• 나. 관련 분야 기여도 ... 15
• 4. 연구개발성과의 활용 현황 및 향후 계획 ... 16
• 가. 문화상품 개요(콘텐츠, 프로젝트, 서비스, 제품 등) ... 16
• 나. 문화상품 내 개발기술 적용 현황 ... 16
• 다. 비즈니스 모델 ... 17
• 다. 문화상품 사업화 현황 ... 18
• 라. 향후 사업화 추진 계획 ... 20
• 끝페이지 ... 22