초록 ▼

□ 핵심기술
사용자로부터 입력 받은 동영상 및 이미지로부터 지능적 스토리텔링 분석 및 일련의 영상편집 과정을 수행하는 지능형 감성편집 자동화 기술

□ 최종목표
▪ 영상 콘텐츠의 지능적 스토리텔링 분석 시스템 (S/W)
▪ 사용자 인터랙션을 갖는 지능형 영상 자동 감성편집 시스템 (S/W)
▪ 콘텐츠 자동 편집에 최적화된 NAS 통합 솔루션 (SYS)

□ 개발내용 및 결과
▪ NAS 등 다양한 스토리지로부터 입력받은 사진 또는 동영상과 같은 디지털 영상을 소재로 하여 이를 가공, 사

□ 핵심기술
사용자로부터 입력 받은 동영상 및 이미지로부터 지능적 스토리텔링 분석 및 일련의 영상편집 과정을 수행하는 지능형 감성편집 자동화 기술

□ 최종목표
▪ 영상 콘텐츠의 지능적 스토리텔링 분석 시스템 (S/W)
▪ 사용자 인터랙션을 갖는 지능형 영상 자동 감성편집 시스템 (S/W)
▪ 콘텐츠 자동 편집에 최적화된 NAS 통합 솔루션 (SYS)

□ 개발내용 및 결과
▪ NAS 등 다양한 스토리지로부터 입력받은 사진 또는 동영상과 같은 디지털 영상을 소재로 하여 이를 가공, 사용자의 감성을 자극하는 동영상 콘텐츠를 생성하는 일련의 처리과정을 자동화 수행하는 기술과 함께 장면 및 인물 기반 수동 편집을 지원하는 웹서비스를 개발하기 위하여 아래와 같이 연구개발을 완료하였음

1. 장면기반 품질검사, 얼굴검출 및 주인공 인식, 주감성 인식을 통한 지능적 스토리텔링 구조 분석 기술 개발 (㈜이타기술)
2. 수동편집을 위한 사용자 인터랙션을 포함하는 지능형 동영상 감성 편집 시스템 개발 (㈜이타기술)
3. 개인화 영상 콘텐츠 관리체계를 갖는 NAS 디바이스 개발
(㈜세종소프트)
4. 주감성 인식을 위한 얼굴표정 인식 기술 개발
(경희대학교 산학협력단)

각 참여기관의 세부개발수행 결과는 아래와 같음
1. 장면기반 품질검사, 얼굴검출 및 주인공 인식, 주감성 인식을 통한 지능적 스토리텔링 구조 분석 기술 개발 ((주)이타기술)
▪ 다중 콘텐츠 분석 작업 및 편집 작업 관리 시스템 설계와 구현
▪ 장면기반 지능형 영상 품질검사 및 오류보정 기술 개발
▪ 콘텐츠 분류를 위한 장면기반 스토리텔링 구조 분석 기술 개발


2. 수동편집을 위한 사용자 인터랙션을 포함하는 지능형 동영상 감성 편집 시스템 개발 ((주)이타기술)
▪ 스토리텔링 기반 스토리보드 처리 기능 개발
▪ 스토리보드 기반 콘텐츠 편집 엔진 개발
▪ GPU 및 CPU 기반 병렬처리 기능 개발
※ 스크린샷의 앨범 아트는 UI 동작을 예시하기 위함
※ 상단은 입력 원본 영상 목록, 좌측하단은 원본의 장면, 우측하단은 현재 편집에 포함된 스토리보드상의 장면 배열 정보
※ 상단은 입력 원본으로부터 추출된 전체 대표 얼굴 목록, 좌측하단은 각 대표 얼굴에 해당하는 얼굴이 포함된 장면 목록, 우측하단은 현재 편집에 포함된 스토리보드상의 장면 배열 정보

3. 개인화 영상 콘텐츠 관리체계를 갖는 NAS 디바이스 개발 ((주)세종소프트)
▪ NAS 하드웨어 설계
▪ NAS 관리체계 개발
▪ 외부 프로그램 연동 기능 개발
▪ 시작품 제작

4. 주감성 인식을 위한 얼굴표정 인식 기술 개발 (경희대학교 산학협력단)
▪ 얼굴 특징의 위치를 이용한 가변 크기 블록 설정방법 연구
▪ 가변 크기 블록의 최적크기 설정방법 연구
▪ 위치정보 극대화 방안 연구
▪ 얼굴 표정 인식 알고리즘과 테스트 시스템 개발

□ 기술개발 배경
“영상기반 기술 및 서비스의 대중화에 따른 사업기회 확대”

영상 콘텐츠를 바탕으로 하는 수익모델 대두 :
▪ Google과 Facebook 등 글로벌 기업들은 새로운 수익 모델의 하나로 동영상 콘텐츠 기반 서비스에 대규모 투자를 이어가고 있음
▪ 영상 편집 관련 모바일 앱의 경우 1천만 건 이상 판매, 전 세계적으로 5 천만 명 이상 이용자를 확보한 VivaVideo 등, 영상 편집에 대한 대중의 높은 관심을 확인할 수 있음
▪ 이러한 서비스 이용자들은 남들과 다른 자신만의 독특한 영상을 만들고 공유할 수 있는 창작도구를 원하고 있음
▪ 립싱크를 위한 Dubsmash와 Musical.ly, 개인 방송을 위한 Periscope와 Facebook Live, 이미지 재구성 및 조작을 위한 Prisma와 Artisto, 그리고 moving GIFs를 손쉽게 저작할 수 있는 Boomerang과 Phhhoto 등 간단한 영상조작 및 창작기능을 탑재한 다양한 서비스가 출시됨

영상 콘텐츠 편집의 장애요소 :
▪ 대부분의 경우 개인이 촬영한 영상 콘텐츠는 메모리카드 또는 하드디스크 등의 저장장치에 쌓여있음
▪ 소재가 되는 사진 또는 동영상 콘텐츠에 대하여 편집자가 각각의 사진 또는 동영상의 각 프레임을 육안으로 확인하여 필요한 장면을 선별/추출하는 과정을 수반함
▪ 소재 영상의 선별은 분량에 비례하여 많은 시간을 요하는 문제가 있음
▪ 이와 별개로 편집 기술의 측면에서, Adobe Premiere Pro 또는 Apple의 FinalCut Pro 등 고가의 전문적인 NLE (Non-Linear Editing) 솔루션을 구비하더라도 정교한 편집을 위해서는 경험과 감각, 높은 숙련도를 요하는 등 일반 사용자가 쉽게 접근할 수 없는 진입 장벽이 존재함

▪ Magisto는 자체 개발한 인공지능 기술을 이용하여 소재 콘텐츠와 테마, 배경음악을 선택하는 세 단계 과정만으로 자동 편집된 동영상을 생성해주는 서비스를 제공하고 있으나, 편집 결과물의 장면 간 연관성이 배제되어 있거나 주요 등장인물과 무관한 인물의 장면이 포함되는 등의 사례가 있음
▪ Google 또한 Photo 서비스를 통해 유사 서비스를 제공하고 있으며, 사용자의 요구가 없어도 시스템이 스스로 편집물을 생성하여 제공하는 의외성 또는 흥미유발 요소를 포함하나 사용자 의도와 무관하거나 의미 없는 결과물을 제시하는 사례가 있음

자체 보유 기술을 확장한 새로운 제품 및 사업기회 확보 목적 :
▪ 일반 대중이 생산한 영상 콘텐츠의 가치와 수요는 더욱 증가할 것으로 예상하며, 이에 따라 간편한 편집이 가능한 기술에 대한 요구가 높아지고 있음
▪ 앞서 제시한 Magisto의 경우가 그러하며, Google 또한 유사한 기능을 선보이는 등 유사 기술의 경쟁이 시작되었음
▪ 향후 가공된 콘텐츠의 품질에 있어 사용자의 감성적 가치를 보다 자연스럽게 구사할 수 있는 지능적 영상처리 및 자동 편집 기술에 대한 요구가 증가할 것으로 예상
▪ 특히, 기존 솔루션을 라이선싱 또는 연동할 경우 로열티 부담과 함께 내장된 편집 형식이 제한되어 추가확장이 어렵다는 점 또한 시장 대응 및 효과적인 응용 서비스 구축의 장애요소로 작용함

▪ 주관기관인 ㈜이타기술은 기존에 자체 연구개발을 통해 확보한 국내 유일의 영상 콘텐츠 품질검사 솔루션인 Hawkeye 등을 KBS 및 국가기록원 등 다양한 기관 및 기업에 납품한 바 있음
▪ 기 보유 중인 이러한 핵심 영상분석기술을 바탕으로 자동 영상편집에 있어 최적화된 분석 기법을 개발하고 사용자의 편집의도와 감성 만족도를 높일 수 있는 지능적 동영상 편집 기술의 연구개발을 수행하고자 본 사업을 제안하였음

□ 핵심개발 기술의 의의
기술국산화 통한 수입대체 효과 기대 :
▪ 서비스 확장성을 보장하는 동영상 편집 기술의 국산화 달성

영상 편집 솔루션 및 제품화를 위한 기반 기술 확보 :
▪ 일반 사용자 대상 웹 서비스 기반 확보
▪ 기업대상 전용 NAS와 편집 서버를 포함하는 패키지 솔루션 가능

기존 방송, 인터넷, 교육 분야 등 타 사업과 연계 기대 :
▪ 자체 보유 중인 솔루션 및 기술의 기능적 확장을 통한 공통 플랫폼 기술 확보
▪ 방송 및 영화의 예고편, 교육 콘텐츠 저작 등에 적용 가능한 Video digest 기술 확보
▪ 기업, 상품 등의 홍보 영상 제작 솔루션 및 서비스로의 확장 가능
▪ 비디오, 이미지, 오디오의 Muxing 노하우를 바탕으로 다양한 콘텐츠 저작 분야 진입 기대

□ 적용 분야
즉시 가능 분야: Video summary 및 영상 저작 솔루션
▪ 본 사업 통해 장면인식 기반 지능적 스토리텔링 구조 분석 기술 및 Audio/Video Muxing 기술을 확보하였음
▪ 특히 장면단위 편집을 지원하는 본 과제 개발 산출물은 그 자체로 Video summary 기술을 내포함
▪ 따라서 방송, 영화, 광고 산업분야에서의 서비스 타깃별 예고편 제작, 콘텐츠 판매를 위한 비디오 카탈로깅 제작 등의 요구에 부합하는 솔루션의 즉시 상품화 가능함
▪ 또, 온라인 강의 등 교육 분야 콘텐츠 제작을 위한 저작 솔루션의 기반 시스템으로 활용 가능함

그 외 본 사업 통한 확보 기술의 확장 및 응용가능 분야 :
▪ 지능적 콘텐츠 선별 및 관리 지원 체계
▪ 스토리보드, 즉 편집 정보의 메타 데이터 기반 NLE 연동 지원
▪ 웹 기반 서비스 UI에 기반한 글로벌 영상 편집 서비스
▪ 유연한 확장 가능한 분산처리 구조 및 GPU기반 알고리즘 고속화 병렬처리 기술 확보에 따른 대용량 미디어 처리 시스템

( 출처: 최종보고서 초록 - 3. 개발결과 요약 5p )

목차 Contents

• 표지 ... 1
• 제 출 문 ... 2
• 산단R&BD역량강화사업 최종보고서 초록 ... 3
• 기술개발사업 주요 연구성과 ... 22
• 목차 ... 26
• 제 1 장 서론 ... 27
• 제 1 절 과제의 개요 ... 27
• 1. 개발기술의 개요 ... 27
• 2. 기술개발의 배경 ... 29
• 제 2 장 과제 수행의 내용 및 결과(기술개발 내용 및 방법) ... 31
• 제 1 절 최종 목표 및 평가 방법 ... 31
• 1. 기술개발 목표 ... 31
• 2. 기술개발 내용 ... 32
• 3. 평가 방법 ... 33
• 제 2 절 단계 목표 및 평가 방법 ... 34
• 제 3 절 연차별 개발 내용 및 개발 범위 ... 34
• 1. 장면기반 품질검사, 얼굴검출 및 주인공 인식, 주감성 인식을 통한 지능적 스토리텔링 구조 분석 기술 개발 - ㈜이타기술 (주관기관) 수행 내역 ... 34
• 2. 수동편집을 위한 사용자 인터랙션을 포함하는 지능형 동영상 감성 편집 시스템 개발 - ㈜이타기술 (주관기관) 수행 내역 ... 57
• 3. 개인화 영상 콘텐츠 관리체계를 갖는 NAS 디바이스 개발 - ㈜세종소프트 (참여기관) 수행내역 ... 66
• 4. 주감성 인식을 위한 얼굴표정 인식 기술 개발 - 경희대학교 산학협력단 (참여기관) 수행내역 ... 81
• 제 4 절 수행 결과의 보안등급 ... 110
• 제 5 절 유형적 발생품(연구시설, 연구장비 등) 구입 및 관리 현황 ... 110
• 제 3 장 결과 및 사업화 계획 ... 111
• 제 1 절 연구개발 최종 결과 ... 111
• 1. 연구개발 추진 일정 및 실적 ... 111
• 2. 정량적 평가 및 주요 기술성과 분석 ... 112
• 3. 기술개발 결과의 유형 및 무형 성과 요약 ... 120
• 제 2 절 연구개발 추진 체계 ... 121
• 1. 각 기관/기업별 역할 및 추진 내역 ... 121
• 제 3 절 시장 현황 및 사업화 전망(당초 기술개발 시작 시점의 조사와 변화된 것 위주로 기술) ... 123
• 제 4 절 고용 창출 효과 ... 125
• 제 5 절 자체보안관리진단표 ... 126
• 끝페이지 ... 127