초록 ▼

연구개발목표 및 내용
최종 목표
○ 숏폼 콘텐츠 자동 편집을 위한 AI 멀티모달 내용검색 솔루션
· 지능형 내용 검색을 적용하여 숏폼 콘텐츠 제작 시간을 단축할 수 있도록 안면인식, 동영상분석, 음성판별, 음성인식 등 딥러닝 기반 인식 및 분석 기술을 결합한 멀티모달 내용 검색기술을 개발하고 그 결과를 기존 디지털 편집 도구에서 활용할 수 있도록 XML 파일로 출력
· 얼굴 식별, 객체 인식, 행동 인식, 음성 잡음제거, 음성 소스 분리 들 기존 보유 기술 외에 추가적으로 장면 분할, 동영상 재식별, 음성 구간

연구개발목표 및 내용
최종 목표
○ 숏폼 콘텐츠 자동 편집을 위한 AI 멀티모달 내용검색 솔루션
· 지능형 내용 검색을 적용하여 숏폼 콘텐츠 제작 시간을 단축할 수 있도록 안면인식, 동영상분석, 음성판별, 음성인식 등 딥러닝 기반 인식 및 분석 기술을 결합한 멀티모달 내용 검색기술을 개발하고 그 결과를 기존 디지털 편집 도구에서 활용할 수 있도록 XML 파일로 출력
· 얼굴 식별, 객체 인식, 행동 인식, 음성 잡음제거, 음성 소스 분리 들 기존 보유 기술 외에 추가적으로 장면 분할, 동영상 재식별, 음성 구간 검출, 화자 식별 등 핵심 요소 기술들을 개발하여 멀티모달 내용 검색 기술로 통합
전체 내용
○ 장면분할 기술
· 히스토그램(Histogram) 차이 비교, 에지(edge) 추출 비교, DCT(Discrete Cosine Transform) 변환 수 계수 등다 수의 장면 분할 방법을 구현하여 분리 성능을 정량적으로 비교하교 영상 장면 분리에 적합한 복수의 기법을 사용, BKS(Behavior Knowlege Space)를 적용하여 결합, 실제 운영 중에도 계속 업데이트하여 분리율을 높일 수 있도록 개발
○ 동영상 재식별 기술
· 짧은 시간 간격으로 추출한 연속적인 프레임에 YOLO5 등 객체인식기를 적용하여 사람의 바운딩박스 확보 후 각 프레임을 보간(Interpolation)하여 동일인에 대한 바운딩박스열 확보
· 삼중항 손실(Triplet loss) 함수 등 특정인에 대한 구분 성능을 높일 수 있는 함수 사용
· OSnet 등 카메라 촬영 위치, 자세, 해상도, 조도, 배경 등의 변화 및 오클루션에 강인한 딥러닝 모델 개발
○ 음성구간 검출 기술 개발
· 방송영상에 포함되어 있는 오디오 신호에 대하여 음성구간과 비음성구간으로 구분하는 기술
· 보유하고 있눈 화자분리 기술을 결합하여 사용함을써 배경음향이 있는 경우에는 높은 정확도를 구분할 수 있도록 개발
○ 음성 식별 기술 개발
· 입력 음성 신호를 주파수 대역으로 변환 후 CNN을 사용하여 모델링, 음성구간 구분 신경망 개발
· 이미 보유하고 있는 잡음 제거 모델에 적용한 음성 특징 벡터 모델을 사용하여 등록한 화자의 음성을 동영상의 음성 신호에서 검출
○ 멀티모달 내용 검색 기술 개발
· 단일 모드 식별 기술 통합 : 영상 및 음성 채널 식별 기술을 휴리스틱적인 방법으로 결합하여 신속하고 신뢰성 있게 장면을 추출할 방법을 개발
· 형식화된 내용 검색 UX 개발 : 자연어 내용 검색에 가까운 성능을 감보할 수 있는 사용자 인터페이스를 개발
· 결과 출력 모듈 개발 : 추출 장면 열을 2종 이상의 편집 SW에서 임포트할 수 있도록 호환성이 보장되는 XML 작성 모듈 개발

연구개발성과

연구개발성과 활용계획 및 기대 효과
○ AI 멀티모달 내용검색 기술의 활용
· 얼굴식별, 재식별, 분할, 음성/화자 식별 및 분리 등의 연구개발성과를 활용, 최근 급속히 성장하고 있는 SHORTFORM 콘텐츠 서비스 비즈니스 모델 및 콘텐츠 제공. 장시간의 전체 동영상 중 시청자들의 인기가 있는 유명한 장면들을 배우, 연기자, 화제 장면 중심으로 자동으로 편집하여 다양한 멀티미디어 매체에 서비스하기 위한 편집 자동화 솔루션 제공.
· 최근 급속히 성장하고 있는 무인상점관제, cctv보안관제, 인상점관제, 출입관제 등 영상분석기반 스마트 보안 등 다양한 산업 분야에 적용
○ AI 기반 동영상 내용 검색 서비스
· 최근 정엑제 또는 종량제 형식의 구독 서비스 형태로 변화하는 추세에 맞추어 공용 클라우드 상에서의 API 서비스 경험과 AWS에서의 SaaS 서비스 셩험을 이용하여 본 개발 기술을 AIaaS화 하여 상용화하여 콘텐츠 홀더 및 숏폼 콘텐츠 홀더 및 숏폼 콘텐츠 서비스 플랫폼에 제공

○ 기대효과
· 편집 담당자가 직접 영상을 모니터링하며 처리해야 했던 장면 분류, 솔루션 도입 및 적용을 통해 기존 쳔집 프로세스 대비 효율적인 방법으로 절차의 간소화, 자동화, 상세한 데이터 추출 등 기술 경쟁력 롹보로 해당 동종 산업의 기술 경쟁력 제고
· 노동 집약적 산업에 속해있는 편집 프로세스 산업군에 솔루션 도입으로 작업 인력 감소에 따라 여유 인력을 고도의 RE-Creation 역할로 전환하며 단순 작업으로 인한 비정규 고용 시장을 정규 고용시장으로 확대 및 일자리의 질적/양적 향상 기대
· 기존 롱폼(Long Form) 중심의 콘텐츠 시장이 숏폼 콘텐츠 시장으로 변화, 확산하는 만큼 솔루션 적용을 총한 숏폼 콘텐츠의 양적 성장에 기여, 나아가 한류 콘텐츠의 글로벌 확산에 기여

(출처 : 요약문 2p)

목차 Contents

• 표지 ... 1
• 요 약 문 ... 2
• 목차 ... 4
• 1. 연구개발과제의 개요 ... 5
• 1-1. 연구개발의 필요성 ... 5
• 1-2. 기술개발 차별성 ... 6
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 9
• 2-1. 데이터 정보 ... 9
• 2-2. 아키텍처 설계 ... 10
• 2-3. 웹 서비스 ... 10
• 2-3. AI 서버 ... 13
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 21
• 1. 연구개발 수행 결과 ... 21
• 4. 목표 미달 시 원인분석 ... 32
• 1. 목표 미달 원인(사유) 자체분석 내용 ... 32
• 2. 자체 보완활동 ... 32
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 33
• 6. 연구개발성과의 관리 및 활용 계획 ... 33
• 끝페이지 ... 35