초록 ▼

□ 연구개발 목표 및 내용
◼ 최종 목표
o 최종 목표
• 인물의 생김새뿐만 아니라 동영상 속의 음성 정보와 영상 정보 사이에서 발화 동작과 특징 동작을 학습하여, 주어진 텍스트에 따른 음성과 사람의 발화 동작과 특징 동작을 모방하여 실제 촬영한 것과 구분이 어려운 인공지능 동영상 합성 원천 기술을 개발하고, 해당 합성 기술에 대한 전문적인 지식과 이를 통해 생성한 학습 데이터를 기반으로 정교한 합성 영상의 진위 여부를 가려낼 수 있는 인공지능 판별 기술 개발
o End Product
• (SW) 인물의

□ 연구개발 목표 및 내용
◼ 최종 목표
o 최종 목표
• 인물의 생김새뿐만 아니라 동영상 속의 음성 정보와 영상 정보 사이에서 발화 동작과 특징 동작을 학습하여, 주어진 텍스트에 따른 음성과 사람의 발화 동작과 특징 동작을 모방하여 실제 촬영한 것과 구분이 어려운 인공지능 동영상 합성 원천 기술을 개발하고, 해당 합성 기술에 대한 전문적인 지식과 이를 통해 생성한 학습 데이터를 기반으로 정교한 합성 영상의 진위 여부를 가려낼 수 있는 인공지능 판별 기술 개발
o End Product
• (SW) 인물의 생김새와 동작을 모방하여 실제 촬영한 것과 구분이 어려운 동영상을 합성할 수 있는 인공지능 모델
• (DB) 인공지능 기반 인물의 생김새와 동작을 모방하여 합성된 동영상과 원본에 해당하는 동영상이 페어로 구성된 데이터 셋
• (SW) 실제와 구분이 어려운 합성된 동영상의 진위여부를 판별할 수 있는 인공지능 모델
• (SW) 합성된 동영상 진위여부 판별 인공지능 엔진 테스트 시스템

◼ 전체 내용
o 주요 기능(또는 규격)
• 발화 시 어조에 따라 대상 인물의 발화 특성 추출 기능
• 음성 정보 대응하는 인물의 행동 패턴에 대한 분포를 영상에서 추출 및 정보화 기능
• 해상도와 텍스쳐 품질이 고려된 고품질 동영상 합성 기능
• 동영상 데이터 판별 학습을 위한 얼굴, 동작, 음성 데이터 전처리 기능
• 딥러닝 기반 판별 엔진을 위한 음성 데이터 변환 기능
• 생성 기법 기반의 학습 데이터 증분 기능
• 얼굴, 동작, 음성 정보 기반에 동영상 합성여부 판별 기능
o 주요 성능치
o 핵심 기술
• 생김새를 모방하기 위한 인공지능 모델 아키텍처
• 음성 정보와 문맥 정보를 영상 정보와 대응시켜 인물의 발화 시 동작을 재현할 수 있는 시퀀스 기반 인공지능 기술
• 음성 정보와 영상 정보에 서로 대응하는 인물의 행동 패턴에 대한 분포를 추출하기 위한 인공지능 기술
• 음성 정보에서 어조 정보를 카테고리화 하여 추출하고 영상 정보와 대응하여 정보화 할 수 있는 알고리즘
• 사용자가 원하는 어조를 맞는 음성을 합성할 수 있는 인공지능 기술
• 텍스처와 해상도를 복원하는 인공지능 기술
• 얼굴 및 동작 정보를 활용한 합성 여부 판별 기술
• 얼굴, 동작, 음성을 위한 데이터 전처리 및 변환 기술
• 합성 여부 판별 인공지능 학습 데이터 증분 기술
• 얼굴, 동작, 음성 멀티모달 데이터 기반 합성 여부 판별 기술
o 적용범위(또는 서비스)
• 자연스러운 동영상 합성 SW
• 영상의 합성 여부 및 진위 판별 SW
• 맞춤형 동영상 콘텐츠 생성 서비스
• 동영상 콘텐츠 검출(합성 및 불법) 및 관리 서비스
• 지능형 영상 안전·보안 서비스

◼ 1단계
❏ 목표
• 합성 동영상 판별 학습 데이터 구조 보완
• 합성 및 판별 엔진을 테스트하기 위한 방안 설계 및 진행
• 영상으로부터 음성 정보에 대응하는 인물의 행동 패턴에 대한 분포를 unsupervised learning 하여, 다양한 행동 패턴을 재건할 수 있는 영상합성 인공지능 모델 고도화
• 어조 정보를 추출하고 이를 음성 정보와 함께 추가적인 특정 인물 행동 모방의 근거로 활용하는 인공지능 모델
• 텍스쳐와 해상도를 원본 수준으로 재건할 수 있는 고품질 합성 인공지능 모델
• 학습 데이터 전처리 및 증분 기술 개발 및 얼굴/동작 정보를 활용한 합성 여부 판별 기술 고도화
❏ 내용
• 음성의 발화와 문맥을 영상과 대응, 이를 분석하여 발화 시 발화와 문맥에 따라 발음 동작 형태를 모방하여 합성하는 시퀀스 기반 인공지능 모델 아키텍처 개발
• 발화 시 어조에 따라 대상 인물의 발화 특성 (표정 등)을 영상으로부터 추출하여 학습하고, 이를 모방하여 재건할 수 있는 인공지능 모델 개발
• 합성 속도를 유지한 상태에서 해상도와 텍스쳐를 원본 수준으로 재건할 수 있는 고품질 합성 인공지능 모델 아키텍처 개발
• 음성 신호를 고려하기 위한 2D 스펙트럼 변환 전처리 및 생성 기반의 알고리즘 기반 학습데이터 증분 기술 개발
• 얼굴, 동작, 음성 정보를 종합적으로 고려하는 Ensemble 구조형태의 합성 여부를 판별 모델 개발 및 증분된 데이터 기반 모델 고도화
• 호출(API) 방식을 통한 동영상 합성 여부 판별 테스트 환경 개발

□ 연구개발성과 활용계획 및 기대 효과
o 연구개발성과 기대효과
(1) 기술적 측면
• 기존의 얼굴 중심의 분석에서 동영상에 포함된 다중 정보를 이용한 합성여부 분석 기술은 진보한 기술적 접근으로 본 연구에서는 다중 정보를 고려한 전처리, 합성 판단 엔진을 강인하게하기 위한 데이터 증분, 다중 정보 기반을 합성여부 판별에 대한 연구에 집중하여 관련 기술에 대한 차별성 있는 미래 원천 기술 확보 가능
• 현행 기술이 갖는 발화 동작 제어의 한계로 인한, 발화 내용과 행동이 불일치하거나 제한된 동작만 가능한 문제를 개선하면, 지금보다 다양한 서비스에 자연스러운 고품질 실사 인물 합성 영상을 활용할 수 있으며 사용자의 만족도 증가.
• 인물의 생김새와 입 움직임만 모방하는 현행 기술의 한계를 넘어, 추후 몸 전체의 동작 특성을 모방하는 실사 영상 합성 기술 개발로 범위를 확장해 나갈 수 있음.
(2) 경제적, 산업적 측면
• AI 음성 비서, 아나운서, 인터넷 강의등 다양한 영상 콘텐츠 분야에 적용함으로써 저비용, 고효율로 제작이 가능하며, 다양한 산업 확장 가능.
• 개발되는 인공지능 합성여부 판별(인식) 기술은 합성 판별 뿐 아니라 저작권 문제, 사생활 침해, 개인정보 유출 탐지 등에 확대 활용 될 수 있으며, 고도화된 AI 합성 기술은 실감형 콘텐츠 기술로 활용되어 국내 콘텐츠 산업 경쟁력 강화에 공헌 가능함
• 동영상 합성 여부 판별 기술은 다중 정보 기반의 분석 기술로 산업 현장에서 생산된 제품의 품질을 분석하는 판별 기술 등으로 확장하여 활용 가능함
(3) 사회적 측면
• 전 세계적으로 인공지능 서비스 및 엔터테인먼트 분야 등에서 활용 가능성이 급격히 증가하고 있는 실사 인물 영상 합성 및 판단 핵심 기술 보유하고, 이를 활용하여 실제 사람과 구분하기 어려운 인물 합성 기술의 악용 가능성 및 사회적 부작용 방지를 위한 고도화된 판별 기술로 사회적 피해 방지를 위해 활용 가능함
o 연구개발성과 활용계획

(출처 : 요약문 4p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 4
• 목차 ... 8
• 1. 연구개발과제의 개요 ... 9
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 12
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 26
• 1) 연구수행 결과 ... 26
• 2) 목표 달성 수준 ... 39
• 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 39
• 1) 목표 미달 또는 미흡한 연구결과에 대한 원인(사유) 자체분석 내용 ... 39
• 2) 미달 또는 미흡한 결과물에 대한 보완 활동 ... 39
• 3) 연구개발 과정의 성실성 ... 40
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 40
• 6. 연구개발성과의 관리 및 활용 계획 ... 41
• 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 41
• 2) 주요 성과활용 (기대)성과목표 ... 42
• 3) 성과활용·관리 추진체계 ... 43
• 4) 기타 ... 43
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 43
• 8. 연구개발비 사용실적 ... 44
• 끝페이지 ... 46