초록 ▼

연구 개발 목표
본 연구는 음성신호로부터 얼굴 및 신체특징을 유추하는 알고리즘 개발을 통해 용의자의 목소리에서 용의자의 얼굴 생김새, 키, 몸무게, 성별, 나이 등의 신상 정보를 통합적으로 파악할 수 있는 기술을 개발하는 것을 최종 목표로 합니다. 1단계 연구의 경우 최종 목표를 이루기 위한 사전연구로 사전 실험을 위한 1차 데이터베이스 구축 및 자동화된 기술 개발의 가능성을 확인하는 것이 목표입니다. 2단계 연구의 경우 우선 대용량 데이터베이스를 구축하여 용의자 추정 기술의 범용성을 높이고 최신 동향 연구를 통해 최고 수준의

연구 개발 목표
본 연구는 음성신호로부터 얼굴 및 신체특징을 유추하는 알고리즘 개발을 통해 용의자의 목소리에서 용의자의 얼굴 생김새, 키, 몸무게, 성별, 나이 등의 신상 정보를 통합적으로 파악할 수 있는 기술을 개발하는 것을 최종 목표로 합니다. 1단계 연구의 경우 최종 목표를 이루기 위한 사전연구로 사전 실험을 위한 1차 데이터베이스 구축 및 자동화된 기술 개발의 가능성을 확인하는 것이 목표입니다. 2단계 연구의 경우 우선 대용량 데이터베이스를 구축하여 용의자 추정 기술의 범용성을 높이고 최신 동향 연구를 통해 최고 수준의 용의자 검색 시스템을 개발하는 것을 목표로 합니다.

1단계 연구의 세부 목표는 다음과 같습니다.
1. 기술 개발을 위한 기초 작업으로 음성 정보 및 해당 음성 소유자의 신체 정보를 수집하는 기술을 개발하고 대용량 데이터베이스화 함

2. 최종 기술 개발의 가능성을 확인하고자 오디오 기술과 생성적 인공신경망 기술을 기반으로 음성신호로부터 얼굴 몽타쥬 이미지를 생성하는 원천 기술을 구현 함

연구 개발 내용
● 음성 정보 및 해당 음성 소유자 정보 수집 기술 개발 및 데이터베이스 구축
· 용의자의 신상 중 중요하게 간주되는 정보를 조사 후 선정된 신장, 체중, 나이에 대한 정보를 수집하는 기술을 개발

· 음성 정보를 수집하는 기술을 개발
· 신체 정보 및 음성 정보에 해당하는 얼굴 이미지를 수집하는 기술을 개발
· 수집 기술을 활용하여 웹상의 데이터를 수집, 1차 데이터베이스 구축

● 음성 정보로부터 얼굴 특징을 추출하는 기술 개발
· 수집한 음성 정보를 분석하여 음성 데이터가 내포하고 있는 주파수적 특징과 시간적 특징을 모두 고려한 유의미한 음성적 특징 추출

· 생성적 인공신경망 기술을 활용하여 인코더(encoder)와 디코더(decoder)로 이뤄진 얼굴 이미지 생성기를 학습

· 학습한 인코더의 출력으로 이미지의 특성을 반영하는 임베딩 벡터1)(h)을 도출
· 음성적 특징을 입력으로 도출한 잠재적 특징을 예측하는 기계학습 모델을 구축
· 예측된 얼굴 이미지의 잠재적 특징을 생성적 인공신경망 기술을 활용하여 얼굴 이미지로 생성
· 실험은 Python 으로 작성한 코드를 이용하여 Linux 운영체제에서 실행되었으며, 빠른 연산 속도를 위해 nvidia GPU를 이용

연구 개발 내용
음성 정보로부터 얼굴 몽타쥬를 생성하는 기술은 크게 이미지 생성기를 학습하는 부분과 음성정보와 이미지를 연결하는 부분으로 구성됩니다. 본 과제에서는 얼굴 몽타쥬 생성 기술의 사전연구 및 시험개발로 10편 이상의 최신 논문의 내용을 연구 후 최신 논문을 구현하고 시범 기술을 개발하였습니다. 음성정보와 이미지 간 연관성을 찾기 위하여 아래와 같은 인물 안면 사진데이터가 가지고 있는 잠재된 구조를 잡아낼 수 있는 다양한 인공 신경망 구조를 시도하였습니다.

● 적대적 신경망을 이용하는 방법
· 적대적 신경망 모델은 적대 훈련 방법을 이용하여 임의의 잠재 벡터로부터 임의의 데이터를 생성해낼 수 있는 신경망을 훈련시킬 수 있는 모델이다.

· 위의 모델을 사람의 얼굴 사진 데이터로 훈련시킴으로써 임의의 잠재 벡터로부터 사람의 얼굴 사진을 무작위로 생성해 낼 수 있는 모델을 만들 수 있다.

· 반대로, 특정 인물의 사진으로부터 그 사진의 얼굴이 담고 있는 주요 정보들만을 압축하고 있는 잠재 벡터를 최적화를 통해 생성해 낼 수 있다.

· 인물 안면 사진 데이터는 복잡도가 높은 데이터로써 그 잠재된 변수를 효과적으로 인코딩 해내기가 매우 까다로움.

· 최근 발표된 구글(Google)의 BEGAN: Boundary Equilibrium Generative Adversarial Networks 논문을 참조하여 가로 64픽셀, 세로 64픽셀 크기의 인물 얼굴 사진을 생성해 낼 수 있는 인공 신경망을 재현함.

· 역으로 잠재된 변수를 추출하는 모델을 만들기 위해서 특정 인물들의 사진으로부터 잠재 변수를 최적화를 통해 추출해 내고, 인물 사진으로부터 추출 된 잠재 변수들로 사상 시키는 인공 신경망을 개발.

· 위와 같이 사진으로부터 잠재 변수로 사상 시킬 수 있는 인공 신경망을 개발함으로써 임의의 사진에 대해서 그 사진이 담고 있는 정보를 효과적으로 추출해 낼 수 있음.

● 잠재 벡터를 직접적으로 훈련시키는 방법
· 본 방법에서 사용한 모델은 인물 안면 사진으로부터 좀 더 효율적으로 잠재 벡터를 추정하기 위하여 잠재 벡터에 좀 더 초점을 둔 모델이다.

· 본 모델은 보유하고 있는 각각의 대용량 인물 사진데이터에 잠재 벡터를 따로 따로 부여한다는 점에서 1번 방법과 차이점이 있음.

· 각 잠재 벡터를 임의로 초기화 시킨 후 인공신경망을 통해서 각 잠재 벡터가 해당 인물의 사진으로 사상되도록 인공신경망을 훈련.

· 훈련된 모델을 통하여 각 해당 인물들의 사진과 잠재 벡터간의 일대일 사상을 만들어 낼 수 있음.

● 자동 인코딩(Auto-Encoder) 방법
· 자동 인코딩 방법은 사진 데이터로부터 인공신경망을 거쳐서 동일한 사진 데이터를 복원하도록 훈련시키는 방법이다.

· 해당 인공신경망은 중간 계층의 신경망이 좁은 병목구조로 이루어져 있어서 데이터의 정보가 효과적으로 압축되도록 훈련 됨.

· 자동 인코딩 방법을 통하여 병목구조의 중간 계층 신경망에서 압축 된 잠재 벡터를 추출하여 인물 안면 사진 데이터가 가지고 있는 잠재 정보들을 추출해 낼 수 있음.

연구 개발 성과
· 해당 년도에는 위와 같이 인물 안면 사진 데이터의 정보를 압축할 수 있는 세 가지 모델을 실험 함.

· 각 모델로부터 추출된 잠재 벡터가 어떠한 의미를 가지는지에 대해 확인하기 위해 잠재 벡터 사이의 벡터 연산을 한 후 어떠한 인물 사진이 인공신경망을 통해 나오는지 실험 함.

· t-분포 확률적 임베딩 방법을 통해 추출된 잠재 벡터가 저차원상에서 어떠한 의미를 가지는지 실험 함.

· 남성에 비해 여성이 공간에 대체로 넓게 분포하는 경향이 있으며, GLO의 경우 남성에 비해 여성이 남성을 감싸는 형태로 분포하는 경향으로 보아 머리스타일이 일정한 남성은 중앙에 위치하고 다양한 여성은 넓게 분포하는 형태임을 추측할 수 있음

활용계획 및 기대효과
● 음성 정보로부터 얼굴 몽타쥬를 생성하는 초기 타입 기술 개발
· 신원 정보를 알지 못하는 용의자의 음성 단서만을 가지고 용의자를 추정하고 수 사망을 좁히는데 도움을 주는 등 과학수사에 기여할 것으로 사료됨

· 전문 인력이 많이 동원되는 기존의 디지털 포렌식 방법과는 다른 자동화 된 시스템을 이용하여 전문가의 도움이 없어도 정보를 효율적으로 취득 하는 것이 가능

· 음성데이터로부터 얼굴 이미지를 유추하는 최종 기술이 개발된다면, API 기반으로 장소에 상관없이 음성데이터를 입력하면 음성에 대한 얼굴 정보와 신체 정보를 출력해주는 유비쿼터스 서비스를 구축할 수 있을 것으로 기대

· 본 연구는 세계 최초의 적대적 생성 신경망(Generative Adversarial Networks)을 활용한 크로스 모달(cross-modality) 검색 연구로 음성 및 이미지 기술 측면에서 높은 가치를 지님

· 본 연구는 기술적으로 높은 활용가능성을 지닌 연구로 음성과 이미지의 관계를 다루는 다양한 도메인 데이터에 대해 적용 가능함

· 본 연구는 많은 전문가의 분석이 필요한 작업을 자동화하는 연구로 경제적 비용절감 효과가 기대

(출처 : 요약문 5p)

목차 Contents

• 표지 ... 1
• 정보통신･방송 연구개발 창조씨앗형 R&D-1단계 보고서 ... 2
• 제출문 ... 3
• 목차 ... 4
• 국문요약문 ... 5
• 1. 연구개발 목표 및 결과 ... 10
• 가. 최종 목표 ... 10
• 나. 당해 (연도·단계) 연구개발 목표 및 결과 ... 11
• 2. 평가의 착안점 및 기준 ... 14
• 가. 연구개발성과 및 평가 방법 ... 14
• 나. 당해 (연도·단계) 정량적 기대 연구성과 ... 14
• 3. 연구개발성과(해당되는 성과만 기재) ... 16
• 가. 지식재산권(특허, 실용신안, 의장, 디자인, 상표, 규격, 신품종, 프로그램) ... 16
• 나. 국내 및 국외 논문 게재 ... 16
• 다. 국내 및 국제학술회의 발표 ... 16
• 라. 표준화 ... 16
• 마. 기술 거래(이전) 등 ... 16
• 바. 사업화 투자 실적 ... 16
• 사. 사업화 현황 ... 16
• 아. 저작권(소프트웨어, 서적 등) ... 17
• 자. 생명자원(생물자원, 생명정보)/화합물 ... 17
• 차. 전문 연구 인력 양성 ... 17
• 카. 산업 기술 인력 양성 ... 17
• 타. 기술요약정보 ... 17
• 하. 보고서 원문 ... 17
• 4. 연구개발비 집행 실적 ... 18
• 5. 연구 수행에 따른 문제점 및 개선 방향 ... 18
• 6. 중요 연구 변경 사항 ... 19
• 7. 기타 건의 사항 ... 19
• 끝페이지 ... 20