초록 ▼

핵심기술
딥 네트워크 기반 다양한 얼굴 분석 기술 (동영상 감성인식 기술, 표정 인증 기술, 성별/연령 인식 기술) 및 얼굴 분석 기술의 실용화 기술

최종목표
· 최종목표
⦁딥 네트워크를 이용한 성별 및 연령 인식 실용화 모듈 개발
⦁딥 네트워크를 이용한 감성인식 실용화 모듈 개발
⦁딥 네트워크를 이용한 표정기반 인증 실용화 모듈 개발

· 세부목표
⦁주요 기능
- 얼굴 이미지로 성별 및 연령 정보 제공 기능
- 얼굴 정적 이미지 및 동영상으로 감정상태 정보 제공 기

핵심기술
딥 네트워크 기반 다양한 얼굴 분석 기술 (동영상 감성인식 기술, 표정 인증 기술, 성별/연령 인식 기술) 및 얼굴 분석 기술의 실용화 기술

최종목표
· 최종목표
⦁딥 네트워크를 이용한 성별 및 연령 인식 실용화 모듈 개발
⦁딥 네트워크를 이용한 감성인식 실용화 모듈 개발
⦁딥 네트워크를 이용한 표정기반 인증 실용화 모듈 개발

· 세부목표
⦁주요 기능
- 얼굴 이미지로 성별 및 연령 정보 제공 기능
- 얼굴 정적 이미지 및 동영상으로 감정상태 정보 제공 기능
- 얼굴 표정이 담긴 동영상으로 인증(1:1) 기능
⦁주요 성능치
- 표정기반 인증 오류율: 동일오류율(Equal error rate: EER) 0.8%이하
- 감성 인식 정확도: 77% 이상
- 성별 인식 정확도: 90% 이상
- 연령대 분류 정확도: 8가지 연령대를 분류하는 정확도 87% 이상
⦁핵심 기술
- 딥 네트워크를 이용한 동영상 기반 표정 인식 기술
- 딥 네트워크를 이용한 표정기반 본인 인증 기술
- 딥러닝 기반 성별 인식 기술
- 딥러닝 기반 연령추정 기술
- 딥러닝 기반 얼굴 검출 및 분석 기술

개발내용 및 결과
· 핵심 개발 기술
⦁딥 네트워크 기반 고성능 동영상 감성인식 실용화 기술
⦁딥 네트워크 기반 고성능 표정 인증 실용화 기술
⦁멀티태스크 딥 네트워크를 이용한 연령/성별 인식 실용화 기술
⦁딥러닝 기반 실시간 얼굴 검출 및 분석 실용화 기술

· 개발 기술의 주요 성능치
⦁동영상 감성 인식 정확도: 81.07%
⦁표정기반 인증 오류율: 동일오류율(Equal error rate: EER) 0.42%
⦁성별 인식 정확도: 90.44%
⦁연령대 분류 정확도: 8가지 연령대를 분류하는 정확도 90.68%
⦁얼굴 특징점 검출 오차율: 4.69%

기술개발배경
· 개발 대상 기술․제품의 필요성 및 중요성
⦁4차 산업혁명 시대에 국가 경쟁력을 위한 인공지능 기술력 확보
- ETRI Internal Report(2016)의 인공지능 기술에 대한 특허 분석 현황에 따르면, 한국은 6위 수준으로 기술력과 시장력은 낮은 것으로 평가됨
- 인공지능 시장은 매우 주목받는 유망 시장으로 ‘20년 글로벌 270억 달러, 국내 2.2조 규모로 빠른 성장이 예상됨
- 본 과제의 참여연구기관은 인공지능 기반 감성인식 분야에서 특허 영향력 확보에 대한 경쟁력이 있음
- 따라서, 세계 기업들이 대규모 자본을 투입하여 기술력을 높이고 있는 만큼, 본 과제를 통해 더 우수한 기술력을 확보하여 격차를 벌리고 빠른 제품 개발로 시장력을 확보해야 함

⦁인공지능 기술의 발달로 인한 감성인식 기술의 중요성 증대
- 감성 ICT 연구는 일상의 전 산업에 융합 적용될 것이며 미래 우리들 삶의 질을 책임질 기술임
- 소셜로봇의 핵심 기술 중 하나인 인간로봇 상호작용(HRI)을 실현 가능하게 만드는 중요한 기술임
- 차세대 자동차 기술에서도 중요한 기술로 부각됨

⦁모바일 환경에서 처리속도 한계를 극복하기 위한 딥러닝 기술 적용
- 딥러닝을 사용하여 성능이 좋다고 할지라도 상용화를 위해서는 처리 속도 문제가 가장 중요한 부분 중 하나임
- 따라서, 얼굴 검출부터 감성인식과 인증까지 모두 딥러닝 기술로 통일하여 처리 속도를 높일 수 있는 기술 개발이 필요함

⦁시공간을 고려한 감성인식 기술 개발을 통한 기술 한계 극복
- 감성인식 기술은 대부분 정적 이미지를 대상으로 하기 때문에, 미세한 표정인식이 어려운 단점을 가지고 있음
- 이는 본 과제에서 시공간을 고려한 감성인식 기술 개발로 해결할 수 있으며, 최적화된 딥네트워크 설계를 통해 최고의 성능의 기술을 개발하고자 함

⦁얼굴인식 기술의 타인수락률과 살아있음에 대한 검출 한계를 극복하기 위한 표정기반 인증기술 개발
- 얼굴인식 인증기술은 수용성과 편리성이 우수하지만, 다양한 연구보고서에 따르면 다른 생체인식기술에 비해 타인수락률(FAR)이 높은 한계를 가지고 있음
- 또한, 다른 사람의 얼굴 이미지는 타인이 취득하기가 쉽기 때문에, 인증 시에 사용하는 얼굴 이미지가 살아있는지를 확인(liveness)하는 문제는 타인 인증 공격을 대비하기 위해 대단히 중요함 문제임
- 표정기반 인증 기술은 표정이 변화하는 과정을 인식하여 사람의 고유성을 높여 타인수락률을 낮추고, 다양한 표정으로 살아있음을 확인할 수 있음

핵심개발기술의 의의
· 동영상 감성인식 기술
- 실용화 수준의 동영상 감성 인식 기술은 세계적으로도 큰 차별성을 가지며, 엔지니어링에 대한 고려사항이 많아 개발난이도가 높다고 할 수 있음

· 표정기반 인증 기술
- 딥 네트워크 기술로 표정기반 인증을 시도하는 차별적 기술로 개발 난이도가 높은 편임

· 모든 기술 국산화
- 성별 및 연령 인식, 감성 인식, 표정기반 인식 모두 앞단에 얼굴 검출 및 분석 기술이 필요함
- 일반적으로 얼굴 검출 및 분석 기술은 오픈 소스지만 OpenCV나 DLIB과 같은 외산 기술을 사용하는 경우가 많으나 본과제의 기술은 얼굴 검출과 분석 기술로 전체 파이프라인을 국산화하였음

적용분야
· 현재 적용 및 활용 분야
[자체 개발]
⦁차세대 자동차: 운전자 습관 및 상태 관리
⇨ 얼굴 검출 및 분석, 성별 및 연령, 감성인식 기술을 기반으로 당사가 개발 중인 운전자 모니터링 기술로, 운전자의 졸음, 주위산만, 폭력 운전 등을 탐지하기 위한 목적을 가짐

⦁구직자 면접 훈련 서비스
⇨ 얼굴 검출 및 분석, 감성인식 기술을 활용하여 당사가 개발한 서비스로, 구직자의 면접 영상을 분석 및 평가 결과를 제공하여 효율적으로 면접 준비를 가능하게 함

⦁엔터테인먼트 적용
⇨ (Emo Dance) 감정인식 SDK를 활용하여 표정 이모티콘을 맞추는 당사가 만든 게임
⇨ (너감보) 감정인식 SDK를 활용하여 보관된 사진의 감정 상태를 확인 할 수 있는 앱

[향후 적용 가능한 분야]
⦁성별/연령/감성인식 기술
- (교육) 학습자 감성 추이에 따른 관심도, 맞춤형 수업/진도
- (방송 광고) 시청자 감정반응 분석 및 차기 작품 반영
- (게임) 몰입도 및 게임 밸런스 순방향 조절
- (마케팅) 고객 표정변화로 적극 구매의사 고객 관리
- (소셜로봇) 인간과 기계 상호작용
- (심리 상담) 심리상태 진단 및 얼굴 감성 코칭

⦁표정기반 인증 기술
- (금융 부문) ATM 및 키오스크, 모바일 뱅킹, 전자상거래
- (컴퓨터 보안) 정보 보안 및 인증
- (출입국 관리) 출입국 심사 및 불법 입국자
- (의료 복지) 환자신분확인, 기록관리, 원격진료, 전자처방전
- (출입 관리) 출입관리, 근태관리
- (공공 부문) 범죄자 관리, 전자주민증, 선거관리
- (공유 경제) 차량 및 승차 공유, 숙박 공유

(출처 : 최종보고서 초록 4p)

목차 Contents

• 표지 ... 1
• 제출문 ... 2
• 기술개발사업 최종보고서 초록 ... 3
• 기술개발사업 주요 연구성과 ... 14
• 국문 요약문 ... 21
• 목차 ... 23
• 표목차 ... 26
• 그림목차 ... 27
• 제 1 장 서론 ... 28
• 제 1 절 개발기술의 중요성 및 필요성 ... 28
• 1. 개발 기술의 중요성 및 필요성 ... 28
• 제 2 절 국내‧외 관련 기술 및 시장의 현황 ... 29
• 1. 국내‧외 기술 동향 및 수준 ... 29
• 2. 국내·외 관련 시장의 현황 ... 32
• 제 3 절 기술개발 시 예상되는 기술적‧경제적 파급효과 ... 34
• 1. 기술개발 시 예상되는 기술적 파급효과 ... 34
• 2. 기술개발 시 예상되는 경제적 파급효과 ... 35
• 제 2 장 기술개발 내용 및 방법 ... 36
• 제 1 절 최종 목표 및 평가 방법 ... 36
• 1. 최종 목표 ... 36
• 2. 평가 방법 (TTA 공인인증 시험 평가 환경) ... 37
• 제 2 절 연차별 개발 내용 및 개발범위 ... 41
• 1. 딥러닝 기반 실시간 얼굴 검출 및 얼굴분석 기술 개발 ... 41
• 2. 딥 네트워크 기반 고성능 동영상 감성인식 기술 개발 ... 43
• 3. 멀티태스크 딥 네트워크를 이용한 연령/성별 인식 기술 개발 ... 44
• 4. 딥 네트워크 기반 고성능 표정 인증 기술 개발 ... 45
• 5. 산업 활용을 위한 딥 네트워크 실용화 기술 개발 ... 46
• 제 3 장 결과 및 향후계획 ... 47
• 제 1 절 연구개발 결과 ... 47
• 1. 연차 연구개발 추진 일정 ... 47
• 2. 연차 연구개발 추진 실적 ... 48
• 3. 기술개발 결과의 유, 무형 성과 ... 51
• 제 2 절 연구개발 추진 체계(각 기관/기업별 역할 및 추진 내역) ... 57
• 1. 주관기관 기술 개발 추진 내역 - ㈜제네시스랩 ... 57
• 2. 참여기관 기술 개발 추진 내역 - KAIST ... 58
• 3. 주관 기관과 참여기관의 지속적 협업 ... 60
• 제 3 절 시장현황 및 사업화 전망 ... 61
• 1. 시장 현황 ... 61
• 2. 사업화 전망 ... 62
• 제 4 절 사업비 사용현황 ... 69
• 1. 비목별 총괄표 ... 69
• 2. 참여연구원 ... 70
• 제 5 절 연구개발결과의 활용계획 ... 72
• 1. 감성인식 기술의 활용계획 ... 72
• 2. 표정기반 인증 기술의 활용계획 ... 74
• 끝페이지 ... 74