초록 ▼

▣ 연구개발 목표 및 내용
◼ 최종 목표
□ CCTV 및 실내 출입통제시스템 환경을 포함하는 감시카메라 상황에서 마스크 착용 등으로 얼굴이 가려진 사람의 얼굴인식 및 해당 사람의 추적 및 재인식을 통하여 얼굴이 가려진 사람들에 대한 현 보안 시스템의 모니터링 기능 및 성능을 강화하고자 함
○ 실시간(5건/초) Walking-through기반 Occluded 얼굴 고인식(FAR 30.0%이내) 및 휴먼 Re-ID 고인식(FAR 5%이내) 시스템 개발
- 대용량 실환경 Occluded 얼굴인증 및 다중 CCTV 휴

▣ 연구개발 목표 및 내용
◼ 최종 목표
□ CCTV 및 실내 출입통제시스템 환경을 포함하는 감시카메라 상황에서 마스크 착용 등으로 얼굴이 가려진 사람의 얼굴인식 및 해당 사람의 추적 및 재인식을 통하여 얼굴이 가려진 사람들에 대한 현 보안 시스템의 모니터링 기능 및 성능을 강화하고자 함
○ 실시간(5건/초) Walking-through기반 Occluded 얼굴 고인식(FAR 30.0%이내) 및 휴먼 Re-ID 고인식(FAR 5%이내) 시스템 개발
- 대용량 실환경 Occluded 얼굴인증 및 다중 CCTV 휴먼 Re-ID 학습용 DB 제작 및 공개
- 인공지능 기술에 기반한 겹쳐진 얼굴인식 및 휴먼 재인식 기술을 결합해 현 보안 시스템 하드웨어와 모니터링 관제 시스템의 기능 및 성능 향상
- Walking-through기반 얼굴 인증 시스템 및 다중 CCTV기반 휴먼 Re-ID 시스템 기술 유효성 검증 및 실증 테스트

◼ 전체 내용
○ 단일 CCTV 환경에서 마스크 등 가려진 얼굴 검출 및 인식 기술 개발
- 원거리, 소형 객체를 중심으로 마스크, 선그라스, 모자, 스카프 등으로 가려진 얼굴에 대한 정밀 검출 알고리즘(SW) 개발
- 다양한 Occlusion Type에 강인한 가려진 얼굴 인식을 위한 딥러닝 모델링 알고리즘(SW) 개발
- 가려진 얼굴의 정밀 복원(GAN) 알고리즘(SW) 개발
- 원거리 저해상도 얼굴영상 정밀 복원을 위한 영상 해상도향상(Super-resolution) 알고리즘(SW) 개발
- 다양한 포즈 변화에 강인한 얼굴인식 알고리즘 개발(SW)
- Walk-through형 출입통제시스템에 적용 가능한 인공지능기반 가려진 얼굴인식 알고리즘(SW) 개발
○ 다중 CCTV 환경에서 가려진 얼굴의 사람 추적 및 재인식 기술 개발
- 가려진 얼굴 사람의 추적 및 재인식을 위한 특징 분석 및 신경망 모델링 알고리즘(SW) 개발
- 얼굴, 신체로부터 획득된 특징 별 융합을 통한 추적 및 재인식 성능 향상 알고리즘(SW) 개발
- 가려진 얼굴의 사람 추적 및 재인식 알고리즘(SW) 개발
- CCTV 및 출입통제시스템에 적용 가능한 추적 및 재인식 시스템 개발
○ 재인식 시스템 실증 테스트 및 데이터셋 공개
- 단일 CCTV 기반 Occlusion type(마스크, 선그라스, 모자, 스카프 등)별학습용 가려진 얼굴 DB 구축
- 다중 CCTV 기반 Occlusion이 포함된 학습용 가려진 Body DB 구축
- CCTV 및 출입통제시스템에 적용 가능한 추적 및 재인식 시스템 통합 시스템(SYS) 개발 및 안정화
- 지자체, 출입통제시스템과 연계한 기술 유효성 검증 및 실증 테스트
- Occlusion type별 학습 데이터셋(GT 포함) 공개

▣ 연구개발성과
□ Walking-through형 Occluded 얼굴 정밀 검출 알고리즘 핵심기술 개발
- 4가지 가려짐(마스크, 선글라스, 모자, 스카프)에 강인한 SCRFD 모델에 기반한 정밀 얼굴검출 알고리즘 개발
- 해당 기술은 관련 주요 평가항목인 ‘mAP 정확도’ 에서 93.78%이상의 성능을 보여 이번년도에 목표했던 90% 성능을 초과 달성하였음
□ Walking-through형 Occluded 얼굴 정밀 인식 알고리즘 핵심기술 개발
- 1차년도에 테스트에 사용한 데이터베이스는 고품질의 영상으로 구성된 데이터베이스로 근거리 신원인식 성능에 대응되는 데이터베이스에 가까움
- CCTV기반 walking-through 환경에 적합한 저품질 이미지를 포함한 데이터베이스에 대한 인식 성능을 비교하여 실제 환경에 가까운 결과를 예측 가능할 것으로 기대함
- 해당 기술은 관련 주요 평가항목인 ‘Rank1 정확도’에서 87.59%의 성능을 보임
□ Walking-through형 단일 CCTV에서 얼굴이 가려진 대상에 강인한 검출 및 추적 핵심 기술 개발
- 얼굴이 가려진 상황을 고려하여 대상의 특징 벡터를 파트로 분리하고, 각 파트 별 기준의 중요도를 각각 학습시키는 기술을 개발하였음
- 특히 얼굴이 가려진 상황에서의 데이터 합성방법을 통하여 얼굴에 대한 의존도를 다른 특징들에 비하여 낮추는 학습 방식을 적용하였음
- 해당 기술은 관련 주요 평가항목인 ‘MOTA 정확도’에서 69.2%의 성능을 보이며, 이번년도에 목표했던 65%를 초과 달성하였음
□ Walking-through형 다중 CCTV에서 얼굴이 가려진 대상에 강인한 Re-ID 핵심 기술 개발
- 인식 대상의 파트 별 중요 특징들 간의 관계를 분석하여 특징 벡터를 추출하는 학습 모듈 개발하였음
- 시공간적 분포를 함께 사용함으로써 CCTV 카메라 간의 시간대 기준 이동 예측 정보도 함께 사용하는 방법을 적용하였음
- 해당 기술은 관련 주요 평가항목인‘Rank-1 정확도’에서 91%의 성능을 보이며, 이번년도 목표했던 90%를 초과 달성하였음
□ 휴먼 Re-ID를 위한 CCTV 환경 이미지 DB 추가 구축
- DB 추가 구축 촬영 진행 시 관련 기관과 미팅 및 협의를 통하여 원활하고 빠른 대응책 마련, 촬영 진행 및 용이한 데이터 검출
- 100명x5일x2(의상)x3(시간대)x10(장소)x2(반복)로 제안한 DB 스펙의 Set 수를 맞추어 DB를 구축함
□ Walking-through형 Occluded 얼굴 학습용 데이터 수집 및 시스템 검증
- 100명x5일(의상)x3(해상도)x3(높이)x5(type)x3조명)x4(거리)x3(포즈)로 제안한 DB 스펙에 맞춰 DB를 구축함
- 다양한 실내 조명 환경을 위한 조명 조건 추가
· 50명 : 간접조명 아래에서 촬영
· 50명 : 직접조명 아래에서 촬영
□ Walking-through형 Occluded 얼굴인식 성능 테스트 프로세스 구축
- 자사 임직원을 대상으로 성능 테스트 진행 (약 25명)
- 웹 카메라 또는 사진을 이용한 등록용 영상 DB 취득 (Gallery DB)
- 임직원이 자주 이용하는 특정 위치(출입문, 탕비실 등)에 카메라를 설치하여 평가용 영상 DB 취득 (Probe DB)
- 등록 DB와 평가 DB에 대한 얼굴 인식 성능 평가

▣ 연구개발성과 활용계획 및 기대 효과
○ 활용계획
- 코로나 사태 등으로 공공 및 다중이용시설에서 마스크 착용에 따라 효용성이 떨어진 기존의 영상 보안 CCTV 시스템에 1차적으로 적용하여 감염자 동선 추적 및 접촉자 파악에 활용
- 본 과제 결과물은 SW 소스 코드, 라이브러리 형태로 활용할 수 있고, Occluded 얼굴영상 기반 얼굴인식 시스템은 다양한 CCTV업체들이 솔루션을 구축하는데 활용할 수 있으며, 데이터 셋은 인공지능 신기술 연구·개발에 활용 가능
- 본 과제에서 개발하는 핵심기술 SW의 기술이전 및 학습용 데이터셋 공개를 통해 인공지능 영상인식 커뮤니티를 활성화함으로써 지능형 CCTV 분야 및 영상인식 인공지능 분야의 비영리 기관의 연구개발을 활성화하고, 기업의 경우 기술이전과 적극적 지원을 통해 관련 제품의 활용도를 높임
- 본 기술은 다양한 영상관제 서비스 도메인에 적용할 수 있으며, 전방산업의 시장 규모가 크고 확장성이 높은 공항, 철도 등 대중 교통 요충지를 중심으로 수요처를 선제적으로 발굴하고 주관 및 공동기관의 기술이 결합된 ’Walking-through 형 휴먼 인식‘ 기술 확산을 추진함
○ 경제적 기대효과
- 핵심 요소 기술의 과제 결과와 공동기관으로 참여하는 수요 기업의 과제 결과의 결합 활용을 통해 실 운영 중인 CCTV의 지능 수준을 향상할 수 있으므로 이를 통해 지능형 CCTV 휴먼 인식 기술 경쟁력 제고와 영상 보안 산업의 확산 토대 마련 가능
- 5G의 초연결·초저지연·초고속 특성을 기반으로 비용 증가 없이 다양한 영상 보안 인공지능 서비스를 제공할 수 있으므로 지능형 CCTV 상용화 확대는 물론 관련 파급 분야의 빠른 확산과 발전도 기대할 수 있음
- CCTV 보급률은 지속해서 증가하고 있지만, 지능형 감시 기능의 도입은 정체된 현 상황에서, 상용화 가능한 효과적인 지능형 감시 기능의 개발을 통한 경제적 효과 증대를 기대함

(출처 : 요약문 8p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 8
• 목차 ... 13
• 1. 연구개발과제의 개요 ... 14
• 1) 기술개발 필요성 및 중요성 ... 14
• 2) 기술개발 필요성 및 중요성 ... 16
• 3) 연구 개발과제의 최종 목표 ... 18
• 4) 연구 개발과제의 연차별 연구 목표 및 내용 ... 22
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 46
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 100
• 1) 연구수행 결과 ... 100
• 2) 목표 달성 수준 ... 110
• 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 114
• 1) 목표 미달 또는 미흡한 연구결과에 대한 원인(사유) 자체분석 내용 ... 114
• 2) 미달 또는 미흡한 결과물에 대한 보완 활동 ... 114
• 3) 연구개발 과정의 성실성 ... 114
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 115
• (1) 기술적 측면 ... 115
• (2) 경제적, 산업적 측면 ... 115
• (3) 사회적 측면 ... 115
• 6. 연구개발성과의 관리 및 활용 계획 ... 117
• 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 120
• 2) 주요 성과활용 (기대)성과목표 ... 120
• 3) 성과활용·관리 추진체계 ... 121
• 4) 기타 ... 121
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 122
• 8. 연구개발비 사용실적 ... 123
• 끝페이지 ... 129