초록 ▼

□ 연구개요
본 연구는 감시(surveillance) 분야에서 지능형 CCTV 영상분석 시스템의 실시간 감시 영역의 확대를 위해 압축된 동영상의 bitstream에 직접 최신 딥러닝 기법을 적용하여 실시간 객체 인식의 성능을 향상시킬 수 있는 영상분석 기술개발을 목표로 한다.
본 연구에서 제안하는 딥러닝 객체 인식 프레임워크는 bitstream을 이용하여 entropy decoding 과정에서 추출 가능한 특징들을 정의하고 이 중 가장 적합한 특징들을 찾아 객체 인식 모델의 입력으로 사용하고 딥러닝 기반의 최신 객체 인식

□ 연구개요
본 연구는 감시(surveillance) 분야에서 지능형 CCTV 영상분석 시스템의 실시간 감시 영역의 확대를 위해 압축된 동영상의 bitstream에 직접 최신 딥러닝 기법을 적용하여 실시간 객체 인식의 성능을 향상시킬 수 있는 영상분석 기술개발을 목표로 한다.
본 연구에서 제안하는 딥러닝 객체 인식 프레임워크는 bitstream을 이용하여 entropy decoding 과정에서 추출 가능한 특징들을 정의하고 이 중 가장 적합한 특징들을 찾아 객체 인식 모델의 입력으로 사용하고 딥러닝 기반의 최신 객체 인식 기법을 활용하여 pixel 이미지 변환 전에 움직이는 객체를 탐지한다. 또한 인식 성능을 높이기 위해 부분적으로 픽셀 복원 이미지를 사용하는 신규 딥러닝 네트워크도 개발한다. 이는 bitstream과 픽셀 복원 이미지 프레임을 동시에 사용하는 multimodal 방법론으로서 이미지 프레임은 부분적으로 주어지는 부분 정렬 데이터를 사용한다.

□ 연구 목표대비 연구결과
< 압축된 동영상의 bitstream에 직접 최신 딥러닝 기법을 적용하여 실시간 객체 인식의 성능을 향상시킬 수 있는 영상분석 기술개발 > 이라는 목표를 달성하기 위해 크게 다음과 같은 세 가지 세부 목표를 설정했으며 이를 모두 달성했다.
1) HEVC bitstream 특징 연구
HEVC bitstream에서 추출할 수 있는 효과적인 특징 이미지를 정의하고 이들의 성능을 테스트 한다. 본 연구를 통해 개발한 특징은 Prediction Unit Size(PUS), MV(Motion Vector), 그리고 이 둘은 통합한 PUMV이다.
2) 딥러닝 기반 객체 탐지 기법 적용
위에서 개발한 HEVC bitstream 특징 이미지를 사용, 딥러닝 기반의 최신 객체 검출 기법인 SSD MobileNet과 CenterNet, EfficientDet을 사용하여 이러한 특징의 유효성을 검증했다.
3) Bitstream 기반 multimodal 객체 인식 모델 - PMNet
완전 디코딩한 이미지를 부분적으로 사용하고, 비트스트림 이미지를 전체적으로 활용, 비디오 프레임의 sequence 정보를 살린 신규 객체 인식 모델 개발했다. 이동 객체 탐지 공개 데이터셋으로 검증한 결과, 완전 디코딩한 이미지에 적용한 모델과 비교할만한 성능을 보였다.

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
최근 CCTV가 Full HD 등 고해상도 카메라로 대체·확산됨에 따라 기존 H.264/AVC 코덱에 비해 압축효율이 2배 더 우수한 HEVC 코덱의 적용도 증가하고 있다. 하지만 H.264/AVC에 비해 HEVC 코덱을 기반으로 bitstream 특징을 분석하고 활용한 연구는 아직 많이 부족한 실정이다. 본 연구는 향후 H.264/AVC를 대체할 HEVC bitstream의 다양한 특징을 분석하고 활용할 수 있는 여러 방안을 제시함으로써 HEVC 압축 동영상 분석연구의 기반을 마련하고자 한다.
지능형 CCTV 영상분석 시스템을 구축하기 위해서는 일반적으로 최대 128채널 당 NVR 서버 1대가 요구되는데 이 경우 약 6000대의 CCTV를 운영하는 안양시의 경우 약 47대의 NVR 서버가 필요하며 이런 과도한 투자요구는 지능형 영상분석 시스템 도입을 주저하게 만드는 주요 원인이 된다. 본 연구의 성과는 동영상 스트리밍 서버(NVR)의 효율을 3~5배 이상 향상시켜 합리적인 비용으로 실시간 감시영역을 최대화하여 지능형 CCTV 영상분석 솔루션 도입 및 확산을 촉진시킬 것이다.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 1) 연구개발의 필요성 ... 4
• 2) 연구개발의 목적 및 범위 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 5
• 2.1 HEVC bitstream 개요 ... 5
• 2.2 HEVC bitstream 특징 개발 ... 6
• 2.3 Bitstream 특징 추출 모듈 개발 및 학습 데이터 구축 ... 9
• 2.3 신규 Bitstream 특징 기반의 움직이는 객체 검출 ... 11
• 2.4 Multimodal 데이터를 활용한 신규 객체 검출 모델 개발 ... 12
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 13
• 1) 정성적 연구개발성과(연구개발결과) ... 13
• 2) 세부 정량적 연구개발성과 ... 15
• 3) 목표 달성 수준 ... 15
• 4. 연구개발성과의 관련 분야에 대한 기여 정도 (연구개발결과의 중요성) ... 16
• 1) 연구개발성과의 기술적 의의 ... 16
• 2) 연구개발 결과의 산업적·사회적 의의 ... 16
• 5. 연구개발성과의 관리 및 활용 계획 ... 17
• 1) 지속적인 연구개발 체계 구축 ... 17
• 2) 연구개발 활용분야 및 방안 ... 17
• 3) 사업화 및 기술이전 추진 방안 ... 17
• 6. 참고문헌 ... 18
• 붙임1. 세부 정량적 연구개발성과 ... 19
• 붙임2. 연구책임자 대표적 연구실적 및 증빙(요약문 및 사본) ... 20
• 끝페이지 ... 30