초록 ▼

□ 연구개발 목표 및 내용
◎ 최종 목표
o 총괄 사업목표
- 대규모 이미지·동영상을 실시간으로 수집하여 도심공간의 다차원/시계열 변화를 이해하고 도심 위험 예측을 수행하는 시각지능 플랫폼 (딥뷰; DeepView) 기술 개발
o 1세부 사업목표
- 대용량 이미지·동영상 데이터의 실시간 내용 분석 및 분산 병렬 처리 기반의 시각 데이터 처리 SW 개발 (비주얼 디스커버리 플랫폼)
o 2세부 사업목표
- 대규모 실시간 영상을 대상으로 위험 상황의 실시간 대응을 위한 전역적 다중 관심객체 추적 및

□ 연구개발 목표 및 내용
◎ 최종 목표
o 총괄 사업목표
- 대규모 이미지·동영상을 실시간으로 수집하여 도심공간의 다차원/시계열 변화를 이해하고 도심 위험 예측을 수행하는 시각지능 플랫폼 (딥뷰; DeepView) 기술 개발
o 1세부 사업목표
- 대용량 이미지·동영상 데이터의 실시간 내용 분석 및 분산 병렬 처리 기반의 시각 데이터 처리 SW 개발 (비주얼 디스커버리 플랫폼)
o 2세부 사업목표
- 대규모 실시간 영상을 대상으로 위험 상황의 실시간 대응을 위한 전역적 다중 관심객체 추적 및 이상 행동 분석 SW 개발 (실시간 비디오 분석)
o 4세부 사업목표
- 다중 이미지·영상 기반의 공간 상황을 이해하고 발생할 수 있는 상황을 미리 예측할 수 있는 예지형 시각지능 원천 SW 개발 (예지형 시각지능)
o 10년간 총 3단계에 걸쳐 과제 수행
- 1단계('14.04~'17.12), 2단계('18.01~'20.12), 3단계('21.01~'24.02)
- 3단계는 연구효율을 위해 총괄 및 4세부 과제를 1세부로 통합

◎ 전체 내용
o 단계별 주요 연구개발 내용

◎ 1단계
● 목표
o (총괄) 1단계 연구목표
- 세부 핵심기술 개발 지원 및 연구생태계 조성
o (1세부) 1단계 연구목표
- 대규모 이미지/동영상 데이터의 실시간 처리 및 내용 분석을 위한 디스커버리 플랫폼 기술 개발
o (4세부) 1단계 연구목표
- 단일 시점 다중 채널 저해상도 영상 기반 실시간 객체 분석을 통한 비정상/의심 상황 예측 기술 개발

● 내용
o (총괄) 1단계 연구내용
- 세부과제별 시제품 개발을 위한 세부과제 조정 관리
- 1단계 목표 평가 시나리오 실행 및 개선 지원
- 시각지능 플랫폼 SW 품질관리 체계 구축, 실행 및 점검 지원
- 세계 최고 수준 기관과의 글로벌 협력 지원
- 1단계 세부과제별 연구 산출물의 생태계 조성 및 사업화 지원
- 세부과제 간 기술 용합을 통한 2단계 목표 시스템 기획
o (1세부) 1단계 연구내용
- 대규모 시각 빅데이터 실시간 분석을 위한 고속 처리 기술 개발
- 대규모 시각 빅데이터 기반 학습 및 인식 기술 개발
- 다차원 시각 데이터 내용 분석 및 이해 기술 개발
- 대규모 이미지/동영상 데이터 수집 및 변환 기술 개발
o (4세부) 1단계 연구내용
- 방치/도난 객체 검출을 통한 비정상/의심 상황 예측 기술 개발
- 다중 객체 행동 분석을 통한 비정상/의심 상황 예측 기술 개발
- 객체 흐름 분석을 통한 비정상/의심 상황 예측 기술 개발
- 예지형 학습 알고리즘의 학습 효율성 강화 기술 개발
- 조명 환경 검출 및 노이즈 제거 기술 개발

◎ 2단계
● 목표
o (총괄) 2단계 연구목표
- 과제 간 기술 융합 및 응용 시스템 개발 지원
o (1세부) 2단계 연구목표
- 응용 도메인과 결합 시간과 공간을 중심으로 시각 데이터 기반 내용 이해를 위한 디스커버리 플랫폼 기술 개발
o (4세부) 2단계 연구목표
- 예지형 시각 지능을 위한 딥러닝 기반 원천기술 개발

● 내용
o (총괄) 2단계 연구내용
- 2단계 목표 달성을 위한 세부과제 조정 관리
- 2단계 목표 서비스/시스템 실용성 검증 및 개선 지원
- 2단계 연구 산출물을 활용한 생태계 조성 및 사업화 지원
o (1세부) 2단계 연구내용
- 행동 및 사물 이해를 위한 백본 네트워크 고도화 기술 개발
- 사물의 상태와 속성을 인식하는 사물이해 네트워크 기술 개발
- 학습/추론 하이브리드 방식의 행동 이해 네트워크 기술 개발
- 시각지식 기반의 심층 분석 및 검색 기술 개발
- 개방형 서비스 제공을 위한 오픈 API 및 데이터 공유 기술 개발
o (4세부) 2단계 연구내용
- 딥러닝 기반 물체 변형에 강인한 다중 객체 검출 기술 개발
- 다중 모달리티 활용 휴먼 행동 및 상호 작용 인식 기술 개발
- 비디오 그라운딩을 통한 객체 흐름 이해 및 행동 예측 기술 개발
- 메타 학습을 통한 물체 추적 알고리즘의 경량화 기술 개발
- 노이즈 제거 화질 개선 영상 복원 딥러닝 네트워크 기술 개발

◎ 3단계
● 목표
o (총괄) 3단계 연구목표
- 실세계 사회문제 해결 및 사업화 기술 개발 지원
o (1세부) 3단계 연구목표
- 실세계 사회 문제 해결을 위한 시각 도메인 적응 기술과 시공간 복합 상황 이해 예측 기술 개발

● 내용
o (총괄) 3단계 연구내용
- 3단계 목표 달성을 위한 세부과제 조정 관리
- 3단계 목표 서비스/시스템 실용성 검증 및 개선 지원
- 3단계 연구 산출물을 활용한 생태계 조성 및 사업화 지원
o (1세부) 3단계 연구내용
- 시각 백본 네트워크의 신뢰성 향상을 위한 적응적 모델 학습 기술 개발
- 시각적 상식에 기반한 영상의 형상 이해 및 복원 기술 개발
- 실세계 이벤트 검지를 위한 비디오 장면 분석 기술 개발
- 대규모 시공간 복합상황 이해 및 예측을 위한 의미 분석 및 검색 기술 개발

□ 연구개발성과
o 1단계 연구개발성과
- (세부과제 간 정보 공유)
. 딥뷰 지식관리시스템 (KHUB) 운영, 회의자료 및 발표자료 등 공유
. 사업 표준 프로세스 마련 및 SPICE L3 수준의 품질관리 시행
. 과제 킥오프 워크샵 및 기술교류 워크샵 추진
- (글로벌 챌린지 수상 및 성과 홍보)
. ImageNet 챌린지 사물탐지 분야 2위 수상 (전자신문, 연합뉴스, 매일경제 등, '17.07)
- (기술이전 및 사업화)
. 기술이전 16건 기술료 6.43억원, 사업화 0.45억원 매출 (4년 합계)
- (연구생태계 조성)
. 사물 이해를 위한 학습용 데이터 오픈을 위한 사이트 구축
- (사업화 방안 지원)
. 대형 폐기물 자동 감지, 쓰레기투기 감시, 스쿨존 모니터링 등
- (글로벌 기술교류)
. ETRI-Kitware 공동 협력 연구 업무협력의향서 (Letters of Intent) 체결 ('14.11)
. MMM (Multimedia Modelling) 2015 국제학회 영상이해 세션 구성 논문발표 ('15.01)
. ICCE-Asia 2016 국제학회 워크샵 개최: Workshop for Video Understanding ('16.10)
. CVPR 2017 국제학회 및 ImageNet 챌린지 워크샵 참여 ('17.07)
. ICCAS 2017 국제학회 Machine Vision and Its Application 미니 심포지움 개최 ('17.10)

o 2단계 연구개발성과
- (대내외수상)
. ETRI, 2019년 국가연구개발 우수성과 100선 선정 ('19.10)
. ETRI, 2019년 우수성과 창출 및 과학기술 발전 기여 과기정통부 장관상 수상 ('19.12)
. 2019년 ETRI 대표성과 대상 수상 ('20.01)
- (기술이전 및 사업화)
. 기술이전 12건, 기술료 5.17억원, 사업화 39.1억원 매출 (3년 합계)
- (연구생태계 조성)
. 사물 이해를 위한 학습용 데이터 누적 30만장 공개 ('18~'20)
- (사회문제해결 실증)
. 인공지능 기반 쓰레기 무단투기 감시 지자체 실증 (서울은평구, 세종시, '18~'20)
* ETRI-서울은평구 시각 인공지능(AI) 기술 적용 MOU 체결 ('18.11)
. 인공지능 기반 100채널 CCTV 영상 분석 기술 지자체 실증 (대전시)
* ETRI-대전시 인공지능 기반 CCTV 영상분석 기술 개발 MOU 체결 ('19.05)
- (표준화성과)
. 국제 표준안 2건 및 국내 표준안 1건 승인
* [ITU-T] X.1147 (X.srfb): 비정형 빅데이터 분석 국제표준 승인 ('18.11)
* [ITU-T] X.1148 (X.fdip): 데이터 비식별화 절차에 대한 국제표준 승인 ('20.09)
* KS X ITUTX1148: 통신 서비스 제공자를 위한 비식별 프로세스 프레임워크 ('22.12)
- (연구성과 국내외홍보)
. ETRI, 쓰레기 투기단속에 AI 적용한다. (KBS, SBS, 전자신문, 연합뉴스 등, '18.11)
. ETRI, 오픈소스로 시각지능 핵심 기술 공개 (KBS, YTN, 전자신문 등, '19.12)
. AI-based visual tech to be applied to CCTV cameras (EurekAlert!, '19.02)
. Picture-editing AI lets you easily alter a celebrity’s face (영국 NewScientist, '19.02)
- (글로벌 기술교류)
. ICCAS 2018 국제학회 Machine Vision and Its Application 미니 심포지움 개최 ('18.10)
. Workshop for Video Understanding 국제워크샵 개최 ('19.11)

o 3단계 연구개발성과
- (대내외수상)
. ETRI, 2021년 국가연구개발 우수성과 100선 선정 ('21.11)
. ETRI, 2023년 대한민국 재난안전 연구개발 우수상(행안부 장관상) 수상 ('23.09)
. ETRI, 2023년 국가연구개발 우수성과 100선 선정 ('23.11)
. ETRI, 2023년 대전시 범죄사각지대 해소 및 안전한 도시 구축 유공 표창 ('23.12)
. ㈜지엠디소프트, 2023년 제60회 무역의날 “삼백만불 수출의 탑” 수상 ('23.12)
- (글로벌 기술교류 및 성과공유)
. AVSS 2021 국제학회 제1회 딥뷰 국제워크샵 개최 ('21.11)
. AVSS 2022 국제학회 제2회 딥뷰 국제워크샵 개최 ('22.11)
. KSC 2023 딥뷰 기술교류 및 성과공유 워크샵 개최 ('23.12)
- (기술이전 및 사업화)
. 기술이전 25건 기술료 10.72억원, 사업화 74.2억원 / 125.5만 달러 (3년 합계)
- (연구생태계 조성)
. 사물 이해를 위한 학습용 데이터 누적 40만장 공개 ('18~'21)
. 사람 상태 이해를 위한 학습데이터 8.5만장 공개 ('21~'22)
- (사회문제해결 실증)
. 인공지능 기반 쓰러짐 실시간 탐지 지자체 실증 (대전시, '21~'22)
. 인공지능 기반 CCTV 활용 불법 현수막 탐지 기술 개발 및 실증사업 ('23~'24)
* ETRI-한국지방재정공제회 업무 협력 비공개합의서 체결 ('23.08)
* ETRI-한국지방재정공제회-지자체(사천시/경산시) 업무협약 체결 ('23.12)
- (연구 성과홍보)
. ETRI, 시각지능 딥뷰 기술로 시민안전 지킨다.
* KBS 9시 뉴스, MBC 8시 뉴스데스크, MBN, 연합뉴스, 전자신문 등 ('21.11)
. 인공지능 월드: 기술과 미래 (AI World Tech & Future) 딥뷰 어드벤처 전시 ('22.06)
. 독일 IFA 국제전시회 ‘딥뷰 시각지능 플랫폼 기술’ 전시 참가 ('23.09)
. ETRI, '시각지능 딥뷰' 행안부 장관상 수상 (전자신문 등, '23.09)
. ETRI, 불법 현수막 탐지에 AI 기술 적용한다. (YTN, 전자신문 등, '23.12)
. 과학의 달인, 도심 불법 현수막 AI가 CCTV로 감시하고 잡아낸다. (YTN사이언스, '23.12)

□ 연구개발성과 활용계획 및 기대 효과
o 활용계획
- [공간상황 분석 및 예측] 경찰청, 지자체, 학교 등 CCTV, SNS(이미지/동영상), 블랙박스 등을 융합, 심층 분석을 통한 안전/안심사회를 실현 분야 (수요처: 안전행정부)
- [시각지식 큐레이션] 이미지/동영상 큐레이션, 환경 인식을 통한 추천 시스템 등 이미지/비디오 데이터 내용분석 기반의 새로운 서비스 창업 플랫폼 (수요처: 웹 서비스, 모바일 서비스 사업자)
- [모바일 시각지식 증강] 스마트 디바이스(스마트폰, 스마트글래스 등)를 통해 획득한 이미지/동영상 내용 검색, 객체 인식과 지식정보 연동을 통한 AR 서비스 제공 (수요처: 통신 사업자, AR 광고 사업자)
- [원격 시각] 자율형 단말에 의해 생산되는 이미지/동영상을 원격으로 분석/예측기술로 활용, 자율로봇, 자율주행 자동차, 원격 감시/정찰 카메라 등의 지능화를 실현 (수요처: 국방, 의료, 로봇, 자동차 분야 등)

o 경제적 기대 효과
- 비주얼 디스커버리 플랫폼 기술은 지능형 영상 감시 시장을 중심으로 온라인 비디오 플랫폼, 머신 비전 시장에서 경제적 파급효과를 발생시킬 것으로 기대
- 전세계 지능형 영상 분석 SW 관련 세계 시장은 2019년 41억 달러에서 2027년 218억 달러로 연평균 22.7% 이상 성장 예측
- 시각 데이터의 대규모 동시 분석은 과거에 분석이 불가능했던 대용량 비정형 데이터(이미지/동영상)를 분석하여 새로운 가치 창출과 신산업 육성
- 국가의 사회안전망(CCTV) 고도화 및 환경 재난재해 예방을 위한 기반기술 확보와 공급으로 안전한 미래사회 실현에 기여

o 기술적 기대 효과
- 스마트폰, 디지털 카메라, CCTV, 블랙박스(차량용) 보급 확산, 이미지·동영상의 고품질화로 폭증하는 시각 빅데이터의 활용을 위한 기술적 해결책을 확보
- 언어(텍스트) 지식 및 언어 지능과 함께 인간의 주요 인지체계인 시각지식 및 시각지능 관련 기술 확보를 통해, 장기적인 관점에서 `컴퓨터를 통해 보는 영상’을 `컴퓨터가 이해하는 영상’으로 진화시키는 미래 영상이해 기술 확보
- SW·컴퓨팅의 핵심 패러다임으로 진입 중인 지능형 플랫폼의 주요 요소로서, 언어지식·지능 대비 낙후된 시각지식·지능 관련 SW 원천기술 확보
- 국가적으로 요구되는 사회안전, 위험 예측 등을 위해 국가 인프라로부터 발생하는 이미지·동영상에 대한 분석 기능 확보

(출처 : 요약문 7p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 7
• 목차 ... 14
• 1. 연구개발과제의 개요 ... 15
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 18
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 62
• 1) 연구수행 결과 ... 62
• 2) 목표 달성 수준 ... 200
• 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 228
• 1) 목표 미달 또는 미흡한 연구결과에 대한 원인(사유) 자체분석 내용 ... 228
• 2) 미달 또는 미흡한 결과물에 대한 보완 활동 ... 228
• 3) 연구개발 과정의 성실성 ... 229
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 231
• 6. 연구개발성과의 관리 및 활용 계획 ... 233
• 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 235
• 2) 주요 성과활용 (기대)성과목표 ... 236
• 3) 성과활용·관리 추진체계 ... 236
• 4) 기타 ... 236
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 237
• 8. 연구개발비 사용실적 ... 238
• 끝페이지 ... 271