보고서 정보
주관연구기관 |
한국전자통신연구원 Electronics and Telecommunications Research Institute |
보고서유형 | 연차보고서 |
발행국가 | 대한민국 |
언어 |
한국어
|
발행년월 | 2016-01 |
과제시작연도 |
2015 |
주관부처 |
미래창조과학부 Ministry of Science, ICT and Future Planning |
등록번호 |
TRKO201600002557 |
과제고유번호 |
1711026398 |
사업명 |
SW컴퓨팅산업원천기술개발 |
DB 구축일자 |
2016-06-11
|
키워드 |
영상 빅데이터.영상 빅데이터 분산병렬처리.영상 빅데이터 내용이해.영상 빅데이터 지식관리.영상 빅데이터 지식처리.복합영상 내용분석.
|
초록
▼
1. 과제목표
o 최종목표
- 대용량 이미지/동영상 데이터의 실시간 내용 분석 및 분산 병렬 처리 기반의 시각 데이터 처리 고속화 SW 원천기술 개발
o 단계별 목표
- 1단계목표
ㆍ 실시간 시각 빅데이터 내용 분석형 플랫폼 기술 개발: 대규모 이미지․동영상 데이터 실시간 처리 및 시각 지식화 파이프라인 SW 및 내용기반 분석을 위한 디스커버리 플랫폼 기술 개발
- 2차년도(2015)
대규모 시각 데이터의 시·공간 분석을 위한 핵심 기술 개발
ㆍ 이미지/비디오 크롤링 및 영상 분할 기술 개
1. 과제목표
o 최종목표
- 대용량 이미지/동영상 데이터의 실시간 내용 분석 및 분산 병렬 처리 기반의 시각 데이터 처리 고속화 SW 원천기술 개발
o 단계별 목표
- 1단계목표
ㆍ 실시간 시각 빅데이터 내용 분석형 플랫폼 기술 개발: 대규모 이미지․동영상 데이터 실시간 처리 및 시각 지식화 파이프라인 SW 및 내용기반 분석을 위한 디스커버리 플랫폼 기술 개발
- 2차년도(2015)
대규모 시각 데이터의 시·공간 분석을 위한 핵심 기술 개발
ㆍ 이미지/비디오 크롤링 및 영상 분할 기술 개발
ㆍ 대규모 시각 빅데이터의 전역적 특징 분포 분석을 통한 분류기 개발
ㆍ 객체 시멘틱 기반 영상 이해 및 공간 분석 연산자 개발
ㆍ 확장성 갖는 비주얼 디스커버리 테스트베드 및 시험환경 구축
ㆍ [사업화] 플랫폼 응용 서비스 발굴 및 SW 개발 품질관리 기술 적용
o 비주얼 디스커버리 플랫폼 구성
- 수집계: 시각 데이터 뱅크 운영/관리 및 대규모 데이터 수집 기술
- 처리계: 대규모 시각 빅데이터 처리를 위한 분산/병렬 기반 파이프라인 소프트웨어 기술
- 분석계: 다차원 시각 데이터 내용 분석 및 이해 기술
2. 개발내용
o 2차년도(2015)
- [수집계] 비디오 크롤링 및 배경기반 영상분할
• 이종 시각 데이터 (웹 이미지/영상/메타 데이터) 수집기
• 배경 변화에 따른 키 이미지 추출 기능
• 멀티 타입/멀티 사이즈 데이터 처리(변환) 기능
• 시각 데이터 뱅크의 온라인 운영 및 인터페이스
- [처리계] 시각 빅데이터 분류기 개발
• 그래프 분할/병합 기반 세그멘테이션 기술
• 특징점 학습을 위한 10만 튜플 동시 처리 기술
• 통계적/결정적 모델을 이용한 단위학습 인식 기술
• 객체 이해를 위한 의미론적 텍사노미 체계 개발
• 멀티코어 기반의 파이프라인 워크플로우 분산처리
• 전역적 특징에 따른 분류 세분화 및 특징 벡터화 기술
• 매니 코어 기반 Coarse-grained 병렬화 알고리즘
- [분석계] 시멘틱 영상이해 및 공간 연산자 개발
• 실시간 시공간 메타데이터 저장 관리 기술
• 시각 지식 인덱싱 및 질의 처리 기술
• 객체 의미 중심 Scene/Pinshot 내용 이해 기술
• 시간 중심 단일객체 이벤트 누적 및 분석 기술
• 객체 행동 분석을 위한 단일객체 행동 모델
• 장면 이해 기반 시각 지식 명세화 기술
• 분석 요구 해석 및 쿼리 생성 기술
• 분산 인메모리 기반 시각 지식 저장 관리 설계
- 테스트베드 및 시험환경 구축
• 시각 데이터 뱅크/분석 DB 연계 테스트베드 구축
• 1세부/2세부 연계를 위한 시스템 인터페이스 설계
• 개발 기술 측정지표 산정 및 시험환경 구축 (평가모델)
- 응용 서비스 발굴 및 품질관리
• 분석형 비주얼 디스커버리 플랫폼 응용 서비스 발굴
• 비주얼 디스커버리 개발의 품질 관리 (SPICE L3)
3. 핵심기술
◦ [수집계 - 시각 데이터 뱅크] 대규모 시각 데이터 수집 및 저장을 위해 대규모의 이미지/동영상 데이터를 실시간 수집하고, 카테고리로 분류하여 저장하는 기술
◦ [처리계 - 대규모 시각 빅데이터 처리 파이프라인 SW] 시각 데이터의 대규모 동시 인식을 위해 이미지/동영상의 대규모 전처리, 군집화, 객체인식, 어노테이션을 일괄 수행하는 분산・병렬처리 기반의 데이터 처리 고속화 SW 기술
◦ [분석계 - 다차원 시각 데이터 내용 분석 및 이해 SW] 비주얼 데이터에 대한 실시간 분석・질의가 가능하도록 비주얼 데이터베이스를 통해 시공계열 및 누적 분석을 실시간 제공하는 기술
4. 연구개발 배경
◦ 도시 및 국토환경을 안전하고 풍요로운 공간으로 진화시키기 위한 ICT 기술 활용성이 높이지고 있으며, 직관적으로 공간의 이벤트와 변화를 판단할 수 있는 이미지・동영상 등 시각 빅데이터에 대한 분석과 이해를 위한 SW 기술의 확보가 중요
◦ 빅데이터 측면에서 보면, 현재 인류가 생산하는 데이터의 80%가 비정형 데이터이며, 비정형 데이터의 70%가 시각 빅데이터(이미지・동영상)인 반면, 내용 분석과 이해 기술은 텍스트(언어) 정보 대비 낙후된 분야로 중장기 관점에서 기술 확보가 필요
◦ 시각 빅데이터 시대의 주도권 확보를 위해 “보여주는 영상”에서 “내용을 이해하는 영상”으로의 전환을 위한 장기 기술적 도전이 필요한 분야임
◦ 사람의 인지체계는 80%가 시각에 의존하고 있어 이미지・동영상 내용이해를 기반으로 하는 시각지식과 시각지능은 미래 성장을 견인할 동력원
◦ 데이터의 가치 관점에서 정형데이터(기업정보, DB), 웹데이터(검색, 웹플랫폼), 소셜데이터(SNS)를 거쳐 이미지・동영상 등 시각 데이터로 가치의 중요성이 이동하면서 빅데이터로서 미래시장 선점 경쟁이 시작되고 있음
◦ 국가적으로 CCTV의 확대설치 등 범죄・재난・재해 등 개인 및 사회의 안전위협 해소를 위한 국가적 관심도가 높은 반면, 관련 동영상에 대한 체계적인 활용과 분석에 대한 기술적 해결책이 부족, 노동집약적 감시수준에 정체
◦ 국내의 경우 범죄로 인한 사회적 비용이 연간 158조원으로 추산(출처: “범죄 비용 추계 보고서”, 형사정책연구원, 2011)되며, 안심사회 실현과 사회적 비용 절감을 위해 관련 영상의 체계적 분석과 내용이해 기술이 필요한 시점
◦ 전세계의 재난/재해에 따른 경제적 손실은 ‘11년 3,800억 달러(출처: Munich Re, 2012), 국내의 경우 연평균 16.8회 발생하여 68.4명의 사망자와 2.6조의 복구비용(출처: 국립방재연구원, 2012)을 초래하는 등 국가적 대응이 필요
5. 기술적 기대효과
◦ 스마트폰, 디지털 카메라, CCTV, 블랙박스(차량용) 보급 확산, 이미지・동영상의 고품질화로 폭증하는 시각 빅데이터의 활용을 위한 기술적 해결책을 확보
◦ 언어(텍스트) 지식 및 언어 지능과 함께 인간의 주요 인지체계인 시각지식 및 시각지능 관련 기술 확보를 통해, 장기적인 관점에서 `컴퓨터를 통해 보는 영상’을 `컴퓨터가 이해하는 영상’으로 진화시키는 미래 영상이해 기술의 확보
◦ SW·컴퓨팅의 핵심 패러다임으로 진입 중인 지능형 플랫폼의 주요 요소로서, 언어지식・지능 대비 낙후된 시각지식・지능 관련 SW 원천기술 확보
◦ 국가적으로 요구되는 사회안전, 기후변화에 따른 환경변화 예측과 재난재해 예측 등을 위해 국가 인프라로 부터 발생하는 이미지․동영상에 대한 분석 기능 확보
6. 경제적 파급효과
◦ 비주얼 디스커버리 플랫폼 기술은 지능형 영상 감시 시장을 중심으로 온라인 비디오 플랫폼, 머신 비전 시장에서 경제적 파급효과를 발생시킬 것으로 기대
- 전세계 이미지・영상 분석 SW 관련 세계 시장은 2013년 334억 달러에서 2018년 740억 달러로 연평균 17.21% 이상 성장 예측
◦ 시각 데이터의 대규모 동시 분석은 과거에 분석이 불가능했던 대용량 비정형 데이터(이미지/동영상)를 분석하여 새로운 가치 창출과 신 비즈니스 산업 육성
◦ 국가의 사회안전망(CCTV) 고도화 및 환경 재난재해 예방을 위한 기반기술 확보와 공급으로 안전한 미래사회 실현에 기여
◦ 전세계 재난/재해에 따른 경제적 손실은 2011년 3,800억달러 (Munich Re 보고서), 국내 피해 규모는 2011년 7,942억원(미래창조과학부)으로 점차 증가하고 있어 재난/재해 복구 보다는 사전에 예방 및 예측 시스템이 필요
※ 출처: 2014년 재난재해 R&D투자전략 – 국가과학기술위원회
◦ 생산유발효과 및 고용창출 효과
- 생산유발효과는 2025년까지 약 6,835억원으로 성장 예측
※ 2010년 한국은행 산업연관분석 생산유발계수(1.32/1억원)와 2020년 국내 예상매출 (5,201억원) 기준
- 고용창출 측면에서는 2025년까지 약 6,449명 고용창출 예상
※ 2010년 한국은행 고용유발계수(1.24/1억원)와 2020년 국내 예상매출(5,201억원) 기준
7. 활용분야
◦ (공간상황 분석 및 예측) ① 수자원 관리, 기후 변화, 해수 변화 등의 환경 스캐닝을 통해 재난/재해 및 공간의 위험상황 인지와 ②경찰청, 지자체, 학교 등 CCTV, SNS(이미지/동영상), 블랙박스 등을 융합, 심층 분석한 안전/안심사회를 실현 분야 (수요처: 안전행정부, 환경부)
◦ (시각지식 큐레이션) 이미지/동영상 큐레이션, 환경 인식을 통한 추천 시스템 등 이미지/비디오 데이터 내용분석 기반의 새로운 서비스 창업 플랫폼 (수요처: 웹/모바일 서비스 사업자)
◦ (모바일 시각지식 증강) 스마트 디바이스(스마트폰, 스마트글래스 등)를 통해 획득한 이미지/동영상 내용 검색, 객체 인식과 지식정보 연동을 통한 AR 서비스 제공 (수요처: 통신 사업자, AR 광고 사업자)
◦ (원격 시각) 자율형 단말에 의해 생산되는 이미지/동영상을 원격으로 분석/예측기술로 활용, 자율로봇, 자율주행 자동차, 원격 감시/정찰 카메라 등의 지능화를 실현 (수요처: 국방, 의료, 로봇, 자동차 분야 등)
8. 연구실적
◦ [수집계] 시각 데이터 뱅크: 시각 데이터 뱅크 온라인 운영 및 인터페이스 개발
- 다양한 소스에서 이미지/동영상을 수집하고 HDFS로 저장/관리는 수집기 개발
- 동영상에서 핀샷 데이터를 추출하고 저장/관리하는 동영상 데이터 뱅크 개발
- 시각 데이터 뱅크 운영 (이미지 약 1,500만건, 동영상 약 100만건 수집)
- 학습용 시각 데이터 저작 (이미지 11종 38,912개 데이터 저작 완료)
[관련특허] TV 프로그램의 자막을 이용한 광고 제공 장치, 광고 제공 시스템 및 광고제공 방법 등 국내출원 1편
◦ [처리계] 시각 데이터 처리 파이프라인: 대규모 시각 데이터 처리를 위한 분류기 개발
- 시각 데이터의 전경/배경 분리를 위한 중요 객체 자동 추출 도구 개발
- Map/Reduce 기반의 10만장 동시 처리 가능한 학습 시스템 개발
- 워크플로우 분산 처리 기반의 다중 객체(10개) 인식 시스템 개발
- 효율적인 대규모 특징 처리를 위한 하이브리드 스케줄러 개발
[관련논문] VUnAMT: unsupervised adaptive matting tool for large-scale object collections, ACM SIGGRAPH 등 국제학회 8편, 국내저널 1편, 국내학회 4편
[관련특허] 대규모 동영상 고속 관리 시스템 등 국내출원 11편, 국제출원 1건
[기술이전] 객체 키워드 기반의 동영상 검색 플랫폼 기술 등 1건, 이노뎁 (0.5억)
[표준화] ITU-T SG17, reference monitor for online analytics services 4건 기고 및 반영
[프로그램] 객체 인식을 위한 학습 프로그램 등 16건 등록
◦ [분석계] 시각 데이터 다차원 분석: 객체 시멘틱 기반 영상 이해 및 공간 연산자 개발
- 단위 동사 이해 및 이를 이용한 복합 동사 추론이 가능한 시각 이해 엔진 개발
- 영상의 내용을 이해하고 그 내용을 명세할 수 있는 시각지식 기술 언어 개발
- 실시간 시공간 분석을 위한 인메모리 데이터베이스 구축 및 시공간 처리기능 확장
- 시간 중심 단일객체 시계열 누적 분석을 통한 확률 모델(iHMM) 기반 경로분석 개발
[관련논문] Verb Representation for Visual Data Understanding 등 국제저널 4편 (SCI 2편), 국제학회 8편, 국내저널 3편, 국내학회 9편
[관련특허] 이종 메모리 기반 데이터 관리 장치 등 국내출원 4편, 국내등록 1편
[프로그램] 다차원 분석을 위한 스털링 넘버 계산 프로그램 등 11건 등록
목차 Contents
- 표지 ... 1
- 제출문 ... 2
- 연차보고서 ... 4
- 연차보고서 요약서 ... 6
- 목차 ... 14
- I. 연구개발 현황 ... 16
- I-1. 기술개발 추진 일정 (당해년도) ... 16
- I-2. 연구과제 개요 ... 17
- ▢ 연구배경 ... 17
- ▢ 기술 동향 분석 ... 21
- ▢ 비주얼 디스커버리 플랫폼 시스템 설계 ... 62
- I-3. 2차년도 연구개발 내용 ... 66
- ▢ 2차년도 연구목표 ... 66
- ▢ 2차년도 연구내용 ... 67
- ▢ 2차년도 연구개발 추진일정 ... 69
- ▢ 2차년도 연구개발 상세 내용 ... 72
- I-4. 연구결과 평가 ... 200
- ▢ 2차년도 정량 평가 항목 및 평가 결과 ... 200
- ▢ 인식 가능한 객체의 종류 ... 201
- ▢ 영상 어노테이션 객체 분리 정확도 ... 203
- ▢ 동시 처리 성능 ... 206
- ▢ 장면 이해의 대상 ... 210
- ▢ 시/공간 질의 처리 성능 ... 216
- I-5. 2차년도 목표 대비 추진실적 ... 218
- ▢ 2차년도 연구목표 대비 정량적 결과 요약 ... 218
- ▢ 2차년도 연구목표 대비 정성적 결과 요약 ... 219
- II. 기술개발 결과 ... 238
- III. 결론 및 차년도 계획 ... 258
- IV. 사업비 사용현황 ... 268
- V. 기업 재무건전성 현황 ... 276
- VI. 자체보안관리진단표 ... 282
- VII. 유형적 발생품 구입 및 관리 현황 ... 283
- 참고 문헌 ... 284
- 끝페이지 ... 285
※ AI-Helper는 부적절한 답변을 할 수 있습니다.