초록 ▼

핵심기술
실시간 분석 시스템, 데이터 수집/전처리 에이전트, 시각화 User Interface의 기술

최종목표
단순 로그부터 멀티미디어 연동까지 빅데이터에 대한 실시간 분석을 통해 적시에 실행 가능한 통찰력과 가시성을 제공하는 지능형 빅데이터 토털 플랫폼 개발

o 세부 기능
- 텍스트 및 멀티미디어를 포함한 다양한 로그 파서 및 대량 데이터 분석 기술 개발
- 대량 데이터에 대한 병렬 분산 데이터 처리
- 유연한 Rule 설계를 위한 Rule Engine 설계
- Data V

핵심기술
실시간 분석 시스템, 데이터 수집/전처리 에이전트, 시각화 User Interface의 기술

최종목표
단순 로그부터 멀티미디어 연동까지 빅데이터에 대한 실시간 분석을 통해 적시에 실행 가능한 통찰력과 가시성을 제공하는 지능형 빅데이터 토털 플랫폼 개발

o 세부 기능
- 텍스트 및 멀티미디어를 포함한 다양한 로그 파서 및 대량 데이터 분석 기술 개발
- 대량 데이터에 대한 병렬 분산 데이터 처리
- 유연한 Rule 설계를 위한 Rule Engine 설계
- Data Visualization View를 통한 통합 자원 관리 및 분석화면 개발

o 최종 제품 : 지능형 빅데이터 토털 플랫폼
- 플랫폼 구성 요소
- 실시간 분석 시스템 (서버탑재형 SW)
- 데이터 수집/전처리 에이전트 (단말탑재형 SW)
- 시각화 User Interface (서버탑재형 모듈 SW)

개발내용 및 결과
< 지능형 빅데이터 토털 솔루션 소프트웨어 개발 >
o 1차년도
(a) 텍스트 로그 파서 및 대량 데이터 분석 기술 개발
(a-1) 빅데이터 분석 서버 개발
(a-2) 로그 데이터 수집/전처리 에이전트 개발
(b) 유연한 Rule 설계를 위한 Rule Engine 개발
(c) Data Visualization View를 통한 통합 자원 관리 및 분석화면 개발

o 2차년도
(a) 텍스트 및 멀티미디어를 포함한 다양한 로그 파서 및 대량 데이터 분석 기술 개발
(a-1) Auto-Parsing 기능 개발
(a-2) 복합 이벤트 프로세싱 기능 개발
(a-3) 멀티미디어 데이터에 대한 수집 기능 개발
(b) 하둡/데이터베이스 연동 기능 개발
(c) 비즈니스 도메인 앱스토어 기능 개발

기술개발 배경
o 빅데이터에 대한 국내외 사회적 관심이 매우 높음
- 가트너 등 다양한 IT 전문 기술 동향을 보면, 빅데이터 분석 관련 기술이 차세대 최고의 화두로 떠오르고 있음
- 정부의 창조경제 핵심과제로 빅데이터 분야에 대한 발전을 최우선 과제로 강조
o 그러나, 실제로 빅 데이터 관련 프로젝트를 통해 원하는 성과를 내는 사례는 매우 부족함
- 데이터 유형이 너무 다양하여 분석하지 못 하는 데이터 종류가 많음
- 예를 들어 정형데이터가 아닌 텍스트 기반의 반정형 데이터와 멀티미디어 데이터에 대한 처리 어려움
- 데이터 유형에 따라 수집 방식이 표준화되어 있지 않아 다양한 데이터를 표준적으로 처리하기 어려움
- 대량 데이터 수집으로 인한 오버헤드 및 관리항목 증가
- 오픈소스 기술 인력에 의존적이고 사용 범위가 제한적이고 통합 관리 시스템 미비
o 빅데이터 전용 시스템 소프트웨어의 국산화 추진 필요
- 현재 존재하는 빅데이터 선도 솔루션은 대부분 외산 벤더이고 국내 솔루션은 전무한 상태
o 데이터 수집, 저장, 분석, 활용 전 단계에 대한 토털 솔루션 필요
- 전 세계적으로 빅데이터 실시간과 배치 관련 모든 단계에 대해 종합적으로 제공하는 솔루션은 없는 상태
o 정형 데이터에서 반정형, 멀티미디에 데이터까지 하나의 솔루션으로 수집하고 대용량 데이터를 부하 없이 관리할수 있는 국산 솔루션이 필요함
o 빅데이터 토털 플랫폼 개발로 인하여, 기술의 효용성 활용
- Raw 데이터로부터 의미 있는 추상 데이터 도출 및 다양한 활용 방안 활용
==> 버려지고 있는 데이터(Dark　data)에서 의미있는 밸류(Value)를 찾음
- 대용량 데이터에 대해 분산 환경 기반 데이터 처리 기술을 적용하여 고성능 처리를 보장하며 특정 데이터 처리 서버의 Fail 시에도 무중단 안정적인 서비스 제공
==> 분석하기 어렵고 오래 걸리는 분석을 가능하게 함
- 필요 시 기존 룰 작성과 차별화된 데이터 학습 기반 룰 정의
==> 룰 자체를 새롭게 정의내려 사용성 증대 효과
- 시각화 데이터 분석 기능 강화를 통해 다양한 이해 관계자에게 적절한 수준의 정보 제공
- 잘 알려진 머신 데이터에 대해 최적화된 분석 방안을 자동제시하여 데이터 전문가의 개입 최소화

핵심개발 기술의 의의
빅데이터의 라이프 사이클인 3대 핵심기술을 중심으로 개발
1. 수집
○ 다양한 데이터 소스로부터 데이터 수집
- 수집 전용 Agent, Parser 개발
2. 저장
○ 정형/비정형 데이터의 통합 저장
- index file 저장 및 대용량 DBMS 연동
3. 분석
○ 비즈니스 도메인에 적합한 분석 애플리케이션 프레임워크 제공

적용 분야
o 실제 빅데이터를 적용하고 있는 분야는 데이터의 정형/비정형요소와 데이터 분석의 실시간 여부에 따라 구분
▪ 실시간성
- 부정사용 감시, 보안관제
- 장애 예방
- 실시간 상품 추천
- 통합 로그 관리
- 도시 관제, 재난 대응
- 의료, 헬스케어 서비스

▪ 비정형성
- 소셜 미디어 분석 (트랜드, 감성, 이슈 분석 외)
- 고객,시민 목소리(VOC) 분석
- 국방,보안 관제/eDiscovery
- 정책 발굴, 관리
- 기술, 학술정보 분석

( 출처: 최종보고서 초록 - 3. 개발결과 요약 4p )

목차 Contents

• 표지 ... 1
• 제출문 ... 2
• 기술개발사업 최종보고서 초록 ... 3
• 기술개발사업 주요 연구성과 ... 11
• 목차 ... 20
• 제1장 서론 ... 21
• 제1절 과제의 개요 ... 21
• 제2장 과제 수행의 내용 및 결과 (기술개발 내용 및 방법) ... 23
• 제1절 최종 목표 및 평가 방법 ... 23
• 제2절 단계 목표 및 평가 방법 ... 25
• 제3절 연차별 개발 내용 및 개발 범위 ... 28
• 제4절 수행 결과의 보안등급 ... 34
• 제5절 유형적 발생품(연구시설, 연구장비 등) 구입 및 관리 현황 ... 34
• 제3장 결과 및 사업화 계획 ... 35
• 제1절 연구개발 최종 결과 ... 35
• 1. 연구개발 추진 일정 ... 35
• 2. 연구개발 추진 실적 ... 37
• 3. 기술개발 결과의 유형 및 무형 성과 전체 ... 54
• 제 2 절 연구개발 추진 체계 ... 66
• 1. 각 기관별 역할 ... 66
• 2. 각 기관별 추진 내역 ... 67
• 제3절 시장 현황 및 사업화 전망 ... 68
• 제4절 고용 창출 효과 ... 78
• 제5절 자체보안관리진단표 ... 79
• 부록 ... 80
• 끝페이지 ... 81