선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이에 글로벌 기술시장에 대한 대처 및 국내 성장 기반 구축을 위해 빅 데이터 확보 및 실시간 가치정보 창출기술의 개발과 그 활용기반의 구축이 시급한 시점이다. 이 연구의 목적은 빅 데이터의 활용 및 현황 파악, 융합지식 창출을 위한 빅 데이터 기반 가치정보의 발굴, 분석, 추출 기술 및 동향, 관련특허동향 등을 조사 분석하여, 관련기업의 생존전략 수립과 비즈니스 기회 창출, 정부의 성장산업화 추진과 정책지원 방안의 도출과정에 도움을 주고자 함에 있다. 논문은 1장 서론, 2장 빅 데이터 기술개요, 3장 빅 데이터 기술동향, 4장 빅 데이터 활성화 과제, 5장 결론으로 구성된다.
제안 방법
- 성장잠재성은 기술 고유의 발전 특성이며 사용 확약정도는 수요기반의 상용화 채택기술의 동향에 대한 특성으로, 2개 특성을 고려하면 기술적 대응방안의 지향점 파악이 가능하다. TDWI의 조사 자료[6]를 토대로 기술동향을 분석 제시한다. 성장잠재성 순위별 빅 데이터 분석 기법과 형태는 ①고급 데이터의 시각화, ②인메모리 데이터베이스, ③실시간 보고서 및 대시보드, ④텍스트 마이닝, ⑤마이닝 및 예측 등의 고급분석, ⑥시각적 발견, ⑦예측분석, ⑧개인 클라우드, ⑨CEP(Complex Event Proce ssing), ⑩데이터마이닝 점수화, ⑪ Hadoop,⑫인-데이터베이스 분석, ⑬HW/SW 가속기, ⑭폐쇄루프 분석입출력, ⑮MapReduce, ⑯인-라인분석, ⑰데이터웨어하우스 기기, ⑱No-SQL/비 인덱스 DBMS, ⑲열 기반 저장엔진, ⑳공공 크라우드(Crowd), SaaS, 분석용 Sandbox , Extreme SQL, 데이터웨어하우스의 혼합 워크로드, EDW안의 분석, 데이터웨어하우스 목적의 DBMS, EDW외부 분석데이터베이스, 통계분석, 중앙 EDW, 분석용 데이터마트, 거래 처리용 DBMS, OLAP 도구, 수작업 코드에 의한 SQL기법 등이다.
- 빅 데이터의 분석프로그램은 다양하며 사용자 조직구조, 기술 및 방법에 따라 툴의 형태 및 제원의 선택이 가능하도록 옵션으로 설정된다. 빅 데이터 분석기술을 성장잠재성(x축)과 사용 확약정도(commitment) 즉 사용자의 기술채택 가능성으로 설정한 그래프로 기술을 분류하고 동향을 파악한다. 성장잠재성은 기술 고유의 발전 특성이며 사용 확약정도는 수요기반의 상용화 채택기술의 동향에 대한 특성으로, 2개 특성을 고려하면 기술적 대응방안의 지향점 파악이 가능하다.
대상 데이터
- 이는 빅 데이터 버블개념의 탈피나 추진을 위한 실무적 스위칭과정에서 재원 조달문제, 기술적 갭으로 인한 일시적 케즘(chasm), 인프라 및 분석의 기술적 완성도 증가나 포화, 공개 플랫폼이나 툴(Hadoop이나 R등)의 채택확대 및 사실상의 표준화에 의한 영향으로 판단될 수도 있어 향후 상세조사 및 분석이 필요하다. 7개 기술의 특허추이는 빅 데이터 분석기술의 진화나 천이가 완성된 신기술로서의 특이점은 없으며 기존 기술의 진화 및 천이과정 추이와 유사함도 연구대상이다.
- 빅 데이터 분석기술 관련 특허 조사기간은 10년(2002년~2012년 7월 기준)으로 하며 조사대상은 PCT(세계특허)를 기준으로 한다. 빅 데이터 분석기술 특허조사는 소셜 네트워크 기반 4개 관련기술과 기존 기술의 발전성과 사용가능성이 가장 높은 최상위 기술을 구성하는 7개의 핵심 요소기술을 키워드로 한다.
- 빅 데이터 분석기술 특허조사는 소셜 네트워크 기반 4개 관련기술과 기존 기술의 발전성과 사용가능성이 가장 높은 최상위 기술을 구성하는 7개의 핵심 요소기술을 키워드로 한다. 조사결과 표현은 최근 3개년 출원추이, 주요 출원인, 주요 출원기술을 대상으로 한다. 빅 데이터분석의 주요대상이 되고 있는 소셜 네트워크 기반 분석기술은 여론 탐색 및 검토, 브랜드모니터링, 소문모니터링, 온라인인류학, 시장영향분석, 대화분석, 온라인 고객지능 등과 같이 다양하게 사용되어 왔으며 비표준화 상태이다.
이론/모형
- 즉 조사기업의 40%는 빅 데이터 없이 고급분석을 시행하며, 조사기업의 34%는 빅 데이터를 적용하여 고급분석을 시행한다. 본 논문에서는 고급분석의 의미로 빅 데이터 분석의 포괄의미로서 사용한다.
성능/효과
- TDWI의 조사결과[6] 빅 데이터 분석의 기술적 측면에서 가장 큰 장애요소(46%)는 기존 BI나 DW기반 개발자들의 보유기술 능력이 빅 데이터 분석에 적절하지 않은 면이 있는데, 이는 빅데이터 분석시스템의 구조화(33%)와 사용자 맞춤형 빅 데이터 생성(22%)에 대한 기술적 대응의 어려움이 이유인 것으로 나타났다. 특히 데이터베이스 소프트웨어의 장애요소는 인-데이터 베이스 분석능력 부족(32%), 빅 데이터로의 확장성문제(23%), 데이터 로딩속도(21%), 쿼리 분석속도(22%), 기존 DW의 보고 및 OLAP의 빅 데이터 관리한계(22%), 기타 다중시스템에서의 빅 데이터 수집 및 선별, 제어 및 시험능력 부족 등으로 조사되었다.
- 8%로 성장하여 507억 달러 규모에 달할 것으로 전망했다. 데이터 웨어하우징(DW) 플랫폼 부문이 전년대비 15.2%의 성장률로 가장 빠른 성장세를 보였다. 분석 애플리케이션 부문은 13.
- 이는 그리드 컴퓨팅[11]을 위한 인프라의 스마트 조합기술로도 설명 가능하다. 둘째, 데이터 다양한 형태(variety)에 따른 인프라 대응기술은 데이터들의 연결 및 결합을 위한 데이터링크와 메타데이터 기술의 필요성과 비 관계형(No-SQL)데이터베이스 기술을 지향한다. 셋째, 데이터 처리속도(velocity)에 대한 대응 기술은 다중 소스로부터의 데이터 수집과 스트림데이터의 전처리, 정보의 저장 및 분석처리, 고정도의 지식화와 지능 발굴과정에서 실시간 통찰력을 제시하는 플랫폼의 구성과 인 메모리 컴퓨팅, 멀티코어 컴퓨팅, 병렬ㆍ분산처리 기술을 지향한다.
- 빅 데이터 관련 서버, 스토리지, 네트워킹, SW, 서비스 기술의 세계시장은 <표 1>과 같이 2010년 이후 연 39%이상 성장하여 2015년 169억 달러에 이를 것으로 전망되고 있다. 매출 구성은 서버 9%, 스토리지 21%, 네트워킹 4%, SW 27%, 서비스 39% 순으로 서비스와 SW의 비중이 65%이상으로 SW기반의 솔루션 경쟁이 치열할 것으로 보인다. 비즈니스 분석 SW 시장에서 데이터웨어하우징(DW) 플랫폼부문이 2011년 전년대비 15.
- 2%의 성장률로 가장 빠른 성장세를 보였다. 분석 애플리케이션 부문은 13.3%, BI 및 분석도구 부문은 13.2% 성장한 것으로 조사됐다. 한국지식경제부가 추진하고 있는 유망기술의 세부 기술개발 로드맵[25]상의 빅데이터 SW/HW관련 대응기술개발전략은 매니코아, 스토리지-메모리 장치 등 차세대 하드웨어 기반의 분산병렬 컴퓨팅 플랫폼 기술 확보로 대비한다는 요지이다.
- 매출 구성은 서버 9%, 스토리지 21%, 네트워킹 4%, SW 27%, 서비스 39% 순으로 서비스와 SW의 비중이 65%이상으로 SW기반의 솔루션 경쟁이 치열할 것으로 보인다. 비즈니스 분석 SW 시장에서 데이터웨어하우징(DW) 플랫폼부문이 2011년 전년대비 15.2%의 성장률로 가장 빠른 성장세이며 분석 애플리케이션 SW부문은 13.3%, BI 및 분석 SW부문은 13.2% 성장을 보여 DW 플랫폼을 통한 분석이 활성화되고 있음을 보여주고 있다. 인프라측면에서는 스토리지 성장률이 61%, 네트워킹이 42%이상으로 급격히 성장하고 있어 관련 요소 및 응용기술의 경쟁이 예상된다.
- 둘째, 데이터 다양한 형태(variety)에 따른 인프라 대응기술은 데이터들의 연결 및 결합을 위한 데이터링크와 메타데이터 기술의 필요성과 비 관계형(No-SQL)데이터베이스 기술을 지향한다. 셋째, 데이터 처리속도(velocity)에 대한 대응 기술은 다중 소스로부터의 데이터 수집과 스트림데이터의 전처리, 정보의 저장 및 분석처리, 고정도의 지식화와 지능 발굴과정에서 실시간 통찰력을 제시하는 플랫폼의 구성과 인 메모리 컴퓨팅, 멀티코어 컴퓨팅, 병렬ㆍ분산처리 기술을 지향한다.
- TDWI의 조사결과[6] 빅 데이터 분석의 기술적 측면에서 가장 큰 장애요소(46%)는 기존 BI나 DW기반 개발자들의 보유기술 능력이 빅 데이터 분석에 적절하지 않은 면이 있는데, 이는 빅데이터 분석시스템의 구조화(33%)와 사용자 맞춤형 빅 데이터 생성(22%)에 대한 기술적 대응의 어려움이 이유인 것으로 나타났다. 특히 데이터베이스 소프트웨어의 장애요소는 인-데이터 베이스 분석능력 부족(32%), 빅 데이터로의 확장성문제(23%), 데이터 로딩속도(21%), 쿼리 분석속도(22%), 기존 DW의 보고 및 OLAP의 빅 데이터 관리한계(22%), 기타 다중시스템에서의 빅 데이터 수집 및 선별, 제어 및 시험능력 부족 등으로 조사되었다. 그러나 기술적 장애요소를 문제로 인식(30%)하는 것보다 기회(70%)로 인식하는 경향이 크다.
후속연구
- <그림 5>에서 성장잠재성이 유지 및 하향이고 3년 내 사용가능성을 확약한 네 번째 기술군인 6개 기술은 분석용 데이터마트, 중앙 EDW, OLAP 도구, 수작업 SQL, OLTP용 DBMS로 BI, DW, 분석에 가장 일반적 기술이다.OLTP투자와 OLAP기술은 거의 성숙단계에 있으며 향후 DW 및 분석 기반의 분석데이터베이스 플랫폼으로 전이가 예상되나 OLTP용 DW투자도 당분간 지속될 것으로 파악된다.
- 분석 데이터 플랫폼의 개선을 위해 서는 기존 데이터마트를 포기해야 할 것이다. 분석에서 수작업 SQL의 사용은 향후 분석 애플리케이션기반의 SQL생성 도구로 대체될 것이다.
- 빅 데이터의 수집과 축적, 관리 기술보다 중요한 것은 어떤 목적성과 분석방법으로 의미와 가치가 있는 데이터를 해석, 추출해 낼 것인가에 대한 통찰력과 의사결정능력이 더욱 중요하다. 비전문가인 최종사용자의 빅 데이터 분석능력 고급화요구에 따른 맞춤형 개발 수요가 기존 공급기술의 능력을 능가하고 전문가가 배제될 수도 있는 상황에 대응하여, 분석 툴 개발 시 분석의 오남용과 데이터누락에 의한 의사결정오류 방지 및 적정수준으로 분석이 자동 보정되도록 하는 통찰능력까지도 고려하자는 빅 플레이어들의 개발동향도 있음을 주시하고 국내 기술 개발 범위를 확장해야 할 것이다. 이와 같은 빅 데이터의 추세와 기술동향에 적극적 대응이 중요하지만 해외 빅 플레이어들의 특화 서비스 및 솔루션 시장의 생성과 마케팅논리에 말려들 필요는 없다고 본다.
- 특화기술의 벤치마킹은 필요하다. 빅 데이터 활용기반 구축 시 본고에서 제시된 기술동향을 고찰하고 빅데이터 분석체계 구축 전 기존 정보시스템에서의 분석과 BI의 구현수준, 클라우드 컴퓨팅 및 SNS에 의한 비정형데이터기반의 분석과 BI 구현수준, 기존 및 미래형 정보시스템의 수익성과 가치에 대한 정확한 진단과 예측이 필요하다. 보급형 빅 데이터 고급분석기술 및 BI 알고리즘 개발, 빅 데이터 활용기반 구축과 활용성 증대를 위한 과제의 실천이 시급하다.
- 기술성장성과 사용자 채택 예상가능성이 높은 기술의 7개 요소기술의 출원추이가 최근 4년간 대체적으로 증감이 둔화되거나 완만한 상태이다. 이는 빅 데이터 버블개념의 탈피나 추진을 위한 실무적 스위칭과정에서 재원 조달문제, 기술적 갭으로 인한 일시적 케즘(chasm), 인프라 및 분석의 기술적 완성도 증가나 포화, 공개 플랫폼이나 툴(Hadoop이나 R등)의 채택확대 및 사실상의 표준화에 의한 영향으로 판단될 수도 있어 향후 상세조사 및 분석이 필요하다. 7개 기술의 특허추이는 빅 데이터 분석기술의 진화나 천이가 완성된 신기술로서의 특이점은 없으며 기존 기술의 진화 및 천이과정 추이와 유사함도 연구대상이다.
- 실제 인터뷰결과, 빅 데이터의 3V특성에도 불구 구식의 데이터마트와 유사한 상용 분석 데이터베이스를 사용하는 것으로 조사되었지만 데이터마트와 연관성이 있다고는 할 수 없다. 현재 소수 사용자들이 클라우드 기반 분석플랫폼을 사용하지만 향후 증대될 것이며, 다양한 분석플랫폼이 일반화 될 것으로 예상된다. Hadoop은 이미 24%정도의 사용비중을 보이나 실험용도로 다운로드하는 경우도 있으며 과장되었다고 인식될 경우 실제로 사용될지는 미지이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.