최소 단어 이상 선택하여야 합니다.
최대 10 단어까지만 선택 가능합니다.
다음과 같은 기능을 한번의 로그인으로 사용 할 수 있습니다.
NTIS 바로가기
몇 분 전에서부터 수십 분전에도 향후 발생할 사건을 미리 분석하여 결과에 반영, 가치 있는 정보를 즉시 제공 가능
최근 몇 년 사이 서버의 고성능화가 진행되어 왔지만, 대량 데이터 실시간 분석의 어려움 때문에 시스템 전체의 성능 향상에 관한 부분이 과제가 되고 있다. 이러한 과제에 대응해 이번에 서버 상에 작동하는 데이터 분석 소프트웨어와 데이터의 입력 및 저장 처리를 실행하는 데이터 관리 소프트웨어를 밀접하게 연결해, 데이터 분석 부분의 처리요구 빈도에 따라 일괄 처리하는 데이터양을 변화시키는 방법을 통해 시스템 전체의 성능을 5배 이상 향상시켰다. 이를 통해 액세스가 급증했을 경우에도 민첩한 분석을 실행하는 것이 가능해졌다.
이러한 기술을 통해 예를 들어 지하철 안의 다수의 이용자에 대응한, 위치정보에 기초한 정보를 비롯한 화제의 레스토랑 정보 등을 전달하는 등 수많은 유저들이 적합한 서비스를 이용하는 것이 가능하게 되었다.
개발 배경
최근 몇 년간 소셜미디어를 통해 대량의 데이터가 쏟아져 나오고 있고, 센서 데이터 및 사람의 위치 정보라고 하는 실세계의 시계열 데이터도 비약적으로 증가하고 있다. 이러한 빅데이터는 그저 축적하기만 하는 것이 아니라 데이터의 여러 분석을 실시하여 가치 있는 정보를 얼마나 빨리 찾아내는지가 중요해졌다.
빅데이터 활용의 대표적인 사례로써, 소셜데이터나 상품 구매기록으로부터 다음 행동을 추천하는 레코멘데이션(Recommendation) 분석이 있지만, 순서대로 도착하는 대량의 메시지에 포함되어 있는 데이터간의 관계성을 짚어보는 처리가 필요하며 분석결과나 분석 도중의 중간 데이터가 메모리에 들어가지 않는 만큼 방대해져버리는 경우가 있다.
그림1. 개발의 배경과 개발한 기술의 위치설정
출처 : ビッグデ-タのタイムリ-な活用を實現する高速處理技術を開發
http://pr.fujitsu.com/jp/news/2013/04/1-1.html?nw=pr
메모리상에 들어가지 않는 대량의 데이터를 취급하기 위해 기억장치로 하드디스크를 사용한다. 디스크의 성능을 최대한 발휘하기 위해서는 큰 단위에서부터 연속적으로 데이터를 기록하는 것이 유용하지만, 너무 큰 단위에서부터 기록해버리면 효율이 떨어져 처리 시간이 길어지게 된다. 반대로 작은 단위에서부터 기록하면, 잦은 빈도로 데이터가 도착하는 경우 디스크 액세스가 자주 발생해 성능이 저하된다. 보다 적절한 읽기 쓰기 단위는 데이터의 도착빈도에 의해서도 좌우되도록 하기 위해 상황이 바뀌면 효율이나 성능의 저하가 일어난다는 과제가 있다.
개발 기술
이번에 서버 상에서 작동하고 있는 데이터 분석 소프트웨어와 데이터의 입력 및 저장 처리를 실행하는 데이터 관리 소프트웨어를 밀접하게 연결하고, 데이터 분석쪽에서 나오는 데이터의 읽기 쓰기의 요구빈도에 따라 한 번에 처리하는 데이터양을 변화시키는 것으로 시스템 전체 성능을 향상시키는 고속 처리 기술을 개발했다. 이를 통해 액세스가 급증할 경우에도 신속한 분석을 실행하는 것이 가능해졌다. 개발 기술의 특징은 아래 `그림2`와 같다.
- 데이터의 정리 읽기쓰기
데이터 읽기 발생시 데이터 분석쪽으로부터 지정된 데이터뿐만 아니라 디스크의 물리적 레이아웃상 근처에 있는 다른 데이터도 정리해 읽어내며, 데이터 분석 쪽은 이러한 데이터 중에서 필요한 것을 선택해서 사용한다. 또한 데이터 쓰기 시에는, 데이터 분석 쪽에서 불필요하게 된 복수의 데이터를 지정해 데이터 관리 쪽으로 넘기며, 데이터 관리 쪽에서는 건네받은 데이터를 정리하여 디스크의 물리적 레이아웃상에 가능한 한 가까이에 배치한다. 이와 같이 디스크의 읽기 쓰기의 정리를 대규모로 함으로써 디스크로의 엑세스를 회수를 줄여 시스템 전체의 처리율(throughput) 성능이 향상된다.
- 정리해 읽기·쓰기하는 사이즈의 동적인 변경
데이터 분석쪽에서 가능한 한 정리해서 처리하기 위해서는 필요한 데이터보다도 많은 양을 읽은 후, 이용쪽에서 선별해서 처리한다. 이때 적절하게 정리된 읽기의 크기는 상황에 따라 변하기 때문에 외부에서 도착하는 데이터양이나 분석의 진행 방법을 파악 및 정리를 통해 읽기 쓰기의 사이즈를 결정하여 적절한 성능이 나오도록 자동으로 조정한다.
그림2. 기술의 포인트
출처 : ビッグデ-タのタイムリ-な活用を實現する高速處理技術を開發
http://pr.fujitsu.com/jp/news/2013/04/1-1.html?nw=pr
본 기술개발을 통해 기존에 비해 5배 이상의 처리율 향상을 실현할 수 있었다.(그림3) 이에 따라 불과 몇 분에서 부터 수십 분에 이르기까지의 사건을 분석 결과에 반영하여 가치 있는 정보를 즉각적으로 제공할 수 있게 되었다.
그림3. 기술의 효과
출처 : ビッグデ-タのタイムリ-な活用を實現する高速處理技術を開發
http://pr.fujitsu.com/jp/news/2013/04/1-1.html?nw=pr
효과
이러한 기술 개발을 통해 이동 중인 지하철 안에서 다수의 이용자들에게 위치 정보에 근거한 정보를 비롯한 화제의 레스토랑 정보 등을 전달하는 것이 가능해졌다. 또한 e커머스에 있어서 크리스마스 이전 등 이용자 수가 급증하는 경우에도 신속한 응답이 가능하다. 이와 같이 즉시성(리얼타임)의 향상에 따라 빅데이터 분석의 응용범위가 넓어져 비즈니스적 활용이 기대된다.
향후
후지쯔연구소에서는 향후 여러 가지 분석 애플리케이션의 적용 및 실증 실현을 진행하여 2014년 실용화를 목표로 하고 있다.
본문키워드 | 빅데이터, 고속처리기술, 후지쯔 |
---|---|
출처 | KISTI 오픈액세스 동향 |
원문 | http://pr.fujitsu.com/jp/news/2013/04/1-1.html?nw=pr |
※ AI-Helper는 부적절한 답변을 할 수 있습니다.