개발 기술

이번에 서버 상에서 작동하고 있는 데이터 분석 소프트웨어와 데이터의 입력 및 저장 처리를 실행하는 데이터 관리 소프트웨어를 밀접하게 연결하고, 데이터 분석쪽에서 나오는 데이터의 읽기 쓰기의 요구빈도에 따라 한 번에 처리하는 데이터양을 변화시키는 것으로 시스템 전체 성능을 향상시키는 고속 처리 기술을 개발했다. 이를 통해 액세스가 급증할 경우에도 신속한 분석을 실행하는 것이 가능해졌다. 개발 기술의 특징은 아래 `그림2`와 같다.

- 데이터의 정리 읽기쓰기

데이터 읽기 발생시 데이터 분석쪽으로부터 지정된 데이터뿐만 아니라 디스크의 물리적 레이아웃상 근처에 있는 다른 데이터도 정리해 읽어내며, 데이터 분석 쪽은 이러한 데이터 중에서 필요한 것을 선택해서 사용한다. 또한 데이터 쓰기 시에는, 데이터 분석 쪽에서 불필요하게 된 복수의 데이터를 지정해 데이터 관리 쪽으로 넘기며, 데이터 관리 쪽에서는 건네받은 데이터를 정리하여 디스크의 물리적 레이아웃상에 가능한 한 가까이에 배치한다. 이와 같이 디스크의 읽기 쓰기의 정리를 대규모로 함으로써 디스크로의 엑세스를 회수를 줄여 시스템 전체의 처리율(throughput) 성능이 향상된다.

- 정리해 읽기·쓰기하는 사이즈의 동적인 변경

데이터 분석쪽에서 가능한 한 정리해서 처리하기 위해서는 필요한 데이터보다도 많은 양을 읽은 후, 이용쪽에서 선별해서 처리한다. 이때 적절하게 정리된 읽기의 크기는 상황에 따라 변하기 때문에 외부에서 도착하는 데이터양이나 분석의 진행 방법을 파악 및 정리를 통해 읽기 쓰기의 사이즈를 결정하여 적절한 성능이 나오도록 자동으로 조정한다.

그림2. 기술의 포인트

출처 : ビッグデ-タのタイムリ-な活用を實現する高速處理技術を開發

http://pr.fujitsu.com/jp/news/2013/04/1-1.html?nw=pr

본 기술개발을 통해 기존에 비해 5배 이상의 처리율 향상을 실현할 수 있었다.(그림3) 이에 따라 불과 몇 분에서 부터 수십 분에 이르기까지의 사건을 분석 결과에 반영하여 가치 있는 정보를 즉각적으로 제공할 수 있게 되었다.

그림3. 기술의 효과

출처 : ビッグデ-タのタイムリ-な活用を實現する高速處理技術を開發

http://pr.fujitsu.com/jp/news/2013/04/1-1.html?nw=pr

효과

이러한 기술 개발을 통해 이동 중인 지하철 안에서 다수의 이용자들에게 위치 정보에 근거한 정보를 비롯한 화제의 레스토랑 정보 등을 전달하는 것이 가능해졌다. 또한 e커머스에 있어서 크리스마스 이전 등 이용자 수가 급증하는 경우에도 신속한 응답이 가능하다. 이와 같이 즉시성(리얼타임)의 향상에 따라 빅데이터 분석의 응용범위가 넓어져 비즈니스적 활용이 기대된다.

향후

후지쯔연구소에서는 향후 여러 가지 분석 애플리케이션의 적용 및 실증 실현을 진행하여 2014년 실용화를 목표로 하고 있다.