초록 ▼

□ 연구개요
본 연구에서는 금융이나 국방, 과학 분야와 같이 고도의 정확성 및 안정성, 보안성을 요하는 응용의 개발에 활용될 수 있는 Pub/Sub 시스템을 개발하고자 하였으며, 대표적인 빅데이터 Pub/Sub 시스템인 Kafka에서 아래 기능을 지원
- (정확성) 대규모 데이터의 분산 처리에 있어 장애 처리 시 발생할 수 있는 데이터의 손실이나 중복 전송을 방지하기 위한 “Exactly-once 전송” 기능 지원
- (안정성) 과부하에 따른 장애를 미연에 방지하고 자원의 효율적인 활용을 지원하기 위한 “동적 확장(

□ 연구개요
본 연구에서는 금융이나 국방, 과학 분야와 같이 고도의 정확성 및 안정성, 보안성을 요하는 응용의 개발에 활용될 수 있는 Pub/Sub 시스템을 개발하고자 하였으며, 대표적인 빅데이터 Pub/Sub 시스템인 Kafka에서 아래 기능을 지원
- (정확성) 대규모 데이터의 분산 처리에 있어 장애 처리 시 발생할 수 있는 데이터의 손실이나 중복 전송을 방지하기 위한 “Exactly-once 전송” 기능 지원
- (안정성) 과부하에 따른 장애를 미연에 방지하고 자원의 효율적인 활용을 지원하기 위한 “동적 확장(Dynamic scale-out)” 기능 제공
- (보안성) 전송 메시지의 암호화 지원

□ 연구 목표대비 연구결과
[1차년도] Kafka에서 정확성과 보안성을 지원하기 위한 연구를 수행하였으며, 아래 연구 결과를 통해 목표를 달성
- 빅데이터 Pub/Sub 시스템의 장애 처리 관련한 해결책으로, 트랜잭션 개념을 기반으로 Kafka에서 Exactly-once 전송 방식을 지원하기 위한 알고리즘과 관련 시스템 구조를 제안
- 공통 토픽을 중심으로 메시지가 공유되는 Kafka의 구조를 반영한 대칭형 암호화 알고리즘(DES)을 적용함으로써 메시지 전송의 보안성을 높임

[2차년도] Kafka에서 안정성을 지원하기 위한 연구를 수행하였으며, 아래 연구 결과를 통해 목표를 달성
- Kafka의 정적인 시스템 구조에서 과부하시 발생할 수 있는 문제점을 제시하고, 오픈소스 분석을 통해 동적 확장 기능 지원에 필요한 시스템 구조 도출
- 과부하를 통한 연쇄적인 장애 발생 문제를 해결하기 위해, 토픽 별로 예비 파티션을 만들어 과부하에 유연하게 대처할 수 있도록 동적으로 관리함으로써 시스템의 안정성을 높임

□ 연구개발결과의 중요성
- 현재 빅데이터 Pub/Sub 시스템에서 정확성 및 안정성, 보안성을 함께 지원하기 위한 연구는 전무한 상태이며, 관련 시스템 개발 사례 역시 찾기 어려운 실정임
- 본 연구에서 정확성 측면에서 장애 처리 관련 해결책으로 제시한 트랜잭션 기반 Exactly-once 전송 방식은 범용성을 가지도록 설계되어 있으며, 이를 통해 타 시스템 및 관련분야 연구에서도 활용 가능할 것으로 예측됨
- 또한 안정성 측면에서 제안한 토픽별 예비 파티션을 기반으로 한 동적 확장 알고리즘은 Pub/Sub 시스템의 특성을 적용한 최초의 동적 확장 알고리즘으로 소개될 수 있으며, 관련 분야 연구에 파급력이 클 것으로 기대됨
- 본 연구를 통해 개발된 시스템은 금융이나 국방, 과학 등을 포함한 다양한 응용 분야에서 활용될 수 있으며, 동시에 상용 데이터베이스를 기반으로 개발된 기존 시스템을 대체함으로써 관련 분야 시스템의 신규 개발 및 유지보수에 소요되는 비용을 크게 줄일 수 있을 것으로 기대됨

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 가. 연구개발의 필요성 ... 4
• 나. 연구목표 ... 4
• 2. 연구수행내용 및 연구결과 ... 5
• 가. 1차년도 ... 5
• 나. 2차년도 ... 8
• 3. 연구개발결과의 중요성 ... 11
• 4. 참고문헌 ... 12
• 5. 연구성과 ... 13
• 대표적 연구실적 ... 14
• 끝페이지 ... 20