초록 ▼

○ 스트림-병렬 중간언어표현법 (SPIR) 개발 : 코어당 평균 4.98배의 속도향상
○ 멀티-노드 빅 데이터 스트림 오케스트레이션 개발 : 10배 향상된 3M tuples/sec의 처리량, 하드웨어카운터 기반 나노-초 정확도/정밀도 프로파일링
○ 클라우드용 Julia++ 빅 데이터 분석 자동 병렬화 : 초기버전 70.85%의 속도향상 및 최적타일크기 선택기법
○ 이종메모리 기반 특성-적응형 메모리 관리 메커니즘 제안
○ NVRAM 기반 빅 데이터 시스템 메타데이터 관리 및 성능 최적화 기법 개발
○ 아키

○ 스트림-병렬 중간언어표현법 (SPIR) 개발 : 코어당 평균 4.98배의 속도향상
○ 멀티-노드 빅 데이터 스트림 오케스트레이션 개발 : 10배 향상된 3M tuples/sec의 처리량, 하드웨어카운터 기반 나노-초 정확도/정밀도 프로파일링
○ 클라우드용 Julia++ 빅 데이터 분석 자동 병렬화 : 초기버전 70.85%의 속도향상 및 최적타일크기 선택기법
○ 이종메모리 기반 특성-적응형 메모리 관리 메커니즘 제안
○ NVRAM 기반 빅 데이터 시스템 메타데이터 관리 및 성능 최적화 기법 개발
○ 아키텍처 상 취약 요인 (AVF) 기반 취약성 측정 프레임워크 및 보호 기술을 개발
○ 출판, 특허, 수상, 학위 성과 : SCI(-E) 저널 출판 7개, BK21 플러스 사업 CS분야 우수국제학술대회 출판 9개, 국제 학술대회 출판 9개, 국내 특허 출원 4개 우수논문상 2회, 우수강의교수상 2회, 해외파견 10명을 진행. 석박사 학위수여자 배출 20명, 소프트웨어 구현물 LOC 157K 및 오픈소스화 25건 (GitHub)

(출처 : 보고서 요약서 3p)

Abstract ▼

Ⅳ. Results of the research
In the first stage of our project, we were able to make significant progress towards our exa-scale Big Data analysis platform. We (1) created an intermediate program representation for Stream-parallel applications (SPIR), we (2) devised a method for multi-node Big Data

Ⅳ. Results of the research
In the first stage of our project, we were able to make significant progress towards our exa-scale Big Data analysis platform. We (1) created an intermediate program representation for Stream-parallel applications (SPIR), we (2) devised a method for multi-node Big Data stream program orchestration, and we (3) achieved the automated parallelization of Big Data analyses programmed in Julia++ for the Cloud. We further (4) devised pattern-adaptive memory management mechanisms, (5) optimized metadata management and I/O processing in big data system utilizing NVRAM device and (6) conducted a cache vulnerability estimation against soft errors.
○ Our SPIR intermediate representation achieves a 4.98x average speedup per core, and near-linear speedups when scaled to multiple cores. Our multi-node orchestration for the Cloud achieves superior performance through vertical scaling, efficient communication channels and bandwidth-aware actor co-location.
○ For a set of Big Data streaming applications (including the Yahoo Streaming Benchmark [YahS]), our platform achieves a throughput of up to 3 Million tuples per second (a 10x improvement). We employ optimistic synchronization using hardware transactional memory and lock-free programming techniques. Measurements have been obtained with our novel, hardware counter-based profiling scheme for the Cloud, which offers nano-second timer-resolution (a more than 3 orders of magnitude improvement over prior art).
○ Our Julia++ Cloud matrix machine (CMM) automatically parallelizes programs for the Cloud. Lazy evaluation leverages implicit parallelism in matrix and tensor operations. Dynamic iterative simulation and profiling are employed to schedule computations. Users compose MATLAB-style scripts in Julia’s Read-Evaluate-Print-Loop (REPL) on their laptop, with all computations automatically performed in the Cloud. Preliminary experiments for 2 Cloud nodes with 2-by-2 tiling resulted in a 70.85% speedup compared to a single node. Our profiling and dynamic simulation techniques are capable of choosing the optimal tile size.
○ To blur the distinct characteristics of DRAM and emerging non-volatile memory, we devised a pattern-adaptive optimized memory caching/migration mechanism. We have invested our effort to provide a compatible memory allocation mechanism which frees developers from explicit allocation of heterogeneity.
○ We devised a HDFS metadata management scheme and a novel data tiering algorithm in Redis based on NVRAM. To utilize the characteristics of NVRAM, we designed a novel data structure for storing Hadoop Java objects and implemented a data eviction algorithm to support stability and high performance in Redis.
○ For fault-tolerance, we devised cache vulnerability estimations against soft errors. Transient faults were injected into microarchitectures and their application-level effects have been analyzed. Error detection techniques based on redundant multithreading have been devised and validated by fault injection.
○ Publications, Patents, Awards and Degrees: In the first stage of our project, we achieved 7 SCI journal publications, 9 BK-ranked conference publications, and 9 further international conference publications. We accomplished 4 domestic patent applications. We achieved two best paper awards and two outstanding teaching awards for new courses on multicore programming. Project members collaborated during 10 overseas research stays. We currently have three SCI journal publications under review. Twenty students graduated during the first stage of this project; 24 software artefacts of 147k LOC have been released (or are being released) to the community on GitHub and GitLab.

(출처 : SUMMARY 9p)

목차 Contents

• 표지 ... 1
• 제 출 문 ... 2
• 보고서 요약서 ... 3
• 요 약 문 ... 4
• S U M M A R Y ... 8
• C O N T E N T S ... 12
• 목차 ... 13
• 제 1 장 연구개발과제의 개요 ... 14
• 제 1 절 연구개발의 목적 ... 14
• 1. 최종 연구개발 목표 ... 14
• 2. 연차별 연구목표 ... 14
• 제 2 절 연구개발의 필요성 ... 14
• 제 3 절 연구범위 ... 18
• 제 2 장 국내외 기술개발 현황 ... 20
• 제 1 절 국내 기술 수준 및 시장 현황 ... 20
• 제 2 절 국외 기술 수준 및 시장 현황 ... 21
• 제 3 장 연구개발수행 내용 및 결과 ... 36
• 제 1 절 연구범위 및 연구수행 방법 ... 36
• 제 2 절 연구수행 내용 및 결과 ... 49
• 제 3 절 정성적 연구 성과 ... 56
• 제 4 장 목표달성도 및 관련분야에의 기여도 ... 146
• 제 1 절 연구개발목표의 달성도 ... 146
• 제 2 절 평가의 착안점에 따른 목표달성도에 대한 자체평가 ... 152
• 제 5 장 연구개발결과의 활용계획 ... 158
• 제 1 절 추가연구의 필요성 ... 158
• 제 2 절 연구개발 결과의 활용방안 ... 159
• 제 3 절 연구개발 결과의 기대효과 ... 161
• 제 6 장 연구개발과정에서 수집한 해외과학기술정보 ... 164
• 제 7 장 참고문헌 ... 166
• 끝페이지 ... 176