[보고서]대규모 트랜잭션 처리와 실시간 복합 분석을 통합한 일체형 데이터 엔지니어링 기술 개발

김창수

보고서 정보

주관연구기관

한국전자통신연구원
Electronics and Telecommunications Research Institute

연구책임자

김창수

참여연구자

박상영 , 황선민 , 김형주 , 장재우 , 민준기 , 이규철 , 안진현 , 이동호

보고서유형

최종보고서

발행국가

대한민국

언어

한국어

발행년월

2019-11

과제시작연도

2018

주관부처

과학기술정보통신부
Ministry of Science and ICT

등록번호

TRKO202100007115

과제고유번호

1711096284

사업명

SW컴퓨팅산업원천기술개발(R&D)

DB 구축일자

2021-07-24

키워드

온라인 트랜잭션 처리.온라인 분석 처리.DBMS 내 복합 분석.HW 기반 DB 최적화.일체형 데이터 엔지니어링 플랫폼.On-Line Transaction Processing.On-Line Analytical Processing.Complex Analytics in Database.HW based DB Optimization.Unified Data Engineering Platform.

표 일체형 데이터 엔지니어링 플랫폼 개념도
표 공동연구센터 및 연구개발단 협의회
표 연구개발 추진 체계
표 일체형 데이터 엔지니어링 플랫폼 1차년도 연구개발 내용
표 일체형 데이터 엔지니어링 플랫폼 구성 요소별 요구사항
표 요구사항 관련 문서
표 오픈소스 DBMS 비교(2016.03 기준)
표 HTAP 지원을 위한 저장 모델 설계 방향
표 일체형 데이터 엔지니어링 플랫폼 블록간 관계
표 일체형 데이터 엔지니어링 플랫폼 전체 모듈 구조
표 MonetDB 질의 처리 과정
표 JIT 실행 플랜 생성 흐름
표 JIT 기반 질의 처리 흐름 제어 절차
표 JIT 기반 질의처리 최적화 성능 평가
표 충돌 예측 기법 구조
표 HyTM 기반 트랜잭션 처리 시스템 구조
표 HTM 기반 트랜잭션 처리 성능 평가
표 In-Memory Row Store 에서 데이터 갱신
표 MVCC를 위한 In-Memory 테이블 구조
표 In-Memory 데이터 트랜잭션 관리 기술
표 Disk DBMS와 In-memory 예의 구조 통합
표 In-Memory Row 엔진 성능 평가
표 텍스트 분석을 위한 역색인 및 검색 API
표 다차원 데이터 저장 구조 및 MDX to SQL 질의 변환 구조
표 시공간 데이터 분석 기법 관련 선행 연구 분석
표 K-Means 알고리즘 병렬화
표 DBSCAN 알고리즘 병렬화
표 In-DB 분산 분석 알고리즘(DBSCAN) 성능 평가
표 검색어 기반 화면 구성 시 검색어 입력 화면
표 화면 템플릿 선택을 위한 검색결과 선택 화면
표 특성 벡터 추출 알고리즘 연계 이력 데이터 운용 예시
표 메타정보 매칭 기술 운용 예시
표 일체형 데이터 엔지니어링 플랫폼 2차년도 연구개발 내용
표 반복 최적화 개념
표 OLAP 분석 질의 최적화 개념
표 JIT 컴파일 기반 질의처리 성능
표 정렬된 데이터에 대한 그룹 연산 예
표 조인을 위한 탐색시 비교 회수: 순차 탐색>이진탐색>K-ary 탐색
표 K-ary 탐색시 비균등 분할 개념
표 스칼라 대비 벡터처리 적용 연산자 성능
표 GPU 기반 그룹 연산의 병렬 처리 예
표 스칼라 대비 GPU 병렬화 적용 연산자 성능
표 HTM 트랜잭션 처리 기법의 일체형 엔진에 적용
표 RWLock 대비 HTM 기반 트랜잭션(인텍스 탐색) 처리 성능 평가
표 개선된 NOrec 기반 Hybrid TM 기법 개념
표 Long 트랜잭션 지원을 위한 Nested-Parttion HTM 기법 개념
표 Nested-Partition HTM 시스템 구조
표 Long 트랜잭션 지원 HTM 기법 성능 비교
표 I/O를 고려한 Checkpoint 기법
표 IN-Memory 데이터베이스 복구 구조
표 메모리 상에만 존재하는 열 기반 저장 구조
표 행 저장소와 열 저장소 동기화 개념
표 Index 동기화 방법
표 분할 SQL 수행 기법 개념
표 MDX 조건절 SQL Conversion
표 CEP 엔진 구성
표 노드 내 병렬처리 개념
표 클러스터 노드 간 분산 병렬 질의 처리 개념
표 DBMS와 DSMS의 스트림 데이터 처리 방식 비교
표 스트리밍 이상패턴 감지 구조
표 실시간 이상 패턴 감지 성능 평가
표 GUI 기반 분석 워크플로 디자인 워크벤치
표 데이터마이닝 분석 모델
표 이종 데이터 소스 통합 처리
표 기존 Big Data Security Analytics 사례 시스템의 문제점
표 금융 이상 거래 탐지 서비스 개념
표 분석용 데이터 플랫폼으로 실시간 데이터 동기화 도구 개념
표 동기화 서비스 수행 과정
표 소프트웨이브2017에서 과제 결과물 소개
표 일체형 데이터 엔지니어링 플랫폼 3차년도 연구개발 내용
표 NUMA-aware 데이터 관리 블록 구성 모듈간 관련성
표 NUMA 노드 기반 서버 관리/운영 개념
표 NUMA-aware 데이터 배치 개념
표 데이터 배치 절차
표 NUMA 모니터링 도구 화면
표 NUMA-aware 단일 서버 질의 처리 개념
표 단일 서버 내 NUMA-aware 질의 처리 성능
표 NUMA-aware 다중 서버 질의 처리 개념
표 다중 서버간 NUMA-aware 질의 처리 성능
표 NUMA-aware Radix 병렬 정렬 처리 절차
표 데이터 분포에 따른 단순 해시 조인과 개발한 해시 조인 수행 시간 비교
표 일체형 엔진에 성능 극대화 기술 통합
표 GPU 기반 병렬 정합 조인 개념
표 NVM 상에서 HTM을 이용한 분산 로깅 구조
표 Adaptive Hybrid TM 시스템 구조
표 개발한 알고리즘의 쓰레드 수에 따른 평균 처리 성능 향상도
표 Column기반 인메모리 데이터 저장 및 처리 기술 최적화
표 Row+Column 데이터 통합 관리 개념
표 스트림 데이터에 대한 조인 질의 런타임 처리
표 그래프 질의 처리 절차
표 병렬 DBMS를 이용한 K-Means 수행 구조
표 분산 리소스 모니터링 방식
표 분산 노드에서의 질의 병렬처리 개념도
표 고가용성 제공을 위한 분산 인메모리 데이터 관리 방법
표 데이터 자동 배치를 위한 정책 컨트롤 방식
표 디스크 DB와 인메모리 Column Store 통합 처리
표 디스크 DB와 Column Store 트랜잭션 관리
표 디스크 DB와 인메모리 DB간 일체형 복구
표 멀티 쓰레드 기반 최단 경로 탐색 개념
표 도달 가능성을 고려한 불필요한 노드 제거를 통한 최적화 예
표 전처리를 통한 최단 경로 탐색 성능 향상
표 최단 경로 탐색 처리 시간 비교 : 소규모 합성 데이터
표 최단 경로 탐색 처리 시간 비교 : 대규모 실제 데이터
표 하둡과 연계 구성도
표 데이터 가상화 엔진 활용 구조
표 추가 개발된 알고리즘에 대한 워크밴치 노드
표 로드 발란서를 활용한 병렬처리
표 워크벤치와 일체형 엔진 연동
표 APT 공격 징후 탐지 시범 서비스 SW 구성도
표 금융 이상 거래 탐지 시범 서비스 구성도
표 일체형 데이터 엔지니어링 플랫폼 4차년도 연구개발 내용
표 GPGPU 기반 해시 조인 개념
표 조인 연산자 성능 비교
표 데이터 분포율 기반 질의 수행 노드 선정 개념
표 NUMA-aware 병렬 질의 처리 성능
표 NUMA-ablivious 해시 조인 개념
표 NUMA-aware 분할 해시 조인 개념
표 NUMA-aware 집계 연산 개념
표 NUMA-aware 집계 연산 성능
표 일체형 DB 엔진 성능 극대화 기술 통합
표 GPU 기반 정렬 연산 통합 전•후 성능 비교
표 NVM 기반 로깅을 통한 트랜잭션 복구를 지원하는 시스템 구조
표 NVM 상에서 최적의 retry를 지원 하는 내구성 지원 Hybrid TM 구조
표 기존 NV-HTM 대비 성능 비교
표 그래프 데이터 분산 저장 및 병렬 검색 알고리즘 개념도
표 Journal Iog 최소화를 통한 Column 데이터 동기화
표 Row와 Column 기반 데이터간 의존성 최소화
표 메모리 사용량에 따른 작업 스케줄링
표 TF-H3F에 대한 지연 갱신
표 문서간 유사도 측정을 위한 TF-DF 벡터 변환 성능 비교
표 실시간 TF-DF 업데이트와 정확도 비교
표 기존 방법들과 최 적화된 ZigZag Merge Join 개념 비교
표 비교 횟수를 통한 In-DB 키워드 질의 처리 성능 평가
표 추가 개발된 신경망 기반의 데이터 분석 노드
표 Q-learning 워크벤치 노드 화면
표 이종 소스 빅데이터 병합 기술
표 Teiid를 이용한 데이터 가상화 엔진 구성도
표 기존 분석 보고서 작성 제품과 워크벤치 연동
표 웹 API 호출 방식을 통한 워크벤치 고도화
표 APT 공격 징후 탐지 시범 서비스 테스트베드 구축
표 APT 공격 징후 탐지 시각화 화면
표 금융 이상 거래 탐지를 위한 Decision Tree
표 금융 이상 거래 탐지 서비스 기본 동작 방식
표 금융 이상 거래 탐지 시각화 화면
표 CUDA 동적 병렬처리 기능을 활용한 정렬 병합 조인
표 입력 데이터 할당 방법 : CPU 기반 .vs. GPU 기반
표 입력 데이터 할당 방법에 따른 할당 비용 : CPU 기반 .vs. GPU 기반
표 입력 데이터 할당 방법에 따른 정렬 병합 조인 연산자 성능 ： CPU 기반 .vs. GPU 기반
표 다중 워크로드 기반 트랜잭션 처리 시스템 성능 평가(STAMP)
표 STAMP를 통한 워크로드 별 HTM/NOrecSTM 실행 비율
표 Intruder와 Ssca2에서 log 및 flush overhead
표 그래프 분산 저장 후 데이터 블록 단위로 병렬 처리
표 In-memory Row DB 프로세스 구조
표 빠른 회복을 위한 분산 리커버리 메커니즘
표 개선된 In-memory 분산 Locking 동작 방식
표 분산 In-memory DB의 change broadcast 방식
표 x，y 양축 Partition 기반 ST-DBSCAN
표 B-Tree 인텍스 활용 FEM 최적화 개념
표 B트리 최적화 방법 실험 결과
표 TF-IDF 업데이트 작업 최적화 실험 결과
표 2-way join 방식 .vs. Multi way Join 방식
표 Multi Zigzag Join
표 Conjunctive query 성능
표 Phrase query 성능
표 고급분석 화면조회 시간 최적화
표 비정형 분석 Meta Join 솔루션 구성
표 워크벤치 결과 저장 방법 선택 화면 구현
표 워크벤치 스케줄링
표 데이터 분산 처리 안정화 구조
표 개발 방법론
표 SPICE Level 3 인증서
표 사업 프로세스
표 Subversion 기반 소스 버전 관리
표 정적 분석 도구인 RESORT를 활용한 개발한 코드 정적 분석
표 오픈 소스 검증 도구인 Protex를 활용한 개발한 코드에 검증
표 기술이전 Q-mark
표 사업 Q-mark 획득
표 2차년도 공인시험결과서 : 트랜잭션 처리
표 3차년도 공인시험결과서 : 온라인 분석 질의처리와 트랜잭션과 분석 동시 수행시 간섭 부하율
표 4차년도 공인시험결과서 : 트랜잭션 처리, 복합 분석 처리
표 글로벌 기업 Inspur 해외 BMT 결과 보고서(4차년도) : 트랜잭션 처리, 온라인 분석 질의처리
표 5차년도 공인시험결과서 : 온라인 분석 질의처리, 트랜잭션과 분석 동시 수행시 간섭 부하율
표 일체형 DB 엔진 정량적 목표의 평가 환경

과제명(ProjectTitle) :	-
연구책임자(Manager) :	-
과제기간(DetailSeriesProject) :	-
총연구비 (DetailSeriesProject) :	-
키워드(keyword) :	-
과제수행기간(LeadAgency) :	-
연구목표(Goal) :	-
연구내용(Abstract) :	-
기대효과(Effect) :	-

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 제목(한글), 저자명(한글), 발행일자, 전자원문, 초록(한글), 초록(영문) 관리번호, 제목(한글), 제목(영문), 저자명(한글), 저자명(영문), 주관연구기관(한글), 주관연구기관(영문), 발행일자, 총페이지수, 주관부처명, 과제시작일, 보고서번호, 과제종료일, 주제분류, 키워드(한글), 전자원문, 키워드(영문), 입수제어번호, 초록(한글), 초록(영문), 목차
저장형식	Text(ASCII format) Excel format
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

대규모 트랜잭션 처리와 실시간 복합 분석을 통합한 일체형 데이터 엔지니어링 기술 개발
Development of an Unified Data Engineering Technology for Large-scale Transaction Processing and Real-time Complex Analytics 원문보기

초록 ▼

목차 Contents

표/그림 (183)

표/그림 (183)

참고문헌 (25)

연구과제 타임라인

관련 콘텐츠

원문 보기

이 보고서와 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

대규모 트랜잭션 처리와 실시간 복합 분석을 통합한 일체형 데이터 엔지니어링 기술 개발 Development of an Unified Data Engineering Technology for Large-scale Transaction Processing and Real-time Complex Analytics 원문보기

초록 ▼

목차 Contents

표/그림 (183) 모든 표/그림 보기

표/그림 (183) 슬라이드로 보기

참고문헌 (25)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

이 보고서와 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

대규모 트랜잭션 처리와 실시간 복합 분석을 통합한 일체형 데이터 엔지니어링 기술 개발
Development of an Unified Data Engineering Technology for Large-scale Transaction Processing and Real-time Complex Analytics 원문보기

표/그림 (183)

표/그림 (183)