신광호
(Railway Technical Research Center, DAEATI Co., Ltd.)
,
정혜란
(Railway Technical Research Center, DAEATI Co., Ltd.)
,
안진
(Railway Technical Research Center, DAEATI Co., Ltd.)
실시간 철도안전 관제시스템은 철도시스템을 구성하는 열차, 신호, 전력 및 설비 등으로 분산되어 감시되던 시스템의 안전관련 데이터를 통합하여 안전감시 효율을 향상시키고 사고를 예방하는 것이 목적으로, 기존 개별 감시 시스템과 달리 데이터의 대용량 처리와 실시간 처리 성능을 동시에 요구하고 있다. 기존 관제시스템에서 주로 활용되는 디스크 기반 데이터베이스는 실시간 및 빅 데이터 처리기능이 없고, 최근 도입되는 메모리 기반 데이터베이스는 빅데이터 처리기능이 없으며, 시계열 데이터베이스는 실시간 처리 기능이 없다. 이에 따라, 실시간 안전관제에서 요구되는 빅 데이터 처리와 실시간 처리를 동시에 제공하는 새로운 솔루션이 필요하다. 본 연구에서는 기존 관제의 데이터 처리 사례를 분석하고, 빅 데이터 처리와 실시간 처리를 동시에 제공하는 새로운 데이터 처리 방안을 제안하였으며, 이를 검증하였다.
실시간 철도안전 관제시스템은 철도시스템을 구성하는 열차, 신호, 전력 및 설비 등으로 분산되어 감시되던 시스템의 안전관련 데이터를 통합하여 안전감시 효율을 향상시키고 사고를 예방하는 것이 목적으로, 기존 개별 감시 시스템과 달리 데이터의 대용량 처리와 실시간 처리 성능을 동시에 요구하고 있다. 기존 관제시스템에서 주로 활용되는 디스크 기반 데이터베이스는 실시간 및 빅 데이터 처리기능이 없고, 최근 도입되는 메모리 기반 데이터베이스는 빅데이터 처리기능이 없으며, 시계열 데이터베이스는 실시간 처리 기능이 없다. 이에 따라, 실시간 안전관제에서 요구되는 빅 데이터 처리와 실시간 처리를 동시에 제공하는 새로운 솔루션이 필요하다. 본 연구에서는 기존 관제의 데이터 처리 사례를 분석하고, 빅 데이터 처리와 실시간 처리를 동시에 제공하는 새로운 데이터 처리 방안을 제안하였으며, 이를 검증하였다.
A goal of the Real-time railway safety supervision system is to improve the safety oversight efficiency and to prevent accidents by integrating existing distributed monitoring systems, train, signal, power and facilities. So, the system require better performance regarding real-time processing based...
A goal of the Real-time railway safety supervision system is to improve the safety oversight efficiency and to prevent accidents by integrating existing distributed monitoring systems, train, signal, power and facilities. So, the system require better performance regarding real-time processing based on big data. The disk-based database that is used in existing railway control systems has a problem with real-time processing; memory-based databases haves a limitation in terms of big-data processing; and time series databases haves a limitation in terms of real-time processing. So, we need a new database architecture for simultaneous real-time processing based on big data. In this study, we review the existing railway monitoring systems and propose a new database architecture for a real-time railway safety supervision system.
A goal of the Real-time railway safety supervision system is to improve the safety oversight efficiency and to prevent accidents by integrating existing distributed monitoring systems, train, signal, power and facilities. So, the system require better performance regarding real-time processing based on big data. The disk-based database that is used in existing railway control systems has a problem with real-time processing; memory-based databases haves a limitation in terms of big-data processing; and time series databases haves a limitation in terms of real-time processing. So, we need a new database architecture for simultaneous real-time processing based on big data. In this study, we review the existing railway monitoring systems and propose a new database architecture for a real-time railway safety supervision system.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 연구에서는 실시간 철도 안전 관제를 위한 데이터 처리의 요구사항 도출과 기존의 데이터 처리 사례 분석을 기반으로 빅 데이터 처리와 실시간 처리 성능을 동시에 제공하는 새로운 데이터 처리 방안을 제시하고, 제시된 방안이 실시간 안전 관제를 위한 요구사항에 충분히 만족하는 것을 실제로 구현하여 검증하였다.
안전 관제를 위한 데이터 처리 방안의 연구를 위하여 기존 데이터베이스의 분석과 다양한 분야에서의 적용 방안을 분석한 결과 대부분 본래 기능을 수행하기 위하여 적용되었으며, 본 연구에서 목적하는 실시간과 빅 데이터 처리를 위한 동시 적용에 대한 사례는 없었다. 이에, 실제 현장에서 활용되고 있는 방안 중 특징적으로 볼 수 있는 3가지를 선별하여 서술하고, 기존 솔루션에서 안전 관제에서 요구되는 기능에 대한 요구 사항을 추출하기 위한 목적으로 분석 내용을 서술한다.
제안 방법
4’와 같이 기존의 빅 데이터 처리 전용의 시계열 데이터베이스 특성인 Log Table은 유지하면서, 메모리 기반 실시간 처리를 보완하기 위한 휘발성 메모리 Volatile Table의 구조를 추가하여 대용량의 데이터 로그 동안에도 실시간 처리를 동시적으로 구현하는 새로운 아키텍처를 구상하였다.
5’와 같이 대용량 처리와 실시간 성능을 동시에 구현하기 위한 대용량-실시간 하이브리드 형태의 데이터베이스 구조로, 대용량 처리를 위한 시계열 특성 테이블과 실시간 처리를 위한 휘발성 동적 테이블을 추가로 구성하여 상호 연계가 되도록 설계하였다.
6’과 같이 기존 Lookup Table의 구조와 유사한 휘발성 특성의 동적 테이블(Volatile Lookup Table)을 추가하고, 동적 테이블에 대한 삽입(INSERT) 및 수정(UPDATE) 기능을 구현하기 위하여 기존 Storage Manager에서 관리되었던 기존의 Disk Data 기반 Lookup Table은 Persistent Lookup Table로 명칭을 변경하고, Volatile Lookup Table을 추가하여 In-Memory 특성을 구현하도록 구조를 추가하였다.
7’과 같이 연결형 리스트를 갖도록 테이블을 추가하였으며, MVCC 모듈은 하나의 레코드가 Old value들을 리스트로 갖고 있으며, 갱신 혹은 삭제 연산이 발생한 old value들은 aging thread에 의해서 병렬적으로 삭제가 되도록 구현하였다.
8’과 같이 In-Memory 형식의 MVCC(Multi version concurrency control) 모듈을 개선함으로써 휘발성 특성의 동적 테이블에 대한 삽입(INSERT) 및 수정(UPDATE) 기능을 위하여 기존의 시계열 데이터 구조를 위한 PCH Array 구조에서 Row Ptr Page에 Linked List 구조인 Row Info Array 구조를 Link하도록 설계를 변경하였다.
기존의 구조를 변경하여 휘발성 동적 메모리의 업데이트(UPDATE) 모듈을 추가한 상태에서 변경 전 성능과 비교를 하기 위한 시험으로, 변경 전 InfiniFlux 솔루션에서 제시하는 최대 입력(INSERT) 성능치인 초당 25만 TPS에서 구조를 변경한 후 얼마나 성능 저하가 있는지를 확인하게 된다. 시험은 외부 시험용 시뮬레이션 모듈을 통해 시계열 테이블에 대한 최대 입력 조건으로 시험을 수행하였으며, 시험을 수행한 결과 ‘Fig.
기존의 구조를 변경한 후 빅 데이터 처리와 동시에 실시간 처리 성능이 실시간 안전관제의 실시간 처리 요구사항을 만족하는지 검증하기 위한 시험으로, 실시간 안전관제의 처리 요구사항인 분당 10만 건(=초당 1,666건)에서 향후 확장성을 고려하여 30배 이상인 초당 6만 건(분당 360만 건)을 기준으로 설정하였으며 성능이 유지되는지를 검증하였다. 시험은 외부 시험용 시뮬 레이션 모듈을 통해 휘발성 동적 테이블에 대하여 전체 100만 건의 데이터를 1000건씩 업데이트(UPDATE)를 수행하고, 동시에 시계열 특성의 log 테이블에 대한 입력(INSERT) 및 조회(SELECT)를 계속적으로 수행하였으며, ‘Fig.
기존의 구조를 변경한 후 실시간 처리 성능이 실시간 안전관제의 실시간 처리 요구사항을 만족하는지 검증하기 위한 시험으로, 실시간 안전관제의 처리 요구사항인 분당 10만 건(=초당 1,666건)에서 향후 확장성을 고려하여 30배 이상인 초당 6만 건(=분당 360만 건)을 기준으로 설정하였으며 성능이 유지되는지를 검증하였다. 시험은 외부 시험용 시뮬레이션 모듈을 통해 휘발성 동적 테이블에 대하여 단독으로 전체 100만 건의 데이터를 1000건씩 업데이트(UPDATE)만을 계속적으로 수행하였으며, ‘Fig.
시험은 외부 시험용 시뮬 레이션 모듈을 통해 휘발성 동적 테이블에 대하여 전체 100만 건의 데이터를 1000건씩 업데이트(UPDATE)를 수행하고, 동시에 시계열 특성의 log 테이블에 대한 입력(INSERT) 및 조회(SELECT)를 계속적으로 수행하였으며, ‘Fig.
시험을 위한 시뮬레이션 모듈은 구조를 변경하여 구현한 실시간과 빅 데이터 성능을 동시에 지원하는 신규 데이터베이스의 성능을 검증하기 위한 것으로, 시계열 테이블에 기록하는 모듈과 실시간 테이블에 기록/조회하는 모듈, 기록/조회에 따른 성능을 측정하는 모듈로 구성되어, 각각의 테이블에 반복적으로 기록하거나 조회하는 기능이나 동시에 두 개의 테이블에 반복적으로 기록하면서 조회하는 기능을 제공한다.
신규 데이터베이스는 기존 시계열 특성의 구조를 변경하여 실시간 처리를 위한 휘발성 동적 테이블을 추가한 것으로, 새로운 데이터베이스가 실시간 안전관제의 데이터 처리를 위한 요구사항이 충분히 만족되는지를 검증하기 위하여 3가지 항목에 대한 시험을 수행하였다.
실시간 철도안전 관제를 위한 새로운 데이터 처리 방안으로 데이터 활용성 측면에서 데이터베이스 솔루션 적용을 기본으로 하며, 실시간과 대용량 처리 기능을 동시에 제공하기 위하여 빅 데이터 처리 전용의 시계열 데이터베이스와 실시간 처리 전용의 메모리 기반 데이터베이스를 조합한 하이브리드 형식을 제시한다.
실시간 철도안전 관제시스템의 데이터 처리를 위한 요구 사항으로 실시간 감시 및 통제를 위하여 수집되는 데이터의 용량을 산정하고, 빅 데이터 기반의 위험 및 사고 예측을 수행하기 위한 누적 데이터의 용량을 분석하였다.
실시간 철도안전 관제의 데이터 처리를 위한 신규 데이터베이스의 성능 시험을 위하여 안전 관제에서 활용되는 실제 테이블을 적용하였으며, ‘Table 4’와 같이 시계열 특성과 실시간 처리에 대한 동시 처리 성능을 확인하기 위하여 log 특성의 테이블과 동적 특성의 테이블을 구성하여 시험을 수행하였다.
첫 번째는 기존 모듈 변경한 후 기존 솔루션의 성능에 변화가 있는지를 검증하기 위하여 시험하였고, 두 번째는 추가된 실시간 특성의 동적 테이블의 처리 성능이 실시간 안전 관제를 위한 요구사항을 만족하는지를 시험하였으며, 세 번째는 기존 빅 데이터 처리 기능과 실시간 기능이 동시에 처리되는 동안 실시간 안전 관제를 위한 실시간 처리에 대한 요구사항을 만족하는지를 시험하였다.
대상 데이터
시험은 외부 시험용 시뮬레이션 모듈을 통해 휘발성 동적 테이블에 대하여 단독으로 전체 100만 건의 데이터를 1000건씩 업데이트(UPDATE)만을 계속적으로 수행하였으며, ‘Fig.
성능/효과
9’와 같이 기존 성능인 25만 TPS와 동등한 결과를 확인하였으며, 이는 기존 시계열 데이터베이스에 휘발성 동적 테이블을 추가한 후에도 기존 시계열 데이터베이스의 특성에는 영향이 없는 것으로 실제 확인되었다.
기존 시계열 특성의 데이터베이스 구조를 변경하여 volatile 속성을 추가한 경우에도 기존 InfiniFlux 최대 성능인 초당 25만 건과 동일한 수준에서 유지되는 것을 확인하였으며, 신규 추가한 휘발성 동적 테이블에 대한 실시간 처리 성능과 빅 데이터 처리 및 실시간 동시 처리에 대한 성능은 확장성을 고려하여 30배 이상으로 설정한 분당 360만 건(=초당 6만 건)을 확인하였다. 이는 실시간 안전 관제를 위한 요구사항인 빅 데이터 및 실시간 동시 처리 기능 제공과 실시간 데이터 처리의 요구사항인 분당 10만 건을 충분히 만족하는 것을 최종 검증한 것으로, 향후, 시스템 추가 및 기능 개량에 따라 규모가 확장되더라도 적용에 문제가 없다는 것을 입증한다.
기존의 솔루션에서 제공하는 기능과 실시간 철도안전 관제를 구현하기 위한 데이터 처리에 대한 요구사항을 ‘Table 3’과 같이 비교한 결과, 시계열(Time Series) 특성과 메모리기반 데이터베이스(MMDBMS) 특성을 접목하는 경우 충족되는 것을 확인하였다.
본 연구에서 이러한 문제점을 개선하고자 빅 데이터 처리와 실시간 처리 성능을 동시에 제공하는 하이브리드 방식의 신규 데이터베이스를 구현하였으며, 기존 빅 데이터 기반의 분석 성능은 유지하면서도 실시간 안전관제의 실시간 요구사항인 분당 6만 건의 30배 이상에 해당하는 분당 360만 건의 성능을 확인하였다. 본 연구의 결과인 시계열 특성의 데이터베이스와 메모리 기반 데이터베이스를 조합한 새로운 하이브리드 형식의 데이터베이스를 적용하는 경우 실시간 안전 관제를 위한 어플리케이션 개발에 따른 인력 투입 및 개발 기간의 단축이 예상되며, 대용량 기반의 실시간 처리가 요구되는 클라우딩 기반 실시간 감시나 사물인터넷(Internet of Thing; IoT) 분야 등에서 많이 확대 적용될 것으로 기대된다.
실시간 철도안전 관제를 위한 데이터 처리의 요구 사항을 분석한 결과, 실시간 감시 및 통제를 위한 트랜잭션의 용량 측면에서는 분당 10만 건 이상의 실시간 처리 성능이 요구되고, 빅 데이터 기반 위험 및 사고 예측을 위한 처리 성능은 연간 10TB이상 축적되어 대용량 분석을 위한 성능이 동시에 요구되는 것을 확인하였다.
8’과 같이 In-Memory 형식의 MVCC(Multi version concurrency control) 모듈을 개선함으로써 휘발성 특성의 동적 테이블에 대한 삽입(INSERT) 및 수정(UPDATE) 기능을 위하여 기존의 시계열 데이터 구조를 위한 PCH Array 구조에서 Row Ptr Page에 Linked List 구조인 Row Info Array 구조를 Link하도록 설계를 변경하였다. 이는 기존 빅 데이터 처리 기능과 더불어 실시간 처리 기능이 가능한 하이브리드 형식의 새로운 데이터베이스를 구축한 것으로, 실시간 안전 관제를 위한 실시간 및 빅 데이터 동시 처리 기능이 구현되었다.
기존 시계열 특성의 데이터베이스 구조를 변경하여 volatile 속성을 추가한 경우에도 기존 InfiniFlux 최대 성능인 초당 25만 건과 동일한 수준에서 유지되는 것을 확인하였으며, 신규 추가한 휘발성 동적 테이블에 대한 실시간 처리 성능과 빅 데이터 처리 및 실시간 동시 처리에 대한 성능은 확장성을 고려하여 30배 이상으로 설정한 분당 360만 건(=초당 6만 건)을 확인하였다. 이는 실시간 안전 관제를 위한 요구사항인 빅 데이터 및 실시간 동시 처리 기능 제공과 실시간 데이터 처리의 요구사항인 분당 10만 건을 충분히 만족하는 것을 최종 검증한 것으로, 향후, 시스템 추가 및 기능 개량에 따라 규모가 확장되더라도 적용에 문제가 없다는 것을 입증한다.
후속연구
본 연구에서 이러한 문제점을 개선하고자 빅 데이터 처리와 실시간 처리 성능을 동시에 제공하는 하이브리드 방식의 신규 데이터베이스를 구현하였으며, 기존 빅 데이터 기반의 분석 성능은 유지하면서도 실시간 안전관제의 실시간 요구사항인 분당 6만 건의 30배 이상에 해당하는 분당 360만 건의 성능을 확인하였다. 본 연구의 결과인 시계열 특성의 데이터베이스와 메모리 기반 데이터베이스를 조합한 새로운 하이브리드 형식의 데이터베이스를 적용하는 경우 실시간 안전 관제를 위한 어플리케이션 개발에 따른 인력 투입 및 개발 기간의 단축이 예상되며, 대용량 기반의 실시간 처리가 요구되는 클라우딩 기반 실시간 감시나 사물인터넷(Internet of Thing; IoT) 분야 등에서 많이 확대 적용될 것으로 기대된다.
실시간 철도안전 관제시스템의 데이터 처리를 위한 요구 사항을 충족하는 시계열 특성과 메모리 기반 특성을 조합한 하이브리드 형식의 데이터베이스 구축의 필요성을 확인하였으며, 이를 적용하는 경우 개발 인력 절감 및 기간 단축 등의 효과가 기대 된다.
질의응답
핵심어
질문
논문에서 추출한 답변
실시간 철도안전 관제시스템에 요구되는 것은 무엇인가?
철도기술연구사업 일환으로 추진하고 있는 실시간 철도안전 관제시스템은 철도시스템을 구성하는 열차제어설비, 신호설비, 전력설비, 통신설비, 기계설비 및 선로변 안전검지장치 등으로 분산되어 감시되고 있던 개별 감시시스템의 안전관련 데이터를 통합하여 열차 운행의 안전을 실시간으로 감시하고 제어하며, 축적되는 빅 데이터를 기반으로 사고 및 위험을 예측하여 사고를 예방하는 통합 시스템이다. 이 시스템은 모든 감시 설비의 안전관련 정보를 통합하기 때문에 개별 감시설비를 기준으로 최소 5~10배 이상의 데이터를 실시간으로 감시하고 제어하기 위한 실시간 처리 성능이 요구되고, 누적된 테라급 이상의 빅 데이터를 기반으로 위험과 사고 예측을 수행하기 위한 대용량 데이터 처리 성능이 동시에 요구된다[1].
실시간 철도안전 관제시스템의 목적은 무엇인가?
실시간 철도안전 관제시스템은 철도시스템을 구성하는 열차, 신호, 전력 및 설비 등으로 분산되어 감시되던 시스템의 안전관련 데이터를 통합하여 안전감시 효율을 향상시키고 사고를 예방하는 것이 목적으로, 기존 개별 감시 시스템과 달리 데이터의 대용량 처리와 실시간 처리 성능을 동시에 요구하고 있다. 기존 관제시스템에서 주로 활용되는 디스크 기반 데이터베이스는 실시간 및 빅 데이터 처리기능이 없고, 최근 도입되는 메모리 기반 데이터베이스는 빅데이터 처리기능이 없으며, 시계열 데이터베이스는 실시간 처리 기능이 없다.
디스크 기반 데이터베이스의 단점은 무엇인가?
실시간 철도안전 관제시스템은 철도시스템을 구성하는 열차, 신호, 전력 및 설비 등으로 분산되어 감시되던 시스템의 안전관련 데이터를 통합하여 안전감시 효율을 향상시키고 사고를 예방하는 것이 목적으로, 기존 개별 감시 시스템과 달리 데이터의 대용량 처리와 실시간 처리 성능을 동시에 요구하고 있다. 기존 관제시스템에서 주로 활용되는 디스크 기반 데이터베이스는 실시간 및 빅 데이터 처리기능이 없고, 최근 도입되는 메모리 기반 데이터베이스는 빅데이터 처리기능이 없으며, 시계열 데이터베이스는 실시간 처리 기능이 없다. 이에 따라, 실시간 안전관제에서 요구되는 빅 데이터 처리와 실시간 처리를 동시에 제공하는 새로운 솔루션이 필요하다.
참고문헌 (20)
S.M. Kim, D.H. SHin (2012) System design for real-time integrated railway monitoring & control system, Korea Railway Research Institute, R&D Report of Real-time Integrated Railway Monitoring & Control System.
http://www.safekorea.go.kr/idsiSFK/index.jsp (Accessed 12 January 2016).
http://www.railsafety.or.kr/web/index.jsp?sectionnull&edmuinull (Accessed 20 January 2016).
S.M. Kim, D.H. Shin (2014) Development of real-time integrated railway monitoring & control system, Magazine of Korean Society of Hazard Mitigation, 14(6), pp. 48-52.
S.M. Kim (2014) Development of real-time integrated railway monitoring & control system, Journal of Korea Institute for Structural Maintenance and Inspection, 18(4), pp. 63-67.
DAEATI (2008) Detail design report for centralized traffic control system, DAEATI Co., Ltd.
D.S. Kim (2007) Earthquake monitoring system operation status for high speed railroad, Journal of Korean society of hazard mitigation, 7(4), pp.77-82.
M.K. Lee (2009) Design and embodiment of monitoring system in the railway turnout, Master's Thesis, Chung-Nam University.
Y.H. Kim, J.C. Kim, K.H. Choi, S.H. Pyeon, et al. (2009) Rail intruder and obstacle detection system for railway platform, Spring Conference of The Korean Society for Railway, Jeju, Korea, pp. 872-878.
http://info.korail.com (Accessed 15 February 2016).
http://www.smrt.co.kr/inc/jsp/printPopup.jsp?threfhttp://www.smrt.co.kr/main/publish/view.jsp@menuID001007003009012 (Accessed 12 April 2016).
http://www.dtro.or.kr/open_content_new/ko/sub_page/page.php?mnu_puid16&mnu_uid222&mnu_puid281 (Accessed 12 April 2016).
http://blog.naver.com/shinbundang_/10153087817 (Accessed 12 April 2016).
B.S. Jang, M.Y. Kim, W.H. Kim, Y.J. Yoon, et al. (2007) The study on the development of historical data management system for realtime EMS data storage & retrieval, Autumn Conference of Korean Institute of Information Scientists and Engineers, 34(2B), pp. 388-392.
H.S. Lee, W.H. Kim, M.R. Park, Y.J. Yoon (2007) Development of real time SCADA database in Korean EMS, Autumn Conference of the Korean Institute of Electrical Engineers, Seoul, Korea, pp. 404-405.
H.R. Jung, W.S. Cho (2011) A study to improve the database for the efficiency on railway traffic control system, Autumn Conference of The Korean Society for Railway, Jeju, Korea, pp. 1275-1281.
S.M. Ahn (2005) A study on implementation of main memory DBMS, Master's Thesis, Kook-Min University.
S.H. Kim (2004) Compare DDBMS with MMDBMS, Digital Contents of Korea Database Agency, 2004(09), pp. 99-106.
Altibase (2011) Product catalog of ALTIBASE HBD, Altibase Inc.
InfiniFlux (2015) Manual for INFINIFLUX, InfiniFlux Inc.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.