[학위논문]대용량 이벤트 데이터 실시간 병렬처리 소프트웨어 프레임워크와 이를 이용한 하이테크 고급 센서 데이터 취득과 자동 가공 및 분석을 위한 연구 A study of high performance real time data parallel processing software framework for large scaled enterprise event data and of high technology sensors’diagnosis software with this framework원문보기
최근 기업 내외에서의 업무 처리의 복잡성, 다양성, 역동성, 신속성이 높아지면서, 보다 많은 종류의 기업 데이터를 더 빠르고 대량으로 처리하고 또 IoT (Internet of Things) 확산으로 수집되는 다양한 데이터를 이용하여 비즈니스 기회를 찾고자 하는 니즈가 높아지고 있다. 급속한 IT 기술 발전으로 실시간 정보시스템의 필요성이 급격하게 높아지고 있으며, 데이터양의 급증, 데이터 수명과 이벤트 ...
최근 기업 내외에서의 업무 처리의 복잡성, 다양성, 역동성, 신속성이 높아지면서, 보다 많은 종류의 기업 데이터를 더 빠르고 대량으로 처리하고 또 IoT (Internet of Things) 확산으로 수집되는 다양한 데이터를 이용하여 비즈니스 기회를 찾고자 하는 니즈가 높아지고 있다. 급속한 IT 기술 발전으로 실시간 정보시스템의 필요성이 급격하게 높아지고 있으며, 데이터양의 급증, 데이터 수명과 이벤트 반응 시간이 급격히 단축되는 상황이므로, 비즈니스 이벤트 데이터의 대용량 및 실시간 처리가 시스템 설계, 개발, 적용에서 기본 요소가 되고 있으며, 이와 관련되어 이벤트를 연관된 과거 데이터와 결합시켜 특정한 이벤트 패턴을 찾아내는 복합 이벤트 처리가 중요해지고 있다. 자동화된 설비로 생산이 되는 하이테크 산업에서도 대용량의 이벤트의 실시간 처리는 필요성이 급속히 높아지고 있다. 예로서, 극한적으로 높은 수준인 반도체 공정 품질관리에서는, 극히 정교한 반도체 설비 체임버에 장착 된 정밀 고급 센서로부터의 이벤트 데이터를 대량으로 고속 수집하여 개별 공정에 맞는 최적 로직으로 진단하고 분석하는 임베디드 솔루션이 필요하다. 엔터프라이즈와 임베디드의 두 가지 니즈는 매우 다른 분야의 니즈로 보이지만, 이벤트 데이터를 대량 수집하여 지연시간 없이 정해진 로직으로 실시간 집계, 가공, 변환, 판단, 전달하는 과정은 서로 같은 성격이므로, 동일한 자동화 소프트웨어 프레임워크로 양 쪽의 니즈를 같이 만족시킬 수 있다. 본 연구는 먼저 엔터프라이즈 환경에서 대량 이벤트에 대한 실시간 및 대용량 처리를 하는“대용량 이벤트 데이터 실시간 병렬처리”자동화 프레임워크를 연구하였고, 이를 응용하여 최첨단 하이테크 설비의 정밀 고급 센서와 관련되는“하이테크 고급 센서 이벤트 데이터 실시간 취득 및 자동 가공, 분석”임베디드 솔루션을 함께 연구하였다. 기존의 엔터프라이즈 시스템에서는 이벤트를 일정한 데이터 저장소에 저장을 하고서 ETL 도구를 활용하여 필요한 데이터를 추출하여 원하는 비즈니스 로직으로 집계, 가공, 변환, 전달하는 방식으로 시스템을 구현하는데, 이 방식은 이벤트 발생부터 결과 도출까지 지연시간 발생하는 문제가 있다. 본 연구는 지연시간 없이 이벤트 발생부터 결과 도출까지 실시간이 되도록 다수의 소스들로부터 들어온 이벤트를 데이터 저장소에 저장하기 전에 원하는 비즈니스 로직으로 이벤트 데이터를 집계, 가공, 변환, 전달하는 자동화된 프레임워크를 연구하였다. 임베디드에서의 기존 방식은 MCU 칩 벤더들이 제공하는 간소화 된 C 언어로 하드코딩 하는데, 이 방식은 소프트웨어 개발력이 부족한 임베디드 엔지니어들이 용이하게 소프트웨어를 구현하도록 하였으나, 하이테크 산업에서의 고급스러운 요건 대응에는 많은 어려움과 한계점을 가지고 있다. 그러므로 임베디드 솔루션도 엔터프라이즈 시스템 개발과 같이 체계적으로 자동화된 프레임워크 위에서 설계, 개발, 적용하는 과정으로 수행함이 필요하다. 본 논문에서는 엔터프라이즈의 자동화 도구인“대용량 이벤트 데이터 실시간 병렬처리”자동화 소프트웨어 프레임워크를 연구하여 인력 개입 없이 안정적인 목표 성능 달성을 결과를 확보하였으며, 이를 임베디드 개발에도 도입하여 안정적이면서 고성능인 임베디드 솔루션 구현을 연구하여“하이테크 고급 센서 이벤트 데이터 실시간 취득 및 자동 가공, 분석”솔루션을 개발하고 성능과 기능 목표를 달성함을 확인하였다.
최근 기업 내외에서의 업무 처리의 복잡성, 다양성, 역동성, 신속성이 높아지면서, 보다 많은 종류의 기업 데이터를 더 빠르고 대량으로 처리하고 또 IoT (Internet of Things) 확산으로 수집되는 다양한 데이터를 이용하여 비즈니스 기회를 찾고자 하는 니즈가 높아지고 있다. 급속한 IT 기술 발전으로 실시간 정보시스템의 필요성이 급격하게 높아지고 있으며, 데이터양의 급증, 데이터 수명과 이벤트 반응 시간이 급격히 단축되는 상황이므로, 비즈니스 이벤트 데이터의 대용량 및 실시간 처리가 시스템 설계, 개발, 적용에서 기본 요소가 되고 있으며, 이와 관련되어 이벤트를 연관된 과거 데이터와 결합시켜 특정한 이벤트 패턴을 찾아내는 복합 이벤트 처리가 중요해지고 있다. 자동화된 설비로 생산이 되는 하이테크 산업에서도 대용량의 이벤트의 실시간 처리는 필요성이 급속히 높아지고 있다. 예로서, 극한적으로 높은 수준인 반도체 공정 품질관리에서는, 극히 정교한 반도체 설비 체임버에 장착 된 정밀 고급 센서로부터의 이벤트 데이터를 대량으로 고속 수집하여 개별 공정에 맞는 최적 로직으로 진단하고 분석하는 임베디드 솔루션이 필요하다. 엔터프라이즈와 임베디드의 두 가지 니즈는 매우 다른 분야의 니즈로 보이지만, 이벤트 데이터를 대량 수집하여 지연시간 없이 정해진 로직으로 실시간 집계, 가공, 변환, 판단, 전달하는 과정은 서로 같은 성격이므로, 동일한 자동화 소프트웨어 프레임워크로 양 쪽의 니즈를 같이 만족시킬 수 있다. 본 연구는 먼저 엔터프라이즈 환경에서 대량 이벤트에 대한 실시간 및 대용량 처리를 하는“대용량 이벤트 데이터 실시간 병렬처리”자동화 프레임워크를 연구하였고, 이를 응용하여 최첨단 하이테크 설비의 정밀 고급 센서와 관련되는“하이테크 고급 센서 이벤트 데이터 실시간 취득 및 자동 가공, 분석”임베디드 솔루션을 함께 연구하였다. 기존의 엔터프라이즈 시스템에서는 이벤트를 일정한 데이터 저장소에 저장을 하고서 ETL 도구를 활용하여 필요한 데이터를 추출하여 원하는 비즈니스 로직으로 집계, 가공, 변환, 전달하는 방식으로 시스템을 구현하는데, 이 방식은 이벤트 발생부터 결과 도출까지 지연시간 발생하는 문제가 있다. 본 연구는 지연시간 없이 이벤트 발생부터 결과 도출까지 실시간이 되도록 다수의 소스들로부터 들어온 이벤트를 데이터 저장소에 저장하기 전에 원하는 비즈니스 로직으로 이벤트 데이터를 집계, 가공, 변환, 전달하는 자동화된 프레임워크를 연구하였다. 임베디드에서의 기존 방식은 MCU 칩 벤더들이 제공하는 간소화 된 C 언어로 하드코딩 하는데, 이 방식은 소프트웨어 개발력이 부족한 임베디드 엔지니어들이 용이하게 소프트웨어를 구현하도록 하였으나, 하이테크 산업에서의 고급스러운 요건 대응에는 많은 어려움과 한계점을 가지고 있다. 그러므로 임베디드 솔루션도 엔터프라이즈 시스템 개발과 같이 체계적으로 자동화된 프레임워크 위에서 설계, 개발, 적용하는 과정으로 수행함이 필요하다. 본 논문에서는 엔터프라이즈의 자동화 도구인“대용량 이벤트 데이터 실시간 병렬처리”자동화 소프트웨어 프레임워크를 연구하여 인력 개입 없이 안정적인 목표 성능 달성을 결과를 확보하였으며, 이를 임베디드 개발에도 도입하여 안정적이면서 고성능인 임베디드 솔루션 구현을 연구하여“하이테크 고급 센서 이벤트 데이터 실시간 취득 및 자동 가공, 분석”솔루션을 개발하고 성능과 기능 목표를 달성함을 확인하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.