[논문]프로세스 마이닝을 위한 거리 기반의 API(Anomaly Process Instance) 탐지법

전대욱; 배혜림

doi:10.7232/jkiie.2015.41.6.540

프로세스 마이닝을 위한 거리 기반의 API(Anomaly Process Instance) 탐지법
Detection of API(Anomaly Process Instance) Based on Distance for Process Mining 원문보기

대한산업공학회지 = Journal of the Korean Institute of Industrial Engineers, v.41 no.6, 2015년, pp.540 - 550

Abstract ▼ AI-Helper

There have been many attempts to find knowledge from data using conventional statistics, data mining, artificial intelligence, machine learning and pattern recognition. In those research areas, knowledge is approached in two ways. Firstly, researchers discover knowledge represented in general features for universal recognition, and secondly, they discover exceptional and distinctive features. In process mining, an instance is sequential information bounded by case ID, known as process instance. Here, an exceptional process instance can cause a problem in the analysis and discovery algorithm. Hence, in this paper we develop a method to detect the knowledge of exceptional and distinctive features when performing process mining. We propose a method for anomaly detection named Distance-based Anomaly Process Instance Detection (DAPID) which utilizes distance between process instances. DAPID contributes to a discovery of distinctive characteristic of process instance. For verifying the suggested methodology, we discovered characteristics of exceptional situations from log data. Additionally, we experiment on real data from a domestic port terminal to demonstrate our proposed methodology.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

DAPID에서 거리기준(r)을 작게 두어서 근거리에 있는 인스턴스만을 고려하여 π보다 작은 비율의 인스턴스가 근거리에 있다면 이상치로 판별하는 것이 용이한 환경과, 거리기준을 크게 두어서 원거리를 기준으로 탐색하는 것이 용이한 환경도 있다. 본 논문에서는 사례 연구를 통해 실제 항만 터미널의 운영 시스템에서 발생하는 이벤트 로그로부터 API를 판별해 내는 것으로 DAPID의 활용성을 검증하고자 한다.
그러나 로그데이터에서 발생하는 유사 인스턴스 즉, 작업 목적이 같지만 이벤트의 반복적인 발생, 데이터 입력 오류 등을 포함한 인스턴스를 고려하지 못 했다. 본 논문에서는 작업환경의 특성을 고려한 이벤트 로그에서 이상치를 판단하는 방법을 제시하고자 한다.
본 연구는 이벤트 로그로부터 정상적인 프로세스 실행에서 벗어난 API(Anomaly Process Instance)를 판별하는 방법론을 제안하고, API 판별을 위한 거리 측정치로서 Arc matrix(AM)를 제안한다.
프로세스 마이닝 영역에서 API를 판정하는 데에는 개별 인스턴스를 구성하는 이벤트의 발생 패턴이 일반적인 패턴과 얼마나 차이가 나는지를 측정하여야 한다. 이러한 패턴은 이벤트의 발생순서와 빈도에 의해서 결정되며, 본 논문에서는 이벤트의 발생 선후관계를 표현하는 Arc의 발생 빈도를 활용한 판별방법을 제안한다.

제안 방법

그러나, 본 논문에서는 API 탐색을 이벤트 로그 분석의 시작점으로 보았다. API를 찾아내기 위한 방법으로서 Case ID, Activity, Timestamp 등의 속성을 활용하여 이벤트의 선후관계와 빈도를 고려하였다. 특히, 해당 선후관계와 빈도를 포함한 AM을 거리 척도(Distance measure)로 제안하였으며, AM을 활용하여 API를 판별하기 위해 DAPID를 제안하였다.
DAPID 알고리즘을 사용하여 20개의 인스턴스 예제에서 API를 탐지하였다. 탐지한 결과는 <Table 4>에서와 같이 r과 π값의 변동에 따른 API를 도출하였다.
기존의 프로세스 마이닝 연구분야에서는 API를 프로세스 모델 도출, 모니터링, 개선 등의 과정에서 누락하거나 혹은 전처리 과정에서 제외된 프로세스 인스턴스로서 분류하였다. 그러나, 본 논문에서는 API 탐색을 이벤트 로그 분석의 시작점으로 보았다. API를 찾아내기 위한 방법으로서 Case ID, Activity, Timestamp 등의 속성을 활용하여 이벤트의 선후관계와 빈도를 고려하였다.
프로세스 마이닝(Process Mining)은 정보시스템이나, 각종디바이스가 생성한 이벤트 로그를 수집하여 프로세스 모델 및 패턴분석을 용이하게 하도록 그 방법을 제공하고 있다. 데이터의 속성 중에서 각각의 Case ID, Activity, Timestamp, Resource등을 지정하여 순차적인 프로세스 모델을 도출하면, 이벤트로그를 발생시킨 정보시스템의 특성을 해당 프로세스 모델로부터 분석하게 된다. 주된 업무 흐름을 파악하고자 하는 사용자에게 신속하게 프로세스 모델을 제공하여, 쉽게 이해할 수 있도록 하는 방법이다.
Arc는 순차적으로 발생한 이벤트를 나타내는 것으로서 방향성을 가지고 있다. 따라서 기준 Activity와 목표Activity를 각각 고려하여 매트릭스를 구성하였다. <Table 2>에서 순차 데이터를 임의로 생성하여 알고리즘으로 탐지하는 방법을 나타내었다.
AM에서는 하나의 인스턴스 내에서 존재하는 이벤트 사이의 Arc의 빈도를 매트릭스로 나타내었다. 또한, 이상치 척도를 계산하기 위해서는 이벤트 로그에 존재하는 두 인스턴스 사이의 거리값을 사용하며, 거리 측정치로는 Arc가 발생하는 빈도를 고려하였다. Arc는 순차적으로 발생한 이벤트를 나타내는 것으로서 방향성을 가지고 있다.
특히, 해당 선후관계와 빈도를 포함한 AM을 거리 척도(Distance measure)로 제안하였으며, AM을 활용하여 API를 판별하기 위해 DAPID를 제안하였다. 마지막으로 DAPID의 결과를 검증하기 위해 사례 연구를 통해 실제 터미널 데이터로부터 컨테이너의 이상 물류를 확인하였다.
본 논문에서 이상치를 판정하고 검출하는 것은 프로세스의 실행 케이스들 간의 거리를 계산하고 이를 척도(Measurement)로 진행하게 된다. 이는 시스템 혹은 비즈니스 모델의 잘못된 업무 흐름, 작업 구조를 의미하는 것과는 다른 의미를 지닌다.
그러나 로그가 업무의 특성과 흐름을 적절하게 표현하지 못하는 경우에는 실제 이상치가 자주 발생하게 된다. 본 논문에서는 알고리즘을 통해 판단하는 이상치를 제시함으로 인해실제 업무영역에서의 판단과 다를 수 있으며, 전문가의 판단에 의해 탐지하는 영역을 다루지 않는다.
따라서 이벤트 로그는 이벤트 정보를 가진 이벤트 집합이다. 분석 대상으로서의 이벤트의 집합에서 개별 이벤트는 여러 속성을 가지고 있으며, 프로세스 마이닝을 적용하기 위해 Case ID, Activity, Timestamp를 개별 속성에 매칭하여 분석한다. 이러한 속성을 활용한 프로세스 모델 도출, 클러스터링, 유사성 분석 등이 활발히 연구되었다.
실제 항만 터미널의 이벤트 로그로부터 DAPID를 사용하여 API를 탐색하였다. 데이터는 국내 P사에서 제공한 환적과 관련된 컨테이너 243개에 대한 998개의 이벤트이다.
은 243개 인스턴스 각각에 대한 거리 매트릭스를 생성한 결과이며, DAPID를 적용하여 에 API 여부를 판별하였다.
제안하는 DAPID는 두 개의 한계치를 활용한 API 판별법으로서 r과 π의 조합은 판별에 직접적인 기준이 된다.
따라서 DAPID는 제안한 AM를 사용하여 API를 도출함으로써 전통적인 통계적 방법론에서 분석을 위해 수행하는 단계보다 간단하며, 직관적이다. 특히, 기존의 통계적 분석은 특정되지 않은 속성을 고려하여, 다양한 분석법을 적용하고, 분석자 직관력과 부합하는 결과에 따라 반복적인 분석을 수행한 후에야 이상치로서 개별이벤트를 탐지하였다. 이러한 접근은 프로세스 마이닝을 위해 사용되는 인스턴스 단위의 이상치를 찾기 어렵다.
API를 찾아내기 위한 방법으로서 Case ID, Activity, Timestamp 등의 속성을 활용하여 이벤트의 선후관계와 빈도를 고려하였다. 특히, 해당 선후관계와 빈도를 포함한 AM을 거리 척도(Distance measure)로 제안하였으며, AM을 활용하여 API를 판별하기 위해 DAPID를 제안하였다. 마지막으로 DAPID의 결과를 검증하기 위해 사례 연구를 통해 실제 터미널 데이터로부터 컨테이너의 이상 물류를 확인하였다.

대상 데이터

실제 항만 터미널의 이벤트 로그로부터 DAPID를 사용하여 API를 탐색하였다. 데이터는 국내 P사에서 제공한 환적과 관련된 컨테이너 243개에 대한 998개의 이벤트이다.
인공지능 방법론에서 제시하는 것과 전문가의 판단 사이에 차이가 존재하기 때문에 본 논문에서는 제시하는 방법이 많은 실제 데이터로부터 평가될 필요성이 있다. 따라서 실제 항만 운영 시스템의 데이터를 활용하여 사례연구를 진행하였다.
오랜 기간 축적된 데이터로부터 지식을 얻기 위한 노력은 다양한 산업과 영역에서 진행되어 왔으며, 여러 분석방법이 개발되었다. 분석을 위하여 과거에는 잘 정의된, 목적이 분명한 데이터를 사용하였으며, 이러한 데이터로부터 지식을 추출하는 데에는 통계적 방법을 통해 의미를 도출하고 활용하는 사례가 많이 존재하였다. 최근에는 셀 수 없이 많은 디지털 디바이스로부터 발생하는, 복잡한 연관성을 가진 데이터 혹은 측정하기 어려운 형태의 데이터 즉, 비정형 데이터도 분석의 대상이 되었다(Laxhammar, 2014).
이벤트는 단일한 사건의 발생을 저장한 데이터이므로 프로세스 모델을 도출하기 위해서는 이벤트가 하나의 인스턴스(Instance) 단위로 순차적으로 묶이게 된다. 시간 순차적으로 이벤트를 묶기 위하여 시간 데이터인 Timestamp를 포함한다.
예제 데이터는 20개 Case ID의 130개 이벤트를 포함하였으며, 하나의 Case ID에 해당하는 트레이스는 괄호로 표기하고, 하나의 이벤트는 알파벳 소문자로 표기하였다.

성능/효과

결과적으로, 항만 터미널에서 API로는 이상치 합이 가장 큰 인스턴스 ‘Container 197’와‘Container 198’이 탐지되었다.
그러나 회귀분석에서는 변수의 선형성, 잔차의 분포 등에 영향을 받으면서 복잡한 계산과정을 수행한다. 따라서 DAPID는 제안한 AM를 사용하여 API를 도출함으로써 전통적인 통계적 방법론에서 분석을 위해 수행하는 단계보다 간단하며, 직관적이다. 특히, 기존의 통계적 분석은 특정되지 않은 속성을 고려하여, 다양한 분석법을 적용하고, 분석자 직관력과 부합하는 결과에 따라 반복적인 분석을 수행한 후에야 이상치로서 개별이벤트를 탐지하였다.

후속연구

이러한 필요성과 비례하여 이벤트 로그의 완전성을 저해하거나 불필요한 오류로 여겨지던 소수의 특이한 인스턴스를 탐지하는 방법으로서 DAPID의 가치가 있다 하겠다. 또한, 거리 척도인 AM을 활용하기 때문에 시간순차적인 데이터를 발생하는 시스템으로부터 특이하고, 일반적이지 않은 패턴을 찾아내고자 하는 경우에 유용할 것이다.
실제로 발생한 데이터를 활용하여 판단하기 때문에, 이미 결과가 문제시 되지 않음에도 불구하고 일부 작업 주체들의 업무 흐름을 이상치로 판단하는 것은 시스템 전문가의 관점에서문제의 소지가 있다. 인공지능 방법론에서 제시하는 것과 전문가의 판단 사이에 차이가 존재하기 때문에 본 논문에서는 제시하는 방법이 많은 실제 데이터로부터 평가될 필요성이 있다. 따라서 실제 항만 운영 시스템의 데이터를 활용하여 사례연구를 진행하였다.
그러나 항만에서 발생하는 이벤트는 운송물의 특징, 컨테이너의 특징, 운송 경로의 특징 등의 속성으로 인해 더욱 다양한 이벤트를 발생시키고 있다. 향후에 실제 작업시간, Resource 등의 속성을 활용한다면 더욱 다양한 Activity관점에서의 이상치 판별이 가능할 것으로 보이며, 이러한 다양한 관점이 결국에는 전문가의 판단에 가까워지는 방법일 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	비정형 데이터란 무엇인가?	분석을 위하여 과거에는 잘 정의된, 목적이 분명한 데이터를 사용하였으며, 이러한 데이터로부터 지식을 추출하는 데에는 통계적 방법을 통해 의미를 도출하고 활용하는 사례가 많이 존재하였다. 최근에는 셀 수 없이 많은 디지털 디바이스로부터 발생하는, 복잡한 연관성을 가진 데이터 혹은 측정하기 어려운 형태의 데이터 즉, 비정형 데이터도 분석의 대상이 되었다(Laxhammar, 2014).
	프로세스 마이닝에서 '이벤트'가 가지는 의미는 무엇인가?	프로세스 마이닝은 프로세스를 도출하기 위한 최소 단위의 데이터로 이벤트(Event)를 고려하고 있다. 이벤트는 단일한 사건의 발생을 저장한 데이터이므로 프로세스 모델을 도출하기 위해서는 이벤트가 하나의 인스턴스(Instance) 단위로 순차적으로 묶이게 된다.
	프로세스 마이닝의 과정은 어떻게 되는가?	프로세스 마이닝(Process Mining)은 정보시스템이나, 각종디바이스가 생성한 이벤트 로그를 수집하여 프로세스 모델 및 패턴분석을 용이하게 하도록 그 방법을 제공하고 있다. 데이터의 속성 중에서 각각의 Case ID, Activity, Timestamp, Resource등을 지정하여 순차적인 프로세스 모델을 도출하면, 이벤트로그를 발생시킨 정보시스템의 특성을 해당 프로세스 모델로부터 분석하게 된다. 주된 업무 흐름을 파악하고자 하는 사용자에게 신속하게 프로세스 모델을 제공하여, 쉽게 이해할 수 있도록 하는 방법이다.

참고문헌 (23)

Agarwal, B. and Mittal, N. (2012), Hybrid Approach for Detection of Anomaly Network Traffic using Data Mining Techniques. Procedia Technology, 6, 996-1003.

상세보기
Aggarwal, C. C. (2013), Outlier analysis : Springer Science and Business Media.
Agrawal, R. and Srikant, R. (1995), Mining sequential patterns, Paper presented at the Data Engineering, Proceedings of the Eleventh International Conference on.
Bae, J., Liu, L., Caverlee, J., and Rouse, W. B. (2006), Process Mining, Discovery, and Integration using Distance Measures, Paper presented at the Web Services, ICWS 2006. International Conference on.
Bezerra, F. and Wainer, J. (2013), Algorithms for anomaly detection of traces in logs of process aware information systems. Information Systems, 38(1), 33-44.

상세보기
Ciflikli, C. and Kahya-Ozyirmidokuz, E. (2010), Implementing a data mining solution for enhancing carpet manufacturing productivity. Knowledge-Based Systems, 23(8), 783-788.

상세보기
Du, W., Fang, L. and Peng, N. (2006), LAD : Localization anomaly detection for wireless sensor networks. Journal of Parallel and Distributed Computing, 66(7), 874-886.

상세보기
Han, J., Kamber, M., and Pei, J. (2012), Data mining : concepts and techniques : Morgan Kaufmann.
Hawkins, D. M. (1980), Identification of outliers : Springer, 11.
Laxhammar, R. (2014), Anomaly Detection, Conformal Prediction for Reliable Machine Learning : Theory, Adaptations, and Applications, Elsevier Insight Series, Morgan-Kaufmann Publishers.
Lin, S. and Brown, D. E. (2006), An outlier-based data association method for linking criminal incidents. Decision Support Systems, 41(3), 604-615.

상세보기
Ngai, E. W. T. et al. (2011), The application of data mining techniques in financial fraud detection : A classification framework and an academic review of literature. Decision Support Systems, 50(3), 559-569.

상세보기
Pei, J. et al. (2001), Prefixspan : Mining sequential patterns efficiently by prefix-projected pattern growth, Paper presented at the International Conference on Knowledge Discovery in Databases and Data Mining.
Potter, C. et al. (2003), Major disturbance events in terrestrial ecosystems detected using global satellite data sets. Global Change Biology, 9(7), 1005-1021.

상세보기
Purarjomandlangrudi, A., Ghapanchi, A. H., and Esmalifalak, M. (2014), A data mining approach for fault diagnosis : An application of anomaly detection algorithm. Measurement, 55, 343-352.

상세보기
Rebuge, A. and Ferreira, D. R. (2012), Business process analysis in healthcare environments : A methodology based on process mining. Information Systems, 37(2), 99-116.

상세보기
Shyur, H.-J., Jou, C., and Chang, K. (2013), A data mining approach to discovering reliable sequential patterns. Journal of Systems and Software, 86(8), 2196-2203.

상세보기
Sim, S. et al. (2012), Healthcare process pattern analysis with triage in the emergency department. Journal of the Korean Operations Research and Management Science Society, 37(4), 111-124.

원문보기 상세보기
van der Aalst, W. M. P. (2011), Discovery, Conformance and Enhancement of Business Processes : Springer.
van der Aalst, W. M. P. et al. (2012), Process mining manifesto, Paper presented at the Business Process Management Workshops.
van der Aalst, W. M. P. et al. (2007). Business process mining : An industrial application. Information Systems, 32(5), 713-732.

상세보기
Witten, I. H., Frank, E., and Hall, M. A. (2011), Data Mining : Practical machine learning tools and techniques (3rd ed.) : Morgan Kaufmann.
Yang, H. and Song, M. (2015), Analyzing Repair Processes Using Process Mining : A Case Study. Journal of the Korean Institute of Industrial Engineers, 41(1), 86-96.

원문보기 상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증