[논문]딥러닝 기반의 프로세스 예측에 관한 연구: 동적 순환신경망을 중심으로

김정연; 윤석준; 이보경

doi:10.5859/kais.2018.27.4.115

딥러닝 기반의 프로세스 예측에 관한 연구: 동적 순환신경망을 중심으로
Exploring process prediction based on deep learning: Focusing on dynamic recurrent neural networks

정보시스템연구 = The Journal of information systems, v.27 no.4, 2018년, pp.115 - 128

김정연 ((주)피엠아이지) , 윤석준 ((주)피엠아이지) , 이보경 ((주)피엠아이지)

Abstract ▼ AI-Helper

Purpose The purpose of this study is to predict future behaviors of business process. Specifically, this study tried to predict the last activities of process instances. It contributes to overcoming the limitations of existing approaches that they do not accurately reflect the actual behavior of business process and it requires a lot of effort and time every time they are applied to specific processes. Design/methodology/approach This study proposed a novel approach based using deep learning in the form of dynamic recurrent neural networks. To improve the accuracy of our prediction model based on the approach, we tried to adopt the latest techniques including new initialization functions(Xavier and He initializations). The proposed approach has been verified using real-life data of a domestic small and medium-sized business. Findings According to the experiment result, our approach achieves better prediction accuracy than the latest approach based on the static recurrent neural networks. It is also proved that much less effort and time are required to predict the behavior of business processes.

주제어

표/그림 (10)

그림 <그림 1> 이벤트 로그의 구조
그림 <그림 2> 순환신경망 구조의 예 (2층의 3단계로 펼쳐진 LSTM 셀을 가진 다대다의 RNN 구조)
그림 <그림 3> 정적 순환신경망을 이용한 학습과 예측을 위한 첫 번째 데이터 변환 방법
그림 <그림 4> 정적 순환신경망을 이용한 학습과 예측을 위한 두 번째 데이터 변환 방법
그림 <그림 5> 동적 순환신경망을 이용한 구조
표 <표 1> 활용 데이터 요약
그림 <그림 5> 10개 겹의 예측 정확도 변화 (X축: 에포크, Y축: 정확도)
그림 <그림 6> 10개 겹의 비용 변화 (X축: 에포크, Y축: 비용)
표 <표 2> 배치 크기에 따른 예측 정확도
표 <표 3> 10겹 교차검증 적용에 따른 예측 정확도

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 전 세계에서 처음으로 동적 순환신경망을 활용한 프로세스 예측 접근법을 성공적으로 구현하고 검증했다. 동적 순환신경망 형태의 딥러닝을 활용한 접근법의 예측 정확도는 정적 순환신경망 형태의 딥러닝을 활용하는 기존 접근법보다 테스트 데이터 기준으로 1.
그러나 정적 순환신경망을 활용한 프로세스 예측 접근법은 프로세스의 실제 행동을 제대로 반영하지 못하고, 특정 프로세스에 적용할 때마다 많은 노력과 시간을 요구한다는 한계를 지닌다. 이러한 한계를 극복하기 위해 본 연구는 동적 순환신경망 형태의 딥러닝을 활용하는 차별화된 접근법을 제안할 것이다. 제안된 접근법은 국내 중소기업의 판매 프로세스를 기록한 실제 데이터를 활용하여 검증되었다.
그러나 이러한 접근법은 실제 프로세스의 행동을 정확히 반영하지 못한다는 한계를 지닌다. 이러한 한계를 극복하기 위해 본 연구는 동적 순환신경망을 활용하는 구조를 제안하고 구현했다.
, 2017b). 학습의 목적은 손실함수를 최적화 하는 것이다. 텐서플로우를 활용한 응용프로그램은 텐서 연산을 사용하여 최적화 함수를 통해 손실함수를 줄인다.

가설 설정

본 연구의 목표인 각 케이스의 마지막 이벤트(즉, 액티비티)를 예측한다고 가정해 보자. 정적 순환신경망을 활용한 프로세스 예측 방법은 학습과 예측을 수행하기 위해 <그림 1>에 표시된 5개의 케이스 수행과 관련된 이벤트 기록을 <그림 3>과 같이 변환²⁾한다.

제안 방법

개발된 응용프로그램은 크게 CSV 형식의 데이터를 파싱하는 모듈과 하이퍼파라미터 설정(configuration) 모듈, 동적순환신경망 학습 모듈, 예측 모듈로 구성된다. 파싱 모듈은 학습에 사용할 데이터와 제외할 데이터를 구분한다.
구체적으로 말하면 관련 연구는 ‘이벤트 로그’를 ‘문서’, ‘케이스(프로세스 인스턴스)’를 ‘문장’, ‘이벤트’를 ‘단어’에 대응시켜 정적 순환신경망을 이용한 프로세스 예측 접근법을 개발하고 검증했다.
다음으로 우리는 배치(batch) 크기를 20으로 설정하고, 7,933개의 케이스를 포함한 학습 데이터가 100번 반복하여 학습되도록 에포크(epoch)의 수를 100으로 설정했다. 배치 크기에 따른 정확도의 차이는 크지 않지만 배치 크기가 20일 때 가장 우수한 예측 정확도를 얻을 수 있었다(<표 2> 참조).
배치 크기에 따른 정확도의 차이는 크지 않지만 배치 크기가 20일 때 가장 우수한 예측 정확도를 얻을 수 있었다(<표 2> 참조). 마지막으로 과적합(overfitting)을 방지하기 위해 드롭아웃과 10겹 교차검증 기법을 적용했다. 특히, 교차검증 기법을 적용할 때 첫 번째 겹(fold)에서는 7,933개의 학습 데이터를 10개의 부분집합(Sub1 ~Sub10)으로 임의로 나눈 후에 처음 9개의 부분집합(Sub1 ～ Sub9)을 학습에 사용하고, 마지막 1개의 부분집합(Sub10)을 학습된 모형의 검증에 사용했다.
다만 전체 케이스 중에서 이벤트 수가 가장 많은 케이스에 맞추어 나머지 케이스들에 대해서는<그림 5>와 같은 패딩(padding) 작업을 해 주어야 한다. 본 연구는 각 케이스의 마지막 이벤트를 예측하는 것이 목표이기 때문에 다대일 유형의 순환신경망을 채택했다.
본 연구는 예측 정확도를 개선하기 위해 최신의 기법들을 적용했다. 예를 들어, 입력 데이터를 점검하고, 예측 모형의 하이퍼파라미터(예, 배치크기, 레이어 수, 학습률, 숨겨진 차원 등)를 조정했다.
사실 기존 연구(예, Evermann et al., 2016; 2017a; 2017b)는 에 표시된 5개의 케이스 수행과 관련된 이벤트 기록을 와 같이 변환한 후에 이를 이용하여 학습하고 예측한다.
10겹 교차검증 기법을 사용하기 위해 입력데이터와 목표데이터를 인덱싱하는 과정이 함께 진행된다. 예측된 마지막 이벤트(즉, 액티비티)는 대상 프로세스의 전체 액티비티 종류의 수만큼 가지는 차원으로 선형 투영시켜 결과물을 출력하고, 교차 엔트로피(cross-entropy)를 통해 손실 값(loss)을 계산한다. 손실 값을 계산한 이후에는 역전파 알고리즘(back propagation algorithm)을 통해 오류를 수정하면서 학습을 진행한다.
예측된 마지막 이벤트는 대상 프로세스의 전체 액티비티 종류의 수만큼 가지는 차원으로 선형 투영시켜 결과물을 출력하고, 교차 엔트로피(cross-entropy)를 통해 손실 값(loss)을 계산한다. 손실 값을 계산한 이후에는 역전파 알고리즘(back propagation algorithm)을 통해 오류를 수정하면서 학습을 진행한다.
우리는 오픈소스 딥러닝 프레임워크인 텐서플로우3)에 기반을 두고 파이썬 프로그래밍 언어를 이용하여 에 제시한 구조를 구현했다.
또한 새로운 초기화 함수(Xavier와 He 초기화 함수)를 적용했다(Glorot,Bengio, 2010). 이와 함께, 다양한 최적화 함수(Adam, Momentum, RMSProp 등)를 테스트했다.
62% 더 개선했다는 것은 매우 우수한 결과라고 판단된다. 이와 함께, 본 연구가 제안한 접근법은 프로세스 수행을 기록한 모든 이벤트 데이터를 학습과 예측에 활용할 수 있는 방안을 제공하고 있다. 이러한 방안을 통해 본 연구가 제안한 접근법은 현실 세계의 실제 프로세스 행동을 정확히 학습할 수 있게 되었다.
이러한 한계를 극복하기 위해 본 연구는 동적 순환신경망 형태의 딥러닝을 활용하는 차별화된 접근법을 제안할 것이다. 제안된 접근법은 국내 중소기업의 판매 프로세스를 기록한 실제 데이터를 활용하여 검증되었다. 특정 프로세스 인스턴스의 마지막 이벤트(즉, 액티비티)를 예측하는 작업에서 제안된 접근법을 활용한 예측 정확도(96.

대상 데이터

이 데이터는 70,240개의 이벤트와 11,632개의 케이스를 포함하고 있다. 계절적 요인 등을 제거하기 위해 1년 이상의 판매 프로세스 행동을 기록한 데이터가 본 연구에 활용되었다. 단일 이벤트만을 포함하는 299개의 케이스가 제외되어 실제 사용된 데이터는 11,333개의 케이스를 포함하고 있다.
구현한 접근법을 검증하기 위해 본 연구는 국내 화장품 제조업체인 I사의 판매 프로세스 데이터를 활용했다. 이 데이터는 70,240개의 이벤트와 11,632개의 케이스를 포함하고 있다.
계절적 요인 등을 제거하기 위해 1년 이상의 판매 프로세스 행동을 기록한 데이터가 본 연구에 활용되었다. 단일 이벤트만을 포함하는 299개의 케이스가 제외되어 실제 사용된 데이터는 11,333개의 케이스를 포함하고 있다. 이 케이스들은 최소 2개부터 최대 51개의 이벤트를 포함하고 있다(<표 1> 참조).
구현한 접근법을 검증하기 위해 본 연구는 국내 화장품 제조업체인 I사의 판매 프로세스 데이터를 활용했다. 이 데이터는 70,240개의 이벤트와 11,632개의 케이스를 포함하고 있다. 계절적 요인 등을 제거하기 위해 1년 이상의 판매 프로세스 행동을 기록한 데이터가 본 연구에 활용되었다.
마지막으로 과적합(overfitting)을 방지하기 위해 드롭아웃과 10겹 교차검증 기법을 적용했다. 특히, 교차검증 기법을 적용할 때 첫 번째 겹(fold)에서는 7,933개의 학습 데이터를 10개의 부분집합(Sub1 ~Sub10)으로 임의로 나눈 후에 처음 9개의 부분집합(Sub1 ～ Sub9)을 학습에 사용하고, 마지막 1개의 부분집합(Sub10)을 학습된 모형의 검증에 사용했다. 두 번째 겹에서는 검증에 사용된 부분집합(Sub10)과 Sub1 ～ Sub8까지의 부분집합이 다시 학습에 사용하고, Sub9 부분집합은 학습된 모형의 검증에 사용했다.
이 케이스들은 최소 2개부터 최대 51개의 이벤트를 포함하고 있다(<표 1> 참조). 파이썬 프로그래밍 언어에 내장된 기계학습 라이브러리인 사이킷런(Scikit-learn)의 함수를 이용하여 11,333개의 케이스를 무작위로 나누어서 학습 데이터(70%, 7,933개의 케이스)와 테스트 데이터(30%, 3,400개의 케이스)를 구성했다.

이론/모형

기존 연구에서 적용한 방식처럼(예, Evermann et al., 2017a), 우리는 케이스를 구성하는 액티비티 이름을 순환신경망의 각 셀에 입력하기 위해 워드 임베딩(word embedding)기법을 사용했다. 액티비티 이름도 문자열이므로 단어를 벡터로 변환하는 워드 임베딩 기법을 적용한 것은 적절하다고 판단된다.
예를 들어, 입력 데이터를 점검하고, 예측 모형의 하이퍼파라미터(예, 배치크기, 레이어 수, 학습률, 숨겨진 차원 등)를 조정했다. 또한 새로운 초기화 함수(Xavier와 He 초기화 함수)를 적용했다(Glorot,Bengio, 2010). 이와 함께, 다양한 최적화 함수(Adam, Momentum, RMSProp 등)를 테스트했다.
4장에서는 실험 방법과 결과를 설명할 것이다. 본 연구는 딥러닝의 문제점으로 언급되는 과적합(overfitting)을 막고, 실험 결과의 신뢰성을 확보하기 위해 10겹 교차검증(10-fold cross validation) 기법을 적용했다. 마지막으로, 본 연구의 시사점과 한계점, 향후 연구방향을 5장에서 토론할 것이다.
예측된 마지막 이벤트는 대상 프로세스의 전체 액티비티 종류의 수만큼 가지는 차원으로 선형 투영시켜 결과물을 출력하고, 교차 엔트로피(cross-entropy)를 통해 손실 값(loss)을 계산한다. 손실 값을 계산한 이후에는 역전파 알고리즘(back propagation algorithm)을 통해 오류를 수정하면서 학습을 진행한다.
, 2016)가 수행되었다. 이러한 연구는 명확한 모델 표현에 기반을 두고 있고, 회귀나무(regression trees)와 같은 선형기법을 활용하고 있다. 이에 반해, 정적 순환신경망 형태의 딥러닝을 활용한 프로세스 예측 연구(예, Evermann et al.

성능/효과

과 에 제시된 것처럼, 학습데이터를 활용한 예측 정확도의 평균은 95.79%이었고, 테스트 데이터를 활용한 예측 정확도는 96.29%이었다.
62% 더 높았다. 기존 접근법을 활용한 예측정확도가 이미 94.67%를 달성한 가운데 본 연구의 접근법이 이를 1 ～ 2% 정도 더 개선했다는 것은 매우 우수한 결과라고 판단된다.
본 연구는 전 세계에서 처음으로 동적 순환신경망을 활용한 프로세스 예측 접근법을 성공적으로 구현하고 검증했다. 동적 순환신경망 형태의 딥러닝을 활용한 접근법의 예측 정확도는 정적 순환신경망 형태의 딥러닝을 활용하는 기존 접근법보다 테스트 데이터 기준으로 1.62% 더 높았다. 정적 순환신경망 형태의 딥러닝을 활용한 예측 정확도가 이미 94.
첫째, 모든 케이스의 업무 수행과 관련된 이벤트 데이터가 학습과 예측에 활용될 수 있다. 둘째, 임의의 시퀸스 길이 설정에 따라 각 케이스의 특정 부분을 학습하는 것이 아니라, 실제 프로세스의 행동을 반영한 케이스 단위로 학습할 수 있다. 마지막으로, 최적의 예측 정확도를 달성할 수 있는 임의의 시퀸스 길이를 찾기 위한 노력과 시간을 줄일 수 있다.
손실 값을 계산한 이후에는 역전파 알고리즘(back propagation algorithm)을 통해 오류를 수정하면서 학습을 진행한다. 마지막으로, 예측 모듈은 학습된 모형을 테스트하기 위해 학습에 사용하지 않은 30%의 데이터를 이용하여 학습된 모형의 정확도를 계산하여 제공한다.
둘째, 임의의 시퀸스 길이 설정에 따라 각 케이스의 특정 부분을 학습하는 것이 아니라, 실제 프로세스의 행동을 반영한 케이스 단위로 학습할 수 있다. 마지막으로, 최적의 예측 정확도를 달성할 수 있는 임의의 시퀸스 길이를 찾기 위한 노력과 시간을 줄일 수 있다. 특히, 마지막 장점은 제안한 접근법을 다양한 실세계 비즈니스 프로세스의 행동 예측에 적용할 때 큰 도움을 줄 수 있다.
배치 크기에 따른 정확도의 차이는 크지 않지만 배치 크기가 20일 때 가장 우수한 예측 정확도를 얻을 수 있었다( 참조).
본 연구의 실험 결과, 의 데이터 변환 방법을 이용하면 마지막 이벤트 예측의 정확도가 크게 떨어지는 것으로 확인되었다.
두 번째 겹에서는 검증에 사용된 부분집합(Sub10)과 Sub1 ～ Sub8까지의 부분집합이 다시 학습에 사용하고, Sub9 부분집합은 학습된 모형의 검증에 사용했다. 이러한 과정을 반복하면 예측모형에 대한 학습과 검증이 총 10번 수행되고, 각 겹마다 학습과 검증정확도를 도출할 수 있었다.
이와 함께, 본 연구가 제안한 접근법은 프로세스 수행을 기록한 모든 이벤트 데이터를 학습과 예측에 활용할 수 있는 방안을 제공하고 있다. 이러한 방안을 통해 본 연구가 제안한 접근법은 현실 세계의 실제 프로세스 행동을 정확히 학습할 수 있게 되었다.
62% 더 높았다. 정적 순환신경망 형태의 딥러닝을 활용한 예측 정확도가 이미 94.67%를 달성한 가운데 이를 1.62% 더 개선했다는 것은 매우 우수한 결과라고 판단된다. 이와 함께, 본 연구가 제안한 접근법은 프로세스 수행을 기록한 모든 이벤트 데이터를 학습과 예측에 활용할 수 있는 방안을 제공하고 있다.
딥러닝의 혁신은 크게 두 가지로 요약될 수 있다. 첫째, 해당 분야에 속한 전문가의 지식 없이도 딥러닝은 데이터로부터 자동적으로 필요한 특징들(features)을 추출할 수 있다. 둘째, 딥러닝은 특징 추출과 분류를 하나의 모델에 통합됨으로써 예측 성능을 극대화할 수 있다(Kang and Park, 2018).
제안된 접근법은 국내 중소기업의 판매 프로세스를 기록한 실제 데이터를 활용하여 검증되었다. 특정 프로세스 인스턴스의 마지막 이벤트(즉, 액티비티)를 예측하는 작업에서 제안된 접근법을 활용한 예측 정확도(96.29%)는 기존 접근법을 활용한 예측 정확도보다 테스트 데이터 기준으로 1.62% 더 높았다. 기존 접근법을 활용한 예측정확도가 이미 94.
마지막으로, 최적의 예측 정확도를 달성할 수 있는 임의의 시퀸스 길이를 찾기 위한 노력과 시간을 줄일 수 있다. 특히, 마지막 장점은 제안한 접근법을 다양한 실세계 비즈니스 프로세스의 행동 예측에 적용할 때 큰 도움을 줄 수 있다.
이러한 사실을 통해 우리는 학습이 제대로 수행되었다고 판단할 수 있었다. 한편, 기존 연구에서 제안된 정적 순환신경망 형태의 딥러닝을 활용한 접근법에서는 학습 데이터를 활용한 예측 정확도의 평균은 94.49%이었고, 테스트 데이터를 활용한 예측정확도의 평균은 94.67%이었다.

후속연구

그러나 동적 순환신경망 형태의 딥러닝을 활용하는 접근법을 채택하면 최적의 시퀸스 길이를 찾기 위한 별도의 노력을 들일 필요가 없었다. 그러므로 본 연구에서 제안한 접근법은 실무에서 다양한 프로세스의 행동 예측에 매우 효율적으로 적용될 수 있을 것이다.
최근에 입력 데이터의 각 사례(example)마다 시퀸스 길이를 변화시킬 수 있는 동적 순환신경망이 제공되어 이를 활용한 신경망 설계와 구현이 가능하게되었다¹⁾. 동적 순환신경망을 활용한 국내외 연구가 부재한 상황이나, 이 신경망은 음성, 영상, 문서와 같은 순서 데이터 처리에서 우수한 결과를 낼 것으로 기대된다.
향후 연구는 본 연구에서 제안한 접근법을 다양한 프로세스의 행동과 성과지표 예측에 적용할 필요가 있다. 또한 딥러닝 분야에서 제안되고 있는 새로운 알고리즘을 반영하여 예측정확도를 더욱 개선할 필요가 있다. 이와 함께, 향후 연구는 회고 분석에 초점을 맞춘 프로세스 마이닝에서 발견한 통찰력을 프로세스 예측에 연결할 수 있는 방안을 연구할 필요가 있다.
또한 딥러닝 분야에서 제안되고 있는 새로운 알고리즘을 반영하여 예측정확도를 더욱 개선할 필요가 있다. 이와 함께, 향후 연구는 회고 분석에 초점을 맞춘 프로세스 마이닝에서 발견한 통찰력을 프로세스 예측에 연결할 수 있는 방안을 연구할 필요가 있다.
<그림 5>의 구조를 활용하는 접근법이 기존접근법에 비해 가지는 장점을 정리하면 다음과 같다. 첫째, 모든 케이스의 업무 수행과 관련된 이벤트 데이터가 학습과 예측에 활용될 수 있다. 둘째, 임의의 시퀸스 길이 설정에 따라 각 케이스의 특정 부분을 학습하는 것이 아니라, 실제 프로세스의 행동을 반영한 케이스 단위로 학습할 수 있다.
향후 연구는 본 연구에서 제안한 접근법을 다양한 프로세스의 행동과 성과지표 예측에 적용할 필요가 있다. 또한 딥러닝 분야에서 제안되고 있는 새로운 알고리즘을 반영하여 예측정확도를 더욱 개선할 필요가 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	본 연구에서 다대일 유형의 순환신경망을 채택한 이유는 무엇인가?	다만 전체 케이스 중에서 이벤트 수가 가장 많은 케이스에 맞추어 나머지 케이스들에 대해서는<그림 5>와 같은 패딩(padding) 작업을 해 주어야 한다. 본 연구는 각 케이스의 마지막 이벤트를 예측하는 것이 목표이기 때문에 다대일 유형의 순환신경망을 채택했다.
	정적 순환신경망을 활용한 프로세스 예측 접근법의 한계는?	그러나 정적 순환신경망을 활용한 프로세스 예측 접근법은 프로세스의 실제 행동을 제대로 반영하지 못하고, 특정 프로세스에 적용할 때마다 많은 노력과 시간을 요구한다는 한계를 지닌다. 이러한 한계를 극복하기 위해 본 연구는 동적 순환신경망 형태의 딥러닝을 활용하는 차별화된 접근법을 제안할 것이다.
	딥러닝을 활용한 프로세스 예측 방법이 새롭고 혁신적인 접근법으로 간주되고 있는 이유는?	, 2016)는 순환신경망 내에 암묵적으로 학습된 프로세스를 활용하고, 예측변수와 목표변수 간 비선형 관계를 가정하고 있다. 그러므로 딥러닝을 활용한 프로세스 예측 연구는 (프로세스) 모델 표현을 위한 제약을 줄일 수 있고, 예측 정확도를 개선할 수 있다. 이런 이유로 딥러닝을 활용한 프로세스 예측 방법이 새롭고 혁신적인 접근법으로 간주되고 있다(Evermann et al.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증