기능성 모바일 게임에서의 사용자 이탈 예측은 기업의 수입뿐 아니라, 사용자들의 인지 기능 향상을 위해서도 중요한 의미를 갖는다. 본 연구에서는 이탈 사용자를 예측함에 있어 ‘접속 빈도’를 고려한 이탈 기준을 적용하여, 이탈 예측 기간 내 이탈한 사용자뿐 아니라 관찰기간 대비 이탈 예측 기간 내 접속 빈도가 현저히 줄어들어 이탈 가능성이 높은 사용자를 모두 이탈자로 분류하여 예측을 수행하였다. 본 연구의 목적은 특정 유저가 이탈 예측 기간 내에 게임을 이탈할 것인지, 혹은 관찰 기간 대비 현저하게 낮은 접속 빈도를 보일 것인지를 예측하는 것이다. 또한 정상발달아동 및 발달지연아동 간의 이탈 패턴에 차이가 있는지를 보기 위해, 첫 번째로는 전체 사용자에 대해 이탈 예측을, 두 번째로는 전체 사용자를 정상발달그룹과 발달지연그룹으로 분리하여 각 집단에 대한 이탈 예측을 수행하였다. 본 연구에서는 ‘두브레인’이라는 기능성 모바일 게임에서 발생한 플레이 로그 데이터를 사용하였다. 두브레인은 3에서 7세의 아동을 타겟으로 하여, 게임을 통한 ...
기능성 모바일 게임에서의 사용자 이탈 예측은 기업의 수입뿐 아니라, 사용자들의 인지 기능 향상을 위해서도 중요한 의미를 갖는다. 본 연구에서는 이탈 사용자를 예측함에 있어 ‘접속 빈도’를 고려한 이탈 기준을 적용하여, 이탈 예측 기간 내 이탈한 사용자뿐 아니라 관찰기간 대비 이탈 예측 기간 내 접속 빈도가 현저히 줄어들어 이탈 가능성이 높은 사용자를 모두 이탈자로 분류하여 예측을 수행하였다. 본 연구의 목적은 특정 유저가 이탈 예측 기간 내에 게임을 이탈할 것인지, 혹은 관찰 기간 대비 현저하게 낮은 접속 빈도를 보일 것인지를 예측하는 것이다. 또한 정상발달아동 및 발달지연아동 간의 이탈 패턴에 차이가 있는지를 보기 위해, 첫 번째로는 전체 사용자에 대해 이탈 예측을, 두 번째로는 전체 사용자를 정상발달그룹과 발달지연그룹으로 분리하여 각 집단에 대한 이탈 예측을 수행하였다. 본 연구에서는 ‘두브레인’이라는 기능성 모바일 게임에서 발생한 플레이 로그 데이터를 사용하였다. 두브레인은 3에서 7세의 아동을 타겟으로 하여, 게임을 통한 인지 능력의 발달을 목표로 하는 기능성 게임이다. 두브레인 게임의 동화를 10화 이상 플레이한 5412명의 사용자 중 로그 데이터가 발생하지 않은 아동, 생일 정보가 없는 아동, 19세 이상 및 2세 이하의 아동을 제외하여 총 4342명의 플레이 로그 데이터를 데이터셋으로 활용하였다. 이진 분류를 수행하기 위해 Logistic 회귀, Random ForestClassifier, Gradient Boosting Classifier, XGBoost Classifier, LightGBM Classifier의 5가지 머신러닝 모델과, 이에 더하여 시계열 딥러닝 모델인 Bidirectional LSTM 을 활용하여 예측 모델링을 진행하였다. 또한 모델의 결과를 해석하기 위해 파이썬의 SHAP 라이브러리를 활용하였다. 머신러닝 모델의 이진 분류 수행결과로, Gradient Boosting Classifier가 전체 사용자에 대해 F1-score를 기준으로 0.7951로 가장 높은 성능을 달성하였으며, 이 중 게임 사용 패턴과 관련한 특성들이 예측 성능에 가장 큰 기여도를 보였다. 정상발달그룹 및 발달지연그룹으로 분리하여 이진분류를 수행했을 때는 각각 F1-score를 기준으로 0.8154 와 0.7779를 달성하였다. 두 그룹 모두에서 lastplayday(마지막으로 접속한 날짜)가 가장 높은 기여도를 보였으나, 2번째로 높은 기여도를 달성한 특성부터는 두 그룹간 차이를 보였다. 딥러닝 모델인 Bidirectional LSTM은 전체 사용자에 대해 F1-score 기준 0.8037을 달성하였으며, 정상발달그룹 및 발달지연그룹 각각에 대해 0.8162 및 0.6667을 달성하였다. LSTM 모델의 결과에 따르면, 예측 기간 초반부에 비해 후반부로 갈수록 특성들이 예측에 기여하는 정도가 높아졌다. 또한 첫 접속 후 3일동안 플레이 횟수가 많은 경우 이탈할 가능성이 더 높아지는 것으로 나타났으며, 이후 기간부터는 플레이 횟수가 많은 경우 이탈의 가능성이 낮아지는 것으로 나타났다. 본 연구의 결론으로, 이탈에 있어 가장 중요한 특성은 유저들의 사용 패턴인 것으로 나타났다. 또한 정상발달그룹 및 발달지연 그룹 간 예측에 사용된 특성 정보들의 중요도가 다르게 계산된 것으로 미루어볼 때, 두 그룹이 보이는 이탈의 패턴이 다른 것으로 나타났다. 마지막으로, Bidirectional LSTM 모델의 결과는 게임 초기에 지나치게 많이 플레이하는 사용자들의 이탈 가능성이 높은 것으로 보아, ‘게임 초기 번아웃’의 가능성을 암시하고 있다.
기능성 모바일 게임에서의 사용자 이탈 예측은 기업의 수입뿐 아니라, 사용자들의 인지 기능 향상을 위해서도 중요한 의미를 갖는다. 본 연구에서는 이탈 사용자를 예측함에 있어 ‘접속 빈도’를 고려한 이탈 기준을 적용하여, 이탈 예측 기간 내 이탈한 사용자뿐 아니라 관찰기간 대비 이탈 예측 기간 내 접속 빈도가 현저히 줄어들어 이탈 가능성이 높은 사용자를 모두 이탈자로 분류하여 예측을 수행하였다. 본 연구의 목적은 특정 유저가 이탈 예측 기간 내에 게임을 이탈할 것인지, 혹은 관찰 기간 대비 현저하게 낮은 접속 빈도를 보일 것인지를 예측하는 것이다. 또한 정상발달아동 및 발달지연아동 간의 이탈 패턴에 차이가 있는지를 보기 위해, 첫 번째로는 전체 사용자에 대해 이탈 예측을, 두 번째로는 전체 사용자를 정상발달그룹과 발달지연그룹으로 분리하여 각 집단에 대한 이탈 예측을 수행하였다. 본 연구에서는 ‘두브레인’이라는 기능성 모바일 게임에서 발생한 플레이 로그 데이터를 사용하였다. 두브레인은 3에서 7세의 아동을 타겟으로 하여, 게임을 통한 인지 능력의 발달을 목표로 하는 기능성 게임이다. 두브레인 게임의 동화를 10화 이상 플레이한 5412명의 사용자 중 로그 데이터가 발생하지 않은 아동, 생일 정보가 없는 아동, 19세 이상 및 2세 이하의 아동을 제외하여 총 4342명의 플레이 로그 데이터를 데이터셋으로 활용하였다. 이진 분류를 수행하기 위해 Logistic 회귀, Random Forest Classifier, Gradient Boosting Classifier, XGBoost Classifier, LightGBM Classifier의 5가지 머신러닝 모델과, 이에 더하여 시계열 딥러닝 모델인 Bidirectional LSTM 을 활용하여 예측 모델링을 진행하였다. 또한 모델의 결과를 해석하기 위해 파이썬의 SHAP 라이브러리를 활용하였다. 머신러닝 모델의 이진 분류 수행결과로, Gradient Boosting Classifier가 전체 사용자에 대해 F1-score를 기준으로 0.7951로 가장 높은 성능을 달성하였으며, 이 중 게임 사용 패턴과 관련한 특성들이 예측 성능에 가장 큰 기여도를 보였다. 정상발달그룹 및 발달지연그룹으로 분리하여 이진분류를 수행했을 때는 각각 F1-score를 기준으로 0.8154 와 0.7779를 달성하였다. 두 그룹 모두에서 lastplayday(마지막으로 접속한 날짜)가 가장 높은 기여도를 보였으나, 2번째로 높은 기여도를 달성한 특성부터는 두 그룹간 차이를 보였다. 딥러닝 모델인 Bidirectional LSTM은 전체 사용자에 대해 F1-score 기준 0.8037을 달성하였으며, 정상발달그룹 및 발달지연그룹 각각에 대해 0.8162 및 0.6667을 달성하였다. LSTM 모델의 결과에 따르면, 예측 기간 초반부에 비해 후반부로 갈수록 특성들이 예측에 기여하는 정도가 높아졌다. 또한 첫 접속 후 3일동안 플레이 횟수가 많은 경우 이탈할 가능성이 더 높아지는 것으로 나타났으며, 이후 기간부터는 플레이 횟수가 많은 경우 이탈의 가능성이 낮아지는 것으로 나타났다. 본 연구의 결론으로, 이탈에 있어 가장 중요한 특성은 유저들의 사용 패턴인 것으로 나타났다. 또한 정상발달그룹 및 발달지연 그룹 간 예측에 사용된 특성 정보들의 중요도가 다르게 계산된 것으로 미루어볼 때, 두 그룹이 보이는 이탈의 패턴이 다른 것으로 나타났다. 마지막으로, Bidirectional LSTM 모델의 결과는 게임 초기에 지나치게 많이 플레이하는 사용자들의 이탈 가능성이 높은 것으로 보아, ‘게임 초기 번아웃’의 가능성을 암시하고 있다.
In serious mobile games, churn prediction and alarming users before quitting is important not only for the revenue of a company, but also for the cognitive development of users. Previous studies have applied the same churn definition, which defines churners as users who didn’t come back in specific ...
In serious mobile games, churn prediction and alarming users before quitting is important not only for the revenue of a company, but also for the cognitive development of users. Previous studies have applied the same churn definition, which defines churners as users who didn’t come back in specific period. However, in order to encourage users with less frequent access than before, a new churn definition should be defined. Our objective is to predict whether a user leaves game or come less frequently than before. First, five machine learning models and bidirectional LSTM model(bi-LSTM) will be applied for the entire group to see the overall pattern of churn. Then the entire group will be divided into typical development group and delayed development group. Models will also be applied to both groups, to see if there is any different pattern of churn between these two groups. We used the play log data of freemium mobile serious game, ‘DoBrain’, which is targeted for children of 3-7 years old which aims cognitive development by using the game. Of 5412 users who played more than 10 episodes of the game were enrolled as participants, we used data of 4342 users to predict churn. Five machine learning models were used, which are logistic regression, gradient boosting classifier, XG Boost classifier, Light GBM classifier, and random forest classifier. Since score data obtained from game are sequential, we also used bi-LSTM model to predict churn. To interpret the results of models, we used SHAP library in python. With machine learning models, the binary classification performance of model reached 0.7951(F1-score) for the entire group, and three features(lastplayday, daycounts, durationRatio) of application usage pattern showed the largest contribution to the prediction performance. Performance also reached 0.8154(F1-score) and 0.7779(F1-score) each for typical development and delayed development group. The most contributing feature was lastplayday for both groups, but the ranking changed from the second place. The performance of bi-LSTM model showed 0.8037(F1-score) for the entire group, 0.8162 and 0.6667 respectively for typical and delayed development group. It showed that features obtained later in observation period gained more feature importances than features obtained in earlier days. Also, users who plays a lot on the first 3 days in observation period are more likely to churn, while many play counts in later days contributed to the retention of users. It revealed that behavioral patterns can be strong signals of churn. Also, the importance of features varies between typical development group and delayed development group, suggesting that those groups should be treated differently when predicting their churn. The result of bi-LSTM model suggests that there is a possibility of ‘early stage burn-out’, which means that users who play too much on their beginning are likely to get tired of the game quickly.
In serious mobile games, churn prediction and alarming users before quitting is important not only for the revenue of a company, but also for the cognitive development of users. Previous studies have applied the same churn definition, which defines churners as users who didn’t come back in specific period. However, in order to encourage users with less frequent access than before, a new churn definition should be defined. Our objective is to predict whether a user leaves game or come less frequently than before. First, five machine learning models and bidirectional LSTM model(bi-LSTM) will be applied for the entire group to see the overall pattern of churn. Then the entire group will be divided into typical development group and delayed development group. Models will also be applied to both groups, to see if there is any different pattern of churn between these two groups. We used the play log data of freemium mobile serious game, ‘DoBrain’, which is targeted for children of 3-7 years old which aims cognitive development by using the game. Of 5412 users who played more than 10 episodes of the game were enrolled as participants, we used data of 4342 users to predict churn. Five machine learning models were used, which are logistic regression, gradient boosting classifier, XG Boost classifier, Light GBM classifier, and random forest classifier. Since score data obtained from game are sequential, we also used bi-LSTM model to predict churn. To interpret the results of models, we used SHAP library in python. With machine learning models, the binary classification performance of model reached 0.7951(F1-score) for the entire group, and three features(lastplayday, daycounts, durationRatio) of application usage pattern showed the largest contribution to the prediction performance. Performance also reached 0.8154(F1-score) and 0.7779(F1-score) each for typical development and delayed development group. The most contributing feature was lastplayday for both groups, but the ranking changed from the second place. The performance of bi-LSTM model showed 0.8037(F1-score) for the entire group, 0.8162 and 0.6667 respectively for typical and delayed development group. It showed that features obtained later in observation period gained more feature importances than features obtained in earlier days. Also, users who plays a lot on the first 3 days in observation period are more likely to churn, while many play counts in later days contributed to the retention of users. It revealed that behavioral patterns can be strong signals of churn. Also, the importance of features varies between typical development group and delayed development group, suggesting that those groups should be treated differently when predicting their churn. The result of bi-LSTM model suggests that there is a possibility of ‘early stage burn-out’, which means that users who play too much on their beginning are likely to get tired of the game quickly.
주제어
#Churn Prediction Digital Healthcare Serious Game Typical and Delayed Development Gradient Boosting Classifier bidirectional LSTM Model Interpretation Shapley Value
학위논문 정보
저자
양명한
학위수여기관
Graduate School, Yonsei University
학위구분
국내석사
학과
Department of Digital Analytics
지도교수
Yu Rang Park
발행연도
2021
총페이지
vii, 32장
키워드
Churn Prediction Digital Healthcare Serious Game Typical and Delayed Development Gradient Boosting Classifier bidirectional LSTM Model Interpretation Shapley Value
※ AI-Helper는 부적절한 답변을 할 수 있습니다.