다양한 빅데이터 기술이 발전함에 따라, 기업의 전략결정에 있어서 과거에는 의사결정자의 직관이나 경험에 의존하는 경향이 있었다면, 현재는 데이터를 활용한 과학적이고 분석적인 접근이 이루어지고 있다. 이에 많은 기업들이 경영정보시스템 중의 하나인 비즈니스 인텔리전스 (Business Intelligence) 시스템의 예측분석 기능을 활용하고 있다. 하지만, 이러한 시스템이 미래의 경영환경 변화를 예측하고 기업의 의사결정을 돕는 조언자 (Advisor)로서 역할을 한다고 가정할 때, 시스템에서 제공하는 분석결과가 의사결정자에게 도움을 주는 조언 (Advice) 의 역할을 하지 못하는 경우가 많은 실정이다. 따라서, 본 연구에서는 미래예측의 문제에 있어 의사결정자가 시스템의 조언을 따르는데 영향을 미치는 요소들과 영향력에 대해 분석하고, 그 결과를 바탕으로 데이터 기반의 의사결정을 보다 적극적으로 지원하는 시스템 환경을 제시하고자 한다. 좀 더 구체적으로는 예측 과정에 대한 자세한 설명이나 근거 제시가 시스템의 예측결과에 대한 의사결정자의 수용정도에 미치는 영향을 연구하였다. 이를 위하여 193명의 실험자를 대상으로 영화의 개봉 주 매출액을 예측하는 업무를 수행하고, 예측에 대한 설명의 길이와 조언자의 유형(사람과 시스템의 조언 비교)뿐 아니라 의사결정자의 개인 특성이 의사결정자의 조언 수용정도에 미치는 영향을 분석하였다. 시스템에서 제공하는 조언 내용인 예측결과와 설명에 대해 의사결정가가 느끼는 유용성, 신뢰성, 만족도가 조언의 수용에 미치는 영향도 분석하였다. 본 연구는 시스템의 분석결과를 조언으로 보고 조언자와 조언에 관한 의사결정학 분야의 선행연구를 접목시켜 경영정보시스템 연구 분야를 확장하였다는 점에서 연구의 의의가 있고, 실무적으로도 데이터 기반의 의사결정을 보다 적극적으로 지원할 수 있는 시스템 환경을 만들기 위해서 고려해야 할 점들을 제시함으로써 시스템 활용을 위한 정책결정에도 도움을 줄 수 있을 것으로 본다.
다양한 빅데이터 기술이 발전함에 따라, 기업의 전략결정에 있어서 과거에는 의사결정자의 직관이나 경험에 의존하는 경향이 있었다면, 현재는 데이터를 활용한 과학적이고 분석적인 접근이 이루어지고 있다. 이에 많은 기업들이 경영정보시스템 중의 하나인 비즈니스 인텔리전스 (Business Intelligence) 시스템의 예측분석 기능을 활용하고 있다. 하지만, 이러한 시스템이 미래의 경영환경 변화를 예측하고 기업의 의사결정을 돕는 조언자 (Advisor)로서 역할을 한다고 가정할 때, 시스템에서 제공하는 분석결과가 의사결정자에게 도움을 주는 조언 (Advice) 의 역할을 하지 못하는 경우가 많은 실정이다. 따라서, 본 연구에서는 미래예측의 문제에 있어 의사결정자가 시스템의 조언을 따르는데 영향을 미치는 요소들과 영향력에 대해 분석하고, 그 결과를 바탕으로 데이터 기반의 의사결정을 보다 적극적으로 지원하는 시스템 환경을 제시하고자 한다. 좀 더 구체적으로는 예측 과정에 대한 자세한 설명이나 근거 제시가 시스템의 예측결과에 대한 의사결정자의 수용정도에 미치는 영향을 연구하였다. 이를 위하여 193명의 실험자를 대상으로 영화의 개봉 주 매출액을 예측하는 업무를 수행하고, 예측에 대한 설명의 길이와 조언자의 유형(사람과 시스템의 조언 비교)뿐 아니라 의사결정자의 개인 특성이 의사결정자의 조언 수용정도에 미치는 영향을 분석하였다. 시스템에서 제공하는 조언 내용인 예측결과와 설명에 대해 의사결정가가 느끼는 유용성, 신뢰성, 만족도가 조언의 수용에 미치는 영향도 분석하였다. 본 연구는 시스템의 분석결과를 조언으로 보고 조언자와 조언에 관한 의사결정학 분야의 선행연구를 접목시켜 경영정보시스템 연구 분야를 확장하였다는 점에서 연구의 의의가 있고, 실무적으로도 데이터 기반의 의사결정을 보다 적극적으로 지원할 수 있는 시스템 환경을 만들기 위해서 고려해야 할 점들을 제시함으로써 시스템 활용을 위한 정책결정에도 도움을 줄 수 있을 것으로 본다.
With the rapid advances in technologies, organizations are more likely to depend on information systems in their decision-making processes. Business Intelligence (BI) systems, in particular, have become a mainstay in dealing with complex problems in an organization, partly because a variety of advan...
With the rapid advances in technologies, organizations are more likely to depend on information systems in their decision-making processes. Business Intelligence (BI) systems, in particular, have become a mainstay in dealing with complex problems in an organization, partly because a variety of advanced computational methods from statistics, machine learning, and artificial intelligence can be applied to solve business problems such as demand forecasting. In addition to the ability to analyze past and present trends, these predictive analytics capabilities provide huge value to an organization's ability to respond to change in markets, business risks, and customer trends. While the performance effects of BI system use in organization settings have been studied, it has been little discussed on the use of predictive analytics technologies embedded in BI systems for forecasting tasks. Thus, this study aims to find important factors that can help to take advantage of the benefits of advanced technologies of a BI system. More generally, a BI system can be viewed as an advisor, defined as the one that formulates judgments or recommends alternatives and communicates these to the person in the role of the judge, and the information generated by the BI system as advice that a decision maker (judge) can follow. Thus, we refer to the findings from the advice-giving and advice-taking literature, focusing on the role of explanations of the system in users' advice taking. It has been shown that advice discounting could occur when an advisor's reasoning or evidence justifying the advisor's decision is not available. However, the majority of current BI systems merely provide a number, which may influence decision makers in accepting the advice and inferring the quality of advice. We in this study explore the following key factors that can influence users' advice taking within the setting of a BI system: explanations on how the box-office grosses are predicted, types of advisor, i.e., system (data mining technique) or human-based business advice mechanisms such as prediction markets (aggregated human advice) and human advisors (individual human expert advice), users' evaluations of the provided advice, and individual differences in decision-makers. Each subject performs the following four tasks, by going through a series of display screens on the computer. First, given the information of the given movie such as director and genre, the subjects are asked to predict the opening weekend box office of the movie. Second, in light of the information generated by an advisor, the subjects are asked to adjust their original predictions, if they desire to do so. Third, they are asked to evaluate the value of the given information (e.g., perceived usefulness, trust, satisfaction). Lastly, a short survey is conducted to identify individual differences that may affect advice-taking. The results from the experiment show that subjects are more likely to follow system-generated advice than human advice when the advice is provided with an explanation. When the subjects as system users think the information provided by the system is useful, they are also more likely to take the advice. In addition, individual differences affect advice-taking. The subjects with more expertise on advisors or that tend to agree with others adjust their predictions, following the advice. On the other hand, the subjects with more knowledge on movies are less affected by the advice and their final decisions are close to their original predictions. The advances in predictive analytics of a BI system demonstrate a great potential to support increasingly complex business decisions. This study shows how the designs of a BI system can play a role in influencing users' acceptance of the system-generated advice, and the findings provide valuable insights on how to leverage the advanced predictive analytics of the BI system in an organization's forecasting practices.
With the rapid advances in technologies, organizations are more likely to depend on information systems in their decision-making processes. Business Intelligence (BI) systems, in particular, have become a mainstay in dealing with complex problems in an organization, partly because a variety of advanced computational methods from statistics, machine learning, and artificial intelligence can be applied to solve business problems such as demand forecasting. In addition to the ability to analyze past and present trends, these predictive analytics capabilities provide huge value to an organization's ability to respond to change in markets, business risks, and customer trends. While the performance effects of BI system use in organization settings have been studied, it has been little discussed on the use of predictive analytics technologies embedded in BI systems for forecasting tasks. Thus, this study aims to find important factors that can help to take advantage of the benefits of advanced technologies of a BI system. More generally, a BI system can be viewed as an advisor, defined as the one that formulates judgments or recommends alternatives and communicates these to the person in the role of the judge, and the information generated by the BI system as advice that a decision maker (judge) can follow. Thus, we refer to the findings from the advice-giving and advice-taking literature, focusing on the role of explanations of the system in users' advice taking. It has been shown that advice discounting could occur when an advisor's reasoning or evidence justifying the advisor's decision is not available. However, the majority of current BI systems merely provide a number, which may influence decision makers in accepting the advice and inferring the quality of advice. We in this study explore the following key factors that can influence users' advice taking within the setting of a BI system: explanations on how the box-office grosses are predicted, types of advisor, i.e., system (data mining technique) or human-based business advice mechanisms such as prediction markets (aggregated human advice) and human advisors (individual human expert advice), users' evaluations of the provided advice, and individual differences in decision-makers. Each subject performs the following four tasks, by going through a series of display screens on the computer. First, given the information of the given movie such as director and genre, the subjects are asked to predict the opening weekend box office of the movie. Second, in light of the information generated by an advisor, the subjects are asked to adjust their original predictions, if they desire to do so. Third, they are asked to evaluate the value of the given information (e.g., perceived usefulness, trust, satisfaction). Lastly, a short survey is conducted to identify individual differences that may affect advice-taking. The results from the experiment show that subjects are more likely to follow system-generated advice than human advice when the advice is provided with an explanation. When the subjects as system users think the information provided by the system is useful, they are also more likely to take the advice. In addition, individual differences affect advice-taking. The subjects with more expertise on advisors or that tend to agree with others adjust their predictions, following the advice. On the other hand, the subjects with more knowledge on movies are less affected by the advice and their final decisions are close to their original predictions. The advances in predictive analytics of a BI system demonstrate a great potential to support increasingly complex business decisions. This study shows how the designs of a BI system can play a role in influencing users' acceptance of the system-generated advice, and the findings provide valuable insights on how to leverage the advanced predictive analytics of the BI system in an organization's forecasting practices.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서, 본 연구는 어떠한 환경에서 시스템에서 제공하는 데이터 기반의 분석결과를 수용하는 정도가 높은지 분석하고 새로운 시스템 환경을 제안하고자 한다. 기존 연구가 빅데이터를 활용하여 생산성과 같은 기업의 경영성과를 향상시키는데 중점을 두고 있다면, 본 연구는 그러한 결과를 얻기 위한 전제조건이라 할 수 있는 비지니스 인텔리전스 시스템을 의사결정에 활용할 수 있는 구제척인 방법을 논의하고 제시하는 것이다.
따라서, 본 연구는 미래예측의 문제에 있어 시스템이 제공하는 예측값을 의사결정자에게 도움이 되는 하나의 조언 (Advice)으로 보고, 의사결정자가 시스템의 조언을 따르는데 영향을 미치는 요소들과 영향력에 대해 분석하고, 그 결과를 바탕으로 데이터 기반의 의사결정을 보다 적극적으로 지원하는 시스템 환경을 제시하고자 한다. 더욱이 비즈니스 업무에 있어서 의사결정지원 시스템의 효과에 대해서는 오래전부터 연구 되어 왔으나 (Elbashir et al.
결과적으로 의사결정자가 시스템의 분석 결과를 받아들이는데 긍정적인 영향을 미칠 수 있다. 따라서, 본 연구는 어떠한 환경에서 시스템에서 제공하는 데이터 기반의 분석결과를 수용하는 정도가 높은지 분석하고 새로운 시스템 환경을 제안하고자 한다. 기존 연구가 빅데이터를 활용하여 생산성과 같은 기업의 경영성과를 향상시키는데 중점을 두고 있다면, 본 연구는 그러한 결과를 얻기 위한 전제조건이라 할 수 있는 비지니스 인텔리전스 시스템을 의사결정에 활용할 수 있는 구제척인 방법을 논의하고 제시하는 것이다.
빅데이터 분석을 위해 사용되는 비즈니스 인텔리전스 시스템의 다양한 데이터마이닝 기법들에 따라 의사결정에 미치는 영향을 비교하여 조언의 특징에 따른 고려사항에 대해서도 고찰해보고자 한다. 또한 시스템의 조언을 사람의 조언과도 비교함으로써 시스템의 분석결과가 기업의 의사결정에 어느정도 중요한 영향력을 미치는지 파악하고자 한다. 이를 통해, 객관적인 정보에 근거하여 과학적이고 분석적인 의사결정을 할 수 있도록 지원하는 비즈니스 인텔리전스 시스템 본연의 목적을 달성하기 위한 구체적인 방안을 제시하는데 본 연구의 의의가 있다.
본 연구는 빅데이터를 조직의 의사결정에 전략적으로 활용할 수 있는 기반을 마련하는데 실무적으로도 중요한 시사점을 제공할 것이다. 본 연구 결과는 다양한 분석기법을 이용하는 시스템의 데이터 분석결과를 의사결정에 이용하기까지는 이를 받아들이는 의사결정자의 태도가 중요함을 보여주고 있다.
본 연구의 목적은 빅데이터를 분석하기 위한 새로운 기술을 개발하기보다는, 이미 개발되어 있는 여러 분석기법들을 이용하여 빅데이터를 보다 효율적으로 활용하여 의사결정 과정에 보다 적극적으로 참고하고 활용될 수 있는 방안을 제시하는 것이다.
2008), 시스템에서 사용되는 구체적인 데이터 분석기법에 대한 논의는 거의 이루어지지 않았다. 빅데이터 분석을 위해 사용되는 비즈니스 인텔리전스 시스템의 다양한 데이터마이닝 기법들에 따라 의사결정에 미치는 영향을 비교하여 조언의 특징에 따른 고려사항에 대해서도 고찰해보고자 한다. 또한 시스템의 조언을 사람의 조언과도 비교함으로써 시스템의 분석결과가 기업의 의사결정에 어느정도 중요한 영향력을 미치는지 파악하고자 한다.
또한 시스템의 조언을 사람의 조언과도 비교함으로써 시스템의 분석결과가 기업의 의사결정에 어느정도 중요한 영향력을 미치는지 파악하고자 한다. 이를 통해, 객관적인 정보에 근거하여 과학적이고 분석적인 의사결정을 할 수 있도록 지원하는 비즈니스 인텔리전스 시스템 본연의 목적을 달성하기 위한 구체적인 방안을 제시하는데 본 연구의 의의가 있다.
조언에 대한 설명의 길이가 조언 수용에 미지는 영향은 조언의 유형에 따라 다를 것으로 보고, 두 변수 간의 상호작용 효과를 측정하고자 한다.
가설 설정
가설 1-1: 조언(시스템의 예측값)에 대한 설명이 길수록 조언을 받아들이는 정도가 클 것이다.
가설 1-2: 조언(시스템의 예측값)에 대한 설명이 길수록 조언에 대한 평가가 긍정적일 것이다.
가설 2-1: 조언자의 유형(Type)에 따라 조언을 받아들이는 정도가 다를 것이다.
가설 2-2: 조언자의 유형(Type)에 따라 조언에 대한 평가가 다를 것이다.
가설 3: 조언에 대한 설명의 길이가 조언 수용에 미치는 영향은 조언자의 유형에 따라 다를 것이다.
가설 4: 조언에 대한 평가(Evaluation)가 좋을수록 조언을 받아들이는 정도가 높을 것이다.
이러한 선행연구를 바탕으로 본 연구에서는 시스템의 조언에 대한 설명이 의사결정자가 조언을 받아들이는 정도 (Advice-Following)에 영향을 미칠 것이라는 가설 1-1을 설정하였다. 예측 값을 계산하기 위해 사용된 알고리즘, 즉 예측과정에 대한 설명에 있어서 설명의 길이에 따라 단문 (Short)과 장문 (Long)으로 나누어서 고려 하였다.
제안 방법
상호작용효과를 같이 분석한 경우 R-Squared값이 향상되었지만, 상호작용 효과는 유의하지 않았다. 두 모델에서 의사결정자의 개인적 특성과 조언자와 영화에 대한 전문지식(Expertise) 정도는 통제변수로 사용하였다. 데이터마이닝, 예측시장, 전문가와 같은 조언자에 대해 잘 알면 조언자의 조언을 받아들이는 정도가 높았으며, 영화에 대한 전문지식이 많을수록 조언을 받아들이는 정도가 낮은 것으로 나타났다.
특히, 온라인 상에서 이러한 집단지성을 미래 예측에 이용하는 도구를 예측시장 (Prediction market)이라 부르는데, 주식시장처럼 미래에 발생할 수 있는 사건에 대해서 종목을 사고 팔면서 그 종목의 가격의 상승 여부에 따라 가능성을 전망하게 된다. 두 번째 유형은 해당 업무의 전문가 개인 (Human Expert)의 의견을 이용하였다. 요컨대, 두 번째 유형인 전문가 개인의 조언을 비즈니스 인텔리전스 시스템에서 사용하는 데이터 마이닝 기법과 비교하고, 또한 같은 사람의 조언이지만 집단의 조언과도 차이가 있는지 비교하고자 다음과 같이 가설 2-1, 2-2를 설정하였다.
둘째, 본 연구에서는 의사결정자가 비즈니스 인텔리전스 시스템의 예측값을 참조하는 것을 판단자 (Judge)가 조언자 (Advisor)로부터 조언 (Advice)을 받는것으로 보고, 관련 선행연구를 분석하여 이론적 배경을 찾는다. 이는 기존 비즈니스 인텔리전스 시스템 관련 연구와 차별되는 점이라 할 수 있다.
또한 선행 연구 결과에 따르면 의사결정자는 사람의 조언과 시스템의 조언에 다르게 반응하므로 (Önkal et al., 2009), 비즈니스 인텔리젼스 시스템에서 제공하는 조언과 사람들의 조언을 비교하였다.
또한, 기존 연구에서 보여주었듯이 시스템에서 제공하는 조언과 사람의 조언이 의사결정에 미치는 영향이 다르므로 (Önkal et al., 2009), 시스템의 예측결과와 사람의 예측값에 대한 반응을 서로 비교, 분석해 보았다.
셋째, 조언자가 제공하는 정보의 가치에 대해서 인지된 유용성, 신뢰성, 만족도 측면에서 평가한다. 마지막으로, 피험자 개개인의 특성을 알 수 있는 인구통계적 특성, 영화 및 조언자에 대한 지식 정도 (Expertise), 수용성 (Agreeableness), 의존성 (Dependency), 인지 욕구 (Need for cognition) 정도를 조사하는 설문을 실시한다.
실험 설계에 따라 참여자는 6그룹 (NN-Short, NN-Long, PM-Short, PM-Long, HE-Short, HE-Lo ng) 중 한 그룹에 속하며 영화에 대해서 개봉 첫 주에 대한 매출을 예측한다. 본 실험에서는 조언 수용정도를 종속변수로 사용하는데, 각 영화에 대한 매출 예측값의 변경정도를 이용하여 측정한다.
본 연구에서 수행한 실험은 3 (조언자: Neural Network, Prediction Market, Human Expert) × 2 (설명의 길이: 단문/장문)로 설계되었고, 두 변수는 실험 참가자간 요인 (Between-subject factor) 이다.
둘째, 비즈니스 인텔리전스 시스템에서 데이터마이닝 기법을 적용하여 계산한 매출 예측값, 비전문가 집단으로 영화의 흥행성적을 예측하는 예측시장 (Predicton marke t) 인 HSX (Hollywood Stock Exchange) 사이트의 예측값, 혹은 개인 전문가인 영화평론가 (Human expert) 의 예측값 가운데 선택된 조언을 참조한 후, 피험자가 원할 경우 기존의 예측값을 변경할 수 있다 (변경된 예측값). 셋째, 조언자가 제공하는 정보의 가치에 대해서 인지된 유용성, 신뢰성, 만족도 측면에서 평가한다. 마지막으로, 피험자 개개인의 특성을 알 수 있는 인구통계적 특성, 영화 및 조언자에 대한 지식 정도 (Expertise), 수용성 (Agreeableness), 의존성 (Dependency), 인지 욕구 (Need for cognition) 정도를 조사하는 설문을 실시한다.
앞의 가설 1, 2에서는 조언에 대한 설명 및 조언자의 유형에 따라 조언에 대한 수용 정도와 조언에 대한 평가에 미치는 영향을 알아보았다. 즉, 조언에 대한 수용 정도와 조언에 대한 평가를 독립적인 종속변수로 측정하였는데, 가설 4에서는 조언에 대한 평가와 조언에 대한 수용정도간의 인과관계를 살펴보고자 한다.
이러한 선행연구를 바탕으로 본 연구에서는 시스템의 조언에 대한 설명이 의사결정자가 조언을 받아들이는 정도 (Advice-Following)에 영향을 미칠 것이라는 가설 1-1을 설정하였다. 예측 값을 계산하기 위해 사용된 알고리즘, 즉 예측과정에 대한 설명에 있어서 설명의 길이에 따라 단문 (Short)과 장문 (Long)으로 나누어서 고려 하였다.
또한, 선행연구에서 보여진 것과 같이 수용성 (Agre eableness), 의존성 (Dependency)이 높을수록, 그리고 인지욕구(Need for cognition) 가 낮을수록 자신의 의견과 다른 조언을 받아들이기 쉬울 것이다 (Digman, 1990; Dalal and Bonaccio, 2010; S cott and Bruce, 1995; Leone and Dalton, 1988; Sa dowski and Gulgoz, 1996). 이러한 개인적 성향들뿐 아니라 성별, 나이, 한 달 동안의 영화 감상 횟수도 통제변수로 이용하였다.
첫 번째 모델은 설명의 길이와 조언자의 유형의 주효과만을 보았으며, 두 번째 모델에서는 가설 3을 검증하기 위하여 이 두 변수 간의 상호작용 효과를 분석하였다. 상호작용효과를 같이 분석한 경우 R-Squared값이 향상되었지만, 상호작용 효과는 유의하지 않았다.
대상 데이터
대학생 및 일반인 193명을 대상으로 실험을 하였으며, 실험 결과는 SAS 9.3을 이용하여 분석하였다. 실험 참여자 중 남성은 78명(40.
실험 설계에 따라 참여자는 6그룹 (NN-Short, NN-Long, PM-Short, PM-Long, HE-Short, HE-Lo ng) 중 한 그룹에 속하며 영화에 대해서 개봉 첫 주에 대한 매출을 예측한다. 본 실험에서는 조언 수용정도를 종속변수로 사용하는데, 각 영화에 대한 매출 예측값의 변경정도를 이용하여 측정한다.
데이터처리
또한, 의사결정자의 개인적 특징(Agreeableness, Dependenc y, Need for Cognition) 측정을 위해서도 복수의 문항을 이용하므로 문항간의 내적 일관성(Intern al Consistency)을 Cronbach's Alpha 계수를 이용 하여 판단하고 신뢰성(Reliability)이 입증된 문항 들의 평균값을 이용하여 분석하였다.
이론/모형
특히, 미래를 예측하는데 사용되는 다양한 데이터마이닝 기법들은 다수의 변수들을 이용하여 하나의 타겟 변수(Target variable)의 값을 예측한다는 점에서 공통적이지만, 각각의 알고리즘은 난이도(Co mplexity), 이해도(Interpretability), 직관성(Intuitiv eness) 등 여러 가지 측면에서 다르다. 본 연구에서는 대표적인 데이터마이닝 기법으로 인공신경망 (Neural Network) 기법을 사용하여 데이터마이닝을 이용하였다.
성능/효과
두 모델에서 의사결정자의 개인적 특성과 조언자와 영화에 대한 전문지식(Expertise) 정도는 통제변수로 사용하였다. 데이터마이닝, 예측시장, 전문가와 같은 조언자에 대해 잘 알면 조언자의 조언을 받아들이는 정도가 높았으며, 영화에 대한 전문지식이 많을수록 조언을 받아들이는 정도가 낮은 것으로 나타났다. 그리고 선행연구에서 보여진 것과 같이 수용성 (Agreeableness) 이 높을수록 조언을 받아들이기 쉬었다.
첫째, 영화에 대해서 감독, 장르, 예산과 같은 기본적인 영화 정보가 제공되는데, 이 정보를 이용하여 피험자는 영화의 개봉 첫 주 매출을 예측한다(초기 예측값). 둘째, 비즈니스 인텔리전스 시스템에서 데이터마이닝 기법을 적용하여 계산한 매출 예측값, 비전문가 집단으로 영화의 흥행성적을 예측하는 예측시장 (Predicton marke t) 인 HSX (Hollywood Stock Exchange) 사이트의 예측값, 혹은 개인 전문가인 영화평론가 (Human expert) 의 예측값 가운데 선택된 조언을 참조한 후, 피험자가 원할 경우 기존의 예측값을 변경할 수 있다 (변경된 예측값). 셋째, 조언자가 제공하는 정보의 가치에 대해서 인지된 유용성, 신뢰성, 만족도 측면에서 평가한다.
분석결과를 정리하면, 조언(시스템의 예측값)에 대한 설명의 길이는 조언을 받아들이는 정도에 영향을 미치지 않았는데 실험자가 느끼기에 장문과 단문 설명의 차이가 크지 않았던 것으로 판단된다. 조언자의 유형(Type) 측면에서는 개인 전문가의 조언에 비해 데이터마이닝 기법을 이용한 시스템의 조언을 받아들이는 정도가 크다는 것을 알 수 있다.
본 연구 결과는 다양한 분석기법을 이용하는 시스템의 데이터 분석결과를 의사결정에 이용하기까지는 이를 받아들이는 의사결정자의 태도가 중요함을 보여주고 있다. 시스템에서 제공하는 데이터 기반의 분석결과를 설명과 함께 제시할 때 그 정보를 수용하는 정도가 높았으며, 예측에 대한 설명은 유용성을 인지하도록 만드는 것이 중요하다는 점을 고려하여 사용자가 수용하기 쉬운 새로운 시스템 환경을 제안할 수 있을 것이다. 이는 비즈니스 인텔리전스 시스템을 구축, 사용하고 있는 기업들에게 데이터 기반의 의사결정을 보다 적극적으로 지원할 수 있는 시스템 환경을 만들기 위해서 고려해야 할 점들을 제시하고 있으며, 이를 바탕으로 시스템 활용을 위한 정책결정에도 도움을 줄 수 있다.
분석결과를 정리하면, 조언(시스템의 예측값)에 대한 설명의 길이는 조언을 받아들이는 정도에 영향을 미치지 않았는데 실험자가 느끼기에 장문과 단문 설명의 차이가 크지 않았던 것으로 판단된다. 조언자의 유형(Type) 측면에서는 개인 전문가의 조언에 비해 데이터마이닝 기법을 이용한 시스템의 조언을 받아들이는 정도가 크다는 것을 알 수 있다. 이러한 결과에 대한 근거로는 사람의 예측과정에 대한 설명보다는 특정 데이터마이닝 기법에 대한 설명이 논리적으로 이해하기 쉽고, 따라서 자신의 예측값보다는 조언자의 예측값에 가깝도록 최종 의사결정을 하게 된다고 볼 수 있다.
[Table 3]은 조언에 대한 설명의 길이와 조언자의 유형에 따라 조언을 받아들이는 정도가 다를 것이라는 가설 1-1와 2-1에 대한 분석 결과를 보여준다. 주요 결과로는 설명의 길이는 영향을 미치지 않았고, 조언자 유형에 있어서는 비교대상 그룹(Base Group)인 개인 전문가인 영화평론가에 비해 데이터마이닝 기법을 이용한 조언을 받아들이는 정도가 더 큰 것을 알 수 있다. 개인전문가와 예측시장의 경우는 차이가 없는 것으로 볼 때, 선행연구의 결과와 유사하게 사람의 조언과 시스템의 조언이 다르다는 것을 보여준다.
후속연구
또한, 후속연구를 통해 본 연구에서 다루지 않은 조언 수용에 미치는 영향 요인들(영화의 인기도, 장르 등)에 대해서 좀 더 고찰해 볼 수 있다. 다양한 요소들을 고찰한 연구결과는 시스템과 의사결정의 관계 및 시스템 활용에 대한 새로운 시각을 제시하게 될 것이다.
예를 들어, 설명의 질적인 측면을 비교하거나, 텍스트, 그림, 동영상과 같은 형식을 비교할 수도 있을 것이다. 또한, 후속연구를 통해 본 연구에서 다루지 않은 조언 수용에 미치는 영향 요인들(영화의 인기도, 장르 등)에 대해서 좀 더 고찰해 볼 수 있다. 다양한 요소들을 고찰한 연구결과는 시스템과 의사결정의 관계 및 시스템 활용에 대한 새로운 시각을 제시하게 될 것이다.
본 연구 결과를 토대로 다양한 분야에서 빅데이터 분석을 위해 사용되는 비즈니스 인텔리전스 시스템의 활용방안에 대한 많은 후속연구가 이루어질 것으로 기대된다. 먼저, 본 연구에서는 한 명의 실험자가 한 영화에 대해서 예측하였지만 추후 연구에서는 여러 영화를 예측하여 좀 더 정확한 분석 결과를 얻을 수 있을 것이다. 조언에 대한 설명도 본 연구에서는 설명의 길이에 초점을 두었다면 그 외의 다른 측면도 고려해 볼 수 있을 것이다.
본 연구 결과를 토대로 다양한 분야에서 빅데이터 분석을 위해 사용되는 비즈니스 인텔리전스 시스템의 활용방안에 대한 많은 후속연구가 이루어질 것으로 기대된다. 먼저, 본 연구에서는 한 명의 실험자가 한 영화에 대해서 예측하였지만 추후 연구에서는 여러 영화를 예측하여 좀 더 정확한 분석 결과를 얻을 수 있을 것이다.
즉, 조언에 대한 수용 정도와 조언에 대한 평가를 독립적인 종속변수로 측정하였는데, 가설 4에서는 조언에 대한 평가와 조언에 대한 수용정도간의 인과관계를 살펴보고자 한다. 유용성, 신뢰성, 만족도 측면에서 조언 내용에 대한 평가가 조언의 수용에 미치는 영향을 파악하고, 다음 가설의 검증 결과는 조언을 받아들이는 이유에 대한 근거를 제시할 수 있을 것이다.
, 1996; Wang a nd Benbasat, 2007). 이에 시스템의 데이터 분석 결과가 실제로 의사결정에 얼마나 활용되고 있는지 살펴보고, 보다 효과적인 활용을 위해서 고려해야 할 점은 무엇인지 고찰해 볼 필요가 있다.
첫째, 본 연구는 빅데이터를 조직의 의사결정에 전략적으로 활용할 수 있는 기반을 마련하는데 중요한 시사점을 제공할 것이다. 빅데이터 분석기술 중 대표적인 기술은 데이터마이닝 기법으로, 이러한 기법에 대한 전문가뿐 아니라 전문지식이 없는 최고 경영자급 의사결정자들도 비즈니스 인텔리전스 시스템을 사용하게 되면 데이터마이닝 기법을 활용하게 되는 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
데이터마이닝 기법에 해당하는 것에는 무엇이 있나?
비즈니스 인텔리전스 시스템은 넓은 의미에서 의사결정지원 시스템 (De cision Support System) 의 확장으로 볼 수 있으며, 이러한 시스템에서 사용되는 대표적이 예측 분석 기술이 데이터마이닝 (Data Mining)이다. 데이터마이닝은 방대한 데이터에서 의미 있는 패턴을 찾아내는 기법으로서, 인공신경망, 연관 규칙, 의사결정나무, k-근접이웃 분류, 군집분석 등이 이에 해당한다 (Tan et al., 2006; Hwang, 2012).
예측 분석에 활용되는 비즈니스 인텔리전스 (Business Intelligence) 시스템의 한계는 무엇인가?
이에 많은 기업들이 경영정보시스템 중의 하나인 비즈니스 인텔리전스 (Business Intelligence) 시스템의 예측분석 기능을 활용하고 있다. 하지만, 이러한 시스템이 미래의 경영환경 변화를 예측하고 기업의 의사결정을 돕는 조언자 (Advisor)로서 역할을 한다고 가정할 때, 시스템에서 제공하는 분석결과가 의사결정자에게 도움을 주는 조언 (Advice) 의 역할을 하지 못하는 경우가 많은 실정이다. 따라서, 본 연구에서는 미래예측의 문제에 있어 의사결정자가 시스템의 조언을 따르는데 영향을 미치는 요소들과 영향력에 대해 분석하고, 그 결과를 바탕으로 데이터 기반의 의사결정을 보다 적극적으로 지원하는 시스템 환경을 제시하고자 한다.
빅데이터란 무엇인가?
최근 스마트폰의 보급과 소셜 네트워크 서비스의 활성화로 인해 사용자의 데이터 이용이 급속이 늘어나면서 축적되는 디지털 데이터가 기하급수적으로 증가함에 따라, 이른바 “빅데이터”를 전략적으로 활용할 수 있는 능력이 기업뿐 아니라 국가 경쟁력의 중요한 요소로 대두되고 있다. 빅데이터는 데이터 형식이 다양하고 (Variet y) 생성 속도가 매우 빨라서(Velocity) 새로운 관리, 분석 방법이 필용한 대용량 (Volume) 데이터를 의미하는데, 점차 처리기술, 인력, 활용효과도 포함하는 것으로 의미가 확대되고 있다 (Russo m, 2011). 빅데이터 시대에 맞추어 대용량의 정형, 비정형 데이터를 통합 관리하고 분석할 수 있는 다양한 빅데이터 기술이 발전함에 따라, 기업의 전략결정에 있어서 과거에는 의사결정자의 직관이나 경험에 의존하는 경향이 있었다면, 현재는 데이터를 활용한 과학적이고 분석적인 접근이 이루어지고 있다.
참고문헌 (21)
Anderson, U. and W. F., "Wright, Expertise and the explanation effect," Organizational Behavior and Human Decision Processes, Vol.42, No.2(1988), 250-269.
Bonaccio, S. and R. S. Dalal, "Advice taking and decision making: An integrative literature review, and implications for organizational sciences," Organizational Behavior and Human Decision Processes, Vol.101, No.2(2006), 127-151.
Brynjolfsson, E., L. M. Hitt, and H. H. Kim, Strength in numbers: how does data-driven decision-making affect firm performance? Working paper, Social Science Research Network, 2011. Available at http://ssrn.com/abstract1819486 (Downloaded 1 November, 2014).
Dalal, R. S. and S. Bonaccio, "What types of advice do decision-makers prefer?," Organizational Behavior and Human Decision Processes, Vol.112, No.1(2010), 11-23.
Eddy, N., Big Data Still a Big Challenge for Government IT, eWeek, 2012. Available at http://www.eweek.com/c/a/Government-IT/Big-Data-Still-a-Big-Challenge-for-Government-IT-651653/ (Downloaded 1 November, 2014).
Elbashir, M. Z., P. A. Collier, and M. J. Davern, "Measuring the effects of business intelligence systems: the relationship between business process and organizational performance," International Journal of Accounting Information Systems, Vol.9, No.3(2008), 135-153.
Herlocker, J. L., J. A. Konstan, and J. Riedl, "Explaining Collaborative Filtering Recommendations," Proceedings of the 2000 ACM conference on Computer supported cooperative work, (2000), 241-250.
Hwang Y., "A Hybrid Forecasting Framework based on Case-based Reasoning and Artificial Neural Network," Journal of Intelligence and Information Systems, Vol.18, No.4(2012), 43-57.
Kim, K. H., 99% of the business is a prediction, Readersbook, 2012.
Leone, C. and C. H. Dalton, "Some effects of the need for cognition on course grades," Perceptual and Motor Skills, Vol.67(1988), 175-178.
Onkal, D., P. Goodwin, M. Thomson, S. Gonul, and A. Pollock, "The relative influence of advice from human experts and statistical methods on forecast adjustments," Journal of Behavioral Decision Making, Vol.22, No.4(2009), 390-409.
Russom, P., Big data analytics, TDWI research, 2011. Available at http://tdwi.org/research/2011/09/-/media/TDWI/TDWI/Research/BPR/2011/TDWI_BPReport_Q411_Big_Data_Analytics_Web/TDWI_BPReport_Q411_Big%20Data_ExecSummary.ashx (Downloaded 11 November, 2014).
Sadowski, C. J. and S. Gulgoz, "Elaborative processing mediates the relationship between the need for cognition and academic performance," The Journal of Psychology: Interdisciplinary and Applied, Vol.130, No.3(1996), 303-307.
Samson T., IBM's Watson becomes a cancer treatment adviser, InfoWorld.com, 2013. Available at www.infoworld.com/t/big-data/ibms-watson-becomes-cancer-treatment-advisor-212644 (Downloaded 10 November, 2014).
Scott, S. G. and R. A. Bruce, "Decision-making style: The development and assessment of a new measure," Educational and psychological measurement, Vol.55, No.5(1995), 818-831.
Tan, P-N, M. Steinbach, and V. Kumar, Introduction to Data Mining, Addison-Wesley, Boston, 2006.
Wang, W. and I. Benbasat, "Trust in and Adoption of Online Recommendation Agents," Journal of the Association for Information Systems, Vol.6, No.3(2005), 72-101.
Yaniv, I. and E. Kleinberger, "Advice taking in decision making: Egocentric discounting and reputation formation," Organizational Behavior and Human Decision Processes, Vol.83, No.2(2000), 260-281.
Yates, J. F., P. C. Price, J.-W. Lee, and J. Ramirez, "Good probabilistic forecasters: the consumer's perspective," International Journal of Forecasting, Vol.12, No.1(1996), 41-56.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.