추천 에이전트의 설명 방식과 상세도에 따른 사용자 경험 차이에 관한 연구 A Study on the User Experience according to the Method and Detail of Recommendation Agent's Explanation Facilities원문보기
추천 에이전트의 활용이 활발해지면서 사용자에게 내부 논리를 설명할 수 없던 블랙박스 문제를 해결하는 방법으로 '설명 기능'이 주목을 받고 있다. 본 연구는 '설명 기능'의 유무에 따른 사용자 경험을 살펴보는 것에서 한 걸음 더 나아가 설명 방식과 상세도에 따라 어떠한 영향이 있는지 살펴보고자 한다. 설명 방식은 '에이전트가 특정 행동을 한 이유'를 설명하는 why 방식과 '특정 행동을 하지 않는 이유'를 설명하는 why not 방식으로 구분하였으며 상세도 조건은 상세도 높음/상세도 낮음으로 구분하였다. 연구 결과 why 설명 방식이 사용자의 투명성, 신뢰도, 만족도, 재사용 행동 의도에 긍정적인 영향을 주는 것을 발견하였으며, 상세도가 높을수록 심리적 반발에 대한 인식이 높아진다는 것을 확인하였다. 또한, 설명 방식과 상세도는 상호작용을 통해 '설명' 인식에 영향을 주었으며, 만족도와 추천 수용 의도에 영향을 준다는 경향성이 발견되었다. 본 연구는 사용자 경험에 긍정적인 영향을 주는 설명 방식과 적절한 상세도에 대해서 시사점을 제시하였으며, 설명 방식과 상세도의 상호작용을 통해 사용자 경험에 영향을 준다는 연구 결과를 통해, 추천 에이전트 맥락에서 설명 기능의 방식과 상세도를 결정하기 위해서는 세심한 주의가 필요하다는 제안을 하였다.
추천 에이전트의 활용이 활발해지면서 사용자에게 내부 논리를 설명할 수 없던 블랙박스 문제를 해결하는 방법으로 '설명 기능'이 주목을 받고 있다. 본 연구는 '설명 기능'의 유무에 따른 사용자 경험을 살펴보는 것에서 한 걸음 더 나아가 설명 방식과 상세도에 따라 어떠한 영향이 있는지 살펴보고자 한다. 설명 방식은 '에이전트가 특정 행동을 한 이유'를 설명하는 why 방식과 '특정 행동을 하지 않는 이유'를 설명하는 why not 방식으로 구분하였으며 상세도 조건은 상세도 높음/상세도 낮음으로 구분하였다. 연구 결과 why 설명 방식이 사용자의 투명성, 신뢰도, 만족도, 재사용 행동 의도에 긍정적인 영향을 주는 것을 발견하였으며, 상세도가 높을수록 심리적 반발에 대한 인식이 높아진다는 것을 확인하였다. 또한, 설명 방식과 상세도는 상호작용을 통해 '설명' 인식에 영향을 주었으며, 만족도와 추천 수용 의도에 영향을 준다는 경향성이 발견되었다. 본 연구는 사용자 경험에 긍정적인 영향을 주는 설명 방식과 적절한 상세도에 대해서 시사점을 제시하였으며, 설명 방식과 상세도의 상호작용을 통해 사용자 경험에 영향을 준다는 연구 결과를 통해, 추천 에이전트 맥락에서 설명 기능의 방식과 상세도를 결정하기 위해서는 세심한 주의가 필요하다는 제안을 하였다.
As the use of recommended agents has become more active, the "Explain Facilities" is drawing attention as a way to solve the black-box problem that could not explain internal logic to users. This study wants to look at how the description Method and Detail affects to user experience. The Explanation...
As the use of recommended agents has become more active, the "Explain Facilities" is drawing attention as a way to solve the black-box problem that could not explain internal logic to users. This study wants to look at how the description Method and Detail affects to user experience. The Explanation method was divided into 'why the agent did a particular action' and 'why not do a particular action' and the detail condition were divided into 'high or low'. Studies have found that 'why method' have a positive effect on users' transparency, trust, satisfaction, and behavioral intention to use, and 'high detail condition' higher the user' Psychological reactance. In addition, it was found that the explanation methods and detail influenced the 'Explanation' perception through interaction and tended to affect satisfaction and intention to adopt recommendation. This study suggested that careful attention is needed to determine the method and detail of the Explanation facilities in the context of the recommended agent, based on the research findings that it affects the user experience through the interaction of the method and detail.
As the use of recommended agents has become more active, the "Explain Facilities" is drawing attention as a way to solve the black-box problem that could not explain internal logic to users. This study wants to look at how the description Method and Detail affects to user experience. The Explanation method was divided into 'why the agent did a particular action' and 'why not do a particular action' and the detail condition were divided into 'high or low'. Studies have found that 'why method' have a positive effect on users' transparency, trust, satisfaction, and behavioral intention to use, and 'high detail condition' higher the user' Psychological reactance. In addition, it was found that the explanation methods and detail influenced the 'Explanation' perception through interaction and tended to affect satisfaction and intention to adopt recommendation. This study suggested that careful attention is needed to determine the method and detail of the Explanation facilities in the context of the recommended agent, based on the research findings that it affects the user experience through the interaction of the method and detail.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 연구는 사용자 경험에 긍정적인 영향을 주는 적절한 설명 상세도를 발견하기 위하여 설명 상세도를 높고 낮음으로 구분하고자 한다. 높음 조건에서는 에이전트 행동의 원인과 예시를 들어 설명하고 낮음 조건에서는 에이전트 행동의 원인만을 설명하는 조건으로 구성하여 사용자 경험에 어떤 차이가 있는지 살펴보고자 한다.
챗봇은 채팅(Chatting)과 로봇(Robot)의 합성어로, 인공지능 기술을 적용한 로봇과 사람이 상호작용 할 수 있는 시스템을 의미한다[5]. 따라서 본 논문에서 역시 추천 에이전트의 역할을 하는 챗봇과 사용자의 상호작용 맥락에서 연구를 진행하고자 한다. 추천 에이전트에 관한 선행연구들을 살펴보면 추천 성공률을 높이기 위한 알고리즘이나 추천 정확도 등에 관한 연구가 활발히 진행되고 있다.
또한, 본 연구에서는 ‘설명 상세도’에 따라 사용자는 어떠한 영향을 받는지 그리고 설명 방식과 설명 상세도에서 상호작용 효과가 발견되는지 검증해보고자 한다.
추천 에이전트의 설명 방식은 선행연구에 따라 ‘에이전트가 왜 그러한 행동을 하는지’(why), ‘에이전트가 왜 특정 행동을 하지 않는지’(why not)로 구분하였다. 또한, 설명 상세도가 높을수록 사용자 경험에 긍정적인 영향을 주는 것이 아니라 적절한 상세도가 필요하다[13]는 선행연구 결과를 참고하여 why/why not 설명 방식에 따라 적절한 설명 상세도에 차이가 있는지, 설명 상세도를 높음/낮음으로 구분하여 설명 상세도에 따라 사용자 경험에 차이가 발생하는지 살펴보고자 한다.
첫째, 신뢰와 투명도 평가에 정적인 영향을 미치는 변인으로 사용자가 추천 에이전트의 설명을 인지했는지를 의미하는 설명(Explanation), 둘째, 추천 에이전트의 설명을 사용자가 이해할 수 있는지를 파악하는 투명성(Transparency), 셋째, 추천 에이전트가 선택의 폭을 제한하고 자유를 위협한다고 느끼는 정도를 파악하기 위한 심리적 반발(Psychological reactance). 또한, 신뢰도, 만족도, 재사용 행동 의도, 추천 수용 의도를 조사하여 전반적인 사용자 경험을 파악하고자 한다. 추천 에이전트의 설명 방식은 선행연구에 따라 ‘에이전트가 왜 그러한 행동을 하는지’(why), ‘에이전트가 왜 특정 행동을 하지 않는지’(why not)로 구분하였다.
따라서 너무 높은 상세도의 설명이 심리적 반발을 유발하고 사용자 경험 전반에 부정적인 영향을 미치지 않는지 실증적인 연구가 필요한 상황이다. 본 연구는 사용자 경험에 긍정적인 영향을 주는 적절한 설명 상세도를 발견하기 위하여 설명 상세도를 높고 낮음으로 구분하고자 한다. 높음 조건에서는 에이전트 행동의 원인과 예시를 들어 설명하고 낮음 조건에서는 에이전트 행동의 원인만을 설명하는 조건으로 구성하여 사용자 경험에 어떤 차이가 있는지 살펴보고자 한다.
본 연구는 추천 에이전트 맥락에서 설명 방식과 상세도에 따라 사용자 경험이 어떠한 영향을 받는지 구체적으로 파악하고 이를 실증적으로 검증해보고자 하였다. 설명 상세도는 에이전트 행동의 원인만을 제시하는 ‘낮음’ 집단과 에이전트 행동의 원인과 예시를 제공하는 ‘높음’ 집단으로 구분되었으며, 설명 방식은 ‘왜 에이전트가 특정 행동을 했는가’를 설명하는 방식(why)과 ‘왜 에이전트가 특정 행동을 하지 않았는가’를 설명하는 방식(why not)으로 구분하여 2x2 혼합설계 연구를 진행하였다.
본 연구에서는 단순히 설명 기능의 유무에 따라 사용자 경험이 어떤 변화를 일으키는지 살펴보는 것이 아니라, 어떻게 설명을 하는 것이 긍정적인지, 얼마나 자세히 설명하는 것이 효과적인지 살펴보고자 한다. 이를 위해 설명 기능의 방식과 상세도가 사용자 경험에 어떠한 영향을 주는지 실증적인 연구방법을 통해 알아보고자 하였다.
다섯째, 실험의 시나리오가 해외 여행지 추천으로 제한되었다. 본 연구에서는 사용자의 특성과 도메인 지식 수준에 따라 다른 설명이 필요하다는 선행연구 결과를 참고하여 참가자 간의 차이를 최소화하고자 해외 여행지 추천을 실험 처치물로 활용하였다[12]. 따라서 본 연구의 결과를 모든 분야에 적용하기에는 무리가 있다.
추천 수용 의도(Intention to Adopt Recommendation)는 사용자가 추천 결과를 받아들일 의지를 확인할 수 있는 개념으로서[18], 온라인 쇼핑 맥락에서는 해당 제품을 구매할 것인지 판단하기 위해 구성된 문항이다. 본 연구에서는 추천 에이전트가 만들어낸 추천 결과를 받아들이고 향후 활용할 용의가 있는지 물어보는 것을 통해 사용자가 추천 결과를 받아들이려는 의도를 조사하고자 하였다. 따라서, ‘나는 추천된 여행지에 가보고 싶다.
재사용 행동 의도(Behavioral Intention to Use)는 에이전트 사용 혹은 추천 결과의 제품 구매라는 사용자 의사결정에 영향을 주는지 판단할 수 있는 사용자의 태도를 의미한다[16]. 본 연구에서는 추천 에이전트에 관한 사용자의 태도 중 제품의 구매 측면이 아닌 에이전트를 다시 사용할 것인지를 알아보고자 하였다. 따라서 ‘나는 미래에 이런 유형의 추천 시스템을 선호할 것이다.
본 연구에서는 추천 에이전트와 사용자가 상호작용하는 맥락에서 설명 기능의 방식과 상세도가 사용자 경험에 어떤 영향을 미치는지 실증적으로 살펴보고자 한다. 본 논문에서 살펴본 사용자 경험의 요인은 다음과 같다.
본 연구에서는 단순히 설명 기능의 유무에 따라 사용자 경험이 어떤 변화를 일으키는지 살펴보는 것이 아니라, 어떻게 설명을 하는 것이 긍정적인지, 얼마나 자세히 설명하는 것이 효과적인지 살펴보고자 한다. 이를 위해 설명 기능의 방식과 상세도가 사용자 경험에 어떠한 영향을 주는지 실증적인 연구방법을 통해 알아보고자 하였다. 설명 방식은 ‘에이전트가 특정 행동을 한 이유’를 설명하는 why 방식과 ‘에이전트가 특정 행동을 하지 않은 이유’를 설명하는 why not 방식으로 구분하였으며, 설명 상세도는 ‘에이전트 행동의 원인’만을 설명하는 낮은 설명 상세도 조건과 원인과 ‘에이전트 행동 결과의 예시’를 설명하는 높은 설명 상세도 조건으로 구분하였다.
따라서 본 연구의 결과를 모든 분야에 적용하기에는 무리가 있다. 하지만 본 연구에서는 추천 결과에 대한 만족도를 조사한 것이 아니라 설명 방식과 수준에 따른 사용자 경험 변화에 집중하여 살펴보았다. 따라서, 해당 분야의 사용자 특성을 고려한다면 충분한 시사점을 제공할 수 있다.
가설 설정
본 연구는 챗봇을 통해 해외 여행지를 추천받는 상황을 가정하여 진행되었으며, 실제 온라인 상황을 반영하고자 온라인 환경에서 실험을 시행하였다. 또한, 현실과 유사한 실험환경 구성을 위해 구글 사이트 도구를 활용하여 가상의 홈페이지를 제작하여 활용하였고, 챗봇은 단비(Danbee Ai)를 활용하여 사용자와 챗봇이 자유롭게 대화하는 경험이 가능하도록 구현하였다.
셋째, 실험에서 사용된 설명 방식이 한정되어 있다는 것이다. 본 연구에서는 선행연구에 따라 사용자의 why 질문에 답할 수 있는 두 가지 설명 방식(why/why not)을 사용하였다.
아시아나 항공의 ‘아론’, 삼성 카드의 ‘샘’과 같이 에이전트에게 특정한 이름을 부여하는 것을 고려하여, 본 논문에서는 why 방식으로 설명하는 챗봇의 이름을 ‘레보’, why not 방식의 챗봇을 ‘토니’로 명명하였다. 챗봇과의 대화 시나리오는 온라인에서의 추천 상황의 현실성과 사용자의 과거 경험에 따라 평가가 달라지는 경향을 최소화하기 위해 해외 여행지를 추천받는 상황을 가정하였으며, 사용자들이 가보았을 법한 유명 여행지는 선택지에서 제외하였다. 설명 상세도를 높음/낮음으로 나누어 참가자 집단을 구분하였으며, 각 집단에 따라 why 방식과 why not 방식의 챗봇을 모두 경험하는 2X2 혼합 설계로 실험을 구성하였다.
제안 방법
넷째, 설명 상세도 역시 다양한 수준을 다루지 않고 두 수준만을 살펴보았다. 설명 상세도는 단순히 자세히 설명한다는 의미가 아니라, Arrieta(2020)의 연구와 같이 설명 내용 중 어떤 것을 추가로 제공하는 것인지로 판단할 수 있다.
실험환경을 데스크톱, 노트북 등으로 제한하여 실험을 통제하였고 설문 문항을 통해 이를 확인하였다. 대화 흐름은 챗봇 소개, 사용자 나이 질문, 체류 예정 기간 질문, 선호도에 따른 질문으로 총 4번의 상호작용 후에 추천 결과를 받게 되는 것으로 구성하였으며, 구글의 Dialog flow와 같이 높은 상세도의 자연어 처리를 지원하는 챗봇 개발 플랫폼 단비(Danbee.Ai)를 활용하여 참가자가 자유로운 응답에 반응할 수 있도록 챗봇을 구현하였다[19].
둘째, 설명 기능의 다양한 분류 방식 중 설명 방식과 설명 상세도 수준만을 살펴보았다는 것이다. 앞서 살펴본 것과 같이 설명 기능은 방식과 상세도 외에도 시기, 내용 등으로 구분될 수 있다.
따라서 본 연구에서는 추천 에이전트의 설명 방식을 시기, 전달 방식 등으로 구분하지 않고 ‘왜 에이전트가 특정 행동을 했는지 혹은 하는지?
본 연구는 챗봇을 통해 해외 여행지를 추천받는 상황을 가정하여 진행되었으며, 실제 온라인 상황을 반영하고자 온라인 환경에서 실험을 시행하였다. 또한, 현실과 유사한 실험환경 구성을 위해 구글 사이트 도구를 활용하여 가상의 홈페이지를 제작하여 활용하였고, 챗봇은 단비(Danbee Ai)를 활용하여 사용자와 챗봇이 자유롭게 대화하는 경험이 가능하도록 구현하였다. 참가자는 설문 페이지에서 실험 진행 방법과 유의 사항을 확인하고 링크를 통해 홈페이지로 이동하여 챗봇 버튼을 클릭하고 대화를 진행하였으며, 체험이 종료된 후에는 설문 페이지로 돌아와 에이전트에 대한 평가를 진행하였다.
셋째, 실험에서 사용된 설명 방식이 한정되어 있다는 것이다. 본 연구에서는 선행연구에 따라 사용자의 why 질문에 답할 수 있는 두 가지 설명 방식(why/why not)을 사용하였다. 그러나 실무에서 적용하고자 하는 설명 방식은 이보다 더 다양할 수 있으며, 추후 연구에서 설명 방식에 따라 구체적인 검증을 진행하는 연구를 제안하는 바이다.
설명 상세도는 단순히 자세히 설명한다는 의미가 아니라, Arrieta(2020)의 연구와 같이 설명 내용 중 어떤 것을 추가로 제공하는 것인지로 판단할 수 있다. 본 연구에서는 설명의 시기를 에이전트 행동 후인 사후로 통제하였으며 해당 설명 시기에서 제공할 수 있는 내용을 선행연구에 따라 예시와 단순화를 통한 원인 설명으로 구성하였다[21]. 실무에서는 기업이 공개할 수 있는 정보에 따라 제공할 수 있는 설명 내용이 제한될 수 있다.
설명 방식은 ‘에이전트가 특정 행동을 한 이유’를 설명하는 why 방식과 ‘에이전트가 특정 행동을 하지 않은 이유’를 설명하는 why not 방식으로 구분하였으며, 설명 상세도는 ‘에이전트 행동의 원인’만을 설명하는 낮은 설명 상세도 조건과 원인과 ‘에이전트 행동 결과의 예시’를 설명하는 높은 설명 상세도 조건으로 구분하였다.
참가자는 설문 페이지에서 실험 진행 방법과 유의 사항을 확인하고 링크를 통해 홈페이지로 이동하여 챗봇 버튼을 클릭하고 대화를 진행하였으며, 체험이 종료된 후에는 설문 페이지로 돌아와 에이전트에 대한 평가를 진행하였다. 설명 상세도 조건에 따라 구분된 참가자에게 두 가지 설명 방식의 챗봇을 무선의 순서로 경험하도록 실험을 구성하였으며, 온라인 실험 특성상 제작된 실험 처치물을 제대로 숙지하거나 체험하지 않고 평가 문항으로 넘어가는 문제를 방지하기 위해 평가 단계에서 여행지 추천에 대한 퀴즈를 활용하여 응답자가 실험 처치물을 제대로 인지하고 있는지 확인하였다.
설명 상세도는 에이전트 행동의 원인만을 제시하는 ‘낮음’ 집단과 에이전트 행동의 원인과 예시를 제공하는 ‘높음’ 집단으로 구분되었으며, 설명 방식은 ‘왜 에이전트가 특정 행동을 했는가’를 설명하는 방식(why)과 ‘왜 에이전트가 특정 행동을 하지 않았는가’를 설명하는 방식(why not)으로 구분하여 2x2 혼합설계 연구를 진행하였다.
챗봇과의 대화 시나리오는 온라인에서의 추천 상황의 현실성과 사용자의 과거 경험에 따라 평가가 달라지는 경향을 최소화하기 위해 해외 여행지를 추천받는 상황을 가정하였으며, 사용자들이 가보았을 법한 유명 여행지는 선택지에서 제외하였다. 설명 상세도를 높음/낮음으로 나누어 참가자 집단을 구분하였으며, 각 집단에 따라 why 방식과 why not 방식의 챗봇을 모두 경험하는 2X2 혼합 설계로 실험을 구성하였다. 실제 챗봇과 대화하는 상황과 유사한 실험환경을 구성하기 위해 구글 사이트 도구를 활용하여 [그림 1]과 같이 가상의 홈페이지를 제작하였으며 챗봇 버튼 외의 다른 버튼은 모두 비활성화하였다.
설명 상세도를 높음/낮음으로 나누어 참가자 집단을 구분하였으며, 각 집단에 따라 why 방식과 why not 방식의 챗봇을 모두 경험하는 2X2 혼합 설계로 실험을 구성하였다. 실제 챗봇과 대화하는 상황과 유사한 실험환경을 구성하기 위해 구글 사이트 도구를 활용하여 [그림 1]과 같이 가상의 홈페이지를 제작하였으며 챗봇 버튼 외의 다른 버튼은 모두 비활성화하였다. 실험환경을 데스크톱, 노트북 등으로 제한하여 실험을 통제하였고 설문 문항을 통해 이를 확인하였다.
실제 챗봇과 대화하는 상황과 유사한 실험환경을 구성하기 위해 구글 사이트 도구를 활용하여 [그림 1]과 같이 가상의 홈페이지를 제작하였으며 챗봇 버튼 외의 다른 버튼은 모두 비활성화하였다. 실험환경을 데스크톱, 노트북 등으로 제한하여 실험을 통제하였고 설문 문항을 통해 이를 확인하였다. 대화 흐름은 챗봇 소개, 사용자 나이 질문, 체류 예정 기간 질문, 선호도에 따른 질문으로 총 4번의 상호작용 후에 추천 결과를 받게 되는 것으로 구성하였으며, 구글의 Dialog flow와 같이 높은 상세도의 자연어 처리를 지원하는 챗봇 개발 플랫폼 단비(Danbee.
아시아나 항공의 ‘아론’, 삼성 카드의 ‘샘’과 같이 에이전트에게 특정한 이름을 부여하는 것을 고려하여, 본 논문에서는 why 방식으로 설명하는 챗봇의 이름을 ‘레보’, why not 방식의 챗봇을 ‘토니’로 명명하였다.
또한, 현실과 유사한 실험환경 구성을 위해 구글 사이트 도구를 활용하여 가상의 홈페이지를 제작하여 활용하였고, 챗봇은 단비(Danbee Ai)를 활용하여 사용자와 챗봇이 자유롭게 대화하는 경험이 가능하도록 구현하였다. 참가자는 설문 페이지에서 실험 진행 방법과 유의 사항을 확인하고 링크를 통해 홈페이지로 이동하여 챗봇 버튼을 클릭하고 대화를 진행하였으며, 체험이 종료된 후에는 설문 페이지로 돌아와 에이전트에 대한 평가를 진행하였다. 설명 상세도 조건에 따라 구분된 참가자에게 두 가지 설명 방식의 챗봇을 무선의 순서로 경험하도록 실험을 구성하였으며, 온라인 실험 특성상 제작된 실험 처치물을 제대로 숙지하거나 체험하지 않고 평가 문항으로 넘어가는 문제를 방지하기 위해 평가 단계에서 여행지 추천에 대한 퀴즈를 활용하여 응답자가 실험 처치물을 제대로 인지하고 있는지 확인하였다.
추천 에이전트의 설명 방식은 선행연구에 따라 ‘에이전트가 왜 그러한 행동을 하는지’(why), ‘에이전트가 왜 특정 행동을 하지 않는지’(why not)로 구분하였다.
대상 데이터
31) 였다. 실험 종료 후 2명의 불성실 응답자를 제외하여 총 60명의 실험 데이터를 획득하였다.
실험 참가자 모집은 ‘챗봇’과 대화하는 것에 문제가 없는 20세 이상의 성인을 대상으로 진행하였다.
참가자는 설명 상세도(높음/낮음)에 따라 두 개의 집단으로 분류되었으며, 집단 구분에 상관없이 why 방식과 why not 방식의 추천 에이전트를 모두 경험하도록 요구되었다. 체험 순서에 따른 효과를 통제하기 위해 사전에 무선으로 선정된 순서에 따라 실험을 진행하였으며, 실험 참가자는 남성 23명, 여성 39명으로 모집하였으며 평균 연령은 22.62세(SD = 4.31) 였다. 실험 종료 후 2명의 불성실 응답자를 제외하여 총 60명의 실험 데이터를 획득하였다.
성능/효과
셋째, 설명 방식과 설명 상세도가 상호작용을 통해 사용자 경험에 영향을 미친다는 것을 발견하였다. 구체적으로 why not 방식의 설명 방식은 설명 상세도가 높아짐에 따라 설명, 만족도, 추천 수용 의도에서 부정적인 영향을 미친다는 경향성을 발견하였고, 반대로 why 방식의 설명 방식은 설명 상세도가 높을수록 긍정적인 영향을 미친다는 경향성이 발견되었다. 즉 설명 방식에 따라 적절한 설명 상세도가 다를 수 있음을 의미하며, 추천 에이전트 맥락에서 설명 기능을 제공하기 위해서는 우선 설명 방식을 결정하고, 그 방식에 따라 적절한 상세도를 고려해야 사용자의 설명에 대한 인식과 만족도, 추천 수용 의도에서 긍정적인 결과를 기대할 수 있을 것이라는 시사점을 발견하였다.
‘설명’은 설명 기능의 역할을 인지하는 정도를 나타내는 척도로 신뢰도와 투명도에 정적인 영향을 미치는 것으로 정의된다[14]. 구체적으로 상세도 조건에 따라 설명 방식의 차이가 있는지 알아보기 위해 단순 주 효과 검정을 실시한 결과, 낮음 상세도의 경우 why not 방식(M = 5.11, SD = 1.13)과 why 방식(M = 4.92, SD = 1.24)에서 설명에 대한 인식의 차이가 없었던 반면(p = .23), 높음 상세도의 경우 why 방식(M = 5.48, SD = .83)이 why not 방식(M = 5.08, SD = 1.23)보다 설명에 대한 인식이 유의하게 높은 것을 발견하였다(p = .02). 이는, 설명 상세도가 높고 why 방식으로 설명을 제공하였을 때, 설명 기능에 대한 인식이 높다는 것을 보여준다.
그 결과 why 설명 방식을 적용하였을 때 사용자의 투명성, 신뢰도, 만족도, 재사용 행동 의도가 긍정적인 영향을 받는다는 것을 확인할 수 있었으며, 설명 상세도가 높았을 때 사용자의 심리적 반발이 높아진다는 사실을 발견하였다. 나아가 설명 방식과 상세도는 상호작용을 통해 설명에 유의한 영향을 발견하였으며, 만족도와 추천 수용 의도에서도 경향성을 발견하였다.
Kizilcec(2016)은 시스템 투명도를 3가지 수준으로 조작하여 신뢰에 어떠한 영향을 미치는지 살펴보는 실험을 진행하였다. 그 결과 자신의 기대보다 낮은 점수 평가를 받은 사용자는 시스템 투명도가 높을수록 시스템을 신뢰한다는 사실을 발견하였다. 그러나 투명도가 가장 높은 조건에서는 역으로 너무 많은 정보로 인해 신뢰가 악화된다는 사실을 발견되었다[13].
그 결과 why 설명 방식을 적용하였을 때 사용자의 투명성, 신뢰도, 만족도, 재사용 행동 의도가 긍정적인 영향을 받는다는 것을 확인할 수 있었으며, 설명 상세도가 높았을 때 사용자의 심리적 반발이 높아진다는 사실을 발견하였다. 나아가 설명 방식과 상세도는 상호작용을 통해 설명에 유의한 영향을 발견하였으며, 만족도와 추천 수용 의도에서도 경향성을 발견하였다. 즉 본 연구는 사용자 경험에 긍정적인 영향을 주는 설명 방식을 구체적으로 검증하였다는 점과 설명 상세도에 따라 사용자의 심리적 반발이 높아질 수 있음을 발견하였다는 것에 의의가 있으며, 추천 에이전트에 설명 기능을 적용하기 위해서는 방식과 상세도에 따라 적절한 고려가 필요하다는 시사점을 제시할 수 있다.
둘째, 설명 상세도를 높음/낮음으로 구분하여 실험을 진행한 결과 추천 에이전트 행동의 원인과 더불어 예시를 추가로 설명한 높음 집단에서 사용자의 심리적 반발이 높아진다는 사실을 발견하였다. 이는 추천 에이전트가 사용자에게 적합한 추천 결과를 선정하는 과정에서 설명 기능이 추천 결과 이외의 상품, 콘텐츠들을 제외한다는 사실을 자세히 설명한다는 의미를 담고 있기 때문으로 해석된다.
또한, 설명 기능의 적절 상세도를 판단하기 위해 높음/낮음으로 구분한 설명 상세도에 따른 차이도 발견할 수 있었다. 설명 상세도 저 집단은 에이전트 행동의 원인에 관해서 설명하였고, 고 집단은 에이전트 행동의 결과에 대한 예시까지 설명하였다.
또한, 설명 방식과 상세도는 상호작용을 통해 ‘설명’(Explanation)에 영향을 미치는 것으로 드러났다.
이는, 설명 상세도가 높고 why 방식으로 설명을 제공하였을 때, 설명 기능에 대한 인식이 높다는 것을 보여준다. 또한, 통계적으로 유의하지는 않았으나, 만족도와 추천 수용 의도 측정 변인에서도 설명 방식과 상세도가 상호작용을 통해 영향을 준다는 경향성이 발견되었다. 만족도의 경우 why 설명 방식을 취한 에이전트의 경우 자세히 설명할수록 만족도가 높았던 반면 why not 설명 방식을 취한 에이전트는 자세히 설명할수록 만족도가 낮아지는 경향이 발견되었다.
설명 방식과 설명 상세도가 만족도에 미치는 영향에 대하여 반복 측정 분산 분석(Repeated Measures ANOVA)을 실시한 결과, 설명 방식에 따른 유의한 차이가 발견되었다[F(1, 58) = 8.30, p < .05, ηp2= .13].
설명 방식과 설명 상세도가 설명에 미치는 영향에 대하여 반복 측정 분산 분석(Repeated Measures ANOVA)을 실시한 결과, 설명 방식에 따라 유의한 차이가 발견되지 않았다[F(1, 58) = .73, p = .40]. 또한, 설명 상세도에 따른 설명에 대한 인식도 유의한 차이가 발견되지 않았다[F(1, 58) = 1.
설명 방식과 설명 상세도가 신뢰도에 미치는 영향에 대하여 반복 측정 분산 분석(Repeated Measures ANOVA)을 실시한 결과, 설명 방식에 따른 유의한 차이가 발견되었다[F(1, 58) = 4.40, p < .05, ηp2= .07].
설명 방식과 설명 상세도가 심리적 반발에 미치는 영향에 대한 반복 측정 분산 분석(Repeated Measures ANOVA)결과, 설명 방식에 따른 유의한 차이가 발견되지 않았다[F(1, 58) = 1.72, p = .20]. 반면, 설명 상세 도에 따른 유의한 차이가 발견되었다[F(1, 58) = 6.
설명 방식과 설명 상세도가 재사용 행동 의도에 미치는 영향에 대하여 반복 측정 분산 분석(Repeated Measures ANOVA)을 실시한 결과, 설명 방식에 따른 유의한 차이가 나타났다[F(1, 58) = 8.52, p < .05, ηp2= .13].
설명 방식과 설명 상세도가 추천 수용 의도에 미치는 영향에 대하여 반복 측정 분산 분석(Repeated Measures ANOVA)을 실시한 결과, 설명 방식에 따른 유의한 결과가 발견되지 않았다[F(1, 58) = 2.60, p = .11]. 또한, 설명 상세도에 따른 유의한 차이가 나타나지 않았다[F(1, 58) = .
설명 방식과 설명 상세도가 투명성에 미치는 영향에 대하여 반복 측정 분산 분석(Repeated Measures ANOVA)을 실시한 결과, 설명 방식에 따라 유의한 차이가 발견되었다[F(1, 58) = 4.70, p < .05, ηp2= .08].
설문 문항의 신뢰성을 검증하기 위해 신뢰도 분석을 진행한 결과, 설명(.71), 투명성(.82), 심리적 반발(.86), 신뢰도(.78), 만족도(.81), 재사용 행동 의도(.86), 추천 수용 의도(.82)으로 모든 항목에 대하여 Cronbach’α 값이 0.7 이상으로 분석되어 측정 변인의 신뢰성이 검증되었다.
셋째, 설명 방식과 설명 상세도가 상호작용을 통해 사용자 경험에 영향을 미친다는 것을 발견하였다. 구체적으로 why not 방식의 설명 방식은 설명 상세도가 높아짐에 따라 설명, 만족도, 추천 수용 의도에서 부정적인 영향을 미친다는 경향성을 발견하였고, 반대로 why 방식의 설명 방식은 설명 상세도가 높을수록 긍정적인 영향을 미친다는 경향성이 발견되었다.
설명 상세도 저 집단은 에이전트 행동의 원인에 관해서 설명하였고, 고 집단은 에이전트 행동의 결과에 대한 예시까지 설명하였다. 실험 결과 설명 상세도 높음 집단에 배정받은 참가자는 설명 상세도 낮음 집단에 배정받은 참가자에 비해 심리적 반발이 더 높은 것으로 나타났다. 심리적 반발이란 참여자가 자신의 자유를 위협받았다는 것을 의미한다.
실험 결과, 설명 방식에 따라 투명성, 신뢰도, 만족도, 재사용 행동 의도에서 유의한 차이가 발견되었다. 구체적으로는 ‘에이전트가 왜 특정 행동을 했는지.
나아가 설명 방식과 상세도는 상호작용을 통해 설명에 유의한 영향을 발견하였으며, 만족도와 추천 수용 의도에서도 경향성을 발견하였다. 즉 본 연구는 사용자 경험에 긍정적인 영향을 주는 설명 방식을 구체적으로 검증하였다는 점과 설명 상세도에 따라 사용자의 심리적 반발이 높아질 수 있음을 발견하였다는 것에 의의가 있으며, 추천 에이전트에 설명 기능을 적용하기 위해서는 방식과 상세도에 따라 적절한 고려가 필요하다는 시사점을 제시할 수 있다. 그러나 본 연구는 해외 여행지 추천 맥락과 why, why not 방식만을 비교했다는 한계를 가지고 있다.
’ 설명하는 why 조건에서 측정 변인들을 높게 평가하는 것을 확인할 수 있었다. 즉 선행연구에서 발견한 설명 기능의 장점인 투명성 신뢰도 등에 긍정적인 영향을 주기 위해서는 why not 방식의 설명보다 why 방식의 설명이 더 효과적이라는 결론을 내릴 수 있다.
구체적으로 why not 방식의 설명 방식은 설명 상세도가 높아짐에 따라 설명, 만족도, 추천 수용 의도에서 부정적인 영향을 미친다는 경향성을 발견하였고, 반대로 why 방식의 설명 방식은 설명 상세도가 높을수록 긍정적인 영향을 미친다는 경향성이 발견되었다. 즉 설명 방식에 따라 적절한 설명 상세도가 다를 수 있음을 의미하며, 추천 에이전트 맥락에서 설명 기능을 제공하기 위해서는 우선 설명 방식을 결정하고, 그 방식에 따라 적절한 상세도를 고려해야 사용자의 설명에 대한 인식과 만족도, 추천 수용 의도에서 긍정적인 결과를 기대할 수 있을 것이라는 시사점을 발견하였다. 이는 설명 기능에 대한 전반적인 인식과 사용자 경험에서 주로 사용되는 만족도와 추천 에이전트의 최종 목표라고 할 수 있는 추천 수용 의도에 영향을 미치는 요소이기 때문에, 주요한 판단 기준으로 활용될 수 있다.
이는 본 실험에서 조작한 높은 정도의 설명 상세도의 수준이 심리적 반발은 유발하지만, 다른 사용자 경험에는 영향을 미치지 않을 정도라는 것을 의미한다. 즉, 본 실험보다 높은 설명 상세도 수준은 심리적 반발은 물론 만족도, 신뢰도 등에서 부정적인 영향을 유발할 수 있고, 에이전트를 폄하하거나 존재를 거부하는 사용자 행동이 발견될 수 있음을 의미한다.
첫째, 기존 설명 방식에 관하여 분류 기준과 구성 내용 등에 대한 분석에서 그쳤던 선행연구에서 구체적으로 ‘에이전트가 특정 행동을 하는 이유’를 설명하는 why 설명 방식이 사용자 경험 변인 중 투명성, 신뢰도, 만족도, 재사용 행동 의도에 긍정적인 영향을 준다는 사실을 검증하였다.
만족도의 경우 why 설명 방식을 취한 에이전트의 경우 자세히 설명할수록 만족도가 높았던 반면 why not 설명 방식을 취한 에이전트는 자세히 설명할수록 만족도가 낮아지는 경향이 발견되었다. 추천 수용의도는 설명 상세도가 낮은 경우 why not 설명 방식의 에이전트에 대한 추천 수용 의도가 높았던 반면 설명 상세도가 높은 경우에는 why 방식의 에이전트에 대한 추천 수용 의도가 높아지는 것을 확인할 수 있었다. 이는 why not 방식과 같이 ‘에이전트가 특정 행동을 하지 않는 이유’를 설명하는 방식을 활용할 때, 행동을 하지 않음으로써 발생하는 예시까지 설명하는 것은, 오히려 사용자 경험에 부정적인 영향을 미친다는 것을 의미하며, 반대로 ‘에이전트가 특정 행동을 하는 이유’를 설명하는 방식에서는 예시를 설명하는 것이 긍정적인 영향을 미친다는 것을 의미한다.
후속연구
즉 본 연구는 사용자 경험에 긍정적인 영향을 주는 설명 방식을 구체적으로 검증하였다는 점과 설명 상세도에 따라 사용자의 심리적 반발이 높아질 수 있음을 발견하였다는 것에 의의가 있으며, 추천 에이전트에 설명 기능을 적용하기 위해서는 방식과 상세도에 따라 적절한 고려가 필요하다는 시사점을 제시할 수 있다. 그러나 본 연구는 해외 여행지 추천 맥락과 why, why not 방식만을 비교했다는 한계를 가지고 있다. 추천 에이전트가 다양한 분야에서 활용된다는 점과 실무에서는 공개할 수 있는 정보가 제한된다는 점을 고려하여 설명 방식과 설명 상세도를 선정하기 위해서는 제시한 고려 요소를 검증하는 단계를 거쳐 결정되어야 할 것이다.
본 연구에서는 선행연구에 따라 사용자의 why 질문에 답할 수 있는 두 가지 설명 방식(why/why not)을 사용하였다. 그러나 실무에서 적용하고자 하는 설명 방식은 이보다 더 다양할 수 있으며, 추후 연구에서 설명 방식에 따라 구체적인 검증을 진행하는 연구를 제안하는 바이다.
연령에 따라 선호하는 챗봇의 차이가 있을 수 있으며, 이는 추천 에이전트 평가에 영향을 줄 수 있다. 따라서 본 연구만으로 전 연령대에 일반화하기에는 어려움이 있으며, 추후에는 다양한 연령별로 살펴볼 필요가 있다.
앞서 살펴본 것과 같이 설명 기능은 방식과 상세도 외에도 시기, 내용 등으로 구분될 수 있다. 따라서 본 연구의 결과는 방식과 상세도에만 한정되어 있고, 이를 설명 기능의 전반적인 결과라고 확대하기에는 한계가 존재한다.
본 연구에서는 사용자의 특성과 도메인 지식 수준에 따라 다른 설명이 필요하다는 선행연구 결과를 참고하여 참가자 간의 차이를 최소화하고자 해외 여행지 추천을 실험 처치물로 활용하였다[12]. 따라서 본 연구의 결과를 모든 분야에 적용하기에는 무리가 있다. 하지만 본 연구에서는 추천 결과에 대한 만족도를 조사한 것이 아니라 설명 방식과 수준에 따른 사용자 경험 변화에 집중하여 살펴보았다.
실무에서는 기업이 공개할 수 있는 정보에 따라 제공할 수 있는 설명 내용이 제한될 수 있다. 따라서 본 연구의 결과를 실무에 바로 적용하기에는 무리가 있으며, 설명 내용에 대한 구체적인 분석이 선행되어야 한다.
이 연구의 첫 번째 한계는 실험 참가자가 대부분 20대로 한정되어 있다는 것이다. 따라서 연령별 사용자 경험의 차이를 파악하기 어렵다.
그러나 본 연구는 해외 여행지 추천 맥락과 why, why not 방식만을 비교했다는 한계를 가지고 있다. 추천 에이전트가 다양한 분야에서 활용된다는 점과 실무에서는 공개할 수 있는 정보가 제한된다는 점을 고려하여 설명 방식과 설명 상세도를 선정하기 위해서는 제시한 고려 요소를 검증하는 단계를 거쳐 결정되어야 할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
추천 에이전트가 하는 역할은 무엇인가?
추천 에이전트(Recommendation Agents)는 사용자의 요구, 선호도, 인적사항, 과거 활동 등을 기반으로 조언을 제공하는 소프트웨어로 정의된다[1]. 또한, 온라인 소비 상황에서 일련의 단계를 거쳐 사용자의 의사결정 과정에 도움을 주는 도구로 활용되고 있다. 즉, 추천 에이전트는 과도한 정보로 인해 발생하는 구매자의 노력을 감소시키고 결정의 질을 향상하며, 제품 선택 확신에 긍정적인 영향을 주는 역할을 하고 있다[2]. 이러한 추천 에이전트는 현재 해외 아마존(Amazon)뿐 아니라 국내 아시아나 항공, 삼성 카드 등 다양한 산업 환경에서 활용되고 있다.
챗봇은 무엇인가?
이러한 추천 에이전트는 온라인 쇼핑, 미디어 콘텐츠 추천 등 다양한 분야에서 활용되고 있는데 주로 ‘챗봇’(Chat Bot)의 형태로 추천 에이전트를 형상화하여 사용자와 직접 대화하고 적합한 추천을 제공하는 형태가 대중적으로 활용되고 있다. 챗봇은 채팅(Chatting)과 로봇(Robot)의 합성어로, 인공지능 기술을 적용한 로봇과 사람이 상호작용 할 수 있는 시스템을 의미한다[5]. 따라서 본 논문에서 역시 추천 에이전트의 역할을 하는 챗봇과 사용자의 상호작용 맥락에서 연구를 진행하고자 한다.
투명도는 어떤 용도로 활용되고 있는가?
투명도란 추천 에이전트를 활용하는 사용자의 신뢰에 영향을 미치는 요인으로, 추천 결과가 생성된 이유를 설명하는 에이전트의 능력을 뜻한다. 또한, 추천 에이전트의 설명 기능이 사용자가 이해할 수 있는지 파악하기 위한 척도로 활용되고 있다[14]. Kizilcec(2016)은 시스템 투명도를 3가지 수준으로 조작하여 신뢰에 어떠한 영향을 미치는지 살펴보는 실험을 진행하였다.
H. Johnson and P. Johnson, "Explanation facilities and interactive systems," In Proceedings of the 1st international conference on Intelligent user interfaces, ACM, pp.159-166, 1993.
W. Wang and I. Benbasat, "Recommendation agents for electronic commerce: Effects of explanation facilities on trusting beliefs," Journal of Management Information Systems, Vol.23, No.4, pp.217-246, 2007.
T. Buchanan, C. Paine, A. N. Joinson, and U. D. Reips, "Development of measures of online privacy concern and protection for use on the Internet," Journal of the American society for information science and technology, Vol.58, No.2, pp.157-165, 2007.
A. Richardson and A. Rosenfeld, "A survey of interpretability and explainability in human-agent systems," In XAI Workshop on Explainable Artificial Intelligence, pp.137-143, 2018.
J. Zhang and S. P. Curley, "Exploring explanation effects on consumers' trust in online recommender agents," International Journal of Human-Computer Interaction, Vol.34, No.5, pp.421-432, 2018.
M. Ribera and A. Lapedriza, "Can we do better explanations?," A proposal of user-centered explainable AI. In IUI Workshops, 2019.
R. F. Kizilcec, "How much information? Effects of transparency on trust in an algorithmic interface," In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, pp.2390-2395, 2016.
M. Nilashi, D. Jannach, O. bin Ibrahim, M. D. Esfahani, and H. Ahmadi, "Recommendation quality, transparency, and website quality for trust-building in recommendation agents," Electronic Commerce Research and Applications, Vol.19, pp.70-84, 2016.
하대권, 성용준, "선택에 관여하는 인공지능이 사용자 평가에 미치는 영향," 한국심리학회지: 소비자.광고, 제20권, 제1호, pp.55-83, 2019.
J. L. Hebrado, H. J. Lee, and J. Choi, "Influences of Transparency and Feedback on Customer Intention to Reuse Online Recommender Systems," Journal of Society for e-Business Studies, Vol.18, No.2, 2013.
S. Lee and J. Choi, "Enhancing user experience with conversational agent for movie recommendation: Effects of self-disclosure and reciprocity," International Journal of Human-Computer Studies, Vol.103, pp,95-105, 2017.
J. Zhang and S. P. Curley, "Exploring explanation effects on consumers' trust in online recommender agents," International Journal of Human-Computer Interaction, Vol.34, No.5, pp.421-432, 2018.
최서원, 남재현, "SW 교육 보조 도구로서의 AI 챗봇활용," 한국정보통신학회논문지, 제23권, 제12호, pp.1693-1699, 2019.
J. P. Dillard and L. Shen, "On the nature of reactance and its role in persuasive health communication," Communication Monographs, Vol.72, No.2, pp.144-168, 2005.
A. B. Arrieta, N. Diaz-Rodriguez, J. Del Ser, A. Bennetot, S. Tabik, A. Barbado, and R. Chatila, "Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI," Information Fusion, Vol.58, pp.82-115, 2020.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.