대화형 에이전트의 오류 상황에서 사회적 전략 적용: 사전 양해와 사과를 이용한 사례 연구 Applying Social Strategies for Breakdown Situations of Conversational Agents: A Case Study using Forewarning and Apology원문보기
음성인식 기술의 비약적 발전으로 최근 몇 년 사이 대화형 에이전트는 스마트폰, 인공지능 스피커 등을 통해 널리 보급되었다. 음성인식 기술의 인식의 정확도는 인간의 수준까지 발전하였으나, 여전히 말의 의미나 의도를 파악하는 것과 긴 대화를 이해하는 것 등에는 한계를 보이고 있다. 이에 따라 사용자는 대화형 에이전트를 사용함에 있어 다양한 오류 상황들을 경험하고 있으며 이는 사용자 경험에 부정적인 영향을 미칠 수 있다. 또한, 목소리를 주 인터페이스로 하는 인공지능 스피커의 경우, 대화형 에이전트의 기능 및 한계에 대한 피드백의 부족은 지속적 사용을 저해하는 요소로 꼽히고 있다. 따라서 사용자가 대화형 에이전트의 기능 및 한계를 보다 잘 이해하고 오류 상황에서 부정적인 감정을 완화할 수 있는 방안에 대한 연구에 대한 필요성이 높으나, 아직 관련 연구는 미비한 실정이다. 이에 본 연구에서는 사회적 전략 중 '사전 양해'와 '사과'를 대화형 에이전트에 적용하고 이러한 전략이 사용자가 에이전트에 대해 느끼는 인식에 어떠한 영향을 미치는지 조사하였다. 이를 위해 사전 양해와 사과 여부를 나누어 사용자가 대화형 에이전트와 대화하는 데모 영상을 제작하였고, 실험참가자들에게 영상을 보여준 뒤 느끼는 호감도와 신뢰도를 설문을 통해 평가하도록 하였다. 총 104명의 응답을 분석한 결과, 문헌조사를 토대로 한 우리의 예상과는 상반되는 결과를 얻었다. 사전 양해는 오히려 사용자에게 부정적인 인상을 주었으며, 특히 에이전트에 대한 신뢰도에 부정적인 영향을 주었다. 또한 오류 상황에서의 사과는 사용자가 느끼는 호감도나 신뢰도에는 유의미한 영향을 미치지 않았다. 심층인터뷰를 통해 원인을 파악한 결과, 실험참가자들은 인공지능 스피커를 사람과 같은 인격체보다는 단순한 기계에 가깝다고 인식했기 때문에 인간관계에 작용하는 사회적 전략이 영향력을 발휘하지 못한 것으로 해석된다. 이러한 결과는 사용자가 에이전트를 얼마나 기계, 혹은 사람에 가깝게 인식하는지에 따라 오류 상황에 대한 에이전트의 대처 방식 또한 달라져야 함을 보여준다.
음성인식 기술의 비약적 발전으로 최근 몇 년 사이 대화형 에이전트는 스마트폰, 인공지능 스피커 등을 통해 널리 보급되었다. 음성인식 기술의 인식의 정확도는 인간의 수준까지 발전하였으나, 여전히 말의 의미나 의도를 파악하는 것과 긴 대화를 이해하는 것 등에는 한계를 보이고 있다. 이에 따라 사용자는 대화형 에이전트를 사용함에 있어 다양한 오류 상황들을 경험하고 있으며 이는 사용자 경험에 부정적인 영향을 미칠 수 있다. 또한, 목소리를 주 인터페이스로 하는 인공지능 스피커의 경우, 대화형 에이전트의 기능 및 한계에 대한 피드백의 부족은 지속적 사용을 저해하는 요소로 꼽히고 있다. 따라서 사용자가 대화형 에이전트의 기능 및 한계를 보다 잘 이해하고 오류 상황에서 부정적인 감정을 완화할 수 있는 방안에 대한 연구에 대한 필요성이 높으나, 아직 관련 연구는 미비한 실정이다. 이에 본 연구에서는 사회적 전략 중 '사전 양해'와 '사과'를 대화형 에이전트에 적용하고 이러한 전략이 사용자가 에이전트에 대해 느끼는 인식에 어떠한 영향을 미치는지 조사하였다. 이를 위해 사전 양해와 사과 여부를 나누어 사용자가 대화형 에이전트와 대화하는 데모 영상을 제작하였고, 실험참가자들에게 영상을 보여준 뒤 느끼는 호감도와 신뢰도를 설문을 통해 평가하도록 하였다. 총 104명의 응답을 분석한 결과, 문헌조사를 토대로 한 우리의 예상과는 상반되는 결과를 얻었다. 사전 양해는 오히려 사용자에게 부정적인 인상을 주었으며, 특히 에이전트에 대한 신뢰도에 부정적인 영향을 주었다. 또한 오류 상황에서의 사과는 사용자가 느끼는 호감도나 신뢰도에는 유의미한 영향을 미치지 않았다. 심층인터뷰를 통해 원인을 파악한 결과, 실험참가자들은 인공지능 스피커를 사람과 같은 인격체보다는 단순한 기계에 가깝다고 인식했기 때문에 인간관계에 작용하는 사회적 전략이 영향력을 발휘하지 못한 것으로 해석된다. 이러한 결과는 사용자가 에이전트를 얼마나 기계, 혹은 사람에 가깝게 인식하는지에 따라 오류 상황에 대한 에이전트의 대처 방식 또한 달라져야 함을 보여준다.
With the breakthrough of speech recognition technology, conversational agents have become pervasive through smartphones and smart speakers. The recognition accuracy of speech recognition technology has developed to the level of human beings, but it still shows limitations on understanding the underl...
With the breakthrough of speech recognition technology, conversational agents have become pervasive through smartphones and smart speakers. The recognition accuracy of speech recognition technology has developed to the level of human beings, but it still shows limitations on understanding the underlying meaning or intention of words, or understanding long conversation. Accordingly, the users experience various errors when interacting with the conversational agents, which may negatively affect the user experience. In addition, in the case of smart speakers with a voice as the main interface, the lack of feedback on system and transparency was reported as the main issue when the users using. Therefore, there is a strong need for research on how users can better understand the capability of the conversational agents and mitigate negative emotions in error situations. In this study, we applied social strategies, "forewarning" and "apology", to conversational agent and investigated how these strategies affect users' perceptions of the agent in breakdown situations. For the study, we created a series of demo videos of a user interacting with a conversational agent. After watching the demo videos, the participants were asked to evaluate how they liked and trusted the agent through an online survey. A total of 104 respondents were analyzed and found to be contrary to our expectation based on the literature study. The result showed that forewarning gave a negative impression to the user, especially the reliability of the agent. Also, apology in a breakdown situation did not affect the users' perceptions. In the following in-depth interviews, participants explained that they perceived the smart speaker as a machine rather than a human-like object, and for this reason, the social strategies did not work. These results show that the social strategies should be applied according to the perceptions that user has toward agents.
With the breakthrough of speech recognition technology, conversational agents have become pervasive through smartphones and smart speakers. The recognition accuracy of speech recognition technology has developed to the level of human beings, but it still shows limitations on understanding the underlying meaning or intention of words, or understanding long conversation. Accordingly, the users experience various errors when interacting with the conversational agents, which may negatively affect the user experience. In addition, in the case of smart speakers with a voice as the main interface, the lack of feedback on system and transparency was reported as the main issue when the users using. Therefore, there is a strong need for research on how users can better understand the capability of the conversational agents and mitigate negative emotions in error situations. In this study, we applied social strategies, "forewarning" and "apology", to conversational agent and investigated how these strategies affect users' perceptions of the agent in breakdown situations. For the study, we created a series of demo videos of a user interacting with a conversational agent. After watching the demo videos, the participants were asked to evaluate how they liked and trusted the agent through an online survey. A total of 104 respondents were analyzed and found to be contrary to our expectation based on the literature study. The result showed that forewarning gave a negative impression to the user, especially the reliability of the agent. Also, apology in a breakdown situation did not affect the users' perceptions. In the following in-depth interviews, participants explained that they perceived the smart speaker as a machine rather than a human-like object, and for this reason, the social strategies did not work. These results show that the social strategies should be applied according to the perceptions that user has toward agents.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그 방안으로써 이전의 서비스 로봇의 연구를 통해 사용자에 미치는 효과가 검증된 방식인 ‘사전 양해’와 ‘사과’를 대화형 에이전트에 적용하여 그 효과를 검증하고자 한다.
본 실험에서는 대화형 에이전트의 한계에 대한 사전 양해와 오류 상황에서의 정중한 사과가 사용자의 에이전트에 대한 호감도 및 신뢰도에 미치는 영향을 탐색하고자 하며, 이를 위해 설문조사와 심층인터뷰를 실시하였다.
본 연구는 기술적 측면에서 오류 상황을 줄이기 위한 연구가 아니라, 현재의 기술적 한계로 인해 어쩔 수 없이 발생할 수밖에 없는 오류 상황에 대해 대처하는 방안에 대한 연구이다. 본 연구를 통해 사용자의 관점에서 대화형 에이전트에 대해 가지고 있는 기대와 실제 경험에 대하여 더 깊게 이해할 수 있을 것이다.
본 연구는 대화형 에이전트의 오류 상황에 대한 사전 양해가 사용자의 에이전트에 대한 인식에 미치는 영향을 이해하고, 오류 상황에서의 정중한 사과가 사용자의 부정적 감정 완화에 미치는 영향을 검증하는 것을 목적으로 진행하였다. 총 104명을 대상으로 한 설문조사 결과, 에이전트의 사전 양해 여부는 에이전트의 호감도에는 영향을 미치지 않지만 신뢰도에는 크게 영향을 미쳤고, 에이전트의 오류 상황 이후 정중한 사과 여부는 에이전트의 호감도와 신뢰도에 영향을 미치지 않음을 발견할 수 있었다.
본 연구는 대화형 에이전트의 오류 상황에 대한 사전 양해가 사용자의 에이전트에 대한 인식에 미치는 영향을 이해하고, 오류 상황에서의 정중한 사과가 사용자의 부정적 감정 완화에 미치는 영향을 검증하는 것을 목적으로 한다. 이 연구의 가설은 다음과 같으며, 이 가설은 문헌 연구 결과를 통해 도출하였다.
본 연구는 사람과 사람 간의 상호작용에서 적용되는 사회적 전략을 사람과 대화형 에이전트 간의 상호작용에 적용시키고 그 효과를 검증하고자 하는 연구이다. HCI 분야에서는 컴퓨터를 사회적 행위자(social actor)로 인식하고 컴퓨터와 사람과의 관계에 어떠한 사회적 전략을 적용할 수 있는지에 대한 수많은 연구가 이루어져 왔다.
하지만 대화형 에이전트에 대한 높은 관심에도 불구하고 관련 연구는 아직 매우 미흡한 실정이다. 본 연구에서는 사용자가 대화형 에이전트의 기능과 한계를 잘 이해할 수 있도록 돕고, 오류 상황에서 사용자의 부정적 감정을 완화할 수 있는 방안에 대해 탐색하고자 한다. 그 방안으로써 이전의 서비스 로봇의 연구를 통해 사용자에 미치는 효과가 검증된 방식인 ‘사전 양해’와 ‘사과’를 대화형 에이전트에 적용하여 그 효과를 검증하고자 한다.
실험참가자들의 응답을 토대로 대화형 에이전트의 한계에 대한 사전 양해와 오류 상황에서의 에이전트의 정중한 사과가 에이전트에 대한 호감도와 신뢰도에 미치는 영향을 분석하고자 하였다. 이를 위해 먼저 실험참가자들의 설문 응답을 정량적으로 분석하여 사전 양해와 사과가 미치는 영향 정도를 파악하고자 하였으며, 이어진 심층 인터뷰를 통해 정량적 데이터가 의미하는 바를 구체적으로 이해하고자 하였다.
이에 본 연구에서는 대화형 에이전트의 오류 상황에 주목하여 사람과 사람사이에 작용하는 사회적 전략 중, 서비스 로봇 연구(Lee et al., 2010)를 통해 검증된 방식인 ‘사전 양해’와 ‘정중한 사과’를 대화형 에이전트에 적용하여 그 효과를 사용자 평가를 통해 검증하고자 한다.
가설 설정
가설 1: 대화형 에이전트의 발생 가능한 오류 상황에 대한 사전 양해는 사용자가 에이전트에 대해 느끼는 호감도와 신뢰도에 긍정적인 영향을 줄 것이다.
가설 2: 오류 상황에서 대화형 에이전트의 정중한 사과는 사용자가 에이전트에 대해 느끼는 부정적 감정을 완화하는데 긍정적인 영향을 끼칠 것이다.
제안 방법
우선 각 그룹 별로 중간 설문 및 최종 설문에서 호감도와 신뢰도에 대한 평균 점수를 산출하였다. Table 1에 제시된 바와 같이, 중간 설문에서는 사전 양해여 여부에 따라 그룹 1과 그룹 2가 동일한 내용을 시청하였고 그룹 3과 그룹 4가 동일한 내용을 시청하였으므로 그룹 1, 2의 평가값과 그룹 3, 4의 평가값을 비교해 보았다. 그런데 문헌을 통해 예측한 바와는 달리 사전 양해의 여부는 에이전트 제품에 대한 선호도에 유의한 영향을 끼치지 않는 것으로 나타났다 [F(1, 102) =1.
실험은 기본 조사, 데모 영상 1 시청 후 중간 설문, 데모 영상 2 시청 후 최종 설문의 순서로 진행되었다. 기본 조사에서는 실험참가자의 성별과 나이와 같은 기본 정보 및 IT기술과 음성인식 서비스에 대한 사전 지식의 정도를 조사하였으며, 중간 설문과 최종 설문은 각 데모 영상을 시청한 후 에이전트에 느끼는 친근감 및 신뢰도에 관한 질문으로 구성되었다.
데모 영상 2에서는 에이전트가 사용자로부터 요청받은 과업을 제대로 수행하지 못하며, 이에 대해 사과를 하는 경우와 하지 않는 AO 및 AX 종류로 나뉜다. 따라서 최종 설문 분석에서는 Fig. 2에 도식화된 네 그룹 각각에 대하여 호감도와 신뢰도 평가 수치를 분석해 보았다.
63세였다. 또한 우리는 실험에 앞서 실험참가자들의 IT기술과 음성인식 서비스 관련 사전 지식을 조사하였다. IT기술 관련 사전 지식의 경우 자주 접하며 잘 알고 있다(32.
본 실험에서 사용한 데모 영상은 두 가지 과업을 기반으로 구성하였는데, 각각은 데모 영상 1과 데모 영상 2로 구분하였다. 데모 영상 1은 사용자가 지시한 과업을 성공적으로 수행하는 내용으로, 에이전트의 사전 양해 여부에 따라 FO(사전 양해 포함)와 FX(사전 양해 미포함)의 두 가지 버전이 준비되었다.
본 실험은 네이버의 인공지능 스피커 ‘웨이브’를 이용하여 대화형 에이전트 ‘샐리’와 사용자가 대화하는 가상의 상황이 담긴 데모 영상을 시청하고(Fig. 1 참조) 이에 대한 설문에 응답하는 방식으로 설계하였다.
실험은 기본 조사, 데모 영상 1 시청 후 중간 설문, 데모 영상 2 시청 후 최종 설문의 순서로 진행되었다. 기본 조사에서는 실험참가자의 성별과 나이와 같은 기본 정보 및 IT기술과 음성인식 서비스에 대한 사전 지식의 정도를 조사하였으며, 중간 설문과 최종 설문은 각 데모 영상을 시청한 후 에이전트에 느끼는 친근감 및 신뢰도에 관한 질문으로 구성되었다.
실험참가자들의 응답을 토대로 대화형 에이전트의 한계에 대한 사전 양해와 오류 상황에서의 에이전트의 정중한 사과가 에이전트에 대한 호감도와 신뢰도에 미치는 영향을 분석하고자 하였다. 이를 위해 먼저 실험참가자들의 설문 응답을 정량적으로 분석하여 사전 양해와 사과가 미치는 영향 정도를 파악하고자 하였으며, 이어진 심층 인터뷰를 통해 정량적 데이터가 의미하는 바를 구체적으로 이해하고자 하였다.
이 밖에도 본 연구의 가설이 기각된 데 대해서는 다양한 원인이 존재할 것이라 예상되며, 인공지능을 이용한 제품의 호감도와 신뢰도를 높이기 위한 방법은 로봇 등 기존의 다른 제품에서 확인된 바를 그대로 접목하는 데는 새로운 탐색이 필요함을 시사한다. 이에 설문지 평가의 정량적 분석에 그 원인을 파악하고자 실험에 참여한 평가자들을 무작위로 선택, 심층 인터뷰를 진행하였다.
실험에서 발견된 현상의 원인을 찾아보고자 설문에 참여했던 참가자 중 5명 (P1-P5)을 대상으로 심층 인터뷰를 추가로 진행하였다. 인터뷰는 특별한 형식 없이 설문 중에 시청했던 동영상을 다시 보며 자유롭게 의견을 이야기하는 형식으로 진행하였다.
중간 설문과 최종 설문은 동일한 문항으로 구성되었으며, 각각 호감도를 측정하는 질문 3개, 신뢰도를 측정하는 질문 3개로, 총 6개의 문항으로 구성되었다. 각 질문에 대한 응답은 5점 단위의 리커트 척도로 측정하였다.
대상 데이터
본 실험의 참가자는 온라인 커뮤니티 및 개인 네트워크를 통하여 모집하였다. 총 119명이 설문에 참여하였으나, 이 중 모든 설문 항목에 대해 일률적으로 응답한 15명의 참가자의 경우 불성실한 응답으로 간주하여 분석에서 제외하였다.
실험참가자는 네 개의 그룹 중 한 개에 무작위로 배정되었고, 본인이 어떠한 그룹에 소속되었는지 알지 못하는 상태에서 실험에 참여하였다. 실험에 성실하게 응답한 총 104명의 응답자의 그룹별 구성은 그룹 1 25명, 그룹 2 32명, 그룹 3 22명, 그룹 4 25명이었다. 각 그룹별 성별 구성은 카이검정 goodness-of-fit 테스트 기준 1:1과 0.
실험에서 발견된 현상의 원인을 찾아보고자 설문에 참여했던 참가자 중 5명 (P1-P5)을 대상으로 심층 인터뷰를 추가로 진행하였다. 인터뷰는 특별한 형식 없이 설문 중에 시청했던 동영상을 다시 보며 자유롭게 의견을 이야기하는 형식으로 진행하였다.
데이터처리
우선 각 그룹 별로 중간 설문 및 최종 설문에서 호감도와 신뢰도에 대한 평균 점수를 산출하였다. Table 1에 제시된 바와 같이, 중간 설문에서는 사전 양해여 여부에 따라 그룹 1과 그룹 2가 동일한 내용을 시청하였고 그룹 3과 그룹 4가 동일한 내용을 시청하였으므로 그룹 1, 2의 평가값과 그룹 3, 4의 평가값을 비교해 보았다.
성능/효과
2010)에서는 서비스 로봇이 사용자가 요구한 음료캔이 아닌 다른 캔을 가져오는 실수 상황에 대하여 다양한 사회적 전략을 적용한 데모 영상을 보여주고 실험참가자가 로봇과 로봇의 서비스를 평가하도록 하였다. 2 (사전 양해 여부) x 4 (실수 상황 이후 사과, 보상, 대안 제공, 언급없음) x 2 (로봇 생김새 차이) 등 총 16 그룹으로 나누어 총 317명의 실험참가자 (그룹별 14명 이상)에게 데모 영상을 보여주고 서비스와 로봇에 대해 평가하도록 한 결과, 사전 양해는 실험참가자들의 로봇에 대한 평가에 있어 긍정적인 영향을 보였다. 또한, 실수 상황에 대한 사과, 보상, 대안 제공 등의 사회적 전략은 아무런 언급이 없는 경우 보다 모두 긍정적인 영향을 주었다.
또한 우리는 실험에 앞서 실험참가자들의 IT기술과 음성인식 서비스 관련 사전 지식을 조사하였다. IT기술 관련 사전 지식의 경우 자주 접하며 잘 알고 있다(32.7%), 가끔 접해본 적이 있으나 잘 알지 못한다(56.7%), 거의 접해본 적 없다(10.6%)로 나타났으며, 음성인식 서비스 관련 사전 지식의 경우 잘 알고 있다(74.0%), 들어본 적 있으나 잘 모른다(24.0%), 들어본 적 없다(1.9%)로 나타났다.
90]. Sheffe 방법을 이용한 사후분석에서도 통계적 차이를 보이는 그룹들은 파악되지 않아, 모든 네 그룹에 대한 평가 점수는 차이가 없는 것으로 확인되었다. 따라서 에이전트의 사회적인 역할에 대한 기존 연구나 로봇을 대상으로 살펴본 최근 연구와는 달리 에이전트의 경우 사전 양해와 사과의 여부가 에이전트 제품에 대한 호감이나 신뢰를 형성하는 데 유의미한 기여를 하지 못하는 것으로 파악된 것이다.
실험에 성실하게 응답한 총 104명의 응답자의 그룹별 구성은 그룹 1 25명, 그룹 2 32명, 그룹 3 22명, 그룹 4 25명이었다. 각 그룹별 성별 구성은 카이검정 goodness-of-fit 테스트 기준 1:1과 0.05 유의수준에서 차이가 없었으며 네 그룹 연령 평균값에도 그룹 간 일원분산분석 결과 유의수준 0.05 기준에서 통계적 차이가 없는 것으로 나타났다.
2 (사전 양해 여부) x 4 (실수 상황 이후 사과, 보상, 대안 제공, 언급없음) x 2 (로봇 생김새 차이) 등 총 16 그룹으로 나누어 총 317명의 실험참가자 (그룹별 14명 이상)에게 데모 영상을 보여주고 서비스와 로봇에 대해 평가하도록 한 결과, 사전 양해는 실험참가자들의 로봇에 대한 평가에 있어 긍정적인 영향을 보였다. 또한, 실수 상황에 대한 사과, 보상, 대안 제공 등의 사회적 전략은 아무런 언급이 없는 경우 보다 모두 긍정적인 영향을 주었다. 즉, 서비스 로봇의 실수 상황에 대한 사전 양해, 사과, 보상, 대안 제공 등의 사회적 전략은 사용자의 부정적인 감정을 완화하는데 긍정적인 효과를 보였다.
모든 실험참가자가 중간 및 최종 설문에 참여하였으므로 반복측정 t 테스트를 실시한 결과, 호감도 및 신뢰도 모두 유의한 수준에서(p < 0.01) 감소한 경향이 통계적으로 유의한 것으로 밝혀졌다 [호감도: t(103) = 4.29, p <0.01; 신뢰도: t(103) = 5.58, p < 0.01].
(2006)는 직접 사용 실험과 데모 영상 실험을 비교하여 실험참가자의 반응이 정도의 차이는 있으나 높은 수준의 일치를 보이고 있음을 증명하였다. 본 실험에서도 대화형 에이전트에 사회적 전략 적용 가능성 여부를 파악하기 위한 초기 탐색적 연구임을 고려하였을 때, 이러한 데모 영상을 통한 시나리오 기법이 더 적합하다고 판단하여 적용하였다. 서비스 로봇의 사전 양해와 정중한 사과의 효과를 검증한 사전 연구(Lee et al.
설문 및 심층 인터뷰 결과를 바탕으로 볼 때, 사용자가 대화형 에이전트와 로봇에 갖는 인식의 차이가 있음을 알 수 있었다. 사람들은 로봇 혹은 얼굴이 있는 가상 에이전트는 보다 사람 같은 존재로 인식을 하는 반면 대화형 에이전트의 경우 단순한 기계에 가깝다고 느끼는 경향이 크게 나타났다. 이는 본 실험의 데모 동영상에 사용된 대화형 에이전트 및 사람들의 기존 인식 속의 대화형 에이전트가 단순한 외형을 갖고 있기 때문인 것으로 판단된다.
설문 및 심층 인터뷰 결과를 바탕으로 볼 때, 사용자가 대화형 에이전트와 로봇에 갖는 인식의 차이가 있음을 알 수 있었다. 사람들은 로봇 혹은 얼굴이 있는 가상 에이전트는 보다 사람 같은 존재로 인식을 하는 반면 대화형 에이전트의 경우 단순한 기계에 가깝다고 느끼는 경향이 크게 나타났다.
(2016)의 연구는 스마트홈 환경에서 사용자가 선호하는 대화형 에이전트의 성격을 파악하는 연구를 진행하였다. 성실하고 친절하고 차분한 성격과 외향적이고 쾌활한 성격을 비교한 결과, 실험참가자의 61%는 전자를 선호하였으며, 전자의 경우는 후자에 비해 사용자가 주도권을 가진 느낌을 주었다. Luger & Sellen(2016)의 연구에서 인공지능 스피커 사용자들의 대부분은 에이전트와의 장난 같은 대화를 통해 사용을 시작하였고, 에이전트의 유머 있는 답변들은 에이전트에 대한 친근감을 높이고 이후의 지속적인 사용을 유도하는 역할을 하였다.
하지만 실험 결과, 예상과 상반된 결과를 얻었다. 에이전트가 사전 양해를 하는 경우 오히려 신뢰도가 크게 감소하는 것을 발견하였고 오류 상황에서 에이전트의 사과는 사용자의 부정적 감정 완화에 큰 영향을 보이지 않았다. 이러한 차이는 사용자들의 대화형 에이전트에 대한 인식과 로봇에 대한 인식의 차이에서 비롯된 것으로 보인다.
또한, 실수 상황에 대한 사과, 보상, 대안 제공 등의 사회적 전략은 아무런 언급이 없는 경우 보다 모두 긍정적인 영향을 주었다. 즉, 서비스 로봇의 실수 상황에 대한 사전 양해, 사과, 보상, 대안 제공 등의 사회적 전략은 사용자의 부정적인 감정을 완화하는데 긍정적인 효과를 보였다.
본 연구는 대화형 에이전트의 오류 상황에 대한 사전 양해가 사용자의 에이전트에 대한 인식에 미치는 영향을 이해하고, 오류 상황에서의 정중한 사과가 사용자의 부정적 감정 완화에 미치는 영향을 검증하는 것을 목적으로 진행하였다. 총 104명을 대상으로 한 설문조사 결과, 에이전트의 사전 양해 여부는 에이전트의 호감도에는 영향을 미치지 않지만 신뢰도에는 크게 영향을 미쳤고, 에이전트의 오류 상황 이후 정중한 사과 여부는 에이전트의 호감도와 신뢰도에 영향을 미치지 않음을 발견할 수 있었다. 이는 기존의 로봇을 이용한 유사한 실험을 진행하였을 때와 상반되는 결과이다.
후속연구
하지만 대부분의 연구가 에이전트의 얼굴 표정, 몸의 움직임, 말투 등을 복합적으로 다루었으며, 목소리 기반의 대화만을 단일 인터페이스로 다룬 연구는 충분히 이루어지지 않았다. 대화형 에이전트가 내장된 인공지능 스피커의 경우, 사용자가 에이전트에 대한 사회적 단서를 수집할 여지가 로봇이나 가상 에이전트 등에 비해 매우 제한적이므로 사회적 전략에 대한 효과는 다를 수 있으며 이에 대한 더 많은 연구가 필요할 것으로 보인다.
또한 실험에서 사용된 데모 영상의 상황이 최근 방영되고 있는 인공지능 스피커의 광고들을 떠올리게 하여 실험참가자들의 평가에 영향을 끼쳤을 가능성을 배제할 수 없다. 또한 본 연구의 실험은 모든 그룹이 대화형 에이전트의 사전 양해 여부에 따른 데모 영상 1을 먼저 접하도록 동일하게 설계되어, 뒤에 접한 데모 영상 2의 에이전트의 실수 상황에 대한 평가에 영향을 미쳤을 가능성도 감안해야 할 것이다. 이와 같은 본 연구가 가지는 한계점에도 불구하고 본 연구는 최근 활발히 연구되고 있는 대화형 에이전트와의 상호작용 분야에서 좋은 시발점이 될 수 있으리라 기대한다.
차후 연구에서는 실험참가자가 대화형 에이전트를 직접적으로 사용하도록 하고, 보다 장기적으로 에이전트와의 상호작용 경험을 축적하여 호감도와 신뢰도에 관한 전반적인 변화를 관찰해볼 수 있을 것이다. 또한 실험참가자가 대화형 에이전트에 대해 느끼는 호감도와 신뢰도를 보다 정확히 측정할 수 있는 설문 방식과 구체적인 설문 문항에 대해서도 추가적인 고려가 필요할 것으로 보인다. 이를 통해 대화형 에이전트와의 단편적인 상호작용을 넘어 실제 사용 경험 전반을 관찰할 수 있다면 대화형 에이전트의 오류 상황에 대한 사용자 경험을 보다 깊게 이해할 수 있을 것이다.
본 실험은 실험참가자가 대화형 에이전트와 직접 상호작용하는 것이 아니라, 데모 영상을 시청한 후의 감정을 바탕으로 호감도와 신뢰도를 평가하였기 때문에 경험의 한계가 있을 수 있다. 또한 실험에서 사용된 데모 영상의 상황이 최근 방영되고 있는 인공지능 스피커의 광고들을 떠올리게 하여 실험참가자들의 평가에 영향을 끼쳤을 가능성을 배제할 수 없다.
본 연구는 기술적 측면에서 오류 상황을 줄이기 위한 연구가 아니라, 현재의 기술적 한계로 인해 어쩔 수 없이 발생할 수밖에 없는 오류 상황에 대해 대처하는 방안에 대한 연구이다. 본 연구를 통해 사용자의 관점에서 대화형 에이전트에 대해 가지고 있는 기대와 실제 경험에 대하여 더 깊게 이해할 수 있을 것이다. 본 연구의 결과를 통해 완벽하지 않은 음성인식 기술을 사용함에 있어 사용자가 에이전트에 대한 적절한 기대를 설정할 수 있도록 돕고, 오류 상황이 생겼을 때 부정적 감정을 완화할 수 있는 방안을 제안할 수 있으리라 기대한다.
본 연구를 통해 사용자의 관점에서 대화형 에이전트에 대해 가지고 있는 기대와 실제 경험에 대하여 더 깊게 이해할 수 있을 것이다. 본 연구의 결과를 통해 완벽하지 않은 음성인식 기술을 사용함에 있어 사용자가 에이전트에 대한 적절한 기대를 설정할 수 있도록 돕고, 오류 상황이 생겼을 때 부정적 감정을 완화할 수 있는 방안을 제안할 수 있으리라 기대한다. 이를 통해 음성인식 기술의 사용에 있어 발생할 수 있는 부정적 감정을 완화하고 보다 긍정적인 사용자 경험을 디자인하는데 기여할 수 있을 것이다.
해당 연구에서 한 사용자는 단순히 기계일 뿐인 에이전트가 이러한 말을 하는 것은 가짜처럼 느꼈다고 설명하였다. 이 밖에도 본 연구의 가설이 기각된 데 대해서는 다양한 원인이 존재할 것이라 예상되며, 인공지능을 이용한 제품의 호감도와 신뢰도를 높이기 위한 방법은 로봇 등 기존의 다른 제품에서 확인된 바를 그대로 접목하는 데는 새로운 탐색이 필요함을 시사한다. 이에 설문지 평가의 정량적 분석에 그 원인을 파악하고자 실험에 참여한 평가자들을 무작위로 선택, 심층 인터뷰를 진행하였다.
이러한 사전 연구 결과를 근거로 본 연구에서는 대화형 에이전트의 경우에도 사전 양해가 사용자의 에이전트에 대한 평가에 긍정적인 영향을 주고 오류 상황에서의 정중한 사과가 사용자의 부정적 감정 완화에 도움이 될 것이라 예상하였다. 하지만 실험 결과, 예상과 상반된 결과를 얻었다.
또한 실험참가자가 대화형 에이전트에 대해 느끼는 호감도와 신뢰도를 보다 정확히 측정할 수 있는 설문 방식과 구체적인 설문 문항에 대해서도 추가적인 고려가 필요할 것으로 보인다. 이를 통해 대화형 에이전트와의 단편적인 상호작용을 넘어 실제 사용 경험 전반을 관찰할 수 있다면 대화형 에이전트의 오류 상황에 대한 사용자 경험을 보다 깊게 이해할 수 있을 것이다.
본 연구의 결과를 통해 완벽하지 않은 음성인식 기술을 사용함에 있어 사용자가 에이전트에 대한 적절한 기대를 설정할 수 있도록 돕고, 오류 상황이 생겼을 때 부정적 감정을 완화할 수 있는 방안을 제안할 수 있으리라 기대한다. 이를 통해 음성인식 기술의 사용에 있어 발생할 수 있는 부정적 감정을 완화하고 보다 긍정적인 사용자 경험을 디자인하는데 기여할 수 있을 것이다.
또한 본 연구의 실험은 모든 그룹이 대화형 에이전트의 사전 양해 여부에 따른 데모 영상 1을 먼저 접하도록 동일하게 설계되어, 뒤에 접한 데모 영상 2의 에이전트의 실수 상황에 대한 평가에 영향을 미쳤을 가능성도 감안해야 할 것이다. 이와 같은 본 연구가 가지는 한계점에도 불구하고 본 연구는 최근 활발히 연구되고 있는 대화형 에이전트와의 상호작용 분야에서 좋은 시발점이 될 수 있으리라 기대한다. 특히, 에이전트의 오류 상황에 대한 사용자의 인식 및 경험 변화에 대한 이해 및 에이전트의 대응방향에 대한 연구의 시발점이 될 수 있을 것이라 생각한다.
차후 연구에서는 실험참가자가 대화형 에이전트를 직접적으로 사용하도록 하고, 보다 장기적으로 에이전트와의 상호작용 경험을 축적하여 호감도와 신뢰도에 관한 전반적인 변화를 관찰해볼 수 있을 것이다. 또한 실험참가자가 대화형 에이전트에 대해 느끼는 호감도와 신뢰도를 보다 정확히 측정할 수 있는 설문 방식과 구체적인 설문 문항에 대해서도 추가적인 고려가 필요할 것으로 보인다.
이와 같은 본 연구가 가지는 한계점에도 불구하고 본 연구는 최근 활발히 연구되고 있는 대화형 에이전트와의 상호작용 분야에서 좋은 시발점이 될 수 있으리라 기대한다. 특히, 에이전트의 오류 상황에 대한 사용자의 인식 및 경험 변화에 대한 이해 및 에이전트의 대응방향에 대한 연구의 시발점이 될 수 있을 것이라 생각한다.
질의응답
핵심어
질문
논문에서 추출한 답변
사전 양해는 사용자들에게 어떤 영향을 미치는가?
총 104명의 응답을 분석한 결과, 문헌조사를 토대로 한 우리의 예상과는 상반되는 결과를 얻었다. 사전 양해는 오히려 사용자에게 부정적인 인상을 주었으며, 특히 에이전트에 대한 신뢰도에 부정적인 영향을 주었다. 또한 오류 상황에서의 사과는 사용자가 느끼는 호감도나 신뢰도에는 유의미한 영향을 미치지 않았다.
시중의 대화형 에이전트는 어떤 것들이 있는가?
음성인식 기술과 인공지능 기술의 발전으로 최근 몇 년 사이 대화형 에이전트(Conversational Agent)는 스마트폰, 인공지능 스피커 등을 통해 일상생활에 널리 보급되고 있다. Apple의 Siri, Google의 Google Now, Microsoft의 Cortana, Amazon의 Alexa, 삼성의 빅스비 등에 이르기까지 다양한 대화형 에이전트들이 등장하였으며, 이러한 에이전트들은 제품의 부가 기능이 아니라 운영 시스템을 작동하는 주 인터페이스로써 자리잡고 있다. Apple의 HomePod, Amazon의 Echo, Google의 Google Home, SKT의 누구, 네이버의 웨이브, KT의 기가지니 등에 이르기까지 국내외 주요 IT업체들은 대화형 에이전트를 탑재한 인공지능 스피커를 경쟁적으로 출시하고 있다.
사람들이 로봇 혹은 얼굴이 있는 가상 에이전트에 비해 대화형 에이전트를 단순한 기계로 인식하는 이유는 무엇인가?
사람들은 로봇 혹은 얼굴이 있는 가상 에이전트는 보다 사람 같은 존재로 인식을 하는 반면 대화형 에이전트의 경우 단순한 기계에 가깝다고 느끼는 경향이 크게 나타났다. 이는 본 실험의 데모 동영상에 사용된 대화형 에이전트 및 사람들의 기존 인식 속의 대화형 에이전트가 단순한 외형을 갖고 있기 때문인 것으로 판단된다. 사람들이 대화형 에이전트를 기계에 가깝게 인식하였기 때문에 사전 양해나 사과와 같은 인간관계에 흔히 사용되는 사회적 전략들이 큰 영향력을 발휘하지 못하였다.
참고문헌 (15)
Appel, J., von der Putten, A., Kramer, N. C., & Gratch, J. (2012). Does humanity matter? Analyzing the importance of social cues and perceived agency of a computer system for the emergence of social reactions during human-computer interaction. Advances in Human-Computer Interaction, 13(2012), 1-10. DOI: 10.1155/2012/324694
Bickmore, T., & Cassell, J. (2001). Relational agents: a model and implementation of building user trust. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 396-403. DOI: 10.1145/365024.365304
Cassell, J. (2000). Embodied conversational interface agents. Communications of the ACM, 43(4), 70-78. DOI: 10.1145/332051.332075
Jarnow, J. (2016, April 8). Why our crazy-smart AI still sucks at transcribing speech. Retrieved from https://www.wired.com/2016/04/long-form-voice-transcription/
Lee, M. K., Kielser, S., Forlizzi, J., Srinivasa, S., & Rybski, P. (2010). Gracefully mitigating breakdowns in robotic services. Proceedings of the 5th ACM/IEEE International Conference on Human-robot Interaction, 203-210. DOI: 10.1145/1734454.1734544
Li, A. (2017). Google's speech recognition is now almost as accurate as humans. Retrieved from https://9to5google.com/2017/06/01/google-speech-recognition-humans/
Luger, E., & Sellen, A. (2016). "Like Having a Really bad PA": The Gulf between User Expectation and Experience of Conversational Agents. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, 5286-5297. DOI: 10.1145/2858036.2858288
Mennicken, S., Zihler, O., Juldaschewa, F., Molnar, V., Aggeler, D., & Huang, E. M. (2016). It's like living with a friendly stranger. Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing, 120-131. DOI: 10.1145/2971648.2971757
Nass, C., & Moon, Y. (2000). Machines and mindlessness: social responses to computers. Journal of Social Issues, 56(1), 81-103. DOI: 10.1111/0022-4537.00153
Park, J.Y. (2007) Effects of the interaction with computer agents on users' psychological experiences. Science of Emotion & Sensibility, 10(2), 155-168.
Price, R. (2017). Microsoft's AI is getting crazily good at speech recognition. Retrieved from http://uk.businessinsider.com/microsofts-speech-recognition-5-1-error-rate-human-level-accuracy-2017-8
Purington, A., Taft, J. G., Sannon, S., Bazarova, N. N., & Taylor, S. H. (2017). "Alexa is my new BFF": Social roles, user satisfaction, and personification of the Amazon echo. Proceedings of the 2017 CHI Conference Extended Abstracts on Human Factors in Computing Systems, 2853-2859. DOI: 10.1145/3027063.3053246
Song, H.S., Kim, M.J., Jeong, S.H., Suk, H.J., Kwon, D.S., & Kim, M.S. (2008). The behavioral patterns of neutral affective state for service robot using video ethnography. Science of Emotion & Sensibility, 11(4), 629-636.
von der Putten, A. M., Kramer, N. C., Gratch, J., & Kang, S.-H. (2010). "It doesn't matter what you are!" Explaining social effects of agents and avatars. Computers in Human Behavior, 26(6), 1641-1650. DOI: 10.1016/j.chb.2010.06.012
Woods, S., Walters, M., Koay, K. L., & Dautenhahn, K. (2006). Comparing human robot interaction scenarios using live and video based methods: towards a novel methodological approach. In Proceedings of the 9th International Workshop on Advanced Motion Control. 750-755. DOI: 10.1109/AMC.2006.1631754
※ AI-Helper는 부적절한 답변을 할 수 있습니다.