[논문]메신저 기반의 모바일 챗봇 서비스 사용자 경험 평가 -구글(Allo)과 페이스북(M messenger)을 중심으로-

강희주; 김승인

doi:10.15207/jkcs.2017.8.9.271

메신저 기반의 모바일 챗봇 서비스 사용자 경험 평가 -구글(Allo)과 페이스북(M messenger)을 중심으로-
Evaluation on the Usability of Chatbot Intelligent Messenger Mobile Services -Focusing on Google(Allo) and Facebook(M messenger) 원문보기

한국융합학회논문지 = Journal of the Korea Convergence Society, v.8 no.9, 2017년, pp.271 - 276

강희주 (홍익대학교 국제디자인전문대학원 디지털미디어디자인전공) , 김승인 (홍익대학교 국제디자인전문대학원)

초록
AI-Helper

본 연구는 해외에서 대표적으로 인식되는 메신저 기반의 어시스턴트 챗봇 서비스인 구글(Allo)과 페이스북 M을 대상으로 사용성 경험 평가를 하고, 연구결과를 바탕으로 국내 챗봇 서비스의 사용성을 개선하고 발전 방향을 모색하는데 목적이 있다. 우선, 문헌연구를 하여 인공지능(AI) 챗봇 서비스에 대한 전반적인 이해와 챗봇의 특성 및 국내 메신저 기반 어시스턴트 챗봇 서비스의 현황 및 전망을 정리 및 분석하였다. 사용자 평가를 실기하기 위해 피터 모빌의 허니콤 모델을 재구성하여 사용자들에게 심층 인터뷰를 실시하였다. 그 결과 다음과 같은 개선 사항들이 도출되었다. 첫째, 사용자가 챗봇의 기능들을 쉽게 이해할 수 있도록 직관적인 요소들을 사용해야 한다. 둘째, 사용성에 방해가 되는 챗봇의 질문을 개선해야 한다. 셋째, 사용자의 만족도 향상을 위해 답변 정확도를 높여야 한다. 향후 본 연구를 바탕으로 사용자들과 챗봇의 사용성 평가가 지속해서 이루어진다면, 해당 서비스에 대한 구체적인 연구와 가이드라인을 제시할 수 있기를 기대한다.

Abstract ▼ AI-Helper

This project has been conducted to improve the usability of Chatbot Services such as Google(Allo) and Facebook M(Messenger. Based on the evaluation, this study aims to suggest the solutions to improve the usability of domestic Chatbot services and future directions for their development. It provides the overall understanding of the AI Chatbot service and the feature of Chatbot service through literature search. Furthermore, we summarized the current standing and the prospect of domestic messenger-based assistant Chatbot services. For conducting user evaluation, Peter Morville's honeycomb model is applied to in-depth user interviews. The followings are elements that could be amended to improve the service. The service should be incorporated by intuitive elements for users' understanding its functions and eliminate any elements that interfere with usability. The accuracy should be increased to improve the user satisfaction. This research will provide the future guidelines to improve the usability of Chabot services through continuous evaluation by users.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

최근 전 세계적으로 사람들이 모바일 메신저를 소셜 미디어보다 더 많이 쓰기 시작하여 메신저 기반 SNS가 편리하게 사용됨에 따라 챗봇에 대한 영향력이 커져, 국내 모바일 메신저 어시스턴스 챗봇은 발전 중이다. 이에 본 연구는 해외 대표적 서비스인 구글(Allo)과 페이스북 (M)의 사용성 경험 평가를 비교분석으로 향후 국내 메신저 챗봇 서비스 사용성 개선을 위한 필요 사항을 도출하고 제안하는 데 목적이 있다. 사용성 평가에 대한 이론적 고찰을 함으로써 모바일 메신저 챗봇 서비스와 사용성 평가에 대한 이해를 넓히고, 피터 모빌의 허니콤 모델을 재구성하여 실험을 진행하였다.
위와 같은 해외 챗봇 서비스를 비교하는 것은 국내 모바일 메신저 서비스 사용성을 개선한다는 점에서 의미 있는 연구가 될 것으로 사료가 된다. 이에 본 연구는 해외 대표적 서비스인 구글(Allo)과 페이스북(M)의 사용성 경험 평가를 비교분석으로 향후 국내 메신저 챗봇 서비스 사용성 개선을 위한 필요 사항을 도출하고 제언하는 데 목적이 있다.

제안 방법

본 연구는 위와 같은 목적에 따라 1차로 문헌연구를 통해 모바일 메신저기반 챗봇 어시스턴트 서비스의 정의, 특성, 현황, 전망 등을 고찰하였다. 2차로 구글 알로와 페이스북 M의 사용성 평가 실험을 하기 위해 해당 서비스의 사용경험이 없는 이들을 대상으로 사용성 평가 (usability test)를 실시하였다. 또한, 피터모빌의 허니콤 모델을 재구성하여 각 서비스에 대한 의견을 도출하고, 해당 서비스의 사용경험이 있는 사용자를 대상으로 심층 면접 인터뷰를 진행함으로써 각 서비스들의 사용성을 평가하고 분석하였다.
6가지 사용성 평가를 진행하기 위해 주요기능에 관한 태스크를 수행한 실험자들에게 추가로 실험을 진행하였다. 허니콤 항목 분류에 따른 설문 문항 설계는 [Table 2]와 같다.
2차로 구글 알로와 페이스북 M의 사용성 평가 실험을 하기 위해 해당 서비스의 사용경험이 없는 이들을 대상으로 사용성 평가 (usability test)를 실시하였다. 또한, 피터모빌의 허니콤 모델을 재구성하여 각 서비스에 대한 의견을 도출하고, 해당 서비스의 사용경험이 있는 사용자를 대상으로 심층 면접 인터뷰를 진행함으로써 각 서비스들의 사용성을 평가하고 분석하였다.
1]의 피터 모빌의 허니콤 모델 7가지 사용성 원칙을 이용하였다. 모바일 애플리케이션의 특성상 가치성에 대한 항목의 결과가 적합하지 않다고 판단하여 피터 모빌의 허니콤 모형 7가지 원칙 중 가치성을 제외하여 재구성하였다. [16]
본 연구는 위와 같은 목적에 따라 1차로 문헌연구를 통해 모바일 메신저기반 챗봇 어시스턴트 서비스의 정의, 특성, 현황, 전망 등을 고찰하였다. 2차로 구글 알로와 페이스북 M의 사용성 평가 실험을 하기 위해 해당 서비스의 사용경험이 없는 이들을 대상으로 사용성 평가 (usability test)를 실시하였다.
이에 본 연구는 해외 대표적 서비스인 구글(Allo)과 페이스북 (M)의 사용성 경험 평가를 비교분석으로 향후 국내 메신저 챗봇 서비스 사용성 개선을 위한 필요 사항을 도출하고 제안하는 데 목적이 있다. 사용성 평가에 대한 이론적 고찰을 함으로써 모바일 메신저 챗봇 서비스와 사용성 평가에 대한 이해를 넓히고, 피터 모빌의 허니콤 모델을 재구성하여 실험을 진행하였다. 본 연구를 통한 결과는 다음과 같다.
허니콤 항목 분류에 따른 설문 문항 설계는 [Table 2]와 같다. 주요 내용을 비롯해 총 30문항에 대한 심층 면접 인터뷰를 진행하였다.
아래 [Table 1]과 같이 실제 서비스의 수행 절차대로 태스크를 진행하였다. 태스크를 실행하면서 피실험자에게 태스크 단계마다 심층 인터뷰를 하여 피실험자의 수행을 분석하였다.
평가자에게 재구성된 허니콤 모델의 6가지 항목에 대해 5점 척도로 평가하게 하였다. 접근성, 가시성, 신뢰성, 검색성, 유용성, 사용성에 대한 평가 내용의 점수가 높을수록 긍정을 나타내며, 그 결과를 6가지 항목에 따른 점수로 나타내었다.

대상 데이터

본 연구의 대상인 Google(Allo)과 Facebook(M)은 대 표적인 모바일 메신저이며 챗봇 형태 서비스를 제공하며 다음과 같은 특징을 지닌다.
본 연구의 사용성 평가 대상은 모바일 가상비서 챗봇 서비스인 구글(Allo)과 Facebook(M messenger)이다. 피 실험자 대상은 모바일 메신저를 자주 이용하지만, 구글 (알로)와 페이스북 (M 메신저) 서비스 사용 경험이 없는 20~30대 대한민국 남녀를 대상으로 실험자를 선정하였으며, 각각 3명씩 총 6명으로 구성하였다.
본 연구의 사용성 평가 대상은 모바일 가상비서 챗봇 서비스인 구글(Allo)과 Facebook(M messenger)이다. 피 실험자 대상은 모바일 메신저를 자주 이용하지만, 구글 (알로)와 페이스북 (M 메신저) 서비스 사용 경험이 없는 20~30대 대한민국 남녀를 대상으로 실험자를 선정하였으며, 각각 3명씩 총 6명으로 구성하였다.

이론/모형

사용자 경험 측정을 위하며 [Fig. 1]의 피터 모빌의 허니콤 모델 7가지 사용성 원칙을 이용하였다. 모바일 애플리케이션의 특성상 가치성에 대한 항목의 결과가 적합하지 않다고 판단하여 피터 모빌의 허니콤 모형 7가지 원칙 중 가치성을 제외하여 재구성하였다.

성능/효과

먼저 Allo는 사용성, 검색성부분에서 우수했으며, M은 가시성과 신뢰성 점수가 높았다.
본 연구는 기존에 연구되지 않았던 메신저 챗봇인 구글(Allo)과 페이스북(M)의 사용자 평가 비교연구로써 사용성을 개선하는 데 필요한 사항들을 도출하고 발전 방향을 제시하였다는 것에 의의가 있다. 그러나 서비스가 해외 메신저 서비스인만큼 영어로 실험이 진행되었기 때문에 언어적인 부분에 한계가 있음을 밝힌다.
셋째, 사용자의 만족도 향상을 위해 답변 에러율을 감소시켜야 한다. 사용자가 가상의 서비스라고 판단하여 질문의 답변을 못 하였을 때 관용적인 태도를 보였으나, 사용자가 재질문을 하므로 서비스의 사용성을 떨어뜨리는 요인으로 작용하였다.
평가자에게 재구성된 허니콤 모델의 6가지 항목에 대해 5점 척도로 평가하게 하였다. 접근성, 가시성, 신뢰성, 검색성, 유용성, 사용성에 대한 평가 내용의 점수가 높을수록 긍정을 나타내며, 그 결과를 6가지 항목에 따른 점수로 나타내었다.

후속연구

둘째, 사용자의 질문이 아닌 챗봇이 임의로 보여주는 연관성이 없는 질문들로 인해 사용자가 화면 방해 경험을 느낄 수 있으므로 정확도를 개선해야 한다. 질문을 통해 자연스럽게 더 많은 대화를 이어나가면서 가상비서 챗봇과 유대감을 형성할 수 있지만 대화의 흐름을 방해 할 수 있다.
그러나 서비스가 해외 메신저 서비스인만큼 영어로 실험이 진행되었기 때문에 언어적인 부분에 한계가 있음을 밝힌다. 향후 본 연구를 바탕으로 모바일 메신저 지능형 챗봇의 사용성 평가가 지속적으로 이루어진다면, 해당서비스에 대한 구체적인 방안과 가이드라인을 제시할 수 있을 것으로 기대한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	챗봇은 무엇인가?	‘채팅’과 ‘로봇’을 합성한 용어인 ‘챗봇’은 사람과의 문자 대화를 통해 질문에 알맞은 답이나 각종 연관 정보를 제공하는‘인공지능(AI)기반의 커뮤니케이션 소프트웨어를 칭한다[5]. 방대한 데이터와 기계학습 방식인 딥러닝을 기반으로 사람 도움 없이도 질문에 답해주고 대화하는 알고리즘이다. 챗봇은 봇(bot)의 일종으로, 현재 봇 종류에는 챗봇, 음성인식봇, 가상 개인 비서가 있다.
	챗봇은 현재 어느 정도의 수준인가?	최근 들어 인공지능 기술이 발전하면서 컴퓨터가 인간의 대화를 기계적으로 학습하여 자연스러운 인간의 언어로 질문이나 명령을 해도 맥락을 파악하여 응답할 수 있게 되었다[1]. 마치 사람과 대화를 하는 것처럼 대화를 통해 정보 검색을 돕고, 딥러닝 기술을 이용하면서 대화가 축적될수록 스스로 학습을 통해 상황에 따라 고객이 원하는 것을 알아서 추천할 수 있는 기반이 마련됐다.
	챗봇은 어떤 특징이 있는가?	메신저 기반 SNS가 편리하게 사용됨에 따라 챗봇에 대한 영향력이 커져, 모바일 메신저는 이제 단순한 메시지 기능을 넘어 플랫폼 영역을 확장하고 있다. 인공지능 기계와 채팅을 통해 원하는 서비스나 정보를 얻는 ‘챗봇’은 사용자가 별도로 웹 사이트나 애플리케이션을 따로 실행하지 않고도 대화하듯 정보를 얻을 수 있고, 메시지만 보내면 원하는 서비스를 받을 수 있다.

참고문헌 (16)

http://www.newstomato.com/ReadNews.aspx?no671231
Chatbots and Artificial Intelligence: Market Assessment, Application Analysis, and Forecasts 2017 - 2022
J. H. Jang, "The emergence and development trend of Chatbot Service based on Artificial Intelligence', ICT Issues and Trends", NIA, 2016
http://biz.chosun.com/site/data/html_dir/2017/02/14/2017021402818.html
S. H. Lee, Internet/IT, Hanhwa Investment Industry, 2017.
K. B. Research, Evolution of Artificial Intelligence Technology and Evolution of Virtual Private Secretary Service Research, No. 16-53,ㅤ 2016.
M. S. Lim, "Smart Paradox : An Effect of Mobile Instnt Messengers", J.of the Korea Convergence Society, Vol. 3, No. 4, pp. 7-13, 2012.
Y. Yoon, "Development of Smart Senior Classification Model based on Activity Profile Using Machine Learning Method", J. of the Korea Convergence Society, Vol. 8, No. 1, pp. 25-34, 2017.
S. Cho, "Development of User Oriented Vulnerability Analysis Application on Smart Phone", J.of the Korea Convergence Society, Vol. 3, No. 2, pp. 7-12, 2012.
K. H. KIM,ㅤ"Artificial Intelligence", KISTI Market report, Korea Institute of Science and technology information, 2016.ㅤ
"Artificial Intelligence Change, Power Report, KIISA, 2015.
http://m.post.naver.com/viewer/postView.nhn?volumeNo7611619&memberNo10391613
http://www.edaily.co.kr/news/NewsRead.edy?DCDA00504&SCDJE41&newsid04185286615828224
http://www.newspim.com/news/view/20160321000321
http://www.bikorea.net/news/articleView.html?idxno15422
M. Yeom, "Analysis of Cosmetics App Smart UI convergence Design in Mobile Environments", J. of the Korea Convergence Society, Vol. 7, No. 2, pp. 13-17, 2016.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증