[논문]인공지능 음성사용자 인터페이스 사용성 평가 기준 검증 : 중국 내비게이션 VUI를 중심으로

주이모; 상님여; 임현찬; 황미경

doi:10.9717/kmms.2021.24.7.913

인공지능 음성사용자 인터페이스 사용성 평가 기준 검증 : 중국 내비게이션 VUI를 중심으로
Verification of AI Voice User Interface(VUI) Usability Evaluation : Focusing on Chinese Navigation VUI 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.24 no.7, 2021년, pp.913 - 921

주이모 (Department of Digital Design, Kyungsung University) , 상님여 (Department of Digital Design, Kyungsung University) , 임현찬 (Minerva College, Hankuk University of Foreign Studies) , 황미경 (Dept. of Digital Media, College of Arts, Kyungsung University)

Abstract ▼ AI-Helper

After arranging the general usability evaluation criteria of existing VUI researchers, this study verified how appropriate these criteria are for AI VUI specialized in navigation and the priority of their suitability. The VUI used in this study was analyzed through a survey from a total of 195 Chinese users after analyzing the navigation VUI used in China. As a result of the analysis, the usability evaluation criteria of the navigation VUI were extracted from three sub-factors of 'task accuracy', 'function satisfaction', and 'information reliability' in verifying conformance with general VUI evaluation criteria. With the recent advent of self-driving cars, safety and response speed are becoming very important, so Chinese users also ranked responsiveness as the top priority in VUI design, and the importance was also found to be high. Also, both men and women have the highest reactivity and the lowest multiplicity. VUI requires a convenient and natural interface to understand the intention between two objects through usability evaluation and verification in order to have effective interaction between humans and machines.

주제어

표/그림 (5)

표 Table 1. Research for usability evaluation.
표 Table 2. Categories for usability evaluation.
표 Table 3. Result of exploratory factor analysis (EFA).
표 Table 4. Priority among usability evaluation items (N=195).
표 Table 5. Correlation between usability evaluation items (N=195).

AI 본문요약
AI-Helper

제안 방법

6%였다. 모바일 내비게이션은 어느 정도 순위가 정해져 있으나, 차량용 내비게이션은 자동차 브랜드와 모델종류에 영향을 받아 개별적으로 분석하는 것이 제한이 있으므로 본 연구에서는 자동차 브랜드와 모델을 배제한 후 차량용 내비게이션 전체를 분석하였다. 전반적으로 차량용과 모바일내비게이션 이용자는 각각 20.
김민정(2020)의 연구에서는 AI 비서를 사용한 경험이 있는 사용자 의견을 바탕으로 VUI의 사용성 범주를 18가지로 도출하였는데 이는 VUI의 5가지 속성(효율성, 정확성, 의미성, 유연성, 일관성)을 반응성, 단축성, 사전 방지성, 오류 발생 감지성, 오류 회복성, 투명성, 변화 제시성 이해 가능성, 학습성, 사용자 주도권, 대체성, 다중성, 개인화, 연결성, 맞춤형 진화성, 예측가능성, 친숙성, 일반화 가능성의 18 개 세부속성으로 사용성 범주를 추출하였다. 본 연구에서는 이러한 18가지 항목 중 선행연구(Table 1)를통해 내비게이션 VUI와 관련성이 현격히 떨어지며 서로 유사한 8개 항목을 제외한 10개의 사용성 범주를 추출(Table 2)하여 사용성 평가 설문조사 문항으로 작성하였다.
연구문제 1. 일반적인 VUI 사용성 평가 범주들이 내비게이션 VUI에서도 그대로 적용이 될 수 있는가? 즉 홈오토메이션이나 인터넷쇼핑몰, 스마트폰 등 다양한 영역별 VUI 사용성 평가기준이 내비게이션 VUI 사용성 평가에도 적용될 수 있는지 아닌지를 검증해보고자 하는 것이다.
연구문제 2. 일반적인 VUI의 사용성 평가 범주가 내비게이션 VUI에서는 어떤 우선순위를 가지는가? 즉 다양한 VUI 사용성 평가 기준 중 내비게이션에서는 어떠한 기준이 가장 중요하며 상대적으로 중요도가 떨어지는 기준은 무엇인지를 살펴보고자 하였다.

대상 데이터

설문대상은 중국에 전국 단위의 온라인 패널을 보유하고 있는 조사 전문기관에 의뢰하여 옴니채널 내비게이션 이용자의 속성을 반영할 수 있도록 ‘내비게이션을 사용한 경험이 있는 사용자’들을 대상으로 무작위로 조사하였으며, 본 조사는 2019년 11월 21일-2019년 11월 27일까지 1주일간 진행하였다. 설문대상은 내비게이션 사용한 경험이 있는 사용자로 한정하였으며 전국에 온라인으로 모집된 203명의 응답자 중에서 비교적 성실하게 응답한 195명의 응답 결과를 분석하였다.
설문대상은 중국에 전국 단위의 온라인 패널을 보유하고 있는 조사 전문기관에 의뢰하여 옴니채널 내비게이션 이용자의 속성을 반영할 수 있도록 ‘내비게이션을 사용한 경험이 있는 사용자’들을 대상으로 무작위로 조사하였으며, 본 조사는 2019년 11월 21일-2019년 11월 27일까지 1주일간 진행하였다

데이터처리

10개의 사용성 평가 범주인, 반응성, 오류발생 감지 성, 사전 방지성, 단축성, 사용자 주도권, 이해 가능성, 투명성, 예측 가능성, 맞춤형 진화성, 다중 성의 상대적 영향력을 파악하기 위해 pearson 상관분석을 실시하여 두 변수간의 상관관계를 알아보았다.
0을 주로 사용하였다. 통계분석은 남녀 간의 평균차이를 검정과 사용성 우선순위 검증을 위한 빈도분석을 하였으며 VUI 사용성 평가 기준이 내비게이션 VUI 사용성 평가에도 적용될 수 있는지 아닌지를 검증하고자 요인분석을 실시하였다.

이론/모형

본 논문은 김민정(2020)의 사용성 범주들을 검정하기 위한 각 변인들은 Table 2와 같이 조작적 정의를 통해 설문 문항을 구성하였다. 설문대상은 중국에 전국 단위의 온라인 패널을 보유하고 있는 조사 전문기관에 의뢰하여 옴니채널 내비게이션 이용자의 속성을 반영할 수 있도록 ‘내비게이션을 사용한 경험이 있는 사용자’들을 대상으로 무작위로 조사하였으며, 본 조사는 2019년 11월 21일-2019년 11월 27일까지 1주일간 진행하였다.
본 연구에서는 상기의 다양한 사용성 연구 중 김민정 외(2020)의 연구에서 제안된 도구들을 차용하여 내비게이션 VUI 사용성에 대한 평가를 시도하였다. 김민정(2020)의 연구에서는 AI 비서를 사용한 경험이 있는 사용자 의견을 바탕으로 VUI의 사용성 범주를 18가지로 도출하였는데 이는 VUI의 5가지 속성(효율성, 정확성, 의미성, 유연성, 일관성)을 반응성, 단축성, 사전 방지성, 오류 발생 감지성, 오류 회복성, 투명성, 변화 제시성 이해 가능성, 학습성, 사용자 주도권, 대체성, 다중성, 개인화, 연결성, 맞춤형 진화성, 예측가능성, 친숙성, 일반화 가능성의 18 개 세부속성으로 사용성 범주를 추출하였다.

성능/효과

또한 한 번에 2개 이상의 작업을 동시 혹은 교차적으로 수행할 수 있는지를 검증하는 다중성은 가장 낮은 응답률을 보였다. 남녀 차이에 비교에 있어 남녀 모두 반응성이 가장 높았으며 다중성이 가장 낮게 나타났다. 또한 앞의 최재호, 김훈태(2016) 연구에서 입력오류가 많아서 음성 인터페이스를 사용하지 않는 이유를 검증할 수 있었다.
내비게이션 VUI에서 10개의 사용성 평가 범주 인, 반응성, 오류발생 감지성, 사전 방지성, 단축성, 사용자 주도권, 이해가능성, 투명성, 예측 가능성, 맞춤형진화성, 다중성 중 우선순위는 사용자의 행동에 대한시스템의 반응속도와 관련된 속성으로 시스템의 반응속도가 일관적이고 빠른지를 검증하는 반응성이 가장 높게 나타났으며 이미 발생한 오류를 사용자가 인식할 수 있도록 시각적, 청각적으로 잘 알려주는지를 나타내는 오류발생감지성이 두 번째 순으로 나타났다. 이는 최근 자율주행차의 등장으로 안전성과 반응속도 등이 매우 중요해지고 있어 중국 사용자들도 반응성을 VUI 설계의 최우선 순위로 꼽았으며 중요도 또한 높은 것으로 나타났다.
두 변수 간의 상관관계에 있어서는 10개의 범주 전부가 상관관계를 나타내며 특히, 사용자 주도권과 이해 가능성 간의 상관관계가 가장 높은 것으로 나타났다.
이는 최근 자율주행차의 등장으로 안전성과 반응속도 등이 매우 중요해지고 있어 중국 사용자들도 반응성을 VUI 설계의 최우선 순위로 꼽았으며 중요도 또한 높은 것으로 나타났다. 또한 한 번에 2개 이상의 작업을 동시 혹은 교차적으로 수행할 수 있는지를 검증하는 다중성은 가장 낮은 응답률을 보였다. 남녀 차이에 비교에 있어 남녀 모두 반응성이 가장 높았으며 다중성이 가장 낮게 나타났다.
내비게이션 VUI에서 10개의 사용성 평가 범주 인, 반응성, 오류발생 감지성, 사전 방지성, 단축성, 사용자 주도권, 이해가능성, 투명성, 예측 가능성, 맞춤형진화성, 다중성 중 우선순위는 사용자의 행동에 대한시스템의 반응속도와 관련된 속성으로 시스템의 반응속도가 일관적이고 빠른지를 검증하는 반응성이 가장 높게 나타났으며 이미 발생한 오류를 사용자가 인식할 수 있도록 시각적, 청각적으로 잘 알려주는지를 나타내는 오류발생감지성이 두 번째 순으로 나타났다. 이는 최근 자율주행차의 등장으로 안전성과 반응속도 등이 매우 중요해지고 있어 중국 사용자들도 반응성을 VUI 설계의 최우선 순위로 꼽았으며 중요도 또한 높은 것으로 나타났다. 또한 한 번에 2개 이상의 작업을 동시 혹은 교차적으로 수행할 수 있는지를 검증하는 다중성은 가장 낮은 응답률을 보였다.

후속연구

최근 들어 등장하는 다양한 서비스와 내비게이션디바이스들의 성장 가능성을 고려할 때 본 연구의 관점은 사용자 중심의 HCI 설계에 있어서 그 중요성은 매우 높다고 할 수 있다. 특히, VUI는 사람과 기계 간의 상호작용에 있어서 효과적인 상호작용을 위해서는 사용성 평가와 검증을 통해 두 개체 간의 의사를 잘 이해할 수 있는 편리하고 자연스러운 인터페이스가 요구되어지며 VUI 설계에 관한 본격적인 연구가 필요하다고 사료되어진다.

참고문헌 (19)

H.L. Kim and S.H. Park, "Studies of User Interface Design by Scenario in Driving -Case Studies Focused on the Digital Instrument Cluster System in an Intelligent vehicle-," Design Convergence Study, Vol. 4, No. 1, pp. 37-49, 2005.
B. Donmez, "Safety Implications of Providing Real-Time Feedback to Distracted Drivers," Journal of Accident Analysis and Prevention, Vol. 39, No. 3, pp. 581-590, 2007.

상세보기
B. Reimer and B., Dobres "The Effects of a Production Level "Voice-Command" Interface on Driver Behavior Reported Workload, Physiology, Visual Attention and Driving Performance," AgeLab EN, No. 2013-17A, 2013.
In-Vehicle Voice Control Interface Performance Evaluation(2016). https://trid.trb.org/view/1429535 (accessed March 23, 2021).
J.H. Choe and T.H. Kim, "A Survey Study on the Utilization Status and User Perception of the VUI of Smartphones," The Journal of Society for e-Business Studies, Vol. 21, No. 4, pp. 29-40, 2016.

원문보기 상세보기
E.J. Hong Kong, K.S. Cho, and J.H. Choi, "Effects of Anthropomorphic Conversational Interface for Smart Home : An Experimental Study on the Voice and Chatting Interactions," Journal of the HCI Society of Korea, Vol. 1, No. 12, pp. 15-23, 2017.
M. Jang and S. Kim, "Speech Interface Technology and Standardization," Journal of Korea Multimedia Society, Vol. 10, No. 1, pp. 83-97, 2006.
Amazon Alexa. What is a Voice User Interface(2019), https://developer.amazon.com/alexaskills-kit/vui (accessed March 23, 2021).
J.S. Lee, H.I. Kim, J.H. Moon, and J.Y. Lee, "A Study on Satisfaction with and Use Behavior of Mobile Navigation Service," Journal of Digital Convergence, Vol. 18. No. 3, pp. 111-121, 2020.
I.G. Park, J.Y. Yoon, K.H. Lee, and E.J. Lee, "A Color Applicability Comparison of User Interface Design in Navigation Application for Smart Phone," Journal of Korea Design Forum, Vol. 39, pp. 281-290, 2013.
S.H. Kim and J.Y. Ahn, "A Study on the Voice Interface for Mobile Environment," The Journal of the Institute of Internet Broadcasting and Communication, Vol. 13, No. 1, pp. 199-204, 2013.

원문보기 상세보기
Y.J. Lee, S.Y. Oh, S.K. Lee, and M.J. Bae, "A Study of Preprocessing in the Speech Recognition System Using HMM Algorithm," Journal of Semiconductor Technology and Science, Vol. 1999, No. 11. pp. 668-671, 1999.
J.D. Kim, User Interface Design for Interactive TV-Test of Relationship between Usability and Pleasure, Doctoral Thesis of Seoul National University, 2009.
M.J. Kim, "The Study on Consideration of Voice User Interface Design -Focused on Intelligent Voice Assistant on Smartphones," Journal of the Korean Socity of Design Culture, Vol. 23, No. 3, pp. 57-66, 2017.

상세보기
J.H. Kim, K.H. Lee, and J.H. Choi, "Determinants of Safety and Satisfaction with In-Vehicle Voice Interaction : With a Focus of Agent Persona and UX Components," Journal of The Korea Contents Society, Vol. 8, No. 18, pp. 573-585, 2018.
M.S. Suh, S.H. Hong, and J.M. Lee, "The Effect of AI Agents Multi Modal Interaction on the Driver Experience in the Semi-autonomous Driving Context : With a Focus on the Existence of Visual Character," Journal of The Korea Contents Society, Vol. 8, No. 18, pp. 92-101, 2018.
M.J. Lee and K.H. Hong, "Design and Implementation of a Usability Testing Tool for User-oriented Design of Command-andControl Voice User Interfaces," Phonetics and Speech Sciences, Vol. 3, No. 2, pp. 79-87, 2011.
M.J. Kim, J. Han, H.J. Kang, and G.H. Kwon, "Extracting Usability Dimensions of the Voice User Interface - Focusing on AI Assistants-," Journal of the HCI Society of Korea, Vol. 1, No. 15, pp. 53-64, 2020.
D.W. Kim, D.M. Lee, S.Y. Ha, and J.H. Lee, "The Issue-network: A Study of New User Research Method in the Context of a Car Navigation Design," Journal of Korea Multimedia Society, Vol. 22, No. 4, pp. 502-514, 2019.

원문보기 상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증