[논문]아동 대상 원격 사용성 평가 가이드라인 개발

정태원; 하광수

doi:10.5392/jkca.2021.21.03.121

아동 대상 원격 사용성 평가 가이드라인 개발
Development of Remote Usability Evaluation Guidelines for Children 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.21 no.3, 2021년, pp.121 - 130

정태원 (한밭대학교 시각디자인학과) , 하광수 (한밭대학교 시각디자인학과)

초록
AI-Helper

다양한 산업 분야의 서비스 개발 경쟁 심화로 인해 긍정적인 사용자 경험을 제공하는 완성도 높은 서비스 제작의 중요성이 강조되고 있다. 이에 서비스 완성도와 효용에 대한 검증 방법으로 사용성 평가가 중요하게 인식되고 있지만, 일반적 사용성 평가 방법은 획일적인 구성으로 인해 다양한 참여자의 특성을 고려하지 못하는 한계가 있다. 이러한 한계가 평가 효율을 저하시킬 수 있기 때문에 이를 개선할 새로운 평가 방법의 가이드라인 개발이 필요한 실정이다. 이에 본 연구에서는 아동이 참여하는 사용성 평가에서 고려해야 하는 특성을 정의하고, 평가 효율을 증대시킬 수 있도록 원격 사용성 평가 구성 및 진행을 위한 가이드라인을 제안하였다. 또한 제안한 가이드라인을 기반으로 설계한 사용성 평가 실험을 진행하였으며, 이 과정에서 가이드라인의 효용을 검증하고 보완이 필요한 사항을 도출하였다. 본 연구를 통해 제안한 아동 대상 원격 사용성 평가 가이드라인이 아동을 대상으로 개발한 서비스의 사용성 평가 설계를 위한 기반 자료로 활용될 수 있을 것으로 기대한다.

Abstract ▼ AI-Helper

The increased competition in service development in various industrial sectors highlights the importance of producing high-quality services that provide a positive user experience. Although usability evaluation is recognized as an important method of verification of high quality service and utility, the general usability evaluation method has limitations of not taking the characteristics of various participants due to its uniform composition to account. As the following flaws can reduce evaluation efficiency, developing a new guideline seems to be the next step. Thus, this study focused on criteria on how to evaluate the usability for children and proposed non-face-to-face remote usability evaluation configurations and progress guidelines to increase the effectiveness. The following usability evaluation experiment was conducted based on the proposed guidelines and in this process, the effectiveness of the guidelines was verified and the items that needed to be supplemented were derived. It is expected that the non-face-to-face remote usability evaluation guidelines proposed through the study will be used as the basis for designing usability evaluations of services developed for children.

주제어

표/그림 (14)

그림 그림 1. 연구 순서
그림 그림 2. 사용성 평가 절차
표 표 1. 일반 사용성 평가 방식의 특징 및 한계
그림 그림 3. 평가 시스템 구성도
그림 그림 4. 사용성 평가 수행 환경
그림 그림 5. 아동 대상 원격 사용성 평가 프로세스
표 표 2. 아동 대상 원격 사용성 평가 가이드라인 설계
표 표 3. 모바일 기반 비대면 아동 심리평가 서비스
표 표 4. 사용자 분류 기준
표 표 5. 평가 목적 및 방법
그림 그림 6. 1번 Task Scenario Flow 및 발견된 이슈
그림 그림 7. 2번 Task Scenario Flow 및 발견된 이슈
표 표 6. 사용성 평가 비교
표 표 7. 닐슨의 휴리스틱 평가 척도를 통한 검증

AI 본문요약
AI-Helper

문제 정의

본 연구는 아동이 참여하는 사용성 평가의 효율을 증대시키고, 직접 대면이 어려운 상황의 사용성 평가 문제를 극복하기 위해 기존 사용성 평가 방식을 탈피한 아동 대상 원격 사용성 평가 가이드라인을 제안하였다. 또한 가이드라인을 적용한 사용성 평가 실험을 통해 제안한 가이드라인의 효용을 검증하여 아동 대상 원격 사용성 평가 가이드라인 체계를 제안하고자 한다.
본 연구는 아동을 대상으로 진행되는 사용성 평가의 한계점을 개선할 수 있는 효과적인 평가 방법의 가이드라인 개발 및 제안을 위해 수행되었다. 많은 기업과 연구실 등 서비스 개발 기관에서 개발한 제품 및 서비스를 출시하기 전 사용성을 검증하기 위해 사용성 평가를 수행한다.
본 연구는 아동이 참여하는 사용성 평가의 효율을 증대시키고, 직접 대면이 어려운 상황의 사용성 평가 문제를 극복하기 위해 기존 사용성 평가 방식을 탈피한 아동 대상 원격 사용성 평가 가이드라인을 제안하였다. 또한 가이드라인을 적용한 사용성 평가 실험을 통해 제안한 가이드라인의 효용을 검증하여 아동 대상 원격 사용성 평가 가이드라인 체계를 제안하고자 한다.
하지만 두 가지 평가법을 포함한 일반적인 사용성 평가에서는 성별, 연령, 국적, 성장 환경, 경험 문화 등에 따른 사용자 특성을 고려한 세부적인 평가법이 따로 마련되지 않아 평가 수행 시 효율이 저하되는 문제가 존재한다. 이에 본 연구에서는 다양한 평가 참여자의 특성 중 연령의 특성을 고려한 평가법을 제안하였다. 특히 아동 연령의 특성을 고려해 효율적인 평가 환경 구성이 가능하도록 원격 사용성 평가 방법을 기반으로 차별화된 평가법을 설계하였으며, 모더레이터 또한 아동과 유대관계가 깊은 인물로 설정하여 아동의 평가 수행 집중도 및 평가 결과의 정확도를 증대시킬 수 있는 평가법을 개발하였다.

제안 방법

셋째, 고찰한 내용을 바탕으로 아동을 대상으로 하는 기존 사용성 평가 방법의 한계점을 정의하고 개선 방안을 수립하였다. 넷째, 수립한 개선 방안을 기반으로 아동 대상 원격 사용성 평가 가이드라인을 설계한 후, 실제 사용성 평가를 수행하여 효용을 검증하였다. 마지막으로, 사용성 평가를 통해 보완점을 도출하여 아동 대상 원격 사용성 평가 가이드라인의 발전 방향을 제안하였다.
첫째, 사용성 평가의 개념을 정의하고 일반적으로 수행되는 사용성 평가 방법에 대해 고찰하였다. 둘째, 일반적인 원격 사용성 평가 방법을 조사하고 새롭게 제안할 원격 사용성 평가 방법의 활용 가능성을 검토하였다. 셋째, 고찰한 내용을 바탕으로 아동을 대상으로 하는 기존 사용성 평가 방법의 한계점을 정의하고 개선 방안을 수립하였다.
본 연구는 아동 대상 원격 사용성 평가 가이드라인을 제안하기 위해 원격 사용성 평가 방식에 대한 고찰 및 새로운 평가 방법 설계를 진행하였다. 또한 실제 원격 사용성 평가 수행을 통해, 제안한 평가 방법의 효용을 검증하였다. 연구 순서는 다음과 같다.
넷째, 수립한 개선 방안을 기반으로 아동 대상 원격 사용성 평가 가이드라인을 설계한 후, 실제 사용성 평가를 수행하여 효용을 검증하였다. 마지막으로, 사용성 평가를 통해 보완점을 도출하여 아동 대상 원격 사용성 평가 가이드라인의 발전 방향을 제안하였다.
본 연구는 아동을 대상으로 진행되는 사용성 평가의 한계점을 개선할 수 있는 효과적인 평가 방법의 가이드라인 개발 및 제안을 위해 수행되었다. 많은 기업과 연구실 등 서비스 개발 기관에서 개발한 제품 및 서비스를 출시하기 전 사용성을 검증하기 위해 사용성 평가를 수행한다. 이 과정에 활용되는 평가법은 평가 진행자와 참여자가 동석하여 진행하는 일반적 사용성 평가법과, 환경의 제약을 최소화하여 평가를 수행할 수 있는 원격 사용성 평가법으로 분류할 수 있다.
본 연구는 아동 대상 원격 사용성 평가 가이드라인을 제안하기 위해 원격 사용성 평가 방식에 대한 고찰 및 새로운 평가 방법 설계를 진행하였다. 또한 실제 원격 사용성 평가 수행을 통해, 제안한 평가 방법의 효용을 검증하였다.
비대면 아동 심리 평가 서비스는 올바른 정서 확립에 있어 중요한 시기인 아동 및 청소년에게 심리평가가 필요한 과정임에도 불구하고, 일반적으로 수행되는 오프라인 평가 방식이 접근성 및 아동의 수용성이 낮다는 한계를 개선하기 위해 디자인 된 서비스이다. 본 연구에서는 사용성 평가를 통해 비대면 아동 심리평가 서비스의 사용성 검증과 함께 아동 대상 원격 사용성 평가 방법에 대한 효용을 동시에 검증하였다.
둘째, 일반적인 원격 사용성 평가 방법을 조사하고 새롭게 제안할 원격 사용성 평가 방법의 활용 가능성을 검토하였다. 셋째, 고찰한 내용을 바탕으로 아동을 대상으로 하는 기존 사용성 평가 방법의 한계점을 정의하고 개선 방안을 수립하였다. 넷째, 수립한 개선 방안을 기반으로 아동 대상 원격 사용성 평가 가이드라인을 설계한 후, 실제 사용성 평가를 수행하여 효용을 검증하였다.
연구 순서는 다음과 같다. 첫째, 사용성 평가의 개념을 정의하고 일반적으로 수행되는 사용성 평가 방법에 대해 고찰하였다. 둘째, 일반적인 원격 사용성 평가 방법을 조사하고 새롭게 제안할 원격 사용성 평가 방법의 활용 가능성을 검토하였다.
이에 본 연구에서는 다양한 평가 참여자의 특성 중 연령의 특성을 고려한 평가법을 제안하였다. 특히 아동 연령의 특성을 고려해 효율적인 평가 환경 구성이 가능하도록 원격 사용성 평가 방법을 기반으로 차별화된 평가법을 설계하였으며, 모더레이터 또한 아동과 유대관계가 깊은 인물로 설정하여 아동의 평가 수행 집중도 및 평가 결과의 정확도를 증대시킬 수 있는 평가법을 개발하였다. 또한 아동 대상 원격 사용성 평가 가이드라인을 실제 사용성 평가에 적용하여 평가를 수행하는 과정을 통해 평가법의 실질적인 효용을 검증할 수 있었다.

대상 데이터

제안한 평가 가이드라인에 맞춰 실제 사용성 평가를 수행함으로써 아동 대상 원격 사용성 평가법의 효용을 검증하였다. 검증을 위해 사전에 UX 설계와 프로토타입 제작을 완료한 모바일 기반 비대면 아동 심리평가 서비스를 평가 대상으로 선정하였다. 비대면 아동 심리 평가 서비스는 올바른 정서 확립에 있어 중요한 시기인 아동 및 청소년에게 심리평가가 필요한 과정임에도 불구하고, 일반적으로 수행되는 오프라인 평가 방식이 접근성 및 아동의 수용성이 낮다는 한계를 개선하기 위해 디자인 된 서비스이다.
평가에 참여하는 아동은 교육법에서 정의하는 만 6세 ~ 만 12세로 연령 범위를 한정하였으며, 파일럿 테스트를 포함하여 총 5명의 아동을 대상으로 하였다.

데이터처리

제안한 평가 가이드라인에 맞춰 실제 사용성 평가를 수행함으로써 아동 대상 원격 사용성 평가법의 효용을 검증하였다. 검증을 위해 사전에 UX 설계와 프로토타입 제작을 완료한 모바일 기반 비대면 아동 심리평가 서비스를 평가 대상으로 선정하였다.

이론/모형

또한 본 연구에서 진행한 원격 사용성 평가를 통해 발견된 이슈의 타당성을 검증하기 위해 제이콥 닐슨의 10가지 휴리스틱 평가를 활용하였다. 휴리스틱 평가 척도는 제이콥 닐슨이 1990년에 개발한 방법론으로, 소프트웨어 사용자 인터페이스 평가를 목적으로 개념화시킨 방법이다.
본 연구에서는 원격 평가 수행을 위해 화상 회의 프로그램인 ‘Zoom’을 활용하였다

성능/효과

셋째, 평가 진행 전문가가 아닌 모더레이터가 원격 프로그램을 통해 제품 및 서비스의 평가 계획을 충실하게 수행할 수 있도록 평가 수행 전, 설계자는 모데레이터에게 평가에 대한 사전 교육을 충분히 수행해야 한다. 넷째, 평가 진행 중 발생할 수 있는 오류와 변수를 방지할 수 있도록 파일럿 테스트와 원격 사용성 평가 방식에 대한 시뮬레이션을 본 평가 전 충분히 수행해야 한다.
첫째, 평가 참여자의 연령 특성을 고려하여 참여자와 유대관계가 깊은 진행자가 대화 형태로 태스크를 설명하고 참여자가 평가 전반을 쉽게 이해할 수 있도록 충분한 설명을 제공해야 한다. 둘째, 사용성 평가 수행 시 참여자가 부담감을 갖지 않도록 평가 환경을 참여자에게 친숙한 공간으로 선정해야하며, 평가에 방해가 될 수 있는 요소를 사전에 차단해야 한다. 셋째, 평가 진행 전문가가 아닌 모더레이터가 원격 프로그램을 통해 제품 및 서비스의 평가 계획을 충실하게 수행할 수 있도록 평가 수행 전, 설계자는 모데레이터에게 평가에 대한 사전 교육을 충분히 수행해야 한다.
특히 아동 연령의 특성을 고려해 효율적인 평가 환경 구성이 가능하도록 원격 사용성 평가 방법을 기반으로 차별화된 평가법을 설계하였으며, 모더레이터 또한 아동과 유대관계가 깊은 인물로 설정하여 아동의 평가 수행 집중도 및 평가 결과의 정확도를 증대시킬 수 있는 평가법을 개발하였다. 또한 아동 대상 원격 사용성 평가 가이드라인을 실제 사용성 평가에 적용하여 평가를 수행하는 과정을 통해 평가법의 실질적인 효용을 검증할 수 있었다.
본 연구에서 제안한 아동 대상 원격 사용성 평가 가 이드라인을 실제 사용성 평가에 적용시켜 수행한 결과, 평가 과정에서 아동 대상 원격 사용성 평가 방법의 효용을 검증할 수 있었으며, 아동이 적극적으로 평가에 참여하고 솔직한 의견을 제시할 수 있도록 환경을 구성했다는 점에서 제안한 가이드라인의 가치를 확인할 수 있었다. 평가 과정에서 도출된 효용의 구체적 내용은 다음과 같다.
본 연구에서 제안한 아동 대상 원격 사용성 평가를 실제로 수행한 결과, 차별화된 원격 사용성 평가 방식으로도 태스크 시나리오부터 설문 수행까지 계획한 프로세스를 일반 사용성 평가와 다름없이 수행할 수 있었다. 아동 대상 원격 사용성 평가는 일반 사용성 평가 방식과 비교했을 때 환경적 제약으로부터 자유도가 높았기 때문에 평가 일정 수립 단계의 효율이 높았으며, 평가 참여 아동이 익숙한 환경에서 평가에 대한 부담을 갖지 않고 적극적으로 평가에 임할 수 있도록 환경을 조성하는데 용이했다.
둘째, 사용성 평가 수행 시 참여자가 부담감을 갖지 않도록 평가 환경을 참여자에게 친숙한 공간으로 선정해야하며, 평가에 방해가 될 수 있는 요소를 사전에 차단해야 한다. 셋째, 평가 진행 전문가가 아닌 모더레이터가 원격 프로그램을 통해 제품 및 서비스의 평가 계획을 충실하게 수행할 수 있도록 평가 수행 전, 설계자는 모데레이터에게 평가에 대한 사전 교육을 충분히 수행해야 한다. 넷째, 평가 진행 중 발생할 수 있는 오류와 변수를 방지할 수 있도록 파일럿 테스트와 원격 사용성 평가 방식에 대한 시뮬레이션을 본 평가 전 충분히 수행해야 한다.
첫째, 원격 사용성 평가 상황에서 발생하는 변수에 대해 설계자가 직접적으로 개입할 수 없는 환경이기 때문에 모더레이터에게 원격으로 지시하여 평가 과정을 바로잡는 데 추가적인 시간이 소요되었다. 둘째, 실시간 네트워크 통신의 특성상 버퍼링과 같은 에러 발생 시 효과적으로 대처할 수 있는 방안이 부재했기 때문에 원활한 평가 진행을 위해 대처 방안 수립이 필요했다.
첫째, 평가 참여자의 연령 특성을 고려하여 참여자와 유대관계가 깊은 진행자가 대화 형태로 태스크를 설명하고 참여자가 평가 전반을 쉽게 이해할 수 있도록 충분한 설명을 제공해야 한다. 둘째, 사용성 평가 수행 시 참여자가 부담감을 갖지 않도록 평가 환경을 참여자에게 친숙한 공간으로 선정해야하며, 평가에 방해가 될 수 있는 요소를 사전에 차단해야 한다.

후속연구

각 Task에서 발견한 이슈들을 통해 구현된 서비스의 장점 및 문제점을 발견할 수 있었으며 발견된 이슈들을 기반으로 추후 서비스 보완 과정이 수반되어야 할 것이다.
첫째, 원격 사용성 평가 상황에서 발생하는 변수에 대해 설계자가 직접적으로 개입할 수 없는 환경이기 때문에 모더레이터에게 원격으로 지시하여 평가 과정을 바로잡는 데 추가적인 시간이 소요되었다. 둘째, 실시간 네트워크 통신의 특성상 버퍼링과 같은 에러 발생 시 효과적으로 대처할 수 있는 방안이 부재했기 때문에 원활한 평가 진행을 위해 대처 방안 수립이 필요했다.
향후 연구에서는 아동 대상 원격 사용성 평가 상황에서 발생하는 다양한 변수에 효과적으로 대처할 수 있도록 평가 구성과 진행 방법을 보완하는 과정이 필요하며, 반복적인 실제 사용성 평가 적용을 통해 평가법의 완성도 추가 검증이 필요할 것이다. 이 같은 과정을 거쳐 평가에 참여하는 사용자의 특성을 모두 고려할 수 있는 효과적인 원격 사용성 평가 방법이 개발 및 검증되어 다양한 실제 평가에 적용되기를 기대한다.
추후 연구에서는 전술한 한계점을 보완하기 위한 추가적인 실험이 필요하며, 사용성 평가 참여자의 특성 중 연령에 따른 특성을 다양한 방식으로 고려해야 한다. 특정 연령과 상황을 위한 서비스가 시장에 출시되고 많은 사용자에게 이용되기 위해서는 연령과 상황에 맞는 유연하고 다양한 사용성 평가 방법을 통한 사용성의 올바른 평가와 개선이 필요할 것이다.
추후 연구에서는 전술한 한계점을 보완하기 위한 추가적인 실험이 필요하며, 사용성 평가 참여자의 특성 중 연령에 따른 특성을 다양한 방식으로 고려해야 한다. 특정 연령과 상황을 위한 서비스가 시장에 출시되고 많은 사용자에게 이용되기 위해서는 연령과 상황에 맞는 유연하고 다양한 사용성 평가 방법을 통한 사용성의 올바른 평가와 개선이 필요할 것이다. 나아가 전통적 형태의 사용성 평가의 장점을 유지하고, 사용자 특성을 고려한 원격 사용성 평가를 통해 풍부한 결과를 확보하기 위해서는 아래 내용을 함께 고려하여야 할 것이다.
향후 연구에서는 아동 대상 원격 사용성 평가 상황에서 발생하는 다양한 변수에 효과적으로 대처할 수 있도록 평가 구성과 진행 방법을 보완하는 과정이 필요하며, 반복적인 실제 사용성 평가 적용을 통해 평가법의 완성도 추가 검증이 필요할 것이다. 이 같은 과정을 거쳐 평가에 참여하는 사용자의 특성을 모두 고려할 수 있는 효과적인 원격 사용성 평가 방법이 개발 및 검증되어 다양한 실제 평가에 적용되기를 기대한다.

참고문헌 (11)

정태원, 윤소연, 남유선, 성다인, 윤예진, 이민호, 송사광, 하광수 "엔터프라이즈 UX를 위한 평가 기준 개발," 한국콘텐츠학회논문지, 제20권, 제4호, pp.99-110, 2020.

원문보기 상세보기
신동희, 휴머니타스 테크놀로지, 커뮤니케이션북스, 2013.
Jakob Nielsen, Usability Engineering, Morgan Kaufmann, 1994.
오진아, 이소연, "아동상담자의 공감적 이해와 내담아동과의 정서적 유대의 관계에서 진정성의 조절효과," 한국아동심리치료학회지, 제15권, 제1호, pp.37-54, 2020.
하광수, "디지털과 아날로그 콘텐츠 융합을 통한 어린이 그림책 만들기 활동방법," 한국콘텐츠학회논문지, 제20권, 제2호, pp.51-59, 2020.

원문보기 상세보기
김승환, 정득영, "ICT 융합 기반의 비대면 헬스케어 기술 동향," 한국통신학회지(정보와통신), 제37권, 제9호, pp.77-84, 2020.
이상화, "웹상에서 프로토타입의 사용성 평가 콘텐츠 활용에 대한 연구," 한국콘텐츠학회논문지, 제1권, 제1호, pp.100-108, 2001.

원문보기 상세보기
정상훈, 이건표, "소형 정보기기를 위한 원격 사용성 평가 도구 개발," 한국HCI학회 학술대회, pp.1511-1516, 2004.
오기태, 이건표, "웹 사이트 원격 사용성 테스트에 관한 연구," 한국디자인학회, 제17권, 제3호, pp.147-156, 2004.
https://www.uxmatters.com/mt/archives/2014/04/remote-usability-testing-thinking-outside-the-lab.php, 2020.9.26
https://www.nngroup.com/articles/remote-usability-tests/, 2020.9.26

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증