본 연구는 비즈니스용 웹 사이트 개발에 있어 비용효과적인 사용성 테스트 모델을 제시할 목적으로 수행되었다. 본 연구에서는 실시간 발성사고법(Concurrent Think Aloud), 성능 측정, 코칭 방법, 원격 테스트 방법을 혼합한 사용성 테스트 모델을 제시하였다. 테스트 대상은 연구진이 운영하는 전자정보 공동구매 컨소시엄 웹 사이트로 하였다. 테스트 참가자는 실제 사용자로 하였으며 업무 역할과 숙련도별로 차이를 두어 구성하였다. 사용성 테스트 분석 결과를 반영하여 시스템을 개선하였고, 동일한 태스크를 수행하여 소요시간과 마우스 궤적 복잡도를 비교한 결과 모든 참가자의 사용성이 개선된 것을 확인하였다. 본 연구에서 제시한 사용성 테스트 모델을 활용하여 비즈니스용 웹 사이트를 비용 효과적으로 평가하여 분석하는데 도움이 될 것으로 기대한다. 웹 사이트들은 목적별, 분야별로 특성이 있으므로 향후에는 특성화된 사용성 테스트 모델 연구가 필요하다고 본다.
본 연구는 비즈니스용 웹 사이트 개발에 있어 비용효과적인 사용성 테스트 모델을 제시할 목적으로 수행되었다. 본 연구에서는 실시간 발성사고법(Concurrent Think Aloud), 성능 측정, 코칭 방법, 원격 테스트 방법을 혼합한 사용성 테스트 모델을 제시하였다. 테스트 대상은 연구진이 운영하는 전자정보 공동구매 컨소시엄 웹 사이트로 하였다. 테스트 참가자는 실제 사용자로 하였으며 업무 역할과 숙련도별로 차이를 두어 구성하였다. 사용성 테스트 분석 결과를 반영하여 시스템을 개선하였고, 동일한 태스크를 수행하여 소요시간과 마우스 궤적 복잡도를 비교한 결과 모든 참가자의 사용성이 개선된 것을 확인하였다. 본 연구에서 제시한 사용성 테스트 모델을 활용하여 비즈니스용 웹 사이트를 비용 효과적으로 평가하여 분석하는데 도움이 될 것으로 기대한다. 웹 사이트들은 목적별, 분야별로 특성이 있으므로 향후에는 특성화된 사용성 테스트 모델 연구가 필요하다고 본다.
The purpose of this study is to provide a cost effective usability test model for business web site development. In this study, we present a usability test model that combines Concurrent Think Aloud, performance measurement, coaching method, and remote test method. Testing target was the consortium ...
The purpose of this study is to provide a cost effective usability test model for business web site development. In this study, we present a usability test model that combines Concurrent Think Aloud, performance measurement, coaching method, and remote test method. Testing target was the consortium website of electronic information joint licensing. Test participants were actual users selected by their task roles and proficiency in different levels. We improved the system by reflecting the results of user test analysis and re-tested usability test again. The result showed that usability of all participants was improved in the aspect of the time required and the complexity of mouse trajectory. It is expected that the usability test model presented in this study can be used to cost-effectively evaluate and analyze business web sites. We suggest that research various usability test model considering the characteristics of websites.
The purpose of this study is to provide a cost effective usability test model for business web site development. In this study, we present a usability test model that combines Concurrent Think Aloud, performance measurement, coaching method, and remote test method. Testing target was the consortium website of electronic information joint licensing. Test participants were actual users selected by their task roles and proficiency in different levels. We improved the system by reflecting the results of user test analysis and re-tested usability test again. The result showed that usability of all participants was improved in the aspect of the time required and the complexity of mouse trajectory. It is expected that the usability test model presented in this study can be used to cost-effectively evaluate and analyze business web sites. We suggest that research various usability test model considering the characteristics of websites.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
”으로 부터 아이디어를 얻어 전문적인 웹 사용성 전문가나 전문 업체를 활용하지 않고서도 비용효과적인 사용성 평가를 해보고자 시도되었다.
본 연구는 비즈니스용 웹 사이트 개발 단계에서 내부직원이 직접 웹 사용성을 테스트하고 사용성 개선 정도를 체감할 수 있는 데이터로 제시한 사례 연구이다. 연구진은 웹 사이트 운영 및 개발 현업에 비교적 용이하게 적용가능한 발성사고법, 성능 측정, 코칭 방법, 원격테스트를 혼합한 테스트 방법을 마련하였다.
본 연구에서는 KESLI 시스템 개발 과정에 실제 사용자를 참여시켜 태스크 수행과정을 실시간 발성사고법으로 사용성 문제점을 파악하고 사용성을 개선하였다. 사용성 개선 정도를 확인하고자 시스템 개발 단계와 시스템 개발 완료 후 동일한 태스크로 테스트를 실시하였으며 각각의 마우스 궤적과 소요 시간을 기록하여 비교하였다.
본 연구에서는 비즈니스용 웹 사이트의 업무 효율성 증대에 초점을 맞추어 현업에서 즉시 활용 가능한 사용성 테스트 모델과 분석방법을 제시하고자 하였다. 사용성 테스트는 하나의 방법론을 범용적으로 활용할 수 도 있겠으나 웹 사이트별로 목적, 분야, 사용대상 등에 따른 특성이 존재하므로 향후 도메인별로 차별화 된 사용성 테스트 모델을 연구개발한다면 현업에서 활용하는데 도움이 될 것으로 생각한다.
사용성 평가의 방법으로는 사용자 테스트 방법을 선택하여 사용자들이 시스템 사용 중에 겪는 문제점과 어려움을 찾아내고자 하였다. 이중에서도 실시간 발성사고법(Concurrent Think Aloud)을 활용하였다.
반면 회고적 발성사고법을 통해서는 관찰로는 검출할 수 없는 말로 표현되는 문제를 더욱 검출할 수 있었다고 한다. 실시간 발성사고법은 실시간 태스크 수행에 영향을 주기 때문에 중간 정도 난이도로 태스크를 개발하여야 한다고 연구방법을 제시하였다. Teague[8] 등도 실시간 발성사고법과 회고적 발성사고법 비교연구를 하였는데 실시간 발성사고법 실험 속도 참가자들의 테스트 속도가 15% 정도 느린 것으로 나타났다.
본 연구는 웹 사용성 평가에 관한 한 논문 “Is the Mouse a 'Poor Man's Eye Tracker?”으로 부터 아이디어를 얻어 전문적인 웹 사용성 전문가나 전문 업체를 활용하지 않고서도 비용효과적인 사용성 평가를 해보고자 시도되었다. 웹 사이트 운영진이 직접 사용성 평가를 진행해 봄으로써 최소한의 비용과 시간을 투입하여 얻을 수 있는 사용성 테스트 결과와 수준, 한계를 알아보고자 하였다.
또한 사용성 개선 정도를 손쉽게 측정하면서도 직관적으로 체감할 수 있는 방안으로 사용성 테스트 소요시간 및 마우스 궤적 비교를 시도하였다. 이러한 연구방법과 사용성 테스트 데이터를 통해 비용효과적인 웹 사용성 테스트 방법과 사용성 개선 성과 측정 방법을 제시하고자 하였다.
대신 선행연구의 “설명”에 해당 하는 부분을 피 실험자의 관점에서 6개의 유형으로 세분화하였다. 이로써 웹 사이트의 각 요소(레이블, 기능, 도움말 등)중 어떤 관점에서 사용성을 개선할 것인지 방향을 수립하고 사용성 개선의 역할 분담(개발자, 디자이너, 운영자)에 활용하고자 하였다.
제안 방법
테스트 참가자는 전자정보를 공급하는 업체 담당자 2명(판매자 그룹), 전자정보를 구매하는 도서관 사서 2명(구매자 그룹)으로 총 4명으로 구성하였다. 각 그룹 내에서도 고 빈도 사용자와 저 빈도 사용자를 구분하여 구성하였다. 테스트 참가자들에게는 연구의 목적, 절차, 방법, 신분과 비밀보장, 동영상 촬영 및 녹취함을 알리고 서면으로 동의를 받았다.
본 연구에서는 시스템 개발 단계와 개발 완료 후 두 번의 테스트를 실시하였다. 개발 완료 후 테스트는 사용성 개선 정도에 대한 양적 측정을 목적으로 하였고 2명은 현장 테스트로 현장 참가가 불가한 2명은 원격 테스트로 진행하였다.
실험 대상자는 실제 KESLI 시스템을 사용하는 출판사와 도서관 2개 부문에 담당자 각 2명씩 선정하였으며 부문별로 고 빈도 사용자와 저 빈도 사용자로 구성하였다. 개발 진행 단계 및 개발 완료 단계에서 사용자 인터페이스의 개선 정도를 확인하기 위해 소요 시간과 마우스 궤적을 측정하여 비교하였다.
태스크는 KESLI 시스템의 핵심 기능 중심으로 구성하였다. 공급 업체에는 전자정보 품목을 제안하고 접수하는 기능 중심으로, 도서관측에는 제안된 전자정보를 확인하고 구매 신청하는 기능을 중심으로 구성하였다. 태스크의 개수는 전자정보를 공급 업체 측에는 3개, 전자정보를 구매하는 도서관측에는 2개로 하였다.
구매자 그룹과 판매자 그룹간의 발성사고법 결과의 차이가 있는지 알아보고자 그룹별 구술 내용 단락 수를 비교하였다.
선행연구들에 따르면 실시간 발성사고법은 태스크 수행과 병행이 어렵고 시간이 더 많이 소요되며 즉각적인 반응중심이라서 단독으로 사용성 테스트하기에는 어려움이 있다는 견해가 있다. 그럼에도 연구진은 실시간 발성사고법을 채택하였다. 기존 시스템에 대한 개선 요구 내용은 시스템 운영 과정에서 전화, 이메일 및 설문 등으로 이미 수집하여 파악된 상태였기 때문이다.
대신 선행연구의 “설명”에 해당 하는 부분을 피 실험자의 관점에서 6개의 유형으로 세분화하였다.
첫째, 사용성 테스트 방법은 다양하지만 비즈니스 분야라는 도메인 중심의 사용성 테스트 사례로서 본 연구는 차별화 된 연구이다. 둘째, 웹 사이트 개발 및 운영자 관점에서 태스크 시나리오를 개발하고 세부적으로 분석하였다.
특히 웹 개발 시 정보설계, 웹개발, 디자인 등 분야별로 사용성 개선에 대한 역할 분담이 가능하도록 발성사고 내용 코딩 유형을 제시하였다. 또한 사용성 개선 정도를 손쉽게 측정하면서도 직관적으로 체감할 수 있는 방안으로 사용성 테스트 소요시간 및 마우스 궤적 비교를 시도하였다. 이러한 연구방법과 사용성 테스트 데이터를 통해 비용효과적인 웹 사용성 테스트 방법과 사용성 개선 성과 측정 방법을 제시하고자 하였다.
마우스 궤적을 측정하여 1, 2차 테스트 결과를 시각적으로 비교하였다. 모든 태스크에 대해 마우스 궤적을 기록하였으나 본 연구결과에서는 각 그룹의 1번 태스크 결과만 수록하였다.
사용성 테스트는 발성사고법을 중심으로 하였다. 발성사고법에는 실시간, 회고적 두 가지 방법이 있는데 본 연구에서는 실시간 발성사고법을 수행하였다. 선행연구들에 따르면 실시간 발성사고법은 태스크 수행과 병행이 어렵고 시간이 더 많이 소요되며 즉각적인 반응중심이라서 단독으로 사용성 테스트하기에는 어려움이 있다는 견해가 있다.
본 연구에서 마우스 궤적을 기록하는 무료 소프트웨어 IOGraph를 사용하여 개발 단계와 개발 완료 후 시스템의 사용성 개선 정도를 비교하였다. 태스크 수행 과정의 마우스 궤적을 기록하고 도식화하여 비교하는 수준으로는 유용하였다.
후속으로 현업에서 쉽게 따라할 수 있는 사용성 테스트 분석 가이드 개발이 필요하다고 본다. 본 연구에서 발성사고 내용을 7개 유형으로 구분하여 웹 개발 과정에 있어 업무 분담을 시도하였다. 이를 보다 정교하게 구분하여 정보설계, 개발, 디자인의 각 역할 자들에게 업무를 구분하여 할당할 수 있는 지침이나 모델이 제공되어야 시스템 전체에서 일관성 있는 사용성 개선이 가능할 것이다.
본 연구에서는 시스템 개발 단계와 개발 완료 후 두 번의 테스트를 실시하였다. 개발 완료 후 테스트는 사용성 개선 정도에 대한 양적 측정을 목적으로 하였고 2명은 현장 테스트로 현장 참가가 불가한 2명은 원격 테스트로 진행하였다.
본 연구의 대상 시스템은 비즈니스 중심 웹 사이트로 사용자와 기능의 특수성으로 인하여 설명 없이 테스트 진행이 어려운 점이 있고 연구의 목적 또한 참가자의 사용성 의견 수집에 중점을 둔 실증적 연구였기 때문에 연구진이 개입하는 코칭 방식으로 테스트를 수행하였다.
본 연구에서는 KESLI 시스템 개발 과정에 실제 사용자를 참여시켜 태스크 수행과정을 실시간 발성사고법으로 사용성 문제점을 파악하고 사용성을 개선하였다. 사용성 개선 정도를 확인하고자 시스템 개발 단계와 시스템 개발 완료 후 동일한 태스크로 테스트를 실시하였으며 각각의 마우스 궤적과 소요 시간을 기록하여 비교하였다.
사용성 개선 후 개선 정도를 측정하고 비교하기 위해 시스템 개선 전후 각각 동일한 참가자에게 동일한 태스크를 수행시킨 후 태스크 수행시간과 마우스 궤적을 비교하였다.
연구진은 웹 사이트 운영 및 개발 현업에 비교적 용이하게 적용가능한 발성사고법, 성능 측정, 코칭 방법, 원격테스트를 혼합한 테스트 방법을 마련하였다. 사용성 테스트 과정에서 발생하는 참가자들의 구술 내용, 촬영 동영상, 마우스 궤적, 소요 시간 데이터 처리 과정에 대해서도 하나의 모델로 제시하였다. 특히 웹 개발 시 정보설계, 웹개발, 디자인 등 분야별로 사용성 개선에 대한 역할 분담이 가능하도록 발성사고 내용 코딩 유형을 제시하였다.
연구 설계에 따라 KESLI 시스템의 사용성 테스트를 시스템 개발 단계와 완성 단계에 2회 실시하였고 발성 사고법 테스트는 개발 단계에서만 수행하였다. 사용성 테스트 분석결과 확인된 문제점은 연구진과 시스템 개발자가 함께 논의하여 시스템 구현 방안을 결정하였다. 시스템 완성 후에는 사용성 개선 정도를 확인하기 위해 동일한 참가자를 대상으로 동일한 태스크를 수행하여 소요 시간과 마우스 궤적을 측정하여 비교하였다.
사용성 테스트는 발성사고법을 중심으로 하였다. 발성사고법에는 실시간, 회고적 두 가지 방법이 있는데 본 연구에서는 실시간 발성사고법을 수행하였다.
사용자 테스트 전에 내부 직원을 통해 파일럿 테스트를 실시하였다. 연구진이 사용성 테스트 전문가는 아니고 처음 진행하는 상황이므로 테스트 환경 설정 및 진행 방법을 충분히 숙련할 필요가 있었다.
사용자 테스트는 공급 업체 참가자를 “판매자 그룹”, 도서관 사서 참가자를 “구매자 그룹”으로 명명하여 구분하고 실험하였다.
사용성 테스트 분석결과 확인된 문제점은 연구진과 시스템 개발자가 함께 논의하여 시스템 구현 방안을 결정하였다. 시스템 완성 후에는 사용성 개선 정도를 확인하기 위해 동일한 참가자를 대상으로 동일한 태스크를 수행하여 소요 시간과 마우스 궤적을 측정하여 비교하였다. 본 연구결과에는 연구방법에서 정한 사용성 테스트 및 사용성 개선 정도 비교 분석 결과만을 기술하였다.
본 연구방법 설계에 있어서도 비즈니스 중심 웹 사이트의 특성을 반영하는데 중점을 두었다. 시스템에서 사용자가 처리할 업무를 명확히 인지하고 정해진 프로세스에 따라 오류 없이 신속히 업무 처리할 수 있는지 테스트하도록 태스크를 개발하고 적합한 참가자를 선정하였다.
테스트 참가자에게는 과제를 수행하면서 웹 사이트 작동에 대한 예상과 기대, 실제 작동 결과에 대한 반응을 최대한 말로 표현하도록 지시하였다. 실험과정에 IOGraph 소프트웨어를 구동시켜 마우스 궤적을 기록하였다. 실험과정의 노트북 컴퓨터 화면 및 테스트 참가자의 음성을 동영상으로 캡처하였으며 동시에 DSLR 카메라로 현장의 동영상을 촬영하여 기록하였다.
실험과정에 IOGraph 소프트웨어를 구동시켜 마우스 궤적을 기록하였다. 실험과정의 노트북 컴퓨터 화면 및 테스트 참가자의 음성을 동영상으로 캡처하였으며 동시에 DSLR 카메라로 현장의 동영상을 촬영하여 기록하였다. 태스크에 대해 이해가 부족하거나 진행에 어려움이 있는 경우 연구진이 테스트 참가자에게 최소한의 설명을 하였다.
실험 종료 후에는 소요시간을 기록하고 테스트 참가자의 구술 내용을 엑셀 파일에 녹취하였다. 양적 분석을 위하여 단위 기능 수행 중 발생한 구술 내용을 단락으로 정하였다. 녹취록 완성 후 확인한 결과 하나의 단락은 최소 1개에서 최대 14개까지의 문장으로 구성되었다.
연구 설계에 따라 KESLI 시스템의 사용성 테스트를 시스템 개발 단계와 완성 단계에 2회 실시하였고 발성 사고법 테스트는 개발 단계에서만 수행하였다. 사용성 테스트 분석결과 확인된 문제점은 연구진과 시스템 개발자가 함께 논의하여 시스템 구현 방안을 결정하였다.
테스트 시작 단계에서 모든 참가자들이 발성사고법을 낯설어하며 잘 적응하지 못했다. 이로 인해 연구진은 태스크 단계별로 참가자의 반응을 묻거나 참가자들의 질문에 답변하는 등 약간의 코칭 방법을 사용하였다. 하지만 개인적 성향 차이를 극복하지는 못하였다.
이와 같은 사용성 문제를 개선하고 서비스를 확장하기 위해 KESLI 시스템을 재개발하게 되었으나 비용 문제로 웹 사용성 평가 전문가나 전문 업체를 활용할 수 없는 상황이었고 이로 인해 내부 운영진이 무료로 활용할 수 있는 장비와 소프트웨어를 활용하여 직접 사용자테스트를 수행하고 시스템 개발에 반영한 후 그 결과를 검증하는 시도를 하게 되었다.
정량적 분석을 위해 구술 내용을 7가지 유형으로 구분하여 코딩하였다. 선행 연구에서는 Cooke(2010)[7]가 코딩 분류를 5개 유형으로 구분한 구체적인 사례가 있어 참고하고자 하였다.
사용자 테스트는 공급 업체 참가자를 “판매자 그룹”, 도서관 사서 참가자를 “구매자 그룹”으로 명명하여 구분하고 실험하였다. 조용한 실험 공간에 노트북 컴퓨터를 설치하고 KESLI 시스템에 접속하여 1명씩 순차적으로 테스트를 진행하였다. 테스트 참가자에게는 과제를 수행하면서 웹 사이트 작동에 대한 예상과 기대, 실제 작동 결과에 대한 반응을 최대한 말로 표현하도록 지시하였다.
선행 연구와 비교할 때 본 연구는 다음과 같은 차별성이 있다. 첫째, 사용성 테스트 방법은 다양하지만 비즈니스 분야라는 도메인 중심의 사용성 테스트 사례로서 본 연구는 차별화 된 연구이다. 둘째, 웹 사이트 개발 및 운영자 관점에서 태스크 시나리오를 개발하고 세부적으로 분석하였다.
태스크에 대해 이해가 부족하거나 진행에 어려움이 있는 경우 연구진이 테스트 참가자에게 최소한의 설명을 하였다. 테스트 종료 후에는 테스트 참가자와 연구진이 함께 테스트 동영상을 재확인 하면서 의도가 명확치 않거나 의도하지 않은 작동에 대한 내용을 확인을 하였다.
조용한 실험 공간에 노트북 컴퓨터를 설치하고 KESLI 시스템에 접속하여 1명씩 순차적으로 테스트를 진행하였다. 테스트 참가자에게는 과제를 수행하면서 웹 사이트 작동에 대한 예상과 기대, 실제 작동 결과에 대한 반응을 최대한 말로 표현하도록 지시하였다. 실험과정에 IOGraph 소프트웨어를 구동시켜 마우스 궤적을 기록하였다.
사용성 테스트 과정에서 발생하는 참가자들의 구술 내용, 촬영 동영상, 마우스 궤적, 소요 시간 데이터 처리 과정에 대해서도 하나의 모델로 제시하였다. 특히 웹 개발 시 정보설계, 웹개발, 디자인 등 분야별로 사용성 개선에 대한 역할 분담이 가능하도록 발성사고 내용 코딩 유형을 제시하였다. 또한 사용성 개선 정도를 손쉽게 측정하면서도 직관적으로 체감할 수 있는 방안으로 사용성 테스트 소요시간 및 마우스 궤적 비교를 시도하였다.
업무 처리량도 상당하다. 판매자 그룹에서는 KESLI시스템을 통해 컨소시엄으로 판매할 품목의 제안서를 매년 등록하고 참가신청을 접수하여 계약한다. 큰 규모의 업체의 경우 33개 상품 제안서를 등록하는데 전자정보 컨소시엄 관련 전문 용어를 이해하여야 하고 상품설명, 제공콘텐츠리스트, 협상자료, 계약서류 등 기입할 항목이 최소 78개에 달한다.
대상 데이터
본 연구에서는 전자정보 국가 컨소시엄 KESLI 시스템을 대상으로 사용성 테스트를 수행하였다. KESLI는 학술연구 분야 전자정보 콘텐츠를 출판사와 도서관이 거래할 수 있도록 중계하는 B2B 마켓플레이스 시스템이다.
본 연구의 테스트 대상 웹 사이트는 비즈니스 중심인 웹 사이트로 분류할 수 있다. 본 연구방법 설계에 있어서도 비즈니스 중심 웹 사이트의 특성을 반영하는데 중점을 두었다.
이중에서도 실시간 발성사고법(Concurrent Think Aloud)을 활용하였다. 실험 대상자는 실제 KESLI 시스템을 사용하는 출판사와 도서관 2개 부문에 담당자 각 2명씩 선정하였으며 부문별로 고 빈도 사용자와 저 빈도 사용자로 구성하였다. 개발 진행 단계 및 개발 완료 단계에서 사용자 인터페이스의 개선 정도를 확인하기 위해 소요 시간과 마우스 궤적을 측정하여 비교하였다.
테스트 참가자는 전자정보를 공급하는 업체 담당자 2명(판매자 그룹), 전자정보를 구매하는 도서관 사서 2명(구매자 그룹)으로 총 4명으로 구성하였다. 각 그룹 내에서도 고 빈도 사용자와 저 빈도 사용자를 구분하여 구성하였다.
이론/모형
사용성 평가의 방법으로는 사용자 테스트 방법을 선택하여 사용자들이 시스템 사용 중에 겪는 문제점과 어려움을 찾아내고자 하였다. 이중에서도 실시간 발성사고법(Concurrent Think Aloud)을 활용하였다. 실험 대상자는 실제 KESLI 시스템을 사용하는 출판사와 도서관 2개 부문에 담당자 각 2명씩 선정하였으며 부문별로 고 빈도 사용자와 저 빈도 사용자로 구성하였다.
성능/효과
이러한 그룹간의 특징은 개선의견과 만족 의견에 있어서도 명확하게 비교되었다. 구매자 그룹은 개선의견을 거의 제시하지 않았고 만족 의견은 전혀 없었으나 판매자 그룹에서는 적극적으로 표현하였다. 만족 의견을 통해 기존 시스템 대비 개선 효과를 확인하였다.
구술 건수로 비교할 때 처리 결과 인지의 어려움은 처리 방법 인지의 어려움만큼이나 많은 사용성 문제가 있는 것으로 나타났다. 주요 원인은 테스트 당시 개발 중인 시스템이라 작업 결과 안내 창이나 알림 메시지가 부족한 때문인 것으로 나타났지만, 테스트 참가자 입장에서는 태스크를 정상적으로 수행했는지 확인받고 싶은 심리적 영향도 있는 것으로 보인다.
구매자 그룹은 개선의견을 거의 제시하지 않았고 만족 의견은 전혀 없었으나 판매자 그룹에서는 적극적으로 표현하였다. 만족 의견을 통해 기존 시스템 대비 개선 효과를 확인하였다.
선행연구에 따르면 실시간 발성사고법은 약 15%의 추가 시간이 소요된다는 연구결과가 있다. 본연구에서 태스크 수행시간은 참가자와 태스크별로 차이가 있었지만 태스크에 따라서는 절반 수준의 시간 단축이 발생한 경우도 있어 사용성은 개선된 것으로 보인다. 다만, 사용성 테스트 참가자의 규모가 작아 통계적 의미를 분석할 수는 없었다.
기존 시스템에 대한 개선 요구 내용은 시스템 운영 과정에서 전화, 이메일 및 설문 등으로 이미 수집하여 파악된 상태였기 때문이다. 연구진은 실시간 발성사고법이 참가자들이 신규 시스템에서 태스크를 수행하며 맞닥뜨리는 즉각적 반응을 확인함으로써 그간 사용자들의 개선 요구사항이 정확히 파악되었으며 신규 시스템에 반영되고 사용성 문제를 개선하였는지 확인하는데 더욱 효과적일 것으로 판단하였다.
구술 건수로 비교할 때 처리 결과 인지의 어려움은 처리 방법 인지의 어려움만큼이나 많은 사용성 문제가 있는 것으로 나타났다. 주요 원인은 테스트 당시 개발 중인 시스템이라 작업 결과 안내 창이나 알림 메시지가 부족한 때문인 것으로 나타났지만, 테스트 참가자 입장에서는 태스크를 정상적으로 수행했는지 확인받고 싶은 심리적 영향도 있는 것으로 보인다.
최소의 비용으로 사용성 테스트를 수행함에 따라 테스트 데이터의 정확도나 풍부함에 다소 부족함도 있었다. 마우스 궤적 측정은 단순 궤적의 모양만 기록되었고 거리나 좌표 등의 전문 소프트웨어의 기능은 없었다.
모든 태스크에 대해 마우스 궤적을 기록하였으나 본 연구결과에서는 각 그룹의 1번 태스크 결과만 수록하였다. 측정 결과 모든 태스크에서 개발 완료 단계인 2차 테스트에서 마우스 궤적이 감소한 것으로 나타났다. 수행 시간과 마우스 궤적을 비교해보아도 수행 시간이 길수록 궤적의 복잡도가 증가한다.
이를 해소하고자 개발 단계에서는 제안서를 단계별로 탭 항목으로 분리한 인터페이스를 개발하여 테스트를 실시하였다. 하지만 사용성 테스트에서 참가자들은 제안서 전체를 한 눈에 확인하는 것이 인식성이 좋고 작업이 편리하다는 의견을 제시하였으며, 완료 단계에서 제안서를 하나의 웹 페이지로 통합하여 다시 테스트한 결과 작업 시간과 마우스 움직임이 매우 감소한 것으로 확인되었다.
후속연구
본 연구에서는 비즈니스용 웹 사이트의 업무 효율성 증대에 초점을 맞추어 현업에서 즉시 활용 가능한 사용성 테스트 모델과 분석방법을 제시하고자 하였다. 사용성 테스트는 하나의 방법론을 범용적으로 활용할 수 도 있겠으나 웹 사이트별로 목적, 분야, 사용대상 등에 따른 특성이 존재하므로 향후 도메인별로 차별화 된 사용성 테스트 모델을 연구개발한다면 현업에서 활용하는데 도움이 될 것으로 생각한다.
본 연구에서 발성사고 내용을 7개 유형으로 구분하여 웹 개발 과정에 있어 업무 분담을 시도하였다. 이를 보다 정교하게 구분하여 정보설계, 개발, 디자인의 각 역할 자들에게 업무를 구분하여 할당할 수 있는 지침이나 모델이 제공되어야 시스템 전체에서 일관성 있는 사용성 개선이 가능할 것이다.
개발 완료 후 2차 테스트에서는 참가자의 사정상 원격 테스트가 불가피하였으며 이로 인해 소요 시간 측정에도 오차가 발생하였다. 전체 프로세스 개선을 위한 사용성 테스트라면 본 연구의 수준에서도필요한 데이터 수집은 가능할 것으로 사료되지만, 특정 상품이나 메뉴에서 수익 측정을 해야 하는 민감한 경우라면 보다 전문적인 툴의 사용이 필요할 것으로 보인다.
웹 사용시 테스트 참가자로부터 표현되는 즉각적인 반응만으로는 사용성 문제를 파악하는데 한계가 있다. 후속으로 현업에서 쉽게 따라할 수 있는 사용성 테스트 분석 가이드 개발이 필요하다고 본다. 본 연구에서 발성사고 내용을 7개 유형으로 구분하여 웹 개발 과정에 있어 업무 분담을 시도하였다.
질의응답
핵심어
질문
논문에서 추출한 답변
KESLI은 무엇인가?
본 연구에서는 전자정보 국가 컨소시엄 KESLI 시스템을 대상으로 사용성 테스트를 수행하였다. KESLI는 학술연구 분야 전자정보 콘텐츠를 출판사와 도서관이 거래할 수 있도록 중계하는 B2B 마켓플레이스 시스템이다. KESLI와 같은 도서관 전자정보 컨소시엄 전 세계적으로 100개 이상 존재하지만 표준화된 컨소시엄 시스템 모델이 제시되지 않고 있으며 상용 시스템도 존재하지 않아 KESLI 시스템을 자체 개발하여 운영하고 있다.
출판사와 도서관의 담당자들이 KESLI 시스템 사용에 어려움을 겪는 이유는 무엇인가?
KESLI와 같은 도서관 전자정보 컨소시엄 전 세계적으로 100개 이상 존재하지만 표준화된 컨소시엄 시스템 모델이 제시되지 않고 있으며 상용 시스템도 존재하지 않아 KESLI 시스템을 자체 개발하여 운영하고 있다. 상품 구성이 다양하고 가격 모델이 모두 달라 시스템 표준화가 어려워 시장에 참여하는 출판사와 도서관의 담당자들도 시스템 사용이 어려움을 겪고 있다.
발성사고법은 어떻게 구분되는가?
본 연구에서 사용한 발성사고법(Think Aloud) 방법은 실험 대상자를 관찰하는 사용성 테스트(usability testing) 방법에 해당한다. 발성사고법은 실시간 발성사고법과 회고적 발성사고법으로 구분된다. Haak[7]은 도서관 사용자를 대상으로 하는 사용성 평가에서 실시간 발성사고법으로는 주로 관찰에 의해 문제를 검출하였다고 한다.
A. Fernandez, E. Insfran, and S. Abrahao, "Usability evaluation methods for the web: A systematic mapping study," Information and Software Technology, Vol.53, No.8, pp.789-817, 2011.
M. Haak, M. Jong, and P. J. Schellens, "Retrospective vs. concurrent think-aloud protocols: testing the usability of an online library catalogue," Behaviour & Information Technology, Vol.22, No.5, pp.339-351, 2003.
R. Teague, K. Jusus, and M. Nunes-Ueno, "Concurrent Vs. Post-Task Usability Test Ratings," CHI '01 Extended Abstracts on Human Factors in Computing Systems, pp.289-290, 2001.
L. Cooke, "Assessing Concurrent Think-Aloud Protocol as a Usability Test Method: A Technical Communication Approach," IEEE Transactions on Professional Communication, Vol.53, No.3, pp.202-215, 2010.
M. Chen, J. Anderson, and M. H. Shon, "What can a mouse cursor tell us more?: correlation of eye/mouse movements on web browsing," CHI '01 Extended Abstracts on Human Factors in Computing Systems, pp.281-282, 2001.
L. Cooke, "Is the Mouse a 'Poor Man's Eye Tracker'?," Society for Technical Communication Conference, pp.252-255, 2006.
V. Navalpakkam and E. Churchill, "Mouse tracking: measuring and predicting users' experience of web-based content," Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp.2963-2972, 2012.
S. C. Yang, "Reconceptualizing think-aloud methodology : refining the encoding and categorization techniques via contextualized perspectives," Computers in Human Behavior, Vol.19, No.1, pp.95-115, 2003.
M. J. Aamir and A. Mansoor, "Testing Web Application from Usability Perspective," 2013 3rd IEEE International Conference on Computer, Control and Communication (IC4), pp.1-7, 2013.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.