Cognitive model, that is cognitive architecture, is the model expressed with computer program to show the process how human solve a certain problem and it is continuously under investigation through various fields of study such as cognitive engineering, computer engineering, and cognitive psychology...
Cognitive model, that is cognitive architecture, is the model expressed with computer program to show the process how human solve a certain problem and it is continuously under investigation through various fields of study such as cognitive engineering, computer engineering, and cognitive psychology. In addition, the much extensive applicability of cognitive model usually helps it to be used for quantitative prediction of human Behavior or Natural programming of human performance in many HCI areas including User Interface Usability, artificial intelligence, natural programming language and also Robot engineering. Meanwhile, when a system designed, an usability test about conceptual design of interface is needed and in this case, analysis evaluation using cognitive model like GOMS or ACT-R is much more effective than empirical evaluation which naturally needs products and subjects. In particular, if we consider the recent trend of very short-end term between a previous technology development and the next new one, it would take time and much efforts to choose subjects and train them in order to conduct usability test which is repeatedly followed in the process of a system development and this finally would bring delays of development of a new system. In this study, we predicted quantitatively the human behavior processes which contains cognitive processes for menu selection in touch screen interface through ACT-R, one of the common method of usability test. Throughout the study, it was shown that the result using cognitive model was equal with the result using existing empirical evaluation. And it is expected that cognitive model has a possibility not only to be used as an effective methodology for evaluation of HCI products or system but also to contribute the activation of HCI cognitive modeling in Korea.
Cognitive model, that is cognitive architecture, is the model expressed with computer program to show the process how human solve a certain problem and it is continuously under investigation through various fields of study such as cognitive engineering, computer engineering, and cognitive psychology. In addition, the much extensive applicability of cognitive model usually helps it to be used for quantitative prediction of human Behavior or Natural programming of human performance in many HCI areas including User Interface Usability, artificial intelligence, natural programming language and also Robot engineering. Meanwhile, when a system designed, an usability test about conceptual design of interface is needed and in this case, analysis evaluation using cognitive model like GOMS or ACT-R is much more effective than empirical evaluation which naturally needs products and subjects. In particular, if we consider the recent trend of very short-end term between a previous technology development and the next new one, it would take time and much efforts to choose subjects and train them in order to conduct usability test which is repeatedly followed in the process of a system development and this finally would bring delays of development of a new system. In this study, we predicted quantitatively the human behavior processes which contains cognitive processes for menu selection in touch screen interface through ACT-R, one of the common method of usability test. Throughout the study, it was shown that the result using cognitive model was equal with the result using existing empirical evaluation. And it is expected that cognitive model has a possibility not only to be used as an effective methodology for evaluation of HCI products or system but also to contribute the activation of HCI cognitive modeling in Korea.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 연구는 기존까지의 연구 방법인 피 실험자들 기반으로 하는 평가와는 달리 인지모델을 이용한 수행도 예측해 보았다. 기존의 연구 결과로 발표된 실험(Kong et al.
0 버전을 이용하여 메뉴 선택 예측 모델을 제안하였다. 즉, 기존까지 사용되던 정적인 메뉴 구조와 터치스크린 환경을 고려한 동적 메뉴 구조를 ACT-R로 수행 예측을 한 뒤, 실제 실험 데이터와 비교하였고, 이는 모델을 기반으로 한 사용자 메뉴 선택 예측을 목적으로 하고 있다.
제안 방법
ACT-R의 모델을 수립하기 위하여 먼저 실제 실험과 동일한 Task 환경을 구현하였다. ACT-R의 기본 언어인 LISP을 이용하여 Kong (Kong et al., 2009)에서 MFD Tool로 구현한 메뉴 구조의 모양과 크기 등 실험 환경에 대한 조건을 동일하게 만들었다.
0 인지 아키텍쳐로 모델을 수립하였다. ACT-R의 모델을 수립하기 위하여 먼저 실제 실험과 동일한 Task 환경을 구현하였다. ACT-R의 기본 언어인 LISP을 이용하여 Kong (Kong et al.
가령, 찾고자 하는 타겟과 보고 있는 타겟이 맞으면 'Move Mouse & Click'을 이용하여 마우스를 움직여 클릭을 수행하고, 그렇지 않은 경우에는 다시 타겟을 찾는 'Find-button-location 1~6' Production Rule을 수행하도록 모델을 수립하였다.
기존의 연구(Kong et al., 2008)는 손을 이용한 터치스크린 환경에서 이루어진 실험이었기 때문에 본 연구에서도 그에 동일한 조건을 맞추기 위하여 ACT-R 모델의 Motor module에 기본 값으로 지정되어 있는 Fitts' Law의 coefficient 값을 손의 움직임에 맞게 수정하였다(Kong(Kong et al., 2009)연구의 실험 툴인 MFD Tool의 coefficient 값을 그대로 사용함).
하지만 본 연구는 이들의 연구와는 차별적으로 현재 가장 많이 사용되는 Input device 중에 하나인 터치스크린 환경으로 연구를 진행하였으며 그 메뉴 구조 역시 상용화되고 있는 핸드폰의 메뉴 구조를 구현하여 실시하였다. 또한 메뉴 선택에 대한 수행도를 예측하기 위한 인지 아키텍쳐는 현재까지 가장 많이 연구되고 있는 ACT-R 6.0 버전을 이용하여 메뉴 선택 예측 모델을 제안하였다. 즉, 기존까지 사용되던 정적인 메뉴 구조와 터치스크린 환경을 고려한 동적 메뉴 구조를 ACT-R로 수행 예측을 한 뒤, 실제 실험 데이터와 비교하였고, 이는 모델을 기반으로 한 사용자 메뉴 선택 예측을 목적으로 하고 있다.
본 모델의 Goal은 특정 타겟 메뉴를 선택하는 것이며, Lisp을 통해 만들어진 윈도우 창의 "GO"라는 버튼을 누르고 최종 타겟을 보는 것으로써 시작이 된다.
본 연구에서는 1열 메뉴 구조를 정적 메뉴 구조와 동적 메뉴 구조로 나누어 각각에 대해 수행도를 예측하는 모델을 수립하였고, 이를 기존의 연구 결과(Kong et al., 2009)인 실제 피실험자의 Data와 비교, 분석하였다. Kong(Kong et al.
본 연구의 ACT-R 모델에서는 visual 전략을 메뉴 하나 하나를 눈으로 확인하고 attention을 옮기는 Exhaustive attention을 사용한 기존의 모델(Nilsen, 1991)과는 다르게 메뉴를 2개씩 보도록 정의하였다. 이는 인간의 중심와(fovea)의 각도가 2°이며 모니터와 피실험자의 거리가 500mm임을 근거로 계산하였을 때 한 눈에 볼 수 있는 길이가 175mm임을 이용한 것이다.
마지막으로 모델은 타겟 메뉴 item를 찾아 누르는 행위를 하게 된다. 실제로 피 실험자와의 데이터를 비교하기 위해 마지막 단계의 시간을 따로 산출하여 비교하였다.
이는 인간의 중심와(fovea)의 각도가 2°이며 모니터와 피실험자의 거리가 500mm임을 근거로 계산하였을 때 한 눈에 볼 수 있는 길이가 175mm임을 이용한 것이다. 이 길이는 구현된 메뉴 구조의 버튼 크기를 고려할 때 2개의 메뉴를 볼 수 있는 공간이므로 본 연구에서는 메뉴를 2개씩 보고 visual attention을 옮기도록 하였다.
가령 타겟 메뉴가 "메세지"라 할 경우 그 상위 메뉴에서 "메시지 함"을 선택해야 한다. 이와 관련하여 모델의 Declarative Memory에 타겟과 연관된 정보를 Chunk 형태로 미리 저장해 두었다. 마지막으로 모델은 타겟 메뉴 item를 찾아 누르는 행위를 하게 된다.
인간의 중심와(Fovea)의 각도인 2°와 모니터와 눈과의 거리를 계산하여 한번에 볼 수 있는 메뉴의 수(2개)를 정하고 모델을 수립하였는데 이는 실제 피 실험자의 data에서도 확인할 수 있었다.
모델이 보는 각 구역은 정적 메뉴와 동적 메뉴 따라 달라지게 만들었는데 이는 정적이냐 동적이냐에 따라 그 시각적 탐색의 전략이 각각 다르기 때문이다. 정적인 모델의 경우 하위 메뉴의 item이 최상단에서부터 배치되기 때문에 시각적 탐색을 최상단에서부터 실시하도록 모델을 수립하였고, 동적인 모델의 경우 메인 메뉴에서 선택한 위치에서부터 메뉴 item이 배치되기 때문에 해당 위치에서부터 시각적 탐색을 하도록 모델을 수립하였다. 'Move-button-attention-target'은 현재 보고 있는 곳으로 Attention을 옮기도록 하는 Production Rule 로써 본 모델의 시각적 전략의 가정에 따라 2개 메뉴씩 Attention을 옮기도록 하였다.
하지만 본 연구는 이들의 연구와는 차별적으로 현재 가장 많이 사용되는 Input device 중에 하나인 터치스크린 환경으로 연구를 진행하였으며 그 메뉴 구조 역시 상용화되고 있는 핸드폰의 메뉴 구조를 구현하여 실시하였다. 또한 메뉴 선택에 대한 수행도를 예측하기 위한 인지 아키텍쳐는 현재까지 가장 많이 연구되고 있는 ACT-R 6.
대상 데이터
각 메뉴의 크기는 너비 40mm, 높이 124mm이며 총 12개의 버튼으로 구성되어 있다.
데이터처리
실험 장비는 International Allegro Common Lisp Professional Edition 8.2 프로그램을 시용하였고 ACT-R 6.0 인지 아키텍쳐로 모델을 수립하였다. ACT-R의 모델을 수립하기 위하여 먼저 실제 실험과 동일한 Task 환경을 구현하였다.
동적 메뉴 모델 역시 실험 값과 모델의 t-test 결과 두 평균의 차이가 다르지 않음을 확인하였다(Table 2). 이는 정적인 모델과 마찬가지로 모델의 예측 값이 실제 값을 정확히 예측한다는 것을 의미하며, 이 둘간의 상관관계와 결정 계수 등을 확인하기 위해 회귀분석을 실시하였다. 동적 메뉴 모델의 경우 예측 값과 실제 값과의 상관계수 R2 값이 0.
이론/모형
본 연구는 기존의 메뉴 선택 과정에서 일어나는 시각적 탐색 과정인 exhaustive search(Nilsen, 1991)가 아니라 pre-attentive search를 이용하였다. 인간의 중심와(Fovea)의 각도인 2°와 모니터와 눈과의 거리를 계산하여 한번에 볼 수 있는 메뉴의 수(2개)를 정하고 모델을 수립하였는데 이는 실제 피 실험자의 data에서도 확인할 수 있었다.
성능/효과
본 연구 결과 실제 피 실험자를 중심으로 한 실험 데이터(여기서의 실험 값은 Kong(2009)의 실험 값이다.)와 인지 모델의 예측 값을 t-test로 분석한 결과 6개의 task 중 모두 통계적으로 평균의 차이가 다르지 않다는 것을 알 수 있었다(Table 1).
본 연구는 기존까지의 연구 방법인 피 실험자들 기반으로 하는 평가와는 달리 인지모델을 이용한 수행도 예측해 보았다. 기존의 연구 결과로 발표된 실험(Kong et al., 2008) 이었던 터치스크린 환경의 Task를 ACT-R이라는 인지 아키텍쳐를 이용해 모델링하여 그 데이터 값과 비교한 결과, 피 실험자들의 행위 패턴을 그대로 따르고 있음은 물론 정확한 예측 값을 확인할 수 있었다. 기존의 연구(Kong et al.
동적 메뉴 모델 역시 실험 값과 모델의 t-test 결과 두 평균의 차이가 다르지 않음을 확인하였다(Table 2). 이는 정적인 모델과 마찬가지로 모델의 예측 값이 실제 값을 정확히 예측한다는 것을 의미하며, 이 둘간의 상관관계와 결정 계수 등을 확인하기 위해 회귀분석을 실시하였다.
그 결과 메뉴 선택 과제에 대해 exhaustive search를 할 때 보다 pre-attentive를 이용한 수행 예측이 실제 data와 더 유사한 결과를 보였다. 따라서 메뉴 선택 과제 등의 간 단하고 익숙한 과제일 경우, 그 시각적 탐색 과정이 메뉴 하나하나에 attention을 주기보다는 인간의 시각적 특성을 고려한 pre-attentive 전략이 실제와 가깝다는 것을 알 수 있었다.
84로 분석되었다. 따라서 정적 메뉴에 대한 수행 예측 모델이 정확하게 수립되었음을 확인하였다.
또한 모델의 예측 값과 실제 값의 상관관계 분석을 하기 위하여 회귀 분석을 실시한 결과 다중 상관계수인 R2 값이 0.92로 높은 상관관계가 있음을 알 수 있었다.
본 연구 결과에서 볼 수 있듯이 모델링의 예측 값 역시 기존 연구의 결과와 동일하게 정적인 인터페이스보다는 동적인 인터페이스에서 그 수행시간이 짧게 나타남을 확인할 수 있었다. 또한 전체 수행 결과를 물리적인 과정과 인지적인 과정으로 분리하여 비교한 결과 물리적인 과정보다 인지적인 과정이 전체 수행도에 미치는 영향이 더욱 중요하게 나타남을 확인할 수 있었다.
본 연구 결과에서 볼 수 있듯이 모델링의 예측 값 역시 기존 연구의 결과와 동일하게 정적인 인터페이스보다는 동적인 인터페이스에서 그 수행시간이 짧게 나타남을 확인할 수 있었다. 또한 전체 수행 결과를 물리적인 과정과 인지적인 과정으로 분리하여 비교한 결과 물리적인 과정보다 인지적인 과정이 전체 수행도에 미치는 영향이 더욱 중요하게 나타남을 확인할 수 있었다.
본 연구에서는 기존의 연구인 Kong(Kong et al., 2009) 연구 결과와 마찬가지로 정적 메뉴 모델보다 동적인 메뉴 모델에서 그 수행도가 더 좋음을 모델 예측 값을 통해 확인하였다(p-value <0.00).
뿐만 아니라 결과 분석을 통해 전체 수행시간 중 물리적인 시간만을 도출할 수 있어 추가적인 정보를 확인할 수 있었다. 즉, 정적인 모델은 전체 수행시간 중 물리적인 시간이 차지하는 비율은 25% 정도였고(317~361ms) 나머지 시간은 인지적인 시간으로 확인되었다.
즉, 정적인 모델은 전체 수행시간 중 물리적인 시간이 차지하는 비율은 25% 정도였고(317~361ms) 나머지 시간은 인지적인 시간으로 확인되었다. 주어진 6가지의 과제에 따라 전체 수행시간은 차이가 나는 반면 물리적인 시간의 차이는 나지 않는 것으로 분석되었다. 이는 Kong(2009)의 연구 결과와 마찬가지로 물리적인 이동거리는 전체 수행시간에 큰 영향을 미치지 않는다는 것으로 확인할 수 있었으며 그 이외의 시간인 인지적 과정이 전체 수행도에 큰 영향을 미치는 것으로 분석되었다.
뿐만 아니라 결과 분석을 통해 전체 수행시간 중 물리적인 시간만을 도출할 수 있어 추가적인 정보를 확인할 수 있었다. 즉, 정적인 모델은 전체 수행시간 중 물리적인 시간이 차지하는 비율은 25% 정도였고(317~361ms) 나머지 시간은 인지적인 시간으로 확인되었다. 주어진 6가지의 과제에 따라 전체 수행시간은 차이가 나는 반면 물리적인 시간의 차이는 나지 않는 것으로 분석되었다.
첫 번째는, 인지 아키텍쳐인 ACT-R모델을 통해 터치스크린 환경에서의 메뉴 선택 수행도를 예측할 수 있었고, 두 번째는 그 예측 값이 실제 실험 값과 비교한 결과 정확한 수행도를 예측한다는 것을 알 수 있었다.
후속연구
따라서 본 연구 결과는 모델을 이용한 수행도 예측에 대한 연구가 시발점에 놓인 현 상황에서 HCI를 포함한 사용성 평가에 있어 많은 도움이 될 것이라 기대된다.
현재 ACT-R의 모델을 이용한 연구 분야를 보면 간단히 한 가지 번호를 선택하는 task(Nilsen, 1991)에서부터 자동차 driving simulation(Salvucci, 2005, Salvucci & Taatgen, 2007, Brumby & Salvucci, 2006)까지 다양한 분야에서 인지 아키텍쳐인 ACT-R이 사용되고 있다. 따라서 연구의 특성이나 Task가 이루어지는 환경에 따라 시선이나 주의 (Attention)가 옮겨지는 시간을 조절하는 것이 정확한 모델을 수립하는데 도움이 될 것으로 생각된다.
본 연구는 비교적 단순한 메뉴 선택에 대한 수행 예측이 었지만 그 결과는 기존까지의 사용성 평가에 대한 방법론의 단점을 보완하는 방법론으로 사용될 수 있음을 시사한다. 서두에서 언급한 바와 마찬가지로 인지 모델을 이용한 사용성 평가는 실제 피 실험자를 대상으로 하는 평가에 비해 큰 장점을 제공한다.
즉, 평가를 위한 비용과 시간을 절약할 수 있으며 피 실험자 간의 개인차를 고려하지 않아도 된다는 것이다. 인지 모델을 이용한 수행도 예측의 범위를 확대하여 연구한다면 실제 사람이 실험하기 어려운 환경이나 위험한 환경에서의 평가도 충분히 가능할 것이다. 특히 ACT-R 모델의 경우 GOMS 등과는 달리 상대적인 인터페이스의 비교는 물론 절대적인 수행시간까지 예측이 가능하며 그 범위도 다양하게 적용될 수 있다(Anderson et al.
질의응답
핵심어
질문
논문에서 추출한 답변
사용성 평가를 실시하기 위한 방법으로 실제 시스템을 실제 사용자가 사용하게 하여, 배우기 쉽고 오류가 적으며 수행도가 좋은지 평가하는 방법은 어떤 문제점이 있는가?
이러한 사용성 평가를 가장 정확하게 실시하는 방법은 실제 시스템을 실제 사용자가 사용하게 하여, 배우기 쉽고 오류가 적으며 수행도가 좋은 지를 평가하는 것이다. 그러나 새로운 기술이나 시스템의 개발 주기가 매우 짧아지는 최근의 추세를 감안해 볼 때, 시스템 개발단계에서 여러 차례 반복되어야 하는 사용성 평가를 실시하기 위해 계속 사용자를 선발하고 훈련시키는 것은 시간과 노력이 매우 많이 소요될 뿐만 아니라 자칫하면 시스템 개발이 지연되는 문제점을 유발시킬 수도 있다. 이와 같이 실제 사용자를 선발하고 훈련 하여 사용성 평가를 실시할 때 생기는 문제점을 보완하기 위한 대안으로 인지 모델링(Cognitive modeling)에 의한 사용성 평가 방법을 들 수 있다.
사용성평가의 두 가지 방법은 무엇인가?
이 때 시스템의 인터페이스가 위와 같은 목적에 잘 부합되게 설계 되어 있는지 확인하는 것을 사용성 평가라고 한다. 사용성평가에는 크게 두 가지 방법이 있는데, 시제품(Prototype) 과 실제 피 실험자를 필요로 하는 실증적 평가(Empirical Evaluation)과 아키텍쳐를 이용한 분석적 평가(Analytical Evaluation)가 있다.
효율적인 시스템 인터페이스란 무엇을 말하는 것인가?
그러나 제품이나 시스템을 개발하는 경우 단 한 번의 인터페이스 설계로 위와 같은 결과를 얻기는 어려우며 '시 제품(Prototype) 설계 → 평가 → 분석 → 재설계'의 과정을 반복하면서 효율적인 시스템 인터페이스를 얻어낼 수 있다. 효율적인 시스템 인터페이스란 학습하기 쉽고 오류 발생이 적으며 숙련되었을 때 적은 노력을 들이고도 빠른 시간 내에 과제 목표를 달성하게 해주는 시스템을 말한다. 이 때 시스템의 인터페이스가 위와 같은 목적에 잘 부합되게 설계 되어 있는지 확인하는 것을 사용성 평가라고 한다.
참고문헌 (23)
http://act-r.psy.cmu.edu
Amant, R., Horton, T. E. & Ritter, F. E., Model-based Evaluation of Expert
※ AI-Helper는 부적절한 답변을 할 수 있습니다.