[국내논문]사용성(Heuristics) 평가 항목을 통한 온라인 게임성 평가 시스템 설계 및 구현 The Design and Development of On-line Game Characteristic Evaluation System by a Heuristic Evaluation Item원문보기
본 논문은 게임성 평가 모델 설계를 기반으로 온라인 게임성 평가 시스템 설계 및 구현을 중점적으로 연구하였다. 온라인 게임성 평가 시스템이란 평가 요소를 정의한 모델 설계를 통하여 온라인상에서 게임을 실시간으로 평가하는 시스템을 의미한다. 게임성 평가 시스템은 사용성 평가(HeuristicEvaluation) 기법을 활용하여 기술적 요소, 관리적 요소, 사회적 요소, 경쟁력 요소의 4부분으로 평가를 실시하였다. 게임성 평가의 객관성과 타당성 검증을 위하여 초급자, 중급자, 전문가 세 분류를 통하여 평가를 실시하여 신뢰도를 높였으며, 게임성 평가 포럼을 개최하여 다양한 계층의 의견을 수렴하였다.
본 논문은 게임성 평가 모델 설계를 기반으로 온라인 게임성 평가 시스템 설계 및 구현을 중점적으로 연구하였다. 온라인 게임성 평가 시스템이란 평가 요소를 정의한 모델 설계를 통하여 온라인상에서 게임을 실시간으로 평가하는 시스템을 의미한다. 게임성 평가 시스템은 사용성 평가(Heuristic Evaluation) 기법을 활용하여 기술적 요소, 관리적 요소, 사회적 요소, 경쟁력 요소의 4부분으로 평가를 실시하였다. 게임성 평가의 객관성과 타당성 검증을 위하여 초급자, 중급자, 전문가 세 분류를 통하여 평가를 실시하여 신뢰도를 높였으며, 게임성 평가 포럼을 개최하여 다양한 계층의 의견을 수렴하였다.
This paper mainly focused on research developing online game characteristic evaluation system based on game characteristic evaluation model design. Online game characteristic evaluation system is a system that evaluates game online in real-time using evaluation elements defined by model design. Game...
This paper mainly focused on research developing online game characteristic evaluation system based on game characteristic evaluation model design. Online game characteristic evaluation system is a system that evaluates game online in real-time using evaluation elements defined by model design. Game characteristic evaluation system uses heuristic evaluation method, which is used to execute evaluation in four parts, technical element, manage element, social element, and competitive element. To verify objectivity and validity of game characteristic evaluation, assessment was performed by three groups of beginners, intermediates, and professionals to increase the trust. And game characteristic evaluation forum was hosted to collect opinion from diverse classes.
This paper mainly focused on research developing online game characteristic evaluation system based on game characteristic evaluation model design. Online game characteristic evaluation system is a system that evaluates game online in real-time using evaluation elements defined by model design. Game characteristic evaluation system uses heuristic evaluation method, which is used to execute evaluation in four parts, technical element, manage element, social element, and competitive element. To verify objectivity and validity of game characteristic evaluation, assessment was performed by three groups of beginners, intermediates, and professionals to increase the trust. And game characteristic evaluation forum was hosted to collect opinion from diverse classes.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
기존의 소프트웨어나 웹은 배우기 쉽고 사용하기 편리하게 하는 것을 목표로 사용성 평가를 하였다. 그러나 게임은 영화나 소설과 같이 여가를 즐기거나 재미를 얻기 위해서 사용하는 경우가 대부분이다.
즉 게임성평가 시스템은 신규 게임에 대한 다양한 진단을 통하여 개발사 및 퍼블리서(Publisher)의 업무 효율성을 높이고 서로간의 연계성을 확보하여 전체 게임산업의 활성화를 지원하는 주요 인프라이다. 또한 GM(Game Manager)교육서비스 개발을 지원하여 게임업체 종사자들에게 새로운 자료와 뉴스를 제공하여 교육적 효과도 동시에 제공하고자 한다.
본 연구에서는 여러 게임을 평가하면서 평가요소를 정리하였고 공통된 평가기준을 계량화 하여 온라인상에서 게임을 평가하게 하였다. 또한 유사한 타 게임과의 비교를 통하여 시장성과 사회성을 조사하여 출시되는 게임의 성공가능성을 예측하고자 한다.
본 연구는 최종적으로 온라인 게임성평가 시스템을 설계 및 구현하는 것이다. 게임성평가 시스템의 주요 목적인 게임성평가 모델 발굴을 위하여 게임성평가 포럼을 개최하였고, 다양한 계층(초급자, 중급자, 전문가 그룹)에게 설문조사를 시행하여 게임성평가 모델의 검증과 타당성을 검증 받았다.
본 연구에서 게임성평가 항목 가중치를 도출하기 위하여 전문가 그룹을 대상으로 설문조사를 실시하였다. 가중치를 결정하는 방법으로는 순위 혹은 범주를 이용하는 것, 평점을 부여하는 것, 쌍대 비교를 실시하여 이들에 대한 선호를 질문 하는 것, 100점을 기준으로 비율을 질문하는 것, 효용함수의 무차별 상쇄 이론에 근거한 무차별로 상쇄하는 것, 선호 순위를 물어보는 것, 비용 우위의 경제적 기준을 비교하여 사전식으로 나열하는 것 등의 방법이 있다.
본 연구에서는 여러 게임을 평가하면서 평가요소를 정리하였고 공통된 평가기준을 계량화 하여 온라인상에서 게임을 평가하게 하였다. 또한 유사한 타 게임과의 비교를 통하여 시장성과 사회성을 조사하여 출시되는 게임의 성공가능성을 예측하고자 한다.
앞에서 언급한 것처럼 게임을 평가할 때 재미에 방해를 주는 요소를 줄이고 게임이 기획의도대로 개발되었는지를 사용자의 입장에서 평가하는 것이다. 게임은 사용자가 성취하고자 하는 과제에 따라 사용자가 느끼는 재미와 흥미에 따라 영향을 받게 된다.
이에 본 연구는 게임성평가 모델을 설계하고 이를 사용성평가(Heuristic Evaluation)에 접목하여 온라인 평가시스템을 구현하였다. 특히 사용성 평가는 사용자 입장에서 사용이 얼마나 편리하게 설계되어 있는지를 사용자의 관점에서 여러 가지 실험과 분석을 통하여 특정 하는 것으로 게임업체의 사용자에 관한 평가를 받고자 할 때 가장 적합한 평가방법으로 판단한다.
이에 본 연구에서는 ISO/IEC[8]에서 권고하고 있는 평가 및 선정방법 중 점수위주의 평가 방법을 선택하여 평가되는 게임 업체 전문가의 의견을 반영하여 가중치를 도출하고자 하며, 본 연구에서 가중치는 [표 2]와 같다.
가설 설정
가중치를 결정하는 방법으로는 순위 혹은 범주를 이용하는 것, 평점을 부여하는 것, 쌍대 비교를 실시하여 이들에 대한 선호를 질문 하는 것, 100점을 기준으로 비율을 질문하는 것, 효용함수의 무차별 상쇄 이론에 근거한 무차별로 상쇄하는 것, 선호 순위를 물어보는 것, 비용 우위의 경제적 기준을 비교하여 사전식으로 나열하는 것 등의 방법이 있다. 게임성평가 항목 가중치 값은 게임성평가 시스템을 이용하여 게임을 평가할 때 게임 업체마다 요구 사항이 다르고, 중요하게 여기는 항목이 다르기 때문에 게임을 평가할 때 가중치가 유동적임을 가정한다.
제안 방법
게임성평가 모델의 설계를 위해 기존 자료를 조사하였다. 이 자료는 관련 논문 및 연구 자료를 비롯하여 게임업체에서 사용 중인 게임평가 항목들도 모델 설계에 적용 하였다.
세분화된 게임성평가 모델의 신뢰도 분석을 위하여 세 그룹(초보자, 중급자, 전문가)의 데이터를 비교 분석하였다. 게임성평가 시스템을 통하여 얻을 수 있는 효과를 교육적 및 산업체 두 부분을 나누어 보았다. 교육적으로는
본 연구는 최종적으로 온라인 게임성평가 시스템을 설계 및 구현하는 것이다. 게임성평가 시스템의 주요 목적인 게임성평가 모델 발굴을 위하여 게임성평가 포럼을 개최하였고, 다양한 계층(초급자, 중급자, 전문가 그룹)에게 설문조사를 시행하여 게임성평가 모델의 검증과 타당성을 검증 받았다. 또한 게임성평가 시스템의 타당성 검증을 위해 실험 데이터를 이용한 모든 통계분석은 SPSS12.
게임성평가 항목을 평가하기 위한 게임은 상업용으로 출시되어 있는 “바람의나라” 및 “메이플스토리”를 설문조사 하였다.
전문가 그룹은 게임관련 전문지식을 가지고 있으며 게임업체에 종사하거나 종사 하였던 피험자들을 의미한다. 게임업체 평가는 직접 방문과 우편물을 사용하여 시행하였다.
기본 지표 설계는 기존 연구 자료와 본 논문에서 연구된 자료를 바탕으로 설계되었으며 설문지 평가로 단계적으로 설문지 항목의 문제점을 파악하고 다음 단계평가로 이동하는 방식으로 지표를 수정하여 최종적으로 게임성평가 지표를 설계한다.
전문적으로 게임에 관련된 학습을 받지 않았거나, 게임관련 업무를 경험해보지 않은 피험자들을 의미한다. 먼저 설문조사를 위한 오픈테스트를 시행 하였다. 즉 조사하고자 하는 게임관련 사용자들을 먼저 모집한 후 게임테스트를 거쳐서 설문조사를 실행하였다.
본 연구에서 사용하는 게임성평가 기본 모델은 Jakob Nielson의 사용성평가를 바탕으로 강기호[4]가 발표한 게임성 평가항목을 추가 하였으며 전문성, 객관성 및 활용성 확보를 통한 실무적인 모델 설계를 바탕으로 내/외부 사례 분석에 따른 적합성 및 연계성을 검토하여 단계적인 분석 모델을 구축하였다. 대부분의 평가는 개발사가 게임을 개발하기 위해 게임이 갖춰야 하는 게임의 구성요소에 따른 특성을 고려하여 게임을 평가하게 된다.
본 연구의 게임성평가 모델의 특징은 단순히 게임 기획의도만을 평가하는 것이 아니라 게임의 사용성평가(Heuristc evaluation)항목을 바탕으로 게임의 기술적 요소(오락성), 관리직 요소, 사회적 요소, 경쟁력 요소 4부분을 큰 항목으로 나누고 각 항목을 다시 세분화 하였다. [표 1]은 게임구성요소와 각 항목에 대한 정의를 정리한 표이다.
설문조사는 앞서 언급한 3개의 그룹으로 나누었다. 세 그룹으로 나눈 이유는 실험에 참가하는 피험자들의 특성을 확인하고 게임 경험 전문성 정도를 분류 기준으로 삼아 게임성평가 지표가 타당한지를 조사하기 위해서 세 그룹으로 나누어 조사를 실시하였다. 총 450명을 설문조사 하였으며 각 그룹은 150명으로 구성되어졌다.
0 Windows를 이용하여 다양한 분석 방법을 실시하였다. 세분화된 게임성평가 모델의 신뢰도 분석을 위하여 세 그룹(초보자, 중급자, 전문가)의 데이터를 비교 분석하였다. 게임성평가 시스템을 통하여 얻을 수 있는 효과를 교육적 및 산업체 두 부분을 나누어 보았다.
게임성평가 모델의 설계를 위해 기존 자료를 조사하였다. 이 자료는 관련 논문 및 연구 자료를 비롯하여 게임업체에서 사용 중인 게임평가 항목들도 모델 설계에 적용 하였다.
총 450명을 설문조사 하였으며 각 그룹은 150명으로 구성되어졌다. 조사 장소는 초보자 그룹 및 중급자 그룹은 게임의 오픈 테스트를 통하여 모인 게임 스튜디오에서 시행하였으며, 전문가 그룹은 부산 및 서울 경기도의 게임업체를 방문하여 직접 전달 받거나 e메일을 통하여 설문지를 회수 하였다.
먼저 설문조사를 위한 오픈테스트를 시행 하였다. 즉 조사하고자 하는 게임관련 사용자들을 먼저 모집한 후 게임테스트를 거쳐서 설문조사를 실행하였다.
첫 번째 수준은 ‘게임기획’ 및 ‘게임컨설팅실습’등 게임 관련 교육을 받지 않은 초보자 그룹, 두 번째 수준은 게임에 대한 경험은 있었지만 게임 평가에 있어서 중급자 그룹, 세 번째 수준으로 게임 경험도 충분하고 게임업체에서 종사하는 전문가 수준에 이른 전문가 그룹으로 나누었다.
본 연구에서 게임성 모델 평가에 참여한 그룹은 고등학교 학생과 게임을 전공하는 학생, 그리고 게임업체 실무자들이 모델을 평가하는데 참여 하였다. 평가는 5월, 6월, 7월, 8월에 이루어졌으며 본 평가에서는 MMORPG 게임에 대한 전문성의 수준에 따라 3개의 그룹으로 나누어 실시하였다.
대상 데이터
본 연구에서 게임성 모델 평가에 참여한 그룹은 고등학교 학생과 게임을 전공하는 학생, 그리고 게임업체 실무자들이 모델을 평가하는데 참여 하였다. 평가는 5월, 6월, 7월, 8월에 이루어졌으며 본 평가에서는 MMORPG 게임에 대한 전문성의 수준에 따라 3개의 그룹으로 나누어 실시하였다.
중급자 그룹은 게임과 관련하여 전문적인 학습을 받았으나 관련 업체에 종사하지 않은 피험자들을 의미한다. 본 연구에서 중급자 그룹은 대학에서 게임 관련학과 학생을 뜻하며 게임 기획과 게임 제작 과정 수업을 수강한 학생들이다.
세 그룹으로 나눈 이유는 실험에 참가하는 피험자들의 특성을 확인하고 게임 경험 전문성 정도를 분류 기준으로 삼아 게임성평가 지표가 타당한지를 조사하기 위해서 세 그룹으로 나누어 조사를 실시하였다. 총 450명을 설문조사 하였으며 각 그룹은 150명으로 구성되어졌다. 조사 장소는 초보자 그룹 및 중급자 그룹은 게임의 오픈 테스트를 통하여 모인 게임 스튜디오에서 시행하였으며, 전문가 그룹은 부산 및 서울 경기도의 게임업체를 방문하여 직접 전달 받거나 e메일을 통하여 설문지를 회수 하였다.
데이터처리
게임성평가 시스템의 주요 목적인 게임성평가 모델 발굴을 위하여 게임성평가 포럼을 개최하였고, 다양한 계층(초급자, 중급자, 전문가 그룹)에게 설문조사를 시행하여 게임성평가 모델의 검증과 타당성을 검증 받았다. 또한 게임성평가 시스템의 타당성 검증을 위해 실험 데이터를 이용한 모든 통계분석은 SPSS12.0 Windows를 이용하여 다양한 분석 방법을 실시하였다. 세분화된 게임성평가 모델의 신뢰도 분석을 위하여 세 그룹(초보자, 중급자, 전문가)의 데이터를 비교 분석하였다.
이론/모형
각 항목에 대한 신뢰성을 측정하는 방법에는 재검사법(test-retest method), 복수양식법(multiple forms techniques), 반분법(split-half method), 내적 일관성 분석(internal consistency analysis)이 주로 사용되는데, 본 연구에서는 게임성평가 항목을 통한 설문조사를 시행하였으므로 신뢰성을 검정하기 위하여 전체 항목과 각 하위 영역별 구성요소로 Cronbach's alpha 계수를 사용하였다.
본 연구의 게임성평가 시스템이 포함하고 있는 장르는 MMORPG(Massively Multi-player Online Role Playing Game)이다. 본 평가 시스템으로 각 장르의 폭넓은 부분까지 평가 하기는 부족하다.
성능/효과
2) 평가 시스템의 활용을 통한 게임 운영능력, 운영을 통한 개발지원 수준을 향상 시킬 수 있다.
3) 게임성평가 시스템을 교육도구로 활용함으로써 GM(Game Manger)의 교육 및 양성 효과를 얻을 수 있다. 게임업체는
0)가 측정하고자 하는 현상을 일관성 있게 측정하는 노력 또는 동일한 개념에 대해 측정을 반복했을 때 동일한 측정값을 얻을 가능성을 말한다. 따라서 전체적인 내용으로 보아 본 연구의 게임성평가 모델은 신뢰성이 있는 척도라고 할 수 있다.
후속연구
이러한 부분은 추후 보완하여 다양한 옵션을 선택할 수 있도록 설계 하려고 한다. 그리고 장르별로 다양한 평가가 가능하도록 추후 평가모델을 발굴 수정할 필요가 있다. 또한 본 연구에서 게임성평가 시스템은 게임의 정식 출시 이전에 게임을 이용해본 유저의 의견을 회사에서 원하는 항목을 통하여 수렴하는 것에 중점을 두고있으므로 게임성평가 시스템의 결과에 대한 신뢰도는 배제하였다.
질의응답
핵심어
질문
논문에서 추출한 답변
사용성평가의 목적은 무엇인가?
사용성평가(Heuristic evaluation)란 소프트웨어 사용자 인터페이스를 평가 목적으로 개념화시킨 방법으로 전문가는 물론 비전문 평가자들이 평가 가이드라인을 사용하여 시스템 인터페이스의 약점이나 문제점을 파악할 수 있도록 돕는데 그 목적이 있다. 주로 웹사이트 사용성 평가에 맞춰 설계된 10개의 문항은 게임에 적합한 문항으로 수정하여 다음과 같이 정리하였다[2].
온라인 게임성 평가 시스템이란 무엇인가?
본 논문은 게임성 평가 모델 설계를 기반으로 온라인 게임성 평가 시스템 설계 및 구현을 중점적으로 연구하였다. 온라인 게임성 평가 시스템이란 평가 요소를 정의한 모델 설계를 통하여 온라인상에서 게임을 실시간으로 평가하는 시스템을 의미한다. 게임성 평가 시스템은 사용성 평가(Heuristic Evaluation) 기법을 활용하여 기술적 요소, 관리적 요소, 사회적 요소, 경쟁력 요소의 4부분으로 평가를 실시하였다.
퍼블리서 관점에서의 게임성평가 시스템 개발 목표는 무엇인가?
•콘텐츠 확보를 위한 네트워크 제공
•게임의 완성도에 대한 객관적, 전문적 가이드 제공
•게임성에 대한 정량적 진단 결과 제공
•마케팅, 서비스 방안 수립을 위한 게이머들의 피드백 제공
•평가자로서의 게이머를 게임 서비스 이용자로 흡수
참고문헌 (8)
박철홍,“머그게임의 평가모델 개발과 결과적용절차”, pp.22-29, 한국정보통신교육원, 2003.
Falstein, N. and Barwood, H. The 400 Project. Available at http://theinspiracy.com/400_project.htm.
강기호, 김병기, “감성공학을 통한 게임성평가항목에 관한 연구”, 한국모바일학회, Vol. 5, No .7 pp 41-49, 2007.
DFC Intelligence, "Challenges and oppertunities in the online game market", 2003. http://www.dfcint.com/game_article/june03article.html
Federoff, M. "User Testing for Games :Getting Better Data Earlier.", 2003, Game Developer Magazine.
Federoff, M. "Heuristics and Usability Guidelines for the Creation and Evaluation of FUN in Video Games", Dec.2002, Thesis at the University Grauate School of Indiana University.
ISO/IEC 9126, Information Technology-Software Quality Characteristics and Metrics, 2000
※ AI-Helper는 부적절한 답변을 할 수 있습니다.