본 논문은 온라인 평가 문항 관리 시스템 및 방법에 관한 것이다. 제안하는 시스템은 학습자 정보 데이터베이스, 영역별, 난이도별로 분류된 문항을 저장하는 문제 은행 데이터베이스로 구성된다. 문제은행 데이터베이스는 특정 학습자 또는 특정 학습에 대한 문항을 선택하는 문항 선제부, 특정 학습자 또는 특정 학습에 대한 문제지를 제작하는 문제지 제작부, 문제지를 저장하였다가 온라인 테스트를 수행할 때 출력하는 문제지 은행 데이터베이스를 포함한다. 학습자가 온라인 테스트에 제출된 문항들에 대한 문항 선택순서, 보기 선택순서, 클릭회수, 반응시간에 대한 평가 데이터를 수집하는 온라인 테스트부, 및 온라인 테스트부로부터 수집된 학습자의 온라인 테스트 평가 데이터를 분석하여 학습자의 학습수준과 학습능력, 성향을 평가하고 진단하여 보고하는 반응패턴 분석부를 포함한다. 제안하는 시스템은 보기 선택순서, 클릭회수, 반응시간을 학습자의 평가결과에 반영하여 효율적으로 학습자의 학습수준과 학습능력, 성향을 평가하고 진단할 수 있다.
본 논문은 온라인 평가 문항 관리 시스템 및 방법에 관한 것이다. 제안하는 시스템은 학습자 정보 데이터베이스, 영역별, 난이도별로 분류된 문항을 저장하는 문제 은행 데이터베이스로 구성된다. 문제은행 데이터베이스는 특정 학습자 또는 특정 학습에 대한 문항을 선택하는 문항 선제부, 특정 학습자 또는 특정 학습에 대한 문제지를 제작하는 문제지 제작부, 문제지를 저장하였다가 온라인 테스트를 수행할 때 출력하는 문제지 은행 데이터베이스를 포함한다. 학습자가 온라인 테스트에 제출된 문항들에 대한 문항 선택순서, 보기 선택순서, 클릭회수, 반응시간에 대한 평가 데이터를 수집하는 온라인 테스트부, 및 온라인 테스트부로부터 수집된 학습자의 온라인 테스트 평가 데이터를 분석하여 학습자의 학습수준과 학습능력, 성향을 평가하고 진단하여 보고하는 반응패턴 분석부를 포함한다. 제안하는 시스템은 보기 선택순서, 클릭회수, 반응시간을 학습자의 평가결과에 반영하여 효율적으로 학습자의 학습수준과 학습능력, 성향을 평가하고 진단할 수 있다.
This paper presents the online assessment questions management system and method. The proposed system consists of a database to store learner information and zone-specific items grouped by difficulty and item bank. This database includes: an item selection department and authoring assessment to sele...
This paper presents the online assessment questions management system and method. The proposed system consists of a database to store learner information and zone-specific items grouped by difficulty and item bank. This database includes: an item selection department and authoring assessment to select questions about a particular learner or specific learning item. In this paper, we propose: an item bank database which stores online output assessments; and an online test department to collect and sort learner evaluation data and answer selection order for online tests, click statistics, response time, and analysis unit response patterns department by analyzing the data collected by the online learners' test assessment, learners' level and ability, the diagnosis and assessment of report propensity. The proposed system will diagnose and effectively evaluate the learner's learning levels and learning ability by: answer selection order, number of clicks, and response time reflected in the results of the learners' evaluations.
This paper presents the online assessment questions management system and method. The proposed system consists of a database to store learner information and zone-specific items grouped by difficulty and item bank. This database includes: an item selection department and authoring assessment to select questions about a particular learner or specific learning item. In this paper, we propose: an item bank database which stores online output assessments; and an online test department to collect and sort learner evaluation data and answer selection order for online tests, click statistics, response time, and analysis unit response patterns department by analyzing the data collected by the online learners' test assessment, learners' level and ability, the diagnosis and assessment of report propensity. The proposed system will diagnose and effectively evaluate the learner's learning levels and learning ability by: answer selection order, number of clicks, and response time reflected in the results of the learners' evaluations.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
교수자 단말이 온라인으로 온라인 평가 문항 관리 시스템에 접속하여 문항을 선제하고, 문제지를 제작하여 데이터베이스에 저장하는 단계, 지정된 문제지를 온라인 테스트로 출력하여 학습자 단말에서 온라인 테스트를 수행하는 단계, 온라인 테스트에 제출된 문항들에 대한 상기 학습자가 수행하는 문항 선택순서, 보기 선택순서, 클릭회수, 반응시간에 대한 평가 데이터를 기록, 저장하는 단계 및 온라인 테스트로부터 저장된 학습자의 온라인 테스트 평가 데이터로부터 반응 패턴을 생성, 분석하여 학습자의 학습수준과 학습능력, 성향을 평가, 진단하여 보고한다.
그러므로, 본 논문에서는 학습자의 반응을 분석하면서 학업 능력을 평가하고, 이에 따른 문항을 제공할 수 있는 방법을 제안하고자 한다.
또한, 문항의 보기 선택 과정을 모두 기록하여, 문항의 보기 선택을 번복하였을 경우, 정답 여부에 따른 결과를 별도로 기록하고, 관리하도록 한다. 보기 선택의 번복에 따른 정답 여부 결과에 따라 학습자의 능력과 성향 등을 분석하는 데이터로 사용하도록 한다.
또한, 본 논문은 이러닝 평가 시스템에서 문항 분류 관리 체계를 구성하고, 이를 활용하여 문항의 고유코드를 통해 문항을 관리하며, 상호 호환을 통하여 공유할 수 있고, 제작한 문항이나 시험지를 상호 호환되거나 공유해서 사용할 수 있도록 하는 온라인 평가 문항 관리 시스템 및 방법을 제공하기 위한 것이다.
SIETTE의 경우 컴퓨터 적응적 테스트 기반의 모듈을 사용하여 학습자의 학력 수준을 분석하고 이에 따라 학습자의 학력 수준에 맞는 문항을 제공하는 방식을 제안하였다[3]. 본 논문은 이에 더 나아가 학습자의 학력 수준 뿐만 아니라 다양한 특성을 분석할 수 있는 학습자 모델링 방법을 제안하고 이에 따라 적응적 평가 기반의 시스템에서 학습자 수준과 학습자 반응 패턴에 적합한 문항을 추출할 수 있는 기법을 제안하였다.
본 논문은 이와 같은 기존의 문제점을 해결하기 위하여 학습자의 반응을 분석하여 학습자의 능력을 평가하기 위해 온라인 평가에 있어서 학습자의 문제 선택순서, 보기 선택순서, 클릭회수, 반응시간을 모두 학습자의 평가결과에 반영하여 효율적으로 학습자의 학습수준과 학습능력, 성향을 평가하고 진단할 수 있는 온라인 평가 문항 관리 시스템 및 방법을 제공하기 위한 것이다.
제안 방법
온라인 테스트로 출력되는 문제지의 문항들에 대한 응답 입력 순서를 체크하는 입력 순서 체크 모듈을 포함되어서, 온라인 테스트로 출력되는 문제지의 문항들에 대한 응답 입력 시간을 체크하고, 학습자의 문항 선택순서, 보기 선택순서, 클릭회수, 반응시간에 대한 반응 패턴을 생성하도록 한다. 각 문항에서 풀기 버튼을 누르고, 문항에 응답하는 동안에, 학습자의 문항 선택순서, 보기 선택순서, 클릭회수, 반응시간에 대한 반응 패턴을 분석하고, 이러한 반응 패턴에 대하여 학습자의 학습 수준과 학습 능력, 성향과의 연관성을 평가하고 진단하도록 한다.
그리고, 기존 응답자의 보기 선택 과정의 기록을 패턴화 시키고, 현재 학습자의 보기 선택 과정의 기록과 기존 응답자의 패턴을 분석하여 연관성 분석을 한다. 또한, 연관성 분석 모듈은 상기반응 패턴에 대하여 학습자의 학습수준과 학습능력, 성향과의 연관성을 평가하고 진단하고, 결과 리포팅 모듈은 반응 패턴 분석부에서 평가된 온라인 테스트 결과를 온라인으로 학습자 단말 또는 교수자 단말로 보고하게 된다.
문항 유형 정보는 선택형(choice), 다중선택형(multiple choice), 결합형(match), 삽입형(inline choice), 텍스트 삽입형(text entry) 중에서 선택될 수 있다. 그리고, 문제지 선정에 필요한 문항수에 따라 문항을 선택하여 문제지를 완성하여 문제지 은행 데이터베이스에 저장하는 단계를 진행한다.
미완성 온라인 테스트 확인 결과 미완성 테스트가 있는 경우 이를 완료해야 한다. 다음으로, 온라인 테스트로 지정된 문제지를 온라인 평가 문항 관리 시스템에서 출력하면 학습자 단말의 인터페이스를 통해 테스트를 실시한다.
이와 같은 온라인 학습방법 역시 종래의 학습 방법과 유사한 공급자 중심의 강의로써, 학습자 각각의 학업 성취도와 무관하게 평준화 강의를 제공한다. 또한, 온라인 학습을 수행한 학습자에 대한 평가는 학습 관리 서버를 활용하여 다양한 문제출제와 테스트, 결과 진단을 제공하게 된다.
반응 패턴 분석 모듈은 상기 학습자의 문항 선택순서, 보기 선택순서, 클릭회수, 반응시간에 대한 반응 패턴을 분석한다. 그 결과, 학습자가 입력한 답의 입력 순서와 반응 시간을 기록하여, 학습관리서버 등에서 효율적으로 학습자의 성향을 파악하거나, 학습자의 수준을 진단하고, 이를 통해 학습자 반응의 정오에 의거하여 정해진 조건에 맞는 문항을 자동으로 추출하여 출제하도록 피드백한다.
다음으로, 학습자가 온라인 테스트에 제출된 문항들에 제시된 보기 선택 입력, 문항당 소요 시간에 따른 학습자 패턴을 생성하게 된다. 보기 선택 입력, 문항당 소요 시간에 따른 학습자 패턴을 분석하고, 그 결과 학습자의 학습수준과 학습능력, 성향에 대한 연관성을 분석한다. 마지막으로 상기 학습자의 온라인 테스트 결과와 학습자 패턴 분석 결과를 학습자 단말 또는 교수자 단말로 리포팅하고 피드백을 제공하게 된다.
본 논문에서 제안하는 온라인 평가 문항 관리 시스템은, 학습자의 로그인 정보와 개인 정보 및 학습 수준을 저장하는 학습자 정보 데이터베이스, 영역별, 난이도별로 분류된 문항을 저장하는 문제 은행 데이터베이스, 문제 은행 데이터베이스에 저장된 문제들 중에서 특정 학습자 또는 특정 학습에 대한 문항을 선택하는 문항 선제부, 문항 선제부에서 선택된 문항을 배치하여 특정 학습자 또는 특정 학습에 대한 문제지를 제작하는 문제지 제작부, 문제지 제작부로 제작 완성된 문제지를 저장하였다가 온라인 테스트를 수행할 때 출력하는 문제지 은행 데이터베이스로 구성된다. 이러한 요소로 구성된 온라인 평가 문항 관리 시스템의 구성도는 [그림 1]과 같다.
본 논문에서 제안하는 온라인 평가 문항 서버의 온라인 테스트부는 학습자 단말 화면에 특정 인터페이스를 디스플레이하고, 학습자가 문항 유형에 따른 문항 풀기 버튼을 클릭하는 순간 문항 선택 인터페이스 화면에서 처리되는 문항의 응답 입력 상황이 모두 저장되어 학습자의 반응 상태를 분석하는 자료가 된다.
온라인 테스트로 출력되는 문제지의 문항들에 대한 응답 입력 순서를 체크하는 입력 순서 체크 모듈을 포함되어서, 온라인 테스트로 출력되는 문제지의 문항들에 대한 응답 입력 시간을 체크하고, 학습자의 문항 선택순서, 보기 선택순서, 클릭회수, 반응시간에 대한 반응 패턴을 생성하도록 한다. 각 문항에서 풀기 버튼을 누르고, 문항에 응답하는 동안에, 학습자의 문항 선택순서, 보기 선택순서, 클릭회수, 반응시간에 대한 반응 패턴을 분석하고, 이러한 반응 패턴에 대하여 학습자의 학습 수준과 학습 능력, 성향과의 연관성을 평가하고 진단하도록 한다.
온라인 평가 문항 관리 방법에서 학습자의 반응 패턴을 생성, 분석하여 보고하는 방법은 온라인 테스트에 제출된 문항들에 대한 응답을 정답, 오답으로 판단한다. 다음으로, 학습자가 온라인 테스트에 제출된 문항들에 제시된 보기 선택 입력, 문항당 소요 시간에 따른 학습자 패턴을 생성하게 된다.
기존 평가 시스템에서는 학습자의 반응을 분석하여 학습자의 능력을 평가하는 방법은 없었다. 이를 위해 본 논문은 온라인 평가를 통하여 학습자의 문제 선택순서, 보기 선택순서, 클릭회수, 반응시간을 모두 학습자의 평가결과에 반영하여 효율적으로 학습자의 학습수준과 학습능력, 성향을 평가하고 진단할 수 있는 시스템과 방법을 제안하였다.
특히, 반응 패턴 분석부는 온라인 테스트로 출력되는 문제지의 문항들에 대해 학습자가 입력한 응답의 정답여부를 판단하는 정오 판단 모듈, 온라인 테스트로 출력되는 문제지의 문항들에 대해 학습자의 문항 선택순서, 보기 선택순서, 클릭회수, 반응시간에 대한 반응 패턴을 생성하는 반응 패턴 생성 모듈, 상기 학습자의 문항 선택순서, 보기 선택순서, 클릭회수, 반응시간에 대한 반응 패턴을 분석하는 반응 패턴 분석 모듈, 상기 반응 패턴에 대하여 학습자의 학습수준과 학습능력, 성향과의 연관성을 평가하고 진단하는 연관성 평가 분석 모듈, 및 상기 반응 패턴 분석부에서 평가된 온라인 테스트 결과를 온라인으로 학습자 단말 또는 교수자 단말로 보고하는 결과 리포팅 모듈을 제안하였다.
대상 데이터
온라인 테스트를 수행하는 학습자의 온라인 테스트 평가로서 학습자가 온라인 테스트에 제출된 문항들에 대한 문항 선택순서, 보기 선택순서, 클릭회수, 반응시간에 대한 평가 데이터를 수집하는 온라인 테스트부, 및 온라인 테스트부로부터 수집된 학습자의 온라인 테스트 평가 데이터를 분석하여 학습자의 학습수준과 학습능력, 성향을 평가하고 진단하여 보고하는 반응패턴 분석부를 포함한다.
제안하는 온라인 평가 문항 관리 시스템은 인터넷 접속이 가능한 다수의 학습자 단말과 교수자 단말, 각 단말에서 인터넷 접속하여 온라인 테스트를 처리하는 평가문항관리서버, 평가문항관리 서버에 있는 학습 관리 서버(Learning Management System)와 평가문항관리서버에 연동하는 문제은행데이터베이스, 문제지 은행 데이터베이스, 학습자 정보 데이터베이스를 포함한다.
후속연구
향후 연구로 제안하는 온라인 평가 문항 관리 시스템을 실제 학습자들에게 적용하여 학습자의 학습 수준 향상 정도를 검증하거나 학습 효과를 분석하는 연구가 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
온라인 평가의 한계점은 무엇인가?
일반적인 온라인 평가는 학습자에게 제공한 강의에 대한 온라인 평가를 수행하고 상기 온라인 평가의 결과에 대해 별도의 해설 없이 정답 또는 오답의 여부만을 가려내기 때문에 학습자의 취약 학습 분야를 인식하기 어려울 뿐 아니라, 학습자의 의지가 배제되면 취약 학습 분야에 대한 지속적인 학습 관리가 어려운 실정이다[6][8].
정오 판단 모듈의 특징은 무엇인가?
정오 판단 모듈은 온라인 테스트로 출력되는 문제지의 문항들에 대해 학습자가 입력한 응답의 정답여부를 판단하고 반응 패턴 생성 모듈은 온라인 테스트로 출력되는 문제지의 문항들에 대해 학습자의 문항 선택순서, 보기 선택순서, 클릭회수, 반응시간에 대한 반응 패턴을 생성하게 된다.
온라인 맞춤형 학습 방법의 장단점은 무엇인가?
이러한 시스템과 방법은 테스트에서 학습자가 오답처리 한 문제를 파악하고, 이 오답처리 된 문제의 과목, 단원, 난이도 중 적어도 하나 이상을 파악하여 상기 학습자의 취약 학습 분야를 분석하고 취약 학습 분야에 맞는 강의, 문제, 해설동영상을 실시간으로 추출 및 조합하여 맞춤형강좌를 제작하고, 지속적인 학습을 제공하지만, 학습자의 학습방법이나 문제해결 방법, 문제해결능력, 판단능력을 종합적으로 평가하여 판단하기가 어렵고 지속적인 학습을 위해서는 시간과 노력이 많이 요구되는 문제점이 있다[5][6][7].
※ AI-Helper는 부적절한 답변을 할 수 있습니다.