[논문]이러닝 문제은행기반 출제 시스템을 위한 동적 난이도 조정 정책

김은정; 이상관; 김성곤

doi:10.6109/jkiice.2008.12.12.2232

이러닝 문제은행기반 출제 시스템을 위한 동적 난이도 조정 정책
Dynamic Adjustment Policy of degrees of difficulty for E-learning Databank Based Selection System 원문보기

한국해양정보통신학회논문지 = The journal of the Korea Institute of Maritime Information & Communication Sciences, v.12 no.12, 2008년, pp.2232 - 2238

김은정 (부산가톨릭대학교 컴퓨터공학과) , 이상관 (부산가톨릭대학교 컴퓨터공학과) , 김성곤 (부산가톨릭대학교 컴퓨터공학과)

초록
AI-Helper

이러닝 문제은행 기반의 출제 시스템에서 평가를 위해 출제되는 문제들은 주로 난이도에 따른 자동 출제 방식을 이용하고 있다. 이러한 방식은 출제 시점의 문제 난이도가 문제 출제에 핵심이기 때문에 무엇보다 객관적이고 효율적인 방법으로 문제의 난이도에 대한 지속적인 관리가 필요하다. 본 논문에서는 웹 기반의 학습 시스템에서 보다 효율적인 문제 출제를 위해, 평가 결과를 바탕으로 해당 문제들의 난이도를 동적으로 재조정하는 보다 향상된 알고리즘을 제시한다. 제시된 알고리즘을 구축된 웹기반 학습 시스템에서 기존 알고리즘과 비교 분석해 본 결과 보다 효율적임을 확인할 수 있었다.

Abstract ▼ AI-Helper

Most questions made for remote examinations on E-learning databank based selection system use methods of making questions automatically using degrees of difficulty. This method is the kernel of a question selection that degrees of difficulty as make test questions, and then needs continuous management for degrees of difficulty. This paper presents improved algorithms for dynamically adjustment of degrees of difficulty based on examination result that is more efficient sot of questions. We identified this algorithm is more effective as compared with previous algorithms on web-based education systems.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 출제된 문제의 평가 결과로서 문제의 난이도를 재조정함에 있어서 학습자의 학습 능력을 고려 한 향상된 난이도 재조정 알고리즘을 제 시 한다. 제시된 알고리즘에서는 학습자의 학습 능력을 고려하기 때문에 전체 시험 응시자수 대비 정답자수만을 고려하여 난이도를 재조정하는 기존 알고리즘에서의 문제점을 보완할 수 있을뿐만 아니라, 이전 연구[3]에서 학습자의 실수의 가능성으로 인한 정답 및 오답의 결과가 난이도를 큰 폭으로 변화시키는 문제점을 개선할 수 있는 보다 향상된 알고리즘을 제 시 한다.
온라인 학습 시스템에서 사용하는 데 이 터 베 이 스는 전체 7개의 테 이 블로 구성되어져 있다. 이 중에서 본 논문에서는 문제 출제 및 난이도 재조정에 촛점을 맞추고자 하므로 시험 문제를 관리하는 [과목별 문제 관리 테이블]과 각 문제의 개인별, 그룹별 평가 결과를 관리하는 [Private_result], [Group_result] 테이블에 대한 구조만을 다루고자 한다. 각 테이블의 구조는 <표 1>, <표 2>, <표 3>과 같다.

제안 방법

그룹별 평 가에 대한 분석을 위하여 전체 응시 자수 대비 정 답자수를 이용하여 난이도를 조정하는 기존[1]의 알고리즘(알고리즘A)과 이전 연구[3]의 알고리즘(알고리즘 B) 그리고 본 논문에서 제시 하는 알고리 즘(알고리즘 C)을 실험하여 그 결과를 비교하였다. 그룹의 총인원 수를 10명으로 한정하여 전체 10개의 그룹에 대해 차례대로 그룹별 평가를 하였다.
실험하여 그 결과를 비교하였다. 그룹의 총인원 수를 10명으로 한정하여 전체 10개의 그룹에 대해 차례대로 그룹별 평가를 하였다. 그리고 각 그룹별 평가를 할 때 출제 되는 20문제 중 각각의 서로 다른 난이 도를 가지는 특정 문제 5개를 반드시 포함하여 출제하여, 평가 결과로서 위의 두 알고리즘을 적용하여 특정 문제 5개 중에서 난이도가, 하'에 가깝다고 판단되는 문제의 난이도가 변해 가는 과정을 비교, 분석한 결과는<표 5><표 6>, <그림 1><그림 2>과 같다.
그리고 각 그룹별 평가를 할 때 출제 되는 20문제 중 각각의 서로 다른 난이 도를 가지는 특정 문제 5개를 반드시 포함하여 출제하여, 평가 결과로서 위의 두 알고리즘을 적용하여 특정 문제 5개 중에서 난이도가, 하'에 가깝다고 판단되는 문제의 난이도가 변해 가는 과정을 비교, 분석한 결과는, 과 같다.
기존 알고리즘[1]에서는 개인별 평가에 따른 재조정이 없기 때문에 본 논문에서는 특정 개인의 학습 능력을 고려하여 난이도를 재조정함에 있어서 실수의 가능성을 제어하지 않은 이 전 연구[3](알고리즘B)와 본 논문에서 제시하는 실수의 가능성을 제어 했을 경우(알고리즘 C)를 비교, 분석하였다. 이를 위해 난이도가, 상, 에 가깝다고 판단되는 문제를 10명의 학생들에게 출제하여 평가 결과로서 난이도가 변해가는 과정을 실험한 결과가 <표7>, <그림 3>과 같다.
그리고 각 문제의 난이도를 기반으로 예상 평균 점 수와 출제문제수에 따라 출제되는 문제들의 정답률의 평균이 예상 평균점수가 되도록 자동 출제한다. 다음으로 출제된 문제들의 평가 결과를 기반으로 각 문제의 난이도를 재조정함에 있어서는 총시험 응시자수 대비 정답자 수로서 정답률을 계산하여 난이도를 재조정하였다. 이와 같이 대부분의 기존 연구에서는 정답을 맞춘 응시자가 많을수록 난이도가 낮은 문제이고 정답을 맞춘 응시자가 적을수록 난이도가 높은 문제로 간주하고 있다.
본 논문에서는 난이도 재조정 을 함에 있어 시험 응시자의 학습 능력을 함께 고려한 새로운 정답률과 오답률을 이용하여 문제의 난이도를 재조정한다. 이는 시험을 치른 개인이나집단의 평균 점수에 따라해당 문제의 쉬운 정도와 어려운 정도를 달리 측정한다는 의미이다.
이를 위해 총 시험 응시 자수 대 비 정 답자수와 함께 집단의 전체 평균점수그리고 이전의 그룹별 평가 결과에서 같은 평점대의 전체 응시자수 대비 정답자수도 같이 고려하여 난이도를 재조정한다. 따라서 특정 집단의 모의 평가 결과에서 해당 문제 에 대한 정 답자 수가 많을경 우에는 정 답률을 계산하여 난이 도 비 율을 조정하고, 해 당 문제에 대한 오답자 수가 많을 경우에는 오답률을 계산하여 난이도 비율을 재조정한다.
제시된 알고리즘에서는 학습자의 학습 능력을 고려하기 때문에 전체 시험 응시자수 대비 정답자수만을 고려하여 난이도를 재조정하는 기존 알고리즘에서의 문제점을 보완할 수 있을뿐만 아니라, 이전 연구[3]에서 학습자의 실수의 가능성으로 인한 정답 및 오답의 결과가 난이도를 큰 폭으로 변화시키는 문제점을 개선할 수 있는 보다 향상된 알고리즘을 제 시 한다.

데이터처리

이 전의 연구(2)에서 구현하여 현재 일부 운영중인 웹기 반 학습 시스템에서 기존의 알고리즘과 이 전의 연구 결과 그리고 본 논문에서 제시하는 알고리즘을 각각 실험하여 그 결과를 비교 분석하였다.

성능/효과

그리고 각 그룹별 평가를 할 때 출제 되는 20문제 중 각각의 서로 다른 난이 도를 가지는 특정 문제 5개를 반드시 포함하여 출제하여, 평가 결과로서 위의 두 알고리즘을 적용하여 특정 문제 5개 중에서 난이도가, 하'에 가깝다고 판단되는 문제의 난이도가 변해 가는 과정을 비교, 분석한 결과는<표 5><표 6>, <그림 1><그림 2>과 같다. 결과에서 알 수 있듯이 알고리즘 A는 평가하는 학습자들의 학습 능력 이 고려되지 않고 단지 정답자수만으로 난이도를 조정함으로 인해서 각 그룹의 평가 결과의 폭이 아주 큰 반면, 학습 능력 이 고려 된 알고리 즘B에서는 난이도에 대한 변화의 폭이 크지 않으며 기존 알고리즘에 비해 보다 빠르게 해당 난이도에 접 근함을 확인할 수 있다.
예를 들어 그룹별 평가에서 전체적으로 평점이 높은 집단에 비해 전체적으로 평 점이 낮은 집단의 응시자들이 맞춘 문제는 상대적으로 난이도가 더 낮게 측정되어지고, 전체적으로 평점이 낮은 집단에 비해 평점이 높은 집단에서 틀린 문제는 상대적으로 난이도가 더 높게 측정되어 진다. 다음으로 개인과 그룹의 기존 같은 평 점대의 정답률과 오답률을 누적 관리하여 현재 난이도 조정에 함께 고려함으로써 특정 학습자의 실수의 가능성으로 인한 정답 및 오답으로 난이 도가 큰폭으로 변화되는 문제점을 최소화하였다.
제시하였다. 또한 이전 학습자들의 평가 결과에 따른 정답률과 오답률을 관리하여 난이도 재조정 에 함께 적용함으로써, 실수에 의한큰폭의 난이도 변화에서 오는 문제점을 해결하였다. 제시된 알고리즘은 기존 알고리즘에 비해 보다 효율적인 난이도 재조정이 이루어짐을 확인할 수 있었다.
또한 이전 학습자들의 평가 결과에 따른 정답률과 오답률을 관리하여 난이도 재조정 에 함께 적용함으로써, 실수에 의한큰폭의 난이도 변화에서 오는 문제점을 해결하였다. 제시된 알고리즘은 기존 알고리즘에 비해 보다 효율적인 난이도 재조정이 이루어짐을 확인할 수 있었다.

참고문헌 (7)

김경아, 최은만, "웹기반 교육에서의 자동 문제출제 시스템", 한국정보처리학회 논문지, pp. 301-310, 2002
김은정, 류희열, "기사시험을 위한 웹기반 학습시스템의 설계", 한국정보과학회 봄학술발표 논문집, 2004
김은정, "웹기반 학습시스템의 평가 문제에 대한 출제 방법 및 난이도 재조정에 대한 연구", 한국정보처리학회 논문지, pp.471-480, 2005
정용기, 최은만, "웹 기반 학습평가 자동화 시스템의 설계 및 구현", 한국정보처리학회 논문지, pp.289- 296, 2002
하일규, 강병욱, "문항출제와 문항분석이 가능한 웹기반 교육평가 시스템의 설계 및 구현", 한국정보처리학회논문지, pp.511-522, 2002
고일석외 3, "웹 기반 가상학습 시스템의 설계 및 구현", 한국정보처리학회 논문지, pp.631- 638, 2002
박기석, 이재영, 김동한, "자바를 이용한 웹 기반의 문제 출제 시스템", 정보과학회 가을학술발표논문집, 제26권 제2호, pp.673-675, 1999

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

이러닝 문제은행기반 출제 시스템을 위한 동적 난이도 조정 정책
Dynamic Adjustment Policy of degrees of difficulty for E-learning Databank Based Selection System 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

데이터처리

성능/효과

참고문헌 (7)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

이러닝 문제은행기반 출제 시스템을 위한 동적 난이도 조정 정책 Dynamic Adjustment Policy of degrees of difficulty for E-learning Databank Based Selection System 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

데이터처리

성능/효과

참고문헌 (7)

이 논문을 인용한 문헌

저자의 다른 논문 :

김은정 (2) 이상관 (2) 김성곤 (5)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

이러닝 문제은행기반 출제 시스템을 위한 동적 난이도 조정 정책
Dynamic Adjustment Policy of degrees of difficulty for E-learning Databank Based Selection System 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper