초록 ▼

한림대학교 의과대학에서는 1999년부터 주된 연구 방향을 의학교육평가로 잡고 그 중에서도 특히 “문항반응이론의 의학교육평가에 도입“이라는 주제를 집중 연구 분야로 선정하여 다양한 의학교육에 적용 가능성 및 풀그림 개발을 시도하여 문항반응이론에 따른 문항분석 풀그림을 개발하고, 웹기반 셈틀이용적응검사를 개발하여 교육현장에 적용하는 작업을 시도하였다.
문항 데이터베이스에서 시작 문항 및, 수험생 능력모수에 따른 문항을 사용자에게 제공하고 능력모수 추정에 따라 시험을 종료시키는 넷웍 시험 풀그림을 개발하였다. 리눅스(linux) 운

한림대학교 의과대학에서는 1999년부터 주된 연구 방향을 의학교육평가로 잡고 그 중에서도 특히 “문항반응이론의 의학교육평가에 도입“이라는 주제를 집중 연구 분야로 선정하여 다양한 의학교육에 적용 가능성 및 풀그림 개발을 시도하여 문항반응이론에 따른 문항분석 풀그림을 개발하고, 웹기반 셈틀이용적응검사를 개발하여 교육현장에 적용하는 작업을 시도하였다.
문항 데이터베이스에서 시작 문항 및, 수험생 능력모수에 따른 문항을 사용자에게 제공하고 능력모수 추정에 따라 시험을 종료시키는 넷웍 시험 풀그림을 개발하였다. 리눅스(linux) 운영체계 아래서 Apache 서버, PHP를 이용하여 작성하였고 데이터베이스로 mysql을 사용하였다. 능력모수 추정법은 maximum likelihood estimation을 이용하였고, 김영환 등(2000)에서 제시한 자바소스코드를 활용하여 php로 작성하였다. 웹브라우저에서 다른 기능은 모두 없애고 단지 이 시험 치르는 서버에 접근하여 시험 문항에 답하는 기능만 살려 사용하게 하였다. 알고리즘에서 몇 가지 규칙을 보면, 우선 수험생의 능력모수가 일정하다고 가정하고 시작하였다. 진행 중에는 수험생이 문항을 선택할 때, 문항의 최대 정보 추정치가 가장 큰 것을 선택하도록 사용하였다 종료는 문항수를 일정하게 하는 방법은 쓰지 않고, 시간 제한을 둘 수 있도록 하고, 최대우도추정법에 의한 능력모수 추정에서 표준 오차가 0.01 이하일 경우 추정 중지하고 최후 능력모수 추정하고, 주어진 시간 내에 0.01 이하로 표준오차가 떨어지지 않을 경우 중지하고 능력모수 추정하고, 수험생이 치루어야 할 최소 문항을 설정할 수 있도록 하고, 수험생이 치루어야 할 최대 문항은 제한을 두지 않았다.
풀그림 개발 후 2004년 11월 25-26일 이틀간에 걸친 한림의대 4학년 99명 대상 제2차 종합시험 지필고사 후 27일 아침 9시부터 1시간동안 피시실에서 적응검사를 시행하였다. 설문은 웹에서 시험 전후 문항을 제시하고 표시하게 하고, 자유롭게 기타 의견을 쓸 수 있게 하였다. 적응검사 후 교원 3명과 학생 4명이 모여 한시간 동안 시험에 대한 의견을 주고 받았다. 적응검사와 지필고사 및 의사국가시험 결과 상이의 신뢰도 및 선택된 문항특성을 구하고 dBSTAT 4.0을 이용하여 분석하였다. 프로그램은 수험생이 사용하기에 지장이 없게 개발하였고, 설문 조사 결과 수험생은 앞에 푼 문제를 다시 보지 못한다는 점이 불편하였으나, 그 외 특별한 문제는 없었으며 셈틀 이용 시간이나 과거 적응검사 치른 경험 등은 능력모수와 무관하였다. 적응시험은 필기시험을 대체할 수 있는 신뢰도를 보였고, 국가시험의 당락에 대한 예측도는 최하위 능력모수인 사람에게 0.5이었다. 앞으로 이 적응검사를 발전시키기 위하여 검사소(testlet)를 도입하여 testlet response theory를 적용하는 것을 고려하여 측정하는 소분야의 내용을 전체 학습양이나 학습 목표에 맞추어 조정하는 것이 필요하다. 또한 문항노출에 대한 통제를 시도하여 과도하게 한 문항이 자주 노출되는 것과 일부 문항특성을 가진군이 전혀 노출되지 않는 것을 통제하여 데이터베이스 사용의 효율을 기하여야 할 것이다.

Abstract ▼

Results: There was no significant difference of the ability estimate according to the degree of the examination anxiety, previous exposure to CAT or duration of computer use. The correlation coefficient between estimated ability by CAT and estimated ability by the pencil and paper test was 0.8013 (p

Results: There was no significant difference of the ability estimate according to the degree of the examination anxiety, previous exposure to CAT or duration of computer use. The correlation coefficient between estimated ability by CAT and estimated ability by the pencil and paper test was 0.8013 (p=0.00). The correlation coefficient between estimated ability by CAT and the pencil and paper test scores was 0.7861 (p=0.00). The correlation coefficient between estimated ability by CAT and the KMLE scores was 0.6436 (p=0.00). The frequency of exposure to items was significantly correlated with the discrimination index (r=0.6484, p=0.00).

목차 Contents

• 표지 ... 1
• 제출문 ... 2
• 목차 ... 3
• 요약문 ... 4
• SUMMARY ... 6
• 총괄연구개발과제 연구결과 ... 7
• 1. 총괄연구개발과제의 최종 연구개발 목표 ... 7
• 2. 총괄연구개발과제의 최종 연구개발 내용 및 결과 ... 16
• 3. 총괄연구개발과제의 연구결과 고찰 및 결론 ... 25
• 4. 사업화 목표 달성도 및 계획 ... 28
• 5. 총괄연구개발과제의 연구성과 ... 28
• 6. 연구개발결과의 파급효과 ... 38
• 7. 참여연구원 편성표(총괄) ... 39
• 8. 첨부서류 ... 40
• 끝페이지 ... 82