This paper addressed various issues related to the objectivity of student assessment in medical education. The objectivity of assessment was related to all the steps of test development, administration, and results reporting in terms of reliability and validity. Specifically, the objectivity of item...
This paper addressed various issues related to the objectivity of student assessment in medical education. The objectivity of assessment was related to all the steps of test development, administration, and results reporting in terms of reliability and validity. Specifically, the objectivity of item formats, representativeness of test content, standardization of test administration, consistency of scoring procedures, and appropriateness of reporting test results were discussed by comparing performance assessment with traditional paper-and-pencil tests. The conclusions were derived from current measurement theories such as standards-based assessment, evidencebased design, and outcome-based assessment. Further, based on Shepard's propositions (2006), the objectivity of student assessment could be achieved by improving the concordance between educational objectives and assessment components such as item types, test contents, and test administration, scoring, and reporting.
This paper addressed various issues related to the objectivity of student assessment in medical education. The objectivity of assessment was related to all the steps of test development, administration, and results reporting in terms of reliability and validity. Specifically, the objectivity of item formats, representativeness of test content, standardization of test administration, consistency of scoring procedures, and appropriateness of reporting test results were discussed by comparing performance assessment with traditional paper-and-pencil tests. The conclusions were derived from current measurement theories such as standards-based assessment, evidencebased design, and outcome-based assessment. Further, based on Shepard's propositions (2006), the objectivity of student assessment could be achieved by improving the concordance between educational objectives and assessment components such as item types, test contents, and test administration, scoring, and reporting.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
학생 평가를 포함한 교육평가는 측정의 양호도 판단기준으로 신뢰도와 타당도를 강조한다. 대규모의 평가 체제에서 평가시행 및 결과가 민감하게 작용하는 경우에는 무엇보다도 점수의 일관성을 의미하는 신뢰도를 우선시할 수밖에 없으며 그에 따른 타당도의 결여 측면을 검사의 설계, 문항내용의 충실성으로 보완하고자 노력한다. 반면에 실제적인 능력, 즉 수행능력을 제대로 측정하고자 하는 경우에는 다양한 수행과제를 활용하여 타당도를 먼저 확보하고자 하며, 그 방법들의 특성상 인간에 의한 판단이 개입될 수밖에 없기 때문에 보완적으로 신뢰도를 강화하려고 하는 노력을 수반한다.
이를 위하여 전통적인 지필검사에서는 모든 피험자에게 동일한 문항을 제시하고, 검사시간을 포함한 검사환경을 엄격히 통제한다. 또한 검사에서 측정하는 특성 이외의 요소에 의한 차별성을 배제하기 위하여 평가과목의 구성, 문항형태, 평가범위, 채점요소 및 절차에 대한 정보를 사전에 피험자에게 제공한다. 이러한 절차적 요소의 명확성을 위하여 표준화 검사의 경우, 과거 기출 문항을 공개하고, 모의시험과 같은 사전 연습 기회를 제공하여 검사가 측정하는 바가 무엇이며 검사상황에서 피험자가 해야 할 것과 하지 말아야 할 것에 대한 세부적지침을 모든 피험자에게 공개적으로 제공한다.
이 논문에서는 의학교육 학생평가의 문항형식, 문항내용, 시행절차, 채점, 결과산출에 관하여 전통적인 지필시험과 수행평가를 대비하여, 신뢰도와 타당도를 중심으로 학생평가의 객관성에 대하여 논의하였다.
즉, 학생평가의 객관성은 측정이론적 측면에서 신뢰도와 타당도의 문제를 의미하는 것으로서, 이는 평가계획, 실시, 결과보고 및 활용 등 평가의 전 과정과 관련된다. 이 논문에서는 학생평가과정에서 중요하게 고려해야 할 문항형식, 평가내용, 시행절차, 채점, 결과산출에 관하여 전통적인 지필시험과 수행평가를 대비하여 학생평가의 신뢰도와 타당도에 대하여 논의하고자 한다.
성능/효과
예를 들어, 객관식 시험, 퀴즈, 임상실습, 출석 등과 같이 네 가지 방법으로 평가를 실시하였다면, 최종 학생평가결과를 산출하기 위하여 네 가지 점수를 어떤 식으로 종합할 것이다. 가장 간단한 방법으로, 각 시험의 만점을 25점으로 설정하여 합산하면 100만점의 최종점수가 결정될 것이다. 이때 만약 출석과 퀴즈에서 모든 학생이 동일한 점수를 받았다면, 실제적으로 최종점수는 객관식 시험과 임상실습에 의해서 결정되는 것이라 할 수 있다.
후속연구
특히, OSCE는 전국 규모의 자격시험에 활용될 정도의 표준화가 마련된 대표적 사례라고 할 수 있다. 또한, 현대 컴퓨터기술(시뮬레이션, 네트워킹, 인공지능 등)의 발달은 표준화 환자의 수행 일관성을 높이기 위한 방안으로 활용될 수 있을 것이다. 문항내용은 평가의 교육과정 대표성과 관련된 것으로, 임상평가의 과제 수, 시행시간, 내용적 포괄성과 관련된 문항형식의 고려를 통하여 지속적 개선이 필요할 것이다.
특히, 국내외 의사자격시험에 포함된 OSCE는 임상사례 수, 단계(stations)의 할당시간, 표준화 환자의 훈련수준, 채점기준 등에 대한 다양한 개선을 통하여 수행평가 또한 선택형 문항수준의 객관성을 확보할 수 있음을 현실적으로 보여준 사례라고 할 수 있다. 반면, 수행평가결과의 신뢰성에 영향을 미치는 요소인 채점자, 과제, 환경에 대한 선행연구에서 밝혀진 바와 같이(Cronbach et al., 1997), 평가 환경(occasions, 예, 표준화 환자 특성, 장소, 시간 등)이 중요한 요인임에도 다른 두 요소에 비하여 상대적으로 소홀히 다루어져 왔기에, 이에 대한 지속적인 개선 노력이 필요할 것이다.
간편 논술은 비판적 사고능력을 측정하면서 채점의 객관성을 높이기 위한 구성형 문항의 변형이며, OSCE는 실제적 상황의 학생행동을 평가하면서 채점의 일관성을 높이는 수행평가의 한 형태라고 할 수 있다. 즉, 모든 문항형식은 객관성을 의미하는 신뢰도와 타당도라는 측면에서 강점과 약점을 가지며, 평가의 목적에 따라 문항형식의 변형과 개선을 통하여 지속적으로 새로운 문항형식을 활용하는 것이 필요할 것이다. 특히, 현대 컴퓨터기술(시뮬레이션, 네트워킹, 인공지능 등)의 발달에 따라(Drasgow et al.
음악회에서 공연되는 오케스트라 연주의 질은 관악기, 타악기, 현악기 등 각 파트 연주의 탁월함으로 평가될 수 없다는 Mullis (1984)의 비유처럼, 진단, 검사, 처치로 이어지는 임상과정은 세부 영역의 정확성과 함께 전체 과정의 효율성, 효과성 등이 동시에 중요하게 평가될 수 있다. 즉, 임상능력평가를 위한 채점방법은 평가의 목적과 채점기준표의 구성, 평가결과의 활용에 따라 분석채점과 총괄채점이 선택적, 종합적으로 활용되어야 할 것이다. 또 다른 측면에서는, 현대 컴퓨터기술의 발달에 따라 다양한 문항형식의 조합, 개선이 이루어지는 것과 유사하게, 인공지능을 활용한 정보탐색기능을 활용하여 수행평가의 채점에서 사람을 대신한 기계 채점의 도입은(Lane, 2010) 객관성 향상을 위한 지속적 노력의 과제라고 할 수 있다.
즉, 모든 문항형식은 객관성을 의미하는 신뢰도와 타당도라는 측면에서 강점과 약점을 가지며, 평가의 목적에 따라 문항형식의 변형과 개선을 통하여 지속적으로 새로운 문항형식을 활용하는 것이 필요할 것이다. 특히, 현대 컴퓨터기술(시뮬레이션, 네트워킹, 인공지능 등)의 발달에 따라(Drasgow et al., 2006) 기존 문항형식의 제한점을 극복하여 객관성과 현실 적용력이 높은 새로운 문항형식이 지속적으로 개발될 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
교육 및 심리검사에서 객관성이란 무엇인가?
교육 및 심리검사에서 객관성(objectivity)이란 동일한 능력 혹은 특성을 갖는 피험자가 동일한 검사결과(예, 점수)를 획득함을 의미한다(Miller et al., 2009).
의과대학과 의학전문대학원의 교육목표에서 강조하는 것은 무엇인가?
의과대학과 의학전문대학원의 교육목표는 의학적 지식의 획득과 임상능력의 배양으로 의료현장에서 문제해결능력과 전인적 치료자로서 의사의 태도를 강조한다(Miller, 1990). 이러한 교육목표에 근거하여 의과대학의 학생평가는 저학년의 지식 중심 교육과정과 고학년의 임상실기 중심의 교육과정으로 구분되며, 지식과 임상능력을 평가할 수 있는 다양한 학생평가 방식(선다형 문항, 구술, 임상사례, 관찰평가, 업무일지, 표준화 환자 등)이 활용된다.
의과대학과 의학전문대학원의 교육목표에 근거하여 학생평가는 어떻게 구분되고 활용되는가?
의과대학과 의학전문대학원의 교육목표는 의학적 지식의 획득과 임상능력의 배양으로 의료현장에서 문제해결능력과 전인적 치료자로서 의사의 태도를 강조한다(Miller, 1990). 이러한 교육목표에 근거하여 의과대학의 학생평가는 저학년의 지식 중심 교육과정과 고학년의 임상실기 중심의 교육과정으로 구분되며, 지식과 임상능력을 평가할 수 있는 다양한 학생평가 방식(선다형 문항, 구술, 임상사례, 관찰평가, 업무일지, 표준화 환자 등)이 활용된다. Mavis et al.
참고문헌 (19)
Allen 1979
Amin 2006
Test administration, security, scoring and reporting Cohen 355 2006
Cronbach, Lee J., Linn, Robert L., Brennan, Robert L., Haertel, Edward H..
Generalizability Analysis for Performance Assessments of Student Achievement or School Effectiveness.
Educational and psychological measurement,
vol.57,
no.3,
373-399.
Kogan, Jennifer R., Holmboe, Eric S., Hauer, Karen E..
Tools for Direct Observation and Assessment of Clinical Skills of Medical Trainees : A Systematic Review.
JAMA : the journal of the American Medical Association,
vol.302,
no.12,
1316-.
Mavis, Brian E., Cole, Bridget L., Hoppe, Ruth B..
A Survey of Student Assessment in U.S. Medical Schools: The Balance of Breadth Versus Fidelity.
Teaching and learning in medicine,
vol.13,
no.2,
74-79.
Miller, G E.
The assessment of clinical skills/competence/performance :.
Academic medicine : journal of the Association of American Medical Colleges,
vol.65,
no.9,
S63-7.
Scoring direct writing assessment: what are the alternatives? Mullis 16 1984
Shepard, Lorrie A..
The Role of Assessment in a Learning Culture.
Educational researcher : a publication of the American Educational Research Association,
vol.29,
no.7,
4-14.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.