초록 ▼

본 연구는 미국의 직업-준비도 틀에 근거하여 기존의 국가수준 학업성취도 평가 문항을 분석하는 예시 연구를 수행함으로써 향후 국가수준 학업성취도 평가의 개선 방향을 탐색하고자 하였다. 미국 UCLA CRESST와의협동연구를 통해 캘리포니아 주정부 학업성취도평가 시험인 Smarter Balanced Assessment(이하, SBA)에 적용된 대학-직업 준비도 틀에 근거하여 우리나라 학업성취도 평가의 수학 검사지를 공동으로 분석하여 결과를 산출하였다. 궁극적으로 본 연구를 통해 새로운 틀에서 국가수준 학업성취도 평가 검사 도구를 질적,

본 연구는 미국의 직업-준비도 틀에 근거하여 기존의 국가수준 학업성취도 평가 문항을 분석하는 예시 연구를 수행함으로써 향후 국가수준 학업성취도 평가의 개선 방향을 탐색하고자 하였다. 미국 UCLA CRESST와의협동연구를 통해 캘리포니아 주정부 학업성취도평가 시험인 Smarter Balanced Assessment(이하, SBA)에 적용된 대학-직업 준비도 틀에 근거하여 우리나라 학업성취도 평가의 수학 검사지를 공동으로 분석하여 결과를 산출하였다. 궁극적으로 본 연구를 통해 새로운 틀에서 국가수준 학업성취도 평가 검사 도구를 질적,양적으로 분석하여 국제수준에서 우리나라 학업성취도 평가가 교육의 질 관리를 위한 지표로서의 기능을 재점검하고, 21세기 미래 사회 역량에 대한 평가 도구로서 국가수준 학업성취도 평가의 우수성과 보완점을 파악하고자 하였다.

CRESST 평가틀에 의거한 분석을 위한 특성(feature)은 크게 3개의 범주로 구분되는데,기능과 관련된 특성 4개(능동적 학습, 복잡한 문제해결, 비판적 사고, 독해), 능력 관련 특성 10개(연역적 추론, 유연성, 귀납적 추론, 정보서열화, 수학적 추론, 암기, 수 활용, 시간 분할,글로 표현, 시각화), 활동이나 맥락 관련 특성 8개(자료 및 정보 분석, 정량적 특성의 추정,정보 획득, 대상·활동·사건의 식별, 명확성, 의사결정과 문제해결, 조직·계획·우선순위 지정, 정보처리) 총 22개로 분류되었다. 이를 바탕으로 실증 분석을 위하여 2017년 국가수준 학업성취도 평가 중학교 수학 검사지를 예시로 들어 22가지 세부 특성에 대해 검사지의 문항 특성을 CRESST 연구진과 함께 분석하고, 이 결과에 대해 수학 교과 전문가 의견을 수렴하였으며, 추출된 특성들과 문항 난이도의 관계에 대해 양적 분석을 수행하였다.

직업 준비도 분석 틀에 기반한 특성 분석 결과는 기술통계와 상관 분석을 통해 제시하였으며, 문항 특성과 문항 난이도의 관계를 살펴보기 위하여 다중 회귀 분석을 하였다. 문항 난이도는 2모수 IRT 모형을 사용하여 산출하였다. 각 문항에 대해 2명의 평정자가 서열화된 4점 척도(1점은 문제를 풀기 위해 해당 특성이 전혀 또는 약간 사용되지 않음, 4점은 문제를 풀기 위해 해당 피처가 사용됨)로 두 번에 걸쳐 평정하도록 하였다. 특성 평정 결과평균의 범위는 1.2∼3.6이고, 표준편차의 범위는 .0∼1.1이었다. 직업 준비도 특성과 문항 난이도와의 관계를 분석하기 위하여 다중 회귀분석을 한 결과, ‘의사결정과 문제해결’, ‘조직·계획·우선순위 지정’ 특성이 문항 난이도와 정적인 관련이 있는 것으로 나타났다.

본 연구 결과 바탕으로 우리나라 학업성취도 평가의 중학교 3학년 수학 검사지가 ‘연역적 추론’, ‘정보 획득’, ‘정보 처리’, ‘명확성’, ‘수 활용’, ‘독해’ 특성은 높게 나타난 반면, ‘정량적 특성의 추정’, ‘암기’, ‘능동적 학습’, ‘귀납적 추론’, ‘정보 서열화’, ‘글로 표현’, ‘유연성’의 특성은 매우 낮은 빈도를 보였다. 비교적 높은 빈도를 보인 특성들은 대체로 규칙이나 지식을 활용하여 문제를 풀거나 정보를 정확하게 획득이고 이해하는 능력과 관련이 높았다. 정량적 특성을 추정하거나 서열화 및 패턴을 배열하는 능력은 우리나라에서는 중학교보다 초등학교에서 주로 다루는 내용과 관련이 있기 때문에 중학교 3학년을 대상으로 한 평가에서 잘 드러나지 않는 특성으로 볼 수 있다. 또한 학업성취도 평가는 암기하는 능력으로 해결할 수 있는 문제를 지양하고, 우리나라의 수학 문항은 특수한 상황에 집중해서 해결하는 문제도 많지 않으므로 이러한 특성도 낮은 것으로 판단된다.

현재 지필평가 기반 학업성취도 평가에서 컴퓨터 기반 평가로 전환을 모색 중에 있으며,2019년 고등학교 2학년 평가부터 2015 개정 교육과정을 반영한 교과 역량 반영 평가로 변화하는 과도기적인 시기에 지식을 알고 이해하는 수준뿐만 아니라 이러한 지식을 활용하여 문제를 해결하는 능력을 평가하는 문항을 개발하기 위한 구체적인 전략 및 방안 마련이 필요하다고 하겠다.

(출처 : 연구요약 7p)

Abstract ▼

The goal of this study was to conduct a career-readiness feature analysis through collaboration research with a team of CRESST(National Center for Research on Evaluation, Standards, and Student Testing) for the National Assessment Educational Achievement(NAEA) in Korea.

Career-readiness targe

The goal of this study was to conduct a career-readiness feature analysis through collaboration research with a team of CRESST(National Center for Research on Evaluation, Standards, and Student Testing) for the National Assessment Educational Achievement(NAEA) in Korea.

Career-readiness target features included 22 features, which can be classified into three main dimensions: features related to skills, features related to abilities, and features related to either work activities or work context. For this study, we examined a 9^th grade-level mathematics achievement test of NAEA. Math testitems were translated in English and two raters evaluated the test items using the same scheme as the American items applied by the CRESST math content experts. The results of feature analyses were reviewed and evaluated by the Korean math content experts. Also multiple regression was conducted to examine the associations between the identified features and item difficulty for the NAEA math test items.

The descriptive results showed that the means of the career-readiness features using the 4 point rating scales were ranged in between 11. and 3.6. The features that were relatively highly rated include ‘analyzing data or information’, ‘deductive reasoning’, ‘reading comprehension’, ‘number facility’, whereas the features receiving low rate scores include ‘active learning’, ‘written expression’,‘Estimating the quantifiable characteristics of products, events, or information’.
Based on the regression analysis, we found that ‘making decisions and solving problems’ and ‘organizing, planning, and prioritizing work’ were was positively associated with item difficulty.

The study results should be further reviewed by the Korean content experts in Mathematics to investigate whether the study findings can be used for innovating the NAEA to reflect the competences presented in the 2015 Revised National Curriculum.

(출처 : ABSTRACT 61p)

목차 Contents

• 표지 ... 1
• 연구협력진 ... 3
• 머리말 ... 5
• 연구요약 ... 7
• 목차 ... 9
• 표목차 ... 10
• 그림목차 ... 11
• Ⅰ 서론 ... 13
• 1. 연구의 필요성 및 목적 ... 15
• 2. 연구 내용 ... 17
• 3. 연구 방법 ... 18
• Ⅱ 이론적 배경 ... 19
• 1. 미국의 대학-직업 준비도 개념 ... 21
• 2. CRESST 문항 특성 분석 방법 사례 ... 25
• Ⅲ 대학-직업 준비도 측면에서 학업성취도 평가 분석 ... 31
• 1. 자료 ... 32
• 2. 분석 방법 ... 40
• 3. 분석 결과 ... 43
• Ⅳ 요약 및 시사점 ... 53
• 1. 요약 ... 55
• 2. 시사점 ... 56
• 참 고 문 헌 ... 57
• ABSTRACT ... 61
• 부 록 ... 63
• [부록 1] 2017년 국가수준 학업성취도 평가 중학교 수학과 문제지 ... 65
• [부록 2] 2017년 국가수준 학업성취도 평가 중학교 수학과 정답 및 예시정답 ... 72
• 끝페이지 ... 72