초록 ▼

이 연구의 목적은 학교가 학생들의 학업성취도 향상에 기여한 정도를 나타낼 수 있는 학교효과 측정 모형들을 이론적으로 검토하고, 모의실험 결과를 토대로 우리나라의 학교교육의 성과를 평가할 수 있는 학업성취지표를 제안하는 것이다. 또한, 이에 따라 학업성취지표에 근거한 교육의 책무성 강화를 위해 갖추어야할 평가 체제의 조건을 제안하는 것이다. 이 보고서는 모두 6개의 장으로 이루어져 있다. Ⅰ장에서는 연구의 필요성 및 목적, 연구내용, 연구방법 등을 기술하였다. Ⅱ장에서는 학생평가 결과에 근거하여 교사효과 또는 학교효과를 측정했던 선행

이 연구의 목적은 학교가 학생들의 학업성취도 향상에 기여한 정도를 나타낼 수 있는 학교효과 측정 모형들을 이론적으로 검토하고, 모의실험 결과를 토대로 우리나라의 학교교육의 성과를 평가할 수 있는 학업성취지표를 제안하는 것이다. 또한, 이에 따라 학업성취지표에 근거한 교육의 책무성 강화를 위해 갖추어야할 평가 체제의 조건을 제안하는 것이다. 이 보고서는 모두 6개의 장으로 이루어져 있다. Ⅰ장에서는 연구의 필요성 및 목적, 연구내용, 연구방법 등을 기술하였다. Ⅱ장에서는 학생평가 결과에 근거하여 교사효과 또는 학교효과를 측정했던 선행연구 및 외국사례들을 탐색하였다. Ⅲ장에서는 학교효과를 추정하는 통계적 모형들을 이론적으로 검토하고, 우리나라의 현행 평가체제를 고려하여 현실적으로 적용이 가능한 통계적 모형들을 제안하였다. 또한, TVAAS (Tennessee Value-Added Assessment System)와 같은 부가가치모형의 적용을 위해 전제가 되어야하는 수직척도(vertical scaling) 개발에 대한 이론적 검토가이루어졌다. Ⅳ장에서는 국가수준 학업성취도 평가와 대학수학능력시험 자료를 연계하여 종단자료를 생성하고, 이 자료에 학교효과 측정 모형들을 적용하여 산출한 학교수준의 학업성취지표들을 비교하는 모의실험을 실시하고 그 결과에 대하여 논의하였다. Ⅴ장에서는 우리나라의 초ㆍ중등학교 교육과정에 근거한 평가에 수직척도 점수체제 도입의 타당성을 평가하기 위한 모의평가 및 자료 분석 결과에 대하여 논의하였다. Ⅵ장에서는 학업성취지표에 대한 모의실험, 수직척도 개발의 타당성 검토, 설문조사 결과에 근거하여 학업성취지표 산출 및 활용과 책무성 강화를 위한 평가체제의 특징과 관련하여 정책제언을 하였다.

Abstract ▼

The purpose of the present study was multifold. It was to examine a variety of psychometric models to measure schools’ effectiveness through a literature review, to perform a pilot study in which some of the models were fitted to archived nationwide standardized test scores collected from operationa

The purpose of the present study was multifold. It was to examine a variety of psychometric models to measure schools’ effectiveness through a literature review, to perform a pilot study in which some of the models were fitted to archived nationwide standardized test scores collected from operational administrations, and to propose tenable indices of school effects based on the pilot study results. Furthermore, the study investigated the feasibility of establishing a vertical scale for a nationally mandated curriculum-based achievement test for K-12 students in the nation. For this investigation, curriculum-based test forms were developed in the domains of English and Mathematics and they were administered to a sample of students from elementary school grade 6 through middle school grade 3(equivalently, grade 9). Then, a vertical scale was constructed using the sample data in each of the domains of interest. This report consists of six chapters in total and the overview is provided as follows. Chapter 1 describes the need for and the purpose of research followed by the topics and methods that the study covered. In Chapter 2, a literature review summarizes various systems or procedures to measure school effects reported across countries. Chapter 3 evaluates several statistical models being used for measuring school effects, and suggests some models applicable to the current assessment system of the nation. At the end of the chapter a brief review on vertical scaling which is essential for value-added models such as Tennessee Value-Added Assessment System(TVAAS) is also provided. In Chapter 4, the National Assessment of Educational Achievement(NAEA) test data are linked with the College Scholastic Aptitude Test(CSAT) data to have a longitudinal data set, and various school effect models are fitted to the data. As a result, multiple measures of school effects are yielded and compared. In Chapter 5, a validation study of establishing a vertical scale for an achievement test in English and Mathematics, respectively that is aligned with the current curriculum is presented. The detailed description of item writing, test form construction, data collection method, estimation strategy, and main findings is provided. In Chapter 6, suggestions are made for policy implementation of school effect indices and of assessment system suitable for education accountability.

목차 Contents

• 표 지 ... 1
• 머리말 ... 5
• 연구요약 ... 7
• 차례 ... 17
• 표차례 ... 21
• 그림 차례 ... 23
• Ⅰ. 서론 ... 25
• 1. 연구의 필요성 및 목적 ... 27
• 2. 연구 내용 ... 31
• 가. 학교 및 교사 효과성 측정 관련 선행연구 조사 ... 31
• 나. 평가 결과에 근거한 학교평가 사례 조사 ... 31
• 다. 우리나라에 적용 가능한 학교효과 측정 모형에 대한 이론적 검토 ... 32
• 라. 학교효과 측정 모형을 적용한 실증적 모의실험 연구 ... 32
• 마. 학교효과 지표의 타당도 분석 ... 32
• 바. 학교효과 측정에 적절한 평가 체제 및 자료수집 체계 검토 ... 32
• 사. 수직척도 개발의 타당성 검토 ... 33
• 3. 연구 방법 ... 33
• 가. 문헌연구 ... 33
• 나. 전문가 협의회 ... 33
• 다. 학교효과 측정 관련 국제학술대회 (American Educational Research Association, AERA) 참석 및 해외 전문가 면담 ... 34
• 라. 설문조사 ... 34
• 마. 학교효과 모형을 적용한 모의실험 및 학교효과 지표의 타당도 분석 ... 34
• 바. 수직척도 개발 타당성 검토를 위한 모의검사 개발, 시행 및 분석 ... 34
• Ⅱ. 학교효과 추정 관련 문헌연구 ... 35
• 1. 학교효과 정의의 변천 ... 37
• 2. 외국의 학교효과 연구 ... 41
• 가. 학교효과 연구의 역사 ... 41
• 나. 국가별 학교효과 연구 및 책무성 체제의 특징 ... 43
• 3. 우리나라의 학교효과 연구 ... 51
• 4. 학교효과 연구의 주요 사안 ... 53
• 가. 학교효과의 맥락요인 ... 53
• 나. 분석의 단위 ... 56
• 다. 회귀 분석과 다층모형 ... 58
• 라. 종단자료 및 코호트자료 ... 59
• 마. 다중 척도 ... 60
• 5. 학교효과 지수의 활용 ... 60
• 가. 학교 및 교사 책무성 ... 61
• 나. 학교 및 교사 개선 ... 61
• 다. 프로그램 평가 ... 62
• Ⅲ. 학교효과 추정 모형 ... 63
• 1. 학생 코호트들 간의 자료를 비교하는 학교효과 추정 모형 ... 66
• 2. 학생 개인의 종단자료를 사용한 모형 ... 68
• 3. 모의실험을 위한 학교효과 추정 모형 ... 71
• 가. 준거지향 학교효과 평가 모형 ... 71
• 나. 규준지향 학교효과 평가 모형 ... 77
• 4. 수직척도 점수 체제 ... 80
• 가. 수직척도의 정의 ... 81
• 나. 수직척도 적용 사례 ... 81
• 다. 학교효과의 평가와 수직척도의 연관성 ... 83
• 라. 수직척도 개발 시 고려할 사항 ... 83
• 마. 수직척도와 관련한 논쟁점 ... 91
• Ⅳ. 학교효과 추정 모형 비교 모의실험 ... 93
• 1. 모의실험 개요 ... 95
• 가. 모의실험에 사용하는 평가 자료 ... 95
• 나. 대학수학능력시험과 성취수준 ... 97
• 다. 학업성취지표 산출 모형 및 실험조건 ... 100
• 라. 모의실험 절차 및 분석 방법 ... 107
• 2. 모의실험 결과 ... 111
• 3. 요약 및 논의 ... 125
• Ⅴ. 수직척도 개발의 타당성 평가 ... 131
• 1. 수직척도 개발의 개요 ... 133
• 2. 문항개발 및 검사지 구성 ... 134
• 3. 자료수집 설계 및 문항모수 추정 방법 ... 137
• 4. 자료수집 및 분석 결과 ... 140
• 가. 모의시험 시행 및 자료수집 ... 140
• 나. 기술통계 및 문항반응 분석 결과 ... 141
• 다. 수직연계 분석 결과 ... 150
• 5. 요약 및 논의 ... 158
• Ⅵ. 교육 책무성 강화를 위한 정책적 제언 ... 163
• 1. 책무성 체제를 위한 평가 및 자료수집 ... 166
• 2. 수직척도 점수체제의 도입 ... 167
• 3. 학업성취지표 산출을 위한 맥락변인 사용 ... 168
• 4. 종단자료 및 코호트자료 ... 171
• 5. 학업성취지표 산출 모형 ... 172
• 6. 학업성취지표의 활용 방안 ... 173
• 7. 다중 학업성취지표의 활용 ... 175
• 8. 학업성취지표의 타당도 확보 ... 175
• 9. 책무성 체제를 위한 평가 체제의 조건 ... 176
• 참 고 문 헌 ... 179
• ABSTRACT ... 195
• 부록 ... 203
• [부록 1] 2007년 학업성취도 평가 및 2010학년도 대학수학능력시험 자료에 근거한 학업성취지표 분석 ... 205
• [부록 2] 온라인 설문조사 문항 ... 210
• [부록 3] 문항개발 과업지시서 ... 215
• [부록 4] 평가 시행 지침 ... 217