초록 ▼

본 연구는 PISA 2012 예비검사에 대한 준비, 시행, 예비검사 결과 분석, 본검사 준비에 대한 전반적인 과정을 담고 있다. 보고서는 크게 PISA 2012 예비검사 수학·문제해결력 평가틀 및 평가도구의 특징과 번역 및 검증 과정, PISA 2012 예비검사 시행 과정, 채점 및 자료 관리, 예비검사 결과 분석 및 본검사 준비의 네 부분으로 구성된다.
Ⅰ장에서는 연구의 필요성, PISA 2012 연구 일정, 2011년 연구내용을 제시하였다.
Ⅱ장에서는 PISA 2012에서의 수학 소양의 정의, 수학과 문제해결력 평가틀

본 연구는 PISA 2012 예비검사에 대한 준비, 시행, 예비검사 결과 분석, 본검사 준비에 대한 전반적인 과정을 담고 있다. 보고서는 크게 PISA 2012 예비검사 수학·문제해결력 평가틀 및 평가도구의 특징과 번역 및 검증 과정, PISA 2012 예비검사 시행 과정, 채점 및 자료 관리, 예비검사 결과 분석 및 본검사 준비의 네 부분으로 구성된다.
Ⅰ장에서는 연구의 필요성, PISA 2012 연구 일정, 2011년 연구내용을 제시하였다.
Ⅱ장에서는 PISA 2012에서의 수학 소양의 정의, 수학과 문제해결력 평가틀, 예비검사 평가 문항 개발, 예비검사 평가도구 구성, 예비검사 평가도구 번역 및 검증 절차에 대해 살펴보았다. ‘수학 소양(mathematical literacy)’이란 다양한 맥락에서 수학을 형식화하고, 이용하고, 해석하는 개인적인 능력이다. 여기에는 현상을 기술하고 설명하며 예측하기 위해 수학적 추론과 수학적 개념, 절차, 사실, 도구를 사용하는 것이 포함된다. 이러한 수학 소양을 평가하기 위한 수학 평가틀은 맥락, 수학적 내용, 수학적 과정의 세 가지 영역으로 구성된다. 수학 소양에 대한 평가는 지필검사와 컴퓨터 기반 수학 평가로 시행되며, 이때 컴퓨터 기반 수학 평가는 지필검사와 동일한 평가틀을 기반으로 하고 있다.

Abstract ▼

The Program for International Student Assessment (PISA) is a system of international assessments that focuses on 15-year-olds' capacities in reading literacy, mathematics literacy, and science literacy. PISA also includes measures of general or cross-curricular competencies such as problem solving.

The Program for International Student Assessment (PISA) is a system of international assessments that focuses on 15-year-olds' capacities in reading literacy, mathematics literacy, and science literacy. PISA also includes measures of general or cross-curricular competencies such as problem solving. PISA emphasizes functional skills that students have acquired as they near the end of compulsory schooling. PISA is coordinated by the Organization for Economic Cooperation and Development (OECD), an intergovernmental organization of industrialized countries. Begun in 2000, PISA is administered every three years.
Each administration includes assessments of all three subjects, but assesses one of the subjects in depth. PISA 2012 is the fifth cycle study, in which 67 countries are participating. PISA 2012 will be administered in 2012 and focus on mathematics literacy. The purpose of this study was to describe what we have done for PISA 2012 this year: that is, the preparation and administration of PISA 2012 Field Trial (FT) for mathematics and problem solving domains. Mathematics is the major domain in PISA 2012 and has two formats of assessment, a paper based assessment of mathematics and Computer Based Assessment of Mathematics (CBAM). However, the problem solving domain has one format of the computer based assessment, which is called Computer Based Assessment of Problem Solving (CBAPS). Both CBAM and CBAPS were developed as a new and innovative component that was due to the increasing relevance and recognition of using electronic tools for solving authentic problems.

목차 Contents

• 표지 ... 1
• 연구협력진 ... 3
• 머리말 ... 5
• 연구요약 ... 7
• 차 례 ... 9
• 표 차 례 ... 15
• 그 림 차 례 ... 19
• Ⅰ. 서론 ... 21
• 1. 연구의 필요성 및 목적 ... 23
• 2. PISA 2012 연구 일정 ... 25
• 가. 연구 일정 ... 25
• 나. 국제회의 일정 ... 27
• 3. 2011년 연구 내용 ... 28
• 가. PISA 2012 예비검사 준비 ... 28
• 나. PISA 2012 예비검사 시행 ... 29
• 다. PISA 2012 예비검사 채점 및 자료 관리 ... 29
• 라. PISA 2012 예비검사 결과 분석 및 본검사 준비 ... 30
• Ⅱ. PISA 2012 예비검사 평가도구 ... 31
• 1. PISA 2012 평가틀 ... 33
• 가. 수학 평가틀 ... 33
• 나. 문제해결력 평가틀 ... 45
• 다. 교육맥락 변인 평가틀 ... 50
• 2. 평가 문항 개발 ... 51
• 가. 평가 문항 개발 절차 ... 52
• 나. 우리나라의 문항 개발 참여 ... 53
• 3. PISA 2012 예비검사 평가도구 구성 ... 58
• 가. 예비검사 평가도구 구성 ... 58
• 나. 교육맥락 변인 설문조사 도구 ... 62
• 4. 평가도구 번역 및 검증 ... 70
• 가. 수학 지필검사지 번역 및 검증 ... 70
• 나. 컴퓨터 기반 평가 도구의 번역 및 검증 ... 72
• 다. 교육맥락 변인 설문조사 도구의 번역 및 검증 ... 75
• 라. 시행 지침서 번역 및 검증 ... 79
• Ⅲ. PISA 2012 예비검사 시행 ... 81
• 1. 평가 대상 표집 ... 83
• 가. PISA 2012 예비검사 표집 방법 ... 84
• 나. 학교 표집 절차 ... 86
• 다. 학생 표집 절차 ... 88
• 2. 컴퓨터 기반 평가 시행을 위한 사전 점검 ... 91
• 3. 학교 책임자와 감독 교사 선정 및 연수 ... 93
• 가. 학교 책임자와 감독 교사 선정 ... 93
• 나. 연수 일정 ... 97
• 4. 검사 자료 인쇄ㆍ포장ㆍ발송 ... 98
• 가. 검사 자료 인쇄 ... 99
• 나. 평가도구 포장 및 발송 ... 100
• 5. 예비검사 시행 및 질 관리 ... 100
• 가. 지필검사 시행 ... 101
• 나. 컴퓨터 기반 평가 시행 ... 103
• 다. 시행 질 관리를 위한 학교 방문 ... 105
• 라. 검사 자료 회송 ... 105
• 마. 시행 과정 검토 ... 107
• Ⅳ. PISA 2012 예비검사 채점 및 자료 관리 ... 109
• 1. 예비검사 채점 ... 111
• 가. 채점기준의 번역 및 검증 ... 111
• 나. 지필검사 채점 설계 및 절차 ... 112
• 다. 컴퓨터 기반 평가 채점 설계 및 절차 ... 120
• 라. 지필검사 및 컴퓨터 기반 평가 채점 및 채점자 연수 ... 123
• 마. 채점 과정 모니터링 및 평가 ... 125
• 2. 예비검사 자료 관리 ... 125
• 가. 자료의 구조 ... 125
• 나. 자료입력 및 확인 일정 ... 126
• 다. 코드북의 수정 및 확인 ... 127
• 라. 자료 입력 ... 128
• 마. 자료 확인 ... 129
• 바. 자료 송부 및 검증 ... 132
• Ⅴ. 예비검사 결과 분석 및 본검사 준비 ... 135
• 1. 국제본부 송부용 예비검사 시행보고서 작성 ... 138
• 2. 국제본부 송부용 예비검사 문항 검토서 작성 ... 140
• 3. 예비검사 결과 분석 ... 141
• 가. 수학 지필검사 ... 142
• 나. 컴퓨터 기반 수학 평가 ... 146
• 다. 컴퓨터 기반 문제해결력 평가 ... 148
• 4. 예비검사 교육맥락 변인 설문 문항 분석 ... 150
• 가. 학생 설문지 ... 150
• 나. 학부모 설문지 ... 151
• 다. 학교 설문지 ... 152
• 5. 본검사 문항 선제 ... 152
• 6. 본검사 준비 ... 159
• 가. 본검사 준비 일정 및 계획 수립 ... 159
• 나. 본검사 평가도구의 번역 및 편집 ... 163
• 다. 본검사 시행 학교 표집 ... 164
• 라. 본검사 시행 설계시 유의할 점 ... 164
• Ⅵ. 요약 및 정책 제언 ... 167
• 1. 요약 ... 169
• 가. 예비검사 평가도구 ... 169
• 나. 예비검사 시행 ... 170
• 다. 예비검사 채점 및 자료 관리 ... 171
• 라. 예비검사 결과 분석 및 본검사 준비 ... 172
• 2. 정책 제언 ... 173
• 가. 수학 및 문제해결력 교육 개선을 위한 정책 제언 ... 174
• 나. 국가 단위 대규모 성취도 평가 연구를 위한 정책 제언 ... 176
• 다. PISA 결과 활용을 위한 연계 체제 구축 관련 정책 제언 ... 179
• 라. PISA 2012 본검사의 성공적 시행을 위한 정책 제언 ... 180
• 마. 향후 PISA의 지속적 참여 및 시행을 위한 정책 제언 ... 181
• 참고문헌 ... 185
• Abstract ... 187
• 부록 ... 191
• [부록 1 ] TAS ... 193
• [부록 2 ] BAS ... 194
• [부록 3 ] CBA Format and Layout Check ... 195
• [부록 4 ] QAS ... 196
• [부록 5 ] Final Optical Check ... 197
• [부록 6 ] MAS ... 198
• [부록 7 ] 검사 일정 서식(지필+컴퓨터 기반 평가) ... 199
• [부록 8 ] 검사 일정 서식(컴퓨터 기반 평가) ... 200
• [부록 9 ] 대상 학생 명단 ... 201
• [부록 10] 표집 양식(Sampling Form for KeyQuest: SFKQ) ... 202
• [부록 11] 학교 계열(Study Programme Table: SPT) ... 204
• [부록 12] 사용 언어(Language Table: LNT) ... 205
• [부록 13] 출생 국가명(Country of Birth Table: CBT) ... 206
• [부록 14] 학생 명세서 ... 207
• [부록 15] 지필검사용 검사 응시자 명단 ... 208
• [부록 16] 컴퓨터 기반 평가용 검사 응시자 명단 ... 209
• [부록 17] 컴퓨터 기반 평가 시스템 진단 결과표 ... 210
• [부록 18] 지필검사용 검사 실시 보고서 ... 211
• [부록 19] 컴퓨터 기반 평가용 검사 실시 보고서 ... 213
• [부록 20] 검사 자료 수령 서식 ... 215
• [부록 21] 검사 자료 목록 (지필+컴퓨터 기반 평가) ... 216
• [부록 22] 검사 자료 목록 (컴퓨터 기반 평가) ... 217
• [부록 23] 컴퓨터 기반 평가 로그인 양식 ... 218
• [부록 24] 자료 송부 서식 ... 219
• [부록 25] 용어 정리 ... 220