초록 ▼

학생들의 학업성취도를 평가하고 그 변화를 지속적으로 살펴 교육정책의 실행 과정이나 효과를 점검하고 학교 교육의 현황을 파악하는 것은 매우 중요하고 의미 있는 일이다. 수학·과학성취도 추이변화 국제비교 연구(Trends in International Mathematics and Science Study; 이하 TIMSS)는 1995년부터 4년 주기로 시행되어 참여국의 수학과 과학 성취 수준을 국제적으로 분석하고 교육 내용의 국가 간 차이에 대해 비교하여 참여국의 교육정책 및 교육과정 개선을 위한 정보를 제공하는 데 기여해 왔다.

학생들의 학업성취도를 평가하고 그 변화를 지속적으로 살펴 교육정책의 실행 과정이나 효과를 점검하고 학교 교육의 현황을 파악하는 것은 매우 중요하고 의미 있는 일이다. 수학·과학성취도 추이변화 국제비교 연구(Trends in International Mathematics and Science Study; 이하 TIMSS)는 1995년부터 4년 주기로 시행되어 참여국의 수학과 과학 성취 수준을 국제적으로 분석하고 교육 내용의 국가 간 차이에 대해 비교하여 참여국의 교육정책 및 교육과정 개선을 위한 정보를 제공하는 데 기여해 왔다.

본 연구는 6주기인 TIMSS 2015 3차 년도 연구로 본검사를 안정적으로 시행하고 시행 결과를 정리 및 분석하는 것을 주된 목적으로 한다. 또한, 수학·과학 교육 체제를 국제적으로 비교하여 유의미한 데이터를 산출하고, 이 데이터에 기초하여 주요 쟁점들을 부각함으로써 우리나라의 관련 교육정책 개선에 기여하고자 하였다.

◎ TIMSS 2015 본검사 시행
TIMSS 2015 예비검사 시행 종료 직후부터 본검사 준비가 시작되어 2014년 12월 15일부터 24일 사이에 각 학교에서 지정한 날짜에 본검사가 시행되었다. 본검사를 위해 예비검사 결과를 바탕으로 각국의 교과 전문가들의 협의를 거쳐 초등학교 4학년 수학 169문항, 과학 176문항, 중학교 2학년 수학 212문항, 과학 220문항을 본검사 문항으로 확정하였다. TIMSS에서는 성취도 검사와 더불어 수학·과학 교육 체제를 조사하기 위해 다양한 설문을 실시하는데, 이번 주기의 설문 문항은 이전 주기의 설문 문항을 기초로 최신의 교육 흐름을 반영하여 수정한 뒤 국제회의를 거쳐 확정하였다. 이 설문은 국가 맥락을 조사하기 위한 국가 백과사전, 학교 맥락을 조사하기 위한 학교 및 교사 설문, 학생 개인 배경을 조사하기 위한 학생 설문과 초등학교 4학년을 위한 학부모 설문으로 구성되었다.

국제본부에서 검사 문항 및 설문 내용이 확정한 후, 우리나라에서는 국가 검증 양식(National Adaptation Form; 이하 NAF)을 이용해 이에 대한 번역 및 검증 절차를 진행하였다. 번역 및 검증 과정에서 우리나라의 문화에 맞지 않는 단어를 수정하고, 우리나라 교육과정에서 사용되는 용어와 기호에 맞게 문항 일부를 수정하였다. 모든 번역 과정에서 국제본부와의 교차 검증이 이루어졌으며, 이를 통해 국제 평가로서 공정성과 신뢰성을 갖춘 국내 TIMSS 평가 도구를 완성하였다. 평가 도구에 대한 검증과 더불어 국제본부에서 표집한 초등학교 150개교, 중학교 150개교를 대상으로 시행 협조 요청을 하여 학급 정보를 받았으며, 국제본부에서 제공한 표집 및 자료 관리 프로그램(WinW3S)을 이용하여 평가 대상을 표집하였다. 기존의 표집 방식과 달리 이번 주기부터 시·도교육청 층화가 제거된 상태로 표집이 진행되었으나 국내 평가 전문가 및 국제본부와의 협의와 시뮬레이션 결과 층화의 변화가 성취도 변화에 영향을 미치지 않는 것으로 나타났다.

본검사 시행 전 사전 준비로 평가 대상 학생 및 교사에 대한 정보가 담긴 명세서를 출력하고, 검사지와 설문지를 비롯한 각종 검사 자료를 인쇄하여 학교 및 학급별로 평가도구를 포장하였다. 또한, 학교 책임자 및 감독 교사 연수를 실시하여, 국제 공통 절차에 따라 평가가 진행될 수 있도록 하였다. 본검사는 각 학교에서 지정한 날짜에 실시되었으며 모든 학교가 재검사 없이 완료되었다. 성취도 검사와 더불어 온라인으로 시행되는 학교 및 교사 설문과 가정으로 발송되는 학부모 설문도 차질없이 실시되었다. 본검사 시행 완료 결과 우리나라에서는 초등학교 4학년 4,674명, 중학교 2학년 5,310명이 검사에 참여하였으며, 학부모 설문은 4,705명의 자료가 회수되었고, 학교 및 교사 설문은 대상자 전원이 완료하였다.

본검사 시행의 전 과정에 대한 질 관리를 위해 시행 학교의 학교 책임자와 감독 교사에게 검사 실시 보고서를 작성하도록 하였다. 질 관리를 통해 시행과 관련한 다양한 의견이 수렴되었으며 이를 통해 향후 TIMSS 국제 평가 체제 개선 및 국내 시행 절차 개선을 위한 시사점을 도출하였다.

◎ TIMSS 2015 본검사 채점 및 자료 검증
본검사 시행이 완료된 후 2015년 1월부터 검사 자료 채점 및 입력을 위한 준비가 시작되었다.
우리나라는 이번 주기부터 컴퓨터 기반 채점으로 채점 방식을 변경하였기 때문에 채점을 위한 모든 절차를 다시 설계하였다. 자료 채점 및 입력을 위해서 먼저 성취도 검사 및 설문 자료를 전량 스캔하여 자료 파일을 생성하고, 이를 국제 자료 처리 센터(Data Processing Center; 이하 DPC)에서 지정한 FTP에 업로드하여 자료 처리 센터의 검증을 받았다. 지필로 시행된 학생 및 학부모 설문 자료는 국제본부에서 제공한 자료 관리 프로그램(Data Management Expert; 이하 DME)에 입력하여 2015년 2월 TIMSS 2015 학생 및 학부모 설문 데이터베이스를 생성하였다. 학교 설문과 교사 설문의 경우 온라인 시행으로 응답 결과가 국제본부에 직접 전송되었기 때문에 설문 대상자 개인 정보와 표집 대상자 정보 간의 일치도 검사만 실시되었다.

학생 성취도 검사 문항의 입력과 채점은 2015년 4월 합숙을 통해 국제본부에서 송부한 채점 파일 분배 및 채점 프로그램을 이용하여 실시하였다. 선다형 문항에 대해서는 입력자를 선발한 뒤 국제 자료 처리 센터에서 제작한 채점 파일에 입력하도록 하였고, 구성형 문항에 대해서는 수학 및 과학 전공 교사가 채점과 입력을 동시에 진행하도록 하였다. 구성형 문항 채점에 앞서 문항 번역 내용·교육과정·학생의 인지 수준을 고려하여 채점 기준을 번역하고, 채점 기준 및 채점 훈련 자료를 토대로 채점자에 대한 연수를 실시하였다. 채점 완료 후 채점자 신뢰도 검사 프로그램을 이용하여 신뢰도 검사를 완료하였는데, 우리나라의 경우 채점자 신뢰도가 높은 것으로 나타났다.

채점 결과를 설문 데이터베이스와 함께 자료 처리 센터로 송부하여 성취도 검사 자료에 대한 데이터베이스를 생성하였다. 국제본부에서 3차에 걸쳐 우리나라 데이터베이스에 대한 검증을 진행하였는데, 이 과정에서 몇 가지 입력 오류사항이 수정되어 국제비교 결과 산출을 위한 데이터베이스가 최종 완성되었다.

◎ TIMSS 2015 평가 내용과 국내 교육과정 연계성 분석
TIMSS 2015 교육과정 설문은 다른 국가의 수학·과학 교육 현황을 파악하기 위한 자료로 활용된다. 교육과정 설문 작성을 위해 국내 수학·과학 교육체제를 조사하였고, 수학·과학 교육내용 지도 시기를 시행 대상 학년 학생들에게 적용된 교육과정별로 조사하여 제출하였다.

TIMSS 2015의 평가 내용과 교육과정 간의 일치도를 분석하기 위해 문항-교육과정 일치도 분석(Test-Curriculum Matching Analysis; 이하 TCMA)을 실시하였다. 이를 통해 배운 내용과 결과 간의 관련성, 그리고 TIMSS 문항과 각국 교육과정 간의 일치 정도를 파악할 수 있다.

이를 위해서 먼저 TIMSS 2011 성취도 상위 10개국을 대상으로 TIMSS 2011 추이 문항에 대한 TCMA 결과와 백과사전에 제시된 참여국의 수학·과학 교육 내용 현황을 분석하였다.
또한, TIMSS 2015의 개별 문항 단위로 교육과정 일치도를 분석하고, TIMSS 2011과 TIMSS 2015의 추이 문항에 대한 TCMA 결과의 변화를 분석하여 2007 개정 교육과정과 2009 개정 교육과정에서 교육 내용의 변화가 국제 평가 결과에서 가져올 수 있는 차이점과 향후 우리나라 교육과정 개정에 주는 시사점을 검토하였다. 분석 결과에 따르면 수학의 경우는 2009 교육과정에서 학습량이 감축됨에 따라 TIMSS 2011의 일치 문항 중 일부가 TIMSS 2015에서 불일치 문항으로 분류되기도 하였으며, 과학의 경우 TIMSS 문항과 우리나라 교육과정에서 각각의 개념에 대해 고려하는 학습 시기의 차이가 큰 것으로 나타났다.

현재 적용 중인 교육과정에 대한 질 관리는 TIMSS 시행의 주요 목적 중 하나이다. 본 연구의 문항-교육과정 일치도 분석 결과 중 일부 사항은 2015 교육과정 개정 시 반영되었으며, 이러한 분석 결과가 지속적으로 산출되면 향후 우리나라 수학·과학 교육 내용 선정과 적정화를 위한 기초 자료로 활용될 수 있을 것이다.

◎ TIMSS 2015 시행 및 수학·과학 교육 체제 분석에 따른 제언
본 연구에서는 TIMSS 2015 시행 및 수학·과학 교육 체제 분석 결과를 바탕으로 세 가지 측면에서 우리나라 수학·과학 교육 개선을 위한 시사점 및 정책을 제언하였다. 첫째, 국제적인 교육 환경 변화에 대응하기 위해 국내 교육 환경 개선 방안을 마련해야 한다. 우선 수학·과학 교육 환경이 테크놀로지 기반으로 변화하고 있다는 점을 고려하여 국내 교육 환경을 점검하고 개선 방안을 마련해야 한다. 국제 평가 또한 디지털 기반으로 변모함에 따라 컴퓨터 기반 평가체제를 다각도로 분석하여 국내 대규모 평가 개선에 반영하고, 그 일환으로 국내 ICT 교육환경과 관련 제도에 대한 점검도 실시해야 한다. 둘째, 국제 평가 자료를 참조하여 우리나라 수학·과학 교육 내용의 적정성을 점검하고, 내용 요소의 누락을 방지하기 위한 교수·학습 자료를 개발해야 한다. 이를 위해서는 우리나라 수학·과학 교육 내용 선정에 국제 평가의 분석 결과를 반영하고, 수학적 사고력 중심의 교육 정책을 추진하며 과학의 학년별 교육 내용 적정성을 재검토해야 한다. 또한, 교육과정 전환기에 교육 내용이 누락되지 않도록 보정을 위한 교수학습 자료를 지속적으로 개발하고 이에 대한 안내를 강화해야 한다. 셋째, 향후 TIMSS를 비롯한 국제 학업성취도 평가의 안정적 시행을 위한 지원 방안이 마련되어야 한다. 이를 위해 장기적인 관점에서 국제 학업성취도 평가 시행을 위한 안정적인 예산 및 인력 지원이 필요하고, 국제 학업성취도 평가의 문항 개발 및 검토를 위한 전문가 집단을 운영하여야 한다. 또한, 국제 평가대상 및 시행 담당자에 대한 인센티브 제공 방안 마련이 필요하다.

(출처 : 연구요약 7p)

Abstract ▼

It is very important and meaningful to check the implementation process and effect of the educational policy and to identify the current situation of school education by continuously assessing the academic achievements of the students and monitoring the changes. TIMSS (Trends in International Mathem

It is very important and meaningful to check the implementation process and effect of the educational policy and to identify the current situation of school education by continuously assessing the academic achievements of the students and monitoring the changes. TIMSS (Trends in International Mathematics and Science Study) has been conducted in a four-year cycle since 1995, and it has contributed to the arrangement of basic data for the improvement of educational contents of the participating countries by internationally comparing their achievement levels in mathematics and science, including the differences, within their educational contents.

This research stably carried out the TIMSS 2015 main survey and produced data that can internationally compare the mathematics and science achievement characteristics of Korean students. It also derived the implications for improvement of educational policies in mathematics and science by analyzing various issues identified in this process.

◎ TIMSS 2015 Main Survey
The TIMSS 2015 Main Survey was prepared right after the 2014 Field Trial, and it was conducted in each school from Dec. 15 to Dec. 24, 2014. Based on the results of the Field Test, 169 items in elementary mathematics, 176 items in elementary science, 212 items in middle school mathematics, and 220 items in middle school science were decided as the main survey questions through a discussion with curriculum experts from each country. TIMSS carries out various questionnaire surveys to identify the mathematics and science education system, as well as the achievement test and contents of the questionnaire survey, which were decided through international meetings. The contents include a national “Encyclopedia” to survey the national context, the “School/Teacher Questionnaire” to survey the school context, the “Student Questionnaire” to survey the personal background of the students, and the “Home Questionnaire” for the fourth graders of elementary schools.

After the test items and questionnaire contents were fixed, their translation and verification processes were conducted. By correcting the words that were not suitable for Korean culture and revising some parts of the questions to make them suitable for the terms and symbols used in the curriculum, the fair and reliable domestic TIMSS assessment tool—as an international assessment tool—was completed. Together with the verification of the assessment tool, a cooperation request was sent to 150 elementary schools and 150 middle schools sampled, and the sampling of the assessment targets were conducted using WinW3S, a sampling and data management program, after receiving the class information.

As an advanced preparation before the main survey, the assessment tools for each school and class were packed after printing out the Tracking Form that contained information on the assessment target students and teachers and various test data, including the “Achievement Booklet” and “Context Questionnaires.” In addition, the training of the “School Coordinator” and “Test Administrators” was conducted to make sure that the assessment can be conducted in accordance with the common international procedure.

The main survey was conducted on days designated by each school. and all the schools completed the survey without resurvey. The “School/Teacher Questionnaire” conducted online and the “Home Questionnaire” sent to the homes of the students, as well as the achievement level test, were carried out without any problem. The result of the main survey showed that in Korea, 4,674 elementary fourth-grade students and 5,310 second-grade middle school students participated in the test, and the “Home Questionnaire” survey data were recovered from 4,705 parents, and the “School/Teacher Questionnaires” conducted online were answered by all respondents.

For the quality control of the above processes, the school coordinators and test administrators were asked to prepare the Test Administration Form. Through the Quality Control Monitor, various opinions on the assessment were collected, and the implications for the future improvement of TIMSS assessment and the domestic implementation procedure were thus derived.

◎ TIMSS 2015 Main Survey Score and Data Verification
After completing the main survey, preparation for the scoring and input of the test data was started from January 2015. As Korea changed its scoring system using computer-based scoring from this assessment, the test data files were generated by scanning first all the test data in page units for the data scoring and input, and they were uploaded to the FTP designated by the Data Processing Center (DPC) for verification.

The “Student Questionnaire” and “Home Questionnaire” conducted using a paper-and-pencil method were put into the Data Management Expert (DME) to generate a questionnaire database in February 2015. For the “School/Teacher Questionnaire” conducted online, only the matching test was conducted to check whether the personal information of the questionnaire targets matches the information of the sampling targets.

The input and scoring of the student achievement test items were conducted through camping in April 2015 using the scoring file distribution and scoring program sent from DPC. Using the scoring files produced by DPC, the input of the Multiple Choice Items was conducted by selecting the inputter, and the input and scoring of the Constructed Response Items were concurrently conducted by the mathematics and science teachers. For the scoring of the Constructed Response Items, the domestic scorer training was conducted in accordance with the scoring standard and scoring training data of the International Study Center. The Scoring Guides were translated into Korean in consideration of the questionnaire contents, the curriculum, and the awareness level of the students. The domestic scorers conducted the scoring based on the translated contents. After completing the scoring, the reliability test was conducted using the Coding Expert Reporting Tool and the test result showed a high reliability of the Korean scorers.

After completing the scoring, the result files were sent to DPC, together with the questionnaire database, to generate the database of the achievement test data.
The International HQ carried out the verification of the Korean database three times and during this process, a few input errors were corrected, and the database for the production of international comparison results was completed.

◎ Analysis of TIMSS 2015 Assessment Contents and Domestic Curriculum Connectivity
TIMSS 2015 Curriculum Questionnaire Survey is conducted to identify the current educational situation of other countries in mathematics and science. The domestic mathematics and science education systems were surveyed using the curriculum questionnaire items, and the educational contents teaching periods were surveyed according to each curriculum that were applied to target students.

In addition, in analyzing the achievement level of the students for TIMSS items, it was identified whether the results were produced based on the learning contents of the students. To compare the extent of the matching between the national curriculum and the TIMSS test in each country, the Test–Curriculum Matching Analysis (TCMA) was conducted. This research studied what changes in educational contents were made in the 2007 revised curriculum and the 2009 revised curriculum. It also studied how those changes can be reflected in the future revision of the Korean curriculum and international assessment by analyzing the matching of the curriculum in individual item units of the TIMSS 2015, including the changes in the curriculum matching in the released items of the TIMSS 2011 and the TIMSS 2015. Such study results are expected to be used as basic data for the selection and optimization of educational contents.

◎ Conclusion
Based on the results of the TIMSS 2015 implementation and the analysis of mathematics and science educational systems, this research derived the implications and suggested policy for the improvement of the Korean mathematics and science education. First, a method for improving the domestic educational environment needs to be prepared in order to respond to the changes in the international educational environment. Second, the educational contents need to improve in accordance with the results of the systematic inspection on the suitability of Korean mathematics and science educational contents based on the international assessment data and the relevant data that need to be developed.
Third, a method of supporting the stable implementation of international academic achievement assessment, including the TIMSS, needs to be arranged in the future.

(출처 : Abstract 156p)

목차 Contents

• 표지 ... 1
• 연구협력진 ... 3
• 머리말 ... 5
• 연구 요약 ... 7
• 목차 ... 11
• 표목차 ... 12
• 그림목차 ... 15
• I. 서 론 ... 17
• 1. 연구 개요 ... 19
• 2. 연구 내용 ... 24
• 3. 연구 방법 및 절차 ... 26
• Ⅱ. TIMSS 2015 본검사 시행 ... 29
• 1. 평가도구 구성 ... 31
• 2. 본검사 시행 준비 ... 51
• 3. 본검사 시행 ... 62
• Ⅲ. TIMSS 2015 본검사 채점 및 자료 검증 ... 71
• 1. 본검사 시행 자료 스캔 및 입력 ... 73
• 2. 본검사 채점 ... 76
• 3. 본검사 시행 자료 국제본부 송부 및 검증 ... 93
• 4. 본검사 시행 설문 조사 ... 98
• Ⅳ. TIMSS 2015 평가 내용과 국내 교육과정 연계성 분석 ... 101
• 1. TIMSS 2015 관련 우리나라 수학·과학 교육 체제 조사 ... 103
• 2. TIMSS 문항과 성취도 상위국 교육 내용 비교 분석 ... 108
• V. 결론 및 제언 ... 131
• 1. 결론 ... 133
• 2. 정책 제언 ... 140
• 참고문헌 ... 153
• ABSTRACT ... 156
• 끝페이지 ... 160