보고서 정보
주관연구기관 |
한국교육과정평가원 Korea Institute Of Curriculum & Evaluation |
연구책임자 |
상경아
|
참여연구자 |
이채희
,
김현경
,
최지선
|
보고서유형 | 최종보고서 |
발행국가 | 대한민국 |
언어 |
한국어
|
발행년월 | 2018-12 |
과제시작연도 |
2018 |
주관부처 |
국무조정실 The Office for Government Policy Coordination |
등록번호 |
TRKO201900002175 |
과제고유번호 |
1105013292 |
사업명 |
한국교육과정평가원(R&D) |
DB 구축일자 |
2019-06-15
|
DOI |
https://doi.org/10.23000/TRKO201900002175 |
초록
▼
수학·과학 성취도 추이변화 국제비교 연구(Trends in International Mathematics and Science Study; 이하 TIMSS)는 국제교육성취도평가협회(International Association for the Evaluation of Educational Achievement: 이하 IEA)에서 주관하는 국제 비교 연구이다.
TIMSS는 1995년 연구가 처음 시작된 이후 4년 주기로 반복 시행되고 있으며, TIMSS 2019는 2017년부터 2020년까지 진행되는 7번째 연구이다. TIMSS
수학·과학 성취도 추이변화 국제비교 연구(Trends in International Mathematics and Science Study; 이하 TIMSS)는 국제교육성취도평가협회(International Association for the Evaluation of Educational Achievement: 이하 IEA)에서 주관하는 국제 비교 연구이다.
TIMSS는 1995년 연구가 처음 시작된 이후 4년 주기로 반복 시행되고 있으며, TIMSS 2019는 2017년부터 2020년까지 진행되는 7번째 연구이다. TIMSS 2019는 이전 주기 연구와 마찬가지로 평가 기반 구축, 예비검사, 본검사, 결과 분석 및 보고의 4단계로 나누어 순차적으로 진행된다. 단, TIMSS 2019에서는 평가 방식을 기존의 지필 평가에서 컴퓨터 기반 평가(eTIMSS)로 전환한다는 점에서 이전 주기 연구들과 차별성을 갖는다.
2018년은 TIMSS 2019의 두 번째 단계에 해당하는 연구로, TIMSS 2019 예비검사를 성공적으로 시행하고 그 결과를 분석함으로써 TIMSS 2019 본검사를 위한 타당하고 신뢰도 높은 평가도구 개발에 기여하고 국내 검사 시행 과정 및 여건에 대한 점검을 통해 안정적인 본검사 시행 기반을 마련하는 것을 목적으로 한다. 본 연구의 주요 내용을 요약하면 다음과 같다.
첫째, TIMSS 2019 예비검사 평가도구를 번역․번안하였고, 이를 국제본부와 공동 검증한 후 수정․보완하였다. TIMSS에서는 검사도구의 국가 간 비교 가능성 및 공정성을 확보하기 위해 성취도 평가 및 설문 문항에 대한 번역․번안을 표준화된 절차와 기준에 따라 엄격하게 진행하였다. 또한 예비검사 시행에 필요한 검사 시행 지침서 및 각종 검사 정보 양식을 우리나라 검사 시행 상황에 맞게 번역·번안하였다.
TIMSS 2019의 성취도 평가도구는 이번 주기에 새롭게 개발된 수학, 과학 평가 문항들로만 구성되며, 학년별로 문항 내용 및 제시 순서를 다르게 한 8종의 검사가 개발되었다.
각 영역의 검사에는 두 개의 문항군(Item Block)이 포함되며, 각 문항군은 7~14개의 문항으로 구성된다. TIMSS 2019 예비검사에서는 학년별로 수학 영역에서 13개 문항군, 과학영역에서 13개 문항군이 개발되었으며, 이중 3개의 문항군은 TIMSS 2019에서는 컴퓨터 기반 평가로 평가 방식을 전환하면서 새롭게 도입한 문제해결 및 탐구 문항(PSI)들로 구성되어 있다. 새롭게 개발된 문항들은 멀티미디어로서의 컴퓨터의 특징과 문항에 대한 피험자의 응답을 즉각적으로 반영하여 피드백하는 등 기존의 지필 평가 문항과는 다른 새로운 특징을 갖는다.
TIMSS 2019의 배경변인 설문은 학생, 교사, 학교, 학부모 설문으로 구분되며, TIMSS 2019의 변화된 설문틀에 따라 새로운 문항을 추가하고 이전 주기 설문 문항 중 중요도나 효용성에서 낮게 평가된 문항들은 삭제되었다. 학생 설문은 수학·과학에 대한 학습 경험,수업, 태도 등에 대해 조사하고, 학교설문과 교사 설문에서는 학교·학급의 자원 등에 대해 조사하였다. 그리고 4학년에 대해서는 학습에 관한 학생의 특성 및 가정 배경 등을 조사하기 위해 학부모 설문을 추가로 실시하며, 학부모 설문에 대한 응답은 해당 학생의 부모나 주양육자가 응답하도록 하였다.
둘째, TIMSS 2019 예비검사를 위한 평가대상 표집, 예비검사 시행, 예비검사 채점 및 자료입력을 수행하였다. TIMSS 2019 표집 설계는 TIMSS 2015에서의 표집설계를 동일하게 유지했으며, 4학년에서는 지역 규모(대도시/중도시/읍면지역), 8학년에서는 지역규모와 학교 성별 유형(남학교/여학교/남녀공학)을 층화 변인으로 사용하였다. 이와 같은 방법으로 학교를 표집한 후, 학교 내에서 평가에 참여할 학급을 표집하는 2단계 표집을 실시하였다. 학급 표집은 국제연구센터에서 제공하는 WinW3S 프로그램을 사용해 국내연구팀에서 수행하였다. 학급 표집은 표집된 학교 내에서 평가 대상 학년의 전체 학급 중 일부를 무선표집하는 방식으로 이루어졌으며, 표집된 학급에 소속된 모든 학생들이 평가대상이 되었다. 그 결과 4학년의 경우 지역 규모를 층화변인으로 사용하여 총 30개 학교를 표집하였고 학교별로 다시 1∼2개 학급을 표집하여 총 1,487명의 학생을 표집하였다. 8학년에서는 지역 규모와 학교 성별 유형을 층화변인으로 사용하여 총 28개의 학교를 표집하였고, 학교별로 다시 1∼2개 학급을 표집하여 총 1,559명의 학생을 표집하였다. TIMSS 2019예비검사 시행은 초등학교 5학년(4학년 교육과정을 이수한 대상)과 중학교 3학년(8학년 교육과정을 이수한 대상)을 대상으로 하여 4월 2일부터 4월 23일까지 17일에 걸쳐 시행되었다.
예비검사 구성형 문항에 대한 채점 및 설문 정보 입력 작업이 완료된 후, 예비검사를 통해 수집된 성취도 평가 자료와 학생, 학부모, 교사, 학교의 설문 참여 정보 등 검사 시행관련 정보를 통합한 데이터베이스를 생성하고, 국제본부로 검사 결과 자료와 검사 시행관련 자료를 송부하였다. 예비검사 데이터베이스는 DME(Data Management Expert) 프로그램을 활용해 예비검사 시행 과정에서 산출된 각종 정보를 통합해 작성하였다.
셋째, TIMSS 2019 예비검사에 대한 결과를 분석하였고, 본검사 도구를 준비하였다.
TIMSS 2019 예비검사에 사용된 성취도 문항은 하위 문항을 기준으로 할 때 수학은 초등학교 4학년 176문항, 중학교 2학년 198문항이고, 과학은 초등학교 4학년 167문항, 중학교 2학년 210문항이었다. 문항 양호도 검토 기준에 따라 우리나라 학생들의 TIMSS 2019 예비검사 문항 응답 자료를 분석하였고, 그 결과 TIMSS 2019 예비검사 문항 중 본검사 문항으로 채택된 문항은 교과 및 학년별로 89~121문항으로, 예비검사 문항 중 본검사 문항으로 채택된 문항 비율은 수학의 경우 4학년에서 60.2%, 8학년에서 58.1%였으며, 과학의 경우는 4학년에서 53.%%, 8학년에서 57.6%였다.
TIMSS 2019 예비검사를 통해 수집된 설문 응답 자료에 대해서는 설문 문항들에 대한 응답 빈도와 비율 등 기초 분석 결과와 우리나라 학생들의 응답 결과가 국제 평균과 크게 차이가 나거나 모든 학생들이 응답하거나 또는 응답하지 않은 항목 등에 대해 세부적인 검토를 통해 이루어졌다. 그 결과, 학생 설문의 경우 4학년과 8학년 모두에서 ‘집단 괴롭힘을 경험한 정도’를 묻는 문항의 세부 항목을 일부 수정․보완하였다. 또한 ‘수업과 관련된 요인’의 문항들이 추가되거나 삭제되었다. 교사 설문에서는 ‘수학 수업 활동’, ‘수학 수업시간에 컴퓨터를 이용한 활동’. ‘과학 수업 시간에 컴퓨터를 이용한 활동’을 묻는 질문들의 세부 질문 내용이 수정․보완되었다. 학교 설문에서는 ‘학교 도서관’과 관련된 문항의 세부질문 항목을 보다 간략하게 수정하고, 4학년 학교 설문에서 ‘교사 근태 문제 정도’ 문항을 삭제하였다. 반면 ‘온라인 학습 관리 시스템 유무’와 ‘학급 도서관 유무’에 대한 질문이 추가 되었다.
본검사 시행과 관련해서, 우리나라는 2018년 12월 3∼28일에 걸쳐 본검사를 시행하기로 결정하였다. 본검사 평가도구는 각 학년별로 성취도 검사는 eTIMSS와 지필 검사로 구분되었다. 그리고 배경변인 설문은 학년별로 4종으로 구성하였다. 배경변인 설문 도구는 초등학교 4학년의 경우 총 4종으로 학생, 학부모, 학교, 교사 설문으로 구성되었고, 중학교 2학년은 학생, 학교, 수학 교사, 과학 교사 설문으로 구성되었다. 본검사의 학생 표집과 관련해서는 평가 방식 전환에 따라 추가 표집된 학교(학급)을 포함하여, TIMSS 2019 본검사 시행 대상으로 초등학교 170개, 중학교 176개로 총 346개 학교가 표집되었다. 4학년 학교 표집은 지역 규모를 층화변인으로 사용해 이루어졌으며, 학교별로 1~3개 학급을 표집하여 약 6,400명의 학생이 표집되었다. 8학년 학교 표집은 지역 규모와 학교 성별 유형을층화변인으로 사용해 이루어졌으며, 역시 약 6,400명의 학생이 표집되었다.
(출처 : 연구요약 7p)
Abstract
▼
TIMSS has been measuring trends in mathematics and science achievement at the fourth and eighth grades since 1995. Conducted every four years, TIMSS has reported on international achievement trends at regular intervals and makes it possible for participating countries to measure how effective they a
TIMSS has been measuring trends in mathematics and science achievement at the fourth and eighth grades since 1995. Conducted every four years, TIMSS has reported on international achievement trends at regular intervals and makes it possible for participating countries to measure how effective they are in teaching mathematics and science. Entering into its third decade and seventh cycle of data collection, TIMSS 2019 marks the debut of eTIMSS, an electronic version of TIMSS. eTIMSS offers an engaging, interactive, and visually attractive assessment that will assess complex areas of the frameworks and increase operational efficiency in translation, assessment delivery, data entry, and scoring.
This research aims to implement TIMSS 2019 field test and thereby build a solid foundation for TIMSS 2019 main data collection. In 2017 when TIMSS 2019 research has been started, the assessment framework for TIMSS 2019 has been established and mathematics and science achievement test items for eTIMSS (including Problem Solving and Inquiry tasks) and questionnaire items have been developed. In this research we conducted the field test using new items developed for eTIMSS achievement test and questionnaires and analyzed the collected students’ response data to examine the reliability and validity of items.
TIMSS 2019 field test are composed of two parts: mathematics and science achievement tests and the background questionnaires. Assessment tools for TIMSS 2019, which are in English in an original form, needs to be translated into Korean and get an approval for translation and layout from the TIMSS and PIRLS International Study Center. Many teachers, experts in mathematics and science and psychometricians took part in the process of reviewing, translating, or adapting achievement and questionnaire items.
The TIMSS 2019 field test has been addressed in April in Korea. Sampling for TIMSS 2019 field test was conducted by the IEA’s sampling division in collaboration with Canada Statistics using the sampling framework provided by KICE(National Research Center of Korea) in 2017. 58 Schools(30 primary schools and 28 middle schools) were sampled for the field test. After schools were sampled, KICE sampled the classes to participate in TIMSS using the automated sampling program(WinW3S) provided by IEA. Considering the TIMSS 2019 field test implementation period and the Korean academic schedule, TIMSS 2019 field test was administered to 5th and 9th grade students who had just finished the 4th and 8th grade curriculum around the test date. 1,487 students for 5th graders and 1,559 students for 9th graders were sampled and about 98% of sampled students participated in the TIMSS 2019 field test.
After the TIMSS 2019 field test conducted, all test data were refined and submitted to IEA. IEA and International Study Center collected the field test data from all participating countries and analyzed the data to evaluate the quality of field test items.
After intensive review of the field test item analysis results, 60.2% of the 4th grade field test items and 58.1% of the 8th grade field test item were selected for the main data collection in mathematics. In science, 53.3% of the 4th grade field test items and 57.6% of the 8th grade field test item were selected for the main data collection. These items would be used in the main data collection with the trend items from the previous cycles. Survey questionnaire items were also modified and refined based on the item analysis results using the field test data.
(출처 : Abstract 99p)
목차 Contents
- 표지 ... 1
- 연구협력진 ... 3
- 머리말 ... 5
- 연구요약 ... 7
- 목차 ... 11
- 표목차 ... 13
- 그림목차 ... 14
- Ⅰ 서론 ... 15
- 1. 연구의 필요성 및 목적 ... 17
- 2. 연구 내용 ... 19
- 3. 연구 방법 ... 21
- Ⅱ TIMSS 2019 예비검사 평가도구 ... 25
- 1. 평가도구 구성 ... 27
- 2. 평가도구 번역 및 검증 ... 36
- Ⅲ TIMSS 2019 예비검사 시행 ... 43
- 1. 표집 ... 45
- 2. 예비검사 시행 절차 및 방법 ... 51
- 3. 예비검사 채점 ... 58
- 4. 예비검사 자료 입력 ... 67
- Ⅳ TIMSS 2019 예비검사 결과 분석 및 본검사 준비 ... 73
- 1. 성취도 검사 자료 분석 ... 75
- 2. 설문 자료 분석 ... 77
- 3. 본검사 준비 ... 79
- Ⅴ 요약 및 제언 ... 85
- 1. 요약 ... 87
- 2. 제언 ... 92
- 참 고 문 헌 ... 97
- ABSTRACT ... 99
- 부 록 ... 101
- [부록 1] 학교 정보 양식 ... 103
- [부록 2] 학급 정보 양식 ... 104
- [부록 3] 학생-교사 연결 양식 ... 105
- [부록 4] 검사 실시 보고서 ... 107
- [부록 5] 학생 참여율 보고서 ... 109
- 끝페이지 ... 109
※ AI-Helper는 부적절한 답변을 할 수 있습니다.