초록 ▼

교육을 통한 글로벌 인재 양성은 국가 경쟁력 확보의 핵심 과제이며, 이를 위한 노력의 일환으로 경제협력개발기구(Organization for Economic Co-operation and Development; 이하 OECD) 주관의 국제 학업성취도 평가(Programme for International Student Assessment; 이하 PISA)에 참여하고 있다. PISA는 세계 역량 교육 연구의 선구인 OECD DeSeCo 프로젝트를 이론적 기반으로 하여, 지식과 기술의 실생활 활용 능력인 과학.읽기.수학 소양을 3년마다

교육을 통한 글로벌 인재 양성은 국가 경쟁력 확보의 핵심 과제이며, 이를 위한 노력의 일환으로 경제협력개발기구(Organization for Economic Co-operation and Development; 이하 OECD) 주관의 국제 학업성취도 평가(Programme for International Student Assessment; 이하 PISA)에 참여하고 있다. PISA는 세계 역량 교육 연구의 선구인 OECD DeSeCo 프로젝트를 이론적 기반으로 하여, 지식과 기술의 실생활 활용 능력인 과학.읽기.수학 소양을 3년마다 평가하고 있다. PISA 2000 이래 지속적으로 추진되어 현재 여섯번째 주기 PISA 2015 연구가 진행되고 있으며, 올해 2013년에는 내년에 시행될 PISA 2015 예비검사에서 신뢰롭고 타당한 평가 자료를 안정적으로 얻을 수 있도록 평가틀의 분석, 평
가도구 개발과 번역, 평가대상 표집, 학교 컴퓨터 환경 진단 등을 수행하였다.
각국의 만 15세 학생들의 사회 진출을 위한 역량 준비 정도, 즉 과학.읽기.수학 각 영역의 소양을 측정하기 위한 PISA 평가도구는 평가틀을 기초로 개발되므로, 평가틀에 대한 철저한 분석을 토대로 평가도구를 개발.번역하였다. PISA 2015 평가틀과 문항을 살펴보면, 교과 지식과 역량이 결합된 실생활 소양에 초점을 두어 과학 영역은 절차적.인식론적 지식의 평가, 읽기 영역은 텍스트의 다양화, 수학 영역은 도구의 활용이 강조되고 있다. 또한 실생활의 많은 문제해결 과제가 팀을 중심으로 수행되는 점에 주목하여 PISA 2015에는 협력적 문제해결력에 대한 평가를 최초로 도입하였다. 컴퓨터상의 가상 팀원과 메신저나 이메일 등을 이용하여 의사소통하면서 협력하여 문제를 해결과정에서 나타나는 협력적 문제해결력을 평가한다.
정보화 사회에서 문제해결의 상당 부분이 컴퓨터 환경에서 이루어진다는 점을 반영하여 PISA 2015에서는 과학.읽기.수학.협력적 문제해결력을 포괄하는 전 영역의 평가를 컴퓨터 기반 평가로 전환하였다. 컴퓨터 기반의 상호작용, 시뮬레이션 등의 기능을 활용하여 보다 다양한 유형의 문항으로 더 폭넓은 내용과 영역에 대한 측정이 이루어질 수 있도록 하였다. 이와 같이 지필평가에서 컴퓨터 기반 평가로 전환한 점은 이전 주기와 비교하여 PISA 2015의 가장 큰 특징이라 할 수 있다. 학부모 설문을 제외한 학생, 교사, 학교장 대상의 교육맥락변인 설문 조사도 컴퓨터 기반으로 실시하게 된다.
PISA 2015 예비검사 평가도구는 과학 및 협력적 문제해결력 컴퓨터 기반 검사, 과학, 읽기, 수학 지필검사와 컴퓨터 기반 검사, 그리고 교사, 학교, 학생 및 학부모 설문 조사도구, 시행 지침서로 구성된다. 컴퓨터 기반 평가와 이전 주기까지의 지필평가 방식 간 일치성 분석을 목적으로 과학, 읽기, 수학의 추이문항에 대해 두 가지 방식의 평가를 위한 검사도구를 각각 개발하였다. PISA 2015의 주영역인 과학과 협력적 문제해결력의 평가 문항은 새롭게 개발하였으며, 모두 컴퓨터 기반 방식의 검사도구를 개발하였다. 과학 문항의 개발 및 국제본부 제출, 과학 및 협력적 문제해결력 문항 초안에 대한 검토 등 국제본 문항이 확정되기까지의 개발 과정에 참여하였다. 국제본 문항이 확정된 후 한국어본의 번역은 각 영역별로 영어에 능통한 영역 전문가 2인의 이중 번역과 1인의 조정, 국어교육 및 해당 영역 전문가와 본 연구진의 검토를 거쳐 완성하였다.
PISA 2015 예비검사의 인지영역 검사도구에 포함된 문항은, 주영역인 과학 304개, 보조영역인 읽기와 수학은 각각 87개, 72개 문항, 새롭게 추가된 협력적 문제해결력 22개 과제이며, 행렬표집방식에 의해 전체 검사형 60종으로 구성되어 있다. 각 검사형에는 30분 분량의 문항군이 4개씩 포함되어 있으며, 각각 부분적으로 같은 문항군과 다른 문항군을 포함하도록 하고 있다. 서로 다른 문항군의 조합으로 구성된 수십 종의 검사형으로 방대한 영역을 밀도 있게 다룰 수 있고, 한 학생은 예비검사의 전체 문항을 치루지 않아도 되므로 학생의 수험 부담이 적다는 장점이 있다.
PISA 2015 예비검사 설문 조사도구는 학생용 4종, 학교 1종, 교사 2종, 학부모 1종으로 구성된다. 이전 주기에 이어 국가별 선택 항목인 학부모 설문과 학생들의 초등학교와 중학교의 교육경험을 묻는 설문, 정보통신기술 관련 설문을 선택하고, 여기에 더하여 교수학습 변인의 정밀한 조사를 위한 교사 설문도 추가하였다. 새롭게 개발된 설문 문항 초안의 국가별 검토를 거쳐 확정된 국제본의 한국어본 번역은 영어에 능통한 교육학 전공자들과 본 연구진에 의해 이루어졌고, 국내 상황과 맥락에 맞는 적절한 번안을 위해 특정 전문 지식이 요하는 경우는 해당 분야 전문가의 자문을 받았다.
컴퓨터 기반의 문항 번역에는 국제본부에서 제공한 OLT, QAT 등 별도의 저작도구를 활용하였다. 문항을 번역하여 PISA 컴퓨터 기반 평가 시스템에서 완성 상태를 확인하고, 레이아웃과 시뮬레이션 구동에 관련된 문제를 국제본부와 함께 해결하였다. 인지영역의 검사도구와 교육맥락변인 설문 조사도구에 대한 한국어본 번역의 타당성을 국제본부에서 검증하였고, 문항의 내용과 형식에 관해 국제본부와 협의와 조율을 통해 평가도구를 완성하였다. 이러한 절차를 거쳐 완성된 한국어본 평가도구는 국제본부로 송부되어 시각적 검증과정을 거쳐 최종 확정될 것이다.
2014년에 예비검사를 국제본부에서 정한 표준화된 환경과 절차에 따라 시행할 수 있도록 학교 책임자 지침서, 지필검사 및 컴퓨터 기반 검사 감독 교사 지침서를 한국어로 번역하고, 우리나라 상황에 맞게 번안되어야 할 부분은 국제본부와 조율하였다.
PISA 2015 예비검사 평가도구의 개발과 함께 평가를 시행할 대상을 선정하였다. 각 참여국의 만 15세 학생 표본은 2단계 비례층화표집을 적용하여 학교, 학생 순으로 표집하는데, 올해에는 1단계 학교 표집이 진행되었다. 이전 주기와 동일하게 학교급, 계열, 도시화 정도를 층화 변인으로 활용하였고, 연령에 기초한 표집을 위하여 예비검사 시행 시기를 계획하고 그에 맞추어 모집단의 생년월일 범위를 결정하였다. 컴퓨터 기반 평가의 시행 안정성을 고려하여 국제본부의 세 가지 설계 중에서 학교당 표집할 학생 수가 가장 적은 설계를 선택, 총 62개 학교를 표집하였다. PISA 2015 예비검사 시행 시기, 표집 설계의 결정, 학교 표집 등은 국제본부의 협의 과정과 승인을 얻어 진행하였다.
한편, PISA 2015 컴퓨터 기반 평가도구가 우리나라 학교 환경에서 원활하게 실행 가능한지 사전 조사하였다. PISA 컴퓨터 기반 평가의 이해와 표본 대표성 측면에서 PISA 2012 본검사 표집학교를 대상으로 컴퓨터 환경을 진단하였다. 그 결과 PISA 2015의 최소 사양기준에 부합하는 컴퓨터를 20대 이상 구비하고 있는 학교는 48% 정도에 불과하여, 컴퓨터 기반 평가의 시행을 위해서는 컴퓨터 환경에 대한 지원의 필요성을 확인하였다. 올해 PISA 2015와 관련하여 추진된 연구 내용에서 PISA 2015의 주요 특징은, 실생활 소양 중심의 평가, 행렬 표집 방식에 따른 평가도구의 구성, 컴퓨터 기반 평가 시행, 협력적 문제해결력 평가 도입, 설문 조사 대상 및 영역의 확대로 요약된다. 이로부터 우리나라의 과학.읽기.수학 교육 및 역량 교육, 평가 체제에 PISA의 강조점과 변화 방향이 주는 시사점을 도출하고, 이를 개선하기 위한 정책 방안과 PISA 2015 예비검사의 안정적 시행을 위한 정책 방안을 제언하였다. 원활한 PISA 2015 예비검사의 시행을 위한 인프라의 구축 방안으로, 평가 환경의 조성, 평가 시행 전담 인력의 확충과 채점을 위한 전문성을 갖춘 인적 자원 확보, 유관 기관과의 협조체제 구축 등을 제언하였고, PISA의 강조점을 반영하여 절차적 지식과 인식론적 지식의 평가가 확대된 과학교육, 국어과 읽기 텍스트의 다양화와 교과독서의 활성화, 수학적 도구의 활용이 강조되는 수학교육 등을 창의 인성 개발을위한 교과교육 개선 방안으로 제언하였다. 또한 21세기 인재 양성을 위한 역량 교육 강화를 위한 방향성을 탐색하는 연구를 확대하고, 협력적 문제해결력에 대한 교수학습과 평가의 활성화 방안 마련 및 추진을 제언하고, 마지막으로 국제 동향을 반영하여 컴퓨터 기반평가의 도입과 적용, 평가도구의 과학적 설계를 통한 균형 있는 측정, 설문 조사의 내용 및 대상의 확대 등을 추진하여 국내 대규모 평가 체제를 개선할 것을 제언하였다.

Abstract ▼

With the importance of nurturing global talented individuals through education as one of the government’s top priorities, Korea has been participating in the Program for International Student Assessment (PISA) under the auspices of Organization for Economic Co-operation and Development (OECD). PISA

With the importance of nurturing global talented individuals through education as one of the government’s top priorities, Korea has been participating in the Program for International Student Assessment (PISA) under the auspices of Organization for Economic Co-operation and Development (OECD). PISA underpins its theoretical framework on the DeSeCo Project of OECD to assess competencies in mathematics, reading and science literacy as an ability to be applied to our daily lives. PISA 2015 will have become the 6th assessment since PISA 2000 was conducted. In 2013 the analysis of assessment framework, the development and translation of assessment framework, the sampling of students among schools and the checking of computer environment at schools were performed to gain reliable and valid assessment data from the PISA 2015 preliminary survey, which will be carried out next year.
PISA assessment instruments are developed on the basis of assessment framework to assess the competencies of students aged 15 in every country in mathematics, reading and science etc., which are essential to prepare for the entry of society. For the assessment framework and items of PISA 2015, science puts an emphasis on procedural and epistemological knowledge, reading on diversification of text and mathematics on the practical use of mathematical instruments, focusing on knowledge and skills in real lives with combination of knowledge of school subjects and competencies. Noting that most collaborative problem-solving tasks are performed through teamwork, PISA 2015 introduced for the first time the assessment of collaborative problem-solving competencies. The assessment assesses cooperative problem-solving competencies in the process of solving problems working with computer agents via communication tools in cyberspace.
PISA 2015 reflected the fact that most problems are solved on the Internet, and switched to computer-based assessment of literacy in science, reading, mathematics and collaborative problem-solving competencies. With the help of computer-based interaction, simulation technique, more diverse forms of items and extensive content and areas are able to be assessed. The conversion from paper-based assessment to computer-based one is most predominant characteristic in the PISA 2015 compared to previous assessments. The computer-based assessment also includes a survey on educational context variables targeting students, teachers and principals.
PISA 2015 preliminary survey consists of computer-based assessment of science and collaborative problem-solving competencies, both paper- and computer-based assessments of science, reading and mathematics literacy, survey targeting teachers, students and parents, and guidelines for assessment implementation. For compatibility between computer-based and paper-based assessments, testing instruments were developed to conduct an assessment on items in science, reading and mathematics.
Items relating to science literacy and collaborative problem-solving competencies were developed as a main area, and testing instruments for all assessments were devised in PISA 2015. Korea participated in the process of developing science items and submitting them to the OECD/PISA research consortium, reviewing items relating to science and cooperative problem-solving competencies until those international items were finalized.
After finalizing international items, their translated version into Korean was created by two qualified translators with high level of English competence in each area and adjusted by a reconciler and reviewed by experts in Korean education and each area.
Cognitive ability testing instruments for PISA 2015 preliminary survey include 304 items in science as a main area, 87 and 72 items in reading and mathematics respectively as secondary area and 22 newly added tasks in collaborative problem-solving competencies, which means they consist of 60 types in total by matrix sampling GA. Each type contains 4 unit items given 30 minutes with similar and different items. The combination of different types of unit items allows to deal with broad area in dept and to ease the burden of test on students as there is no need to solve the whole items of the preliminary survey.
Survey instruments for PISA 2015 preliminary questionnaire consist of 4 types for students, form 1 for schools, form 2 for teachers, and form 3 for parents. Like previous assessments, individual country can select some types of questionnaires among survey on parent, survey on students’ educational experience during their elementary and middle school days and survey on ICT, and survey for teachers were added to the instruments in order to carry out a precise assessment of teaching learning variables.
Education majors with high level of English competence and the research team translated international items into Korean after the newly-developed draft international items were finalized through reviewing process performed by participating countries with the help of expertise from professionals in each area for reliable and correct translation in the context of domestic situations.
Discrete authoring tools such as OLT and QAT provided by the OECD/PISA research consortium were used to translate computer-based questions. Once translation was done, the PISA computer-based assessment system was utilized to check its completion and issues relating to the lay-out and operation of the simulations were jointly addressed with the OECD/PISA research consortium. The Korean translations for assessment instruments for cognition field and survey research tools for educational context variables were verified for appropriateness by the OECD/PISA consortium and the contents and formalities of the questions were also decided through consultations and coordination with them. Upon completion of all processes, the translated evaluation instruments are forwarded to the OECD/PISA consortium for visual verification and
final approval. With a view to implementing the preliminary survey in 2014 pursuant to the standard testing environment and procedures set by the OECD/PISA consortium, the guidelines for the school managers, supervising teachers for both paper-based and computer-based assessments were translated into Korean. For some parts which required adaptation to the Korean environment were coordinated through consultations with the OECD/PISA consortium.
Along with developing the assessment instrument of the preliminary survey for PISA 2015, sampling for such assessment was carried out. Although two-stage stratified approach was applied for sampling of 15-year-old students in each participating country, one-stage stratified sampling was applied in Korea this year. School rank, school category, the level of urbanization were treated as variables for stratification, as in the previous assessment, and the range of birth dates was set according to the planned preliminary test date to allow age-based sampling. In order to encourage stable operation of the computer-based test, the schools with the least number of sampled students were selected among the three plans by the OECD/PISA consortium, hence a total of 62 schools were sampled. The timing, selection of the sampling plan, schools for sampling for the preliminary survey of PISA 2015 were approved by the OECD/PISA consortium through consultations.
Meanwhile, a prior survey was done to confirm that the computer-based PISA 2015 main survey will properly work in the Korean school environments. In terms of the level of understanding of the computer-based PISA assessment and typicality of the samples, the computer environments of the sampled schools in the PISA 2012 were diagnosed. The results showed that only 48% of sampled schools were equipped with more than 20 computers that conform to the minimum computer specifications required for PISA 2015. It demonstrated that supports are needed to improve the computer-utilization environments to allow computer-based tests.
The key features pointed by the preliminary survey for PISA 2015 can be summarized as: practical knowledge-based assessment; assessment instrument based on matrix sampling format, computer-based assessment, introduction of collaborative problem-solving assessment and expansion of sampling range and coverage. Based on such findings, the emphasis of the PISA and the implications of the changes on scientific, reading and mathematical education, capacity building education and assessment system of Korea were deducted, henceforth following policy suggestions were made for improving current situation and stable implementation of the preliminary survey for PISA 2015. As part of establishing stable foundation for the preliminary survey for PISA 2015, it was advised to create suitable environment for the assessment, expand the number of staff in charge of the assessment, secure staff with expertise in grading and form a cooperative structure with affiliated agencies. At the same time, more emphasis on procedural knowledge and epistemological knowledge criteria in assessment of science education, added diversity in reading texts, more reading in subject matters and better usage of mathematical tools in mathematical education were some of recommendations made for school education, taking into account the key points stressed by the PISA. Moreover, it was also advised to expand researches aimed at seeking the direction to reinforce the education that nurtures talents of the 21st century and to develop and promote teaching, learning and assessment plans for improving collaborative problem-solving competencies. Last, introduction and application of computer-based assessment befitting to the international trend, balanced measurement availed through scientific planning of the assessment instruments and expansion of survey contents and sampling coverage were also recommended in order to bring extensive improvements in the assessment system of Korea.

목차 Contents

• 표지 ... 1
• 연구협력진 ... 5
• 머리말 ... 7
• 연구요약 ... 9
• 차례 ... 13
• 표 차례 ... 17
• 그림 차례 ... 21
• Ⅰ. 서 론 ... 23
• 1. 연구 필요성 및 목적 ... 25
• 2. PISA 2015 연구 일정 및 추진 체계 ... 27
• 3. 2013년 연구 내용 ... 30
• 가. PISA 2015 평가틀 및 예비검사 문항 검토 ... 30
• 나. PISA 2015 예비검사 평가도구 번역 및 검증 ... 31
• 다. PISA 2015 예비검사 표집 및 시행 준비 ... 31
• 4. 연구 방법 ... 32
• 가. 문헌연구 ... 32
• 나. 전문가 협의회 ... 32
• 다. 국제본부 및 국내외 유관기관과의 협력 ... 32
• Ⅱ. PISA 2015 평가틀 ... 33
• 1. PISA 2015 개관 ... 35
• 2. PISA 2015 평가틀 ... 38
• 가. 과학 평가틀 ... 39
• 나. 읽기 평가틀 ... 57
• 다. 수학 평가틀 ... 62
• 라. 협력적 문제해결력 평가틀 ... 67
• 마. 교육맥락변인 평가틀 ... 74
• 3. PISA 2015 문항 특성 ... 77
• 가. 새 문항 ... 79
• 나. 추이문항 ... 92
• Ⅲ. PISA 2015 예비검사 평가도구 설계 및 구성 ... 97
• 1. 예비검사 평가도구 설계 ... 99
• 2. 예비검사 평가도구 구성 ... 102
• 가. 과학 ... 103
• 나. 읽기 ... 118
• 다. 수학 ... 124
• 라. 협력적 문제해결력 ... 130
• 마. 교육맥락변인 ... 131
• 바. 시행 지침서 ... 139
• Ⅳ. PISA 2015 예비검사 평가도구 개발 및 번역 ... 141
• 1. PISA 2015 예비검사 문항 개발 ... 143
• 2. PISA 2015 예비검사 문항 검토 ... 146
• 가. 과학 및 협력적 문제해결력 ... 146
• 나. 교육맥락변인 ... 149
• 3. PISA 2015 예비검사 평가도구 번역 ... 150
• 가. 영역별 평가도구 번역 및 검증 ... 150
• 나. 평가도구 제작 및 확정 ... 171
• V. PISA 2015 예비검사 표집 및 시행 준비 ... 173
• 1. 표본 설계 ... 175
• 가. 모집단 정의 ... 175
• 나. 학교 및 학생 표본 설계 ... 177
• 다. 목표 표본 크기의 결정 ... 179
• 2. 학교 표본의 추출 ... 182
• 가. 학교 표집틀의 작성 ... 182
• 나. 학교 표본 할당 및 표집학교 선정 ... 184
• 다. 표집 학교의 확정 ... 186
• 라. 검사형 할당을 위한 학교 분류 ... 187
• 3. 학교 컴퓨터 환경 진단 ... 188
• VI. 결론 및 정책 제언 ... 191
• 1. 요약 및 결론 ... 193
• 가. 실생활 소양 중심의 평가틀과 평가 문항 ... 195
• 나. 평가도구의 과학적 설계 ... 196
• 다. 전 영역 컴퓨터 기반 평가 시행 ... 197
• 라. 협력적 문제해결력 평가 도입 ... 198
• 마. 설문 조사 대상 및 영역의 확대 ... 199
• 2. 정책 제언 ... 199
• 가. 원활한 PISA 2015 예비검사 시행을 위한 인프라 구축 ... 200
• 나. 창의 인성 개발을 위한 교과교육 개선 ... 211
• 다. 역량 교육 강화를 위한 기초 연구 지원 및 실천 방안 마련 ... 222
• 라. 국제 학업성취도 평가 동향을 반영한 국내 대규모 평가 체제의 개선 ... 225
• 참고문헌 ... 233
• ABSTRACT ... 239
• 부 록 ... 245
• [부록 1] 지필평가에서 컴퓨터 기반 평가로의 문항 전환 예시 ... 247
• [부록 2] 국가별 개발 문항의 제출 양식 ... 253
• [부록 3] 우리나라의 개발 문항 정보 ... 258
• [부록 4] 문항 검토 결과 제출 양식 ... 261
• [부록 5] 상용 지시 문구 ... 262
• [부록 6] 문항 번안 양식(TAS) ... 266
• [부록 7] 문항 형식 및 레이아웃 점검양식(FLC) ... 267
• [부록 8] 설문 번안 양식(QAS) ... 268
• [부록 9] 학교 컴퓨터 진단도구 사용법 ... 269
• [부록 10] 용어 정리 ... 273
• 끝페이지 ... 274