초록 ▼

OECD(Organization for Economic Cooperation & Development, 이하 OECD)가 주관하는 PISA(Programme for International Student Assessment, 이하 PISA)는 참여국의 만 15세 학생을 대상으로 미래 시민으로서의 역량을 점검하는 대규모 국제 학업성취도 평가이다.
PISA 2000을 시작으로 3년마다 시행되어, 현재는 여덟 번째 주기인 PISA 2021의 시행을 앞두고 있다. 이에 본 연구에서는 OECD PISA 국제본부와 긴밀하게 협력하여 P

OECD(Organization for Economic Cooperation & Development, 이하 OECD)가 주관하는 PISA(Programme for International Student Assessment, 이하 PISA)는 참여국의 만 15세 학생을 대상으로 미래 시민으로서의 역량을 점검하는 대규모 국제 학업성취도 평가이다.
PISA 2000을 시작으로 3년마다 시행되어, 현재는 여덟 번째 주기인 PISA 2021의 시행을 앞두고 있다. 이에 본 연구에서는 OECD PISA 국제본부와 긴밀하게 협력하여 PISA 2021의 안정적인 시행을 위한 기반을 마련하고자 한다.

Ⅰ장에서는 PISA 2021의 특징과 PISA 2021의 혁신적 영역인 창의적 사고력 도입의 배경을 개괄적으로 제시하였다. PISA 2021의 인지적 영역은 핵심 영역인 수학(주영역)‧읽기‧과학과 혁신적 영역인 창의적 사고력이다. OECD PISA 국제본부는 변화하는 미래 사회를 살아갈 학생들이 함양해야 할 역량을 혁신적 영역으로 선정하고 이에 대한 평가를 PISA 2012부터 도입하였는데, PISA 2021 혁신적 영역을 창의적 사고력(creative thinking)으로 최종 결정하였다. 창의적 사고력은 새로운 도전에 직면하였을 때 이를 해결하기 위한 혁신과 지식 창출의 근간이 된다는 점에서 향후 지능정보화 사회를 살아갈 학생들이 갖추어야 할 역할이라 할 수 있다.

Ⅱ장에서는 PISA 2021의 평가틀을 영역별로 제시하였다. PISA 2021은 PISA 2012 이후 9년 만에 다시 수학이 주영역이 되는 주기로, 수학 영역의 평가틀이 수정되고 새 문항이 개발되며, 수학 소양을 좀 더 심층적으로 분석하기 위한 설문 문항이 추가되었다. OECD PISA 국제본부는 PISA 2021을 준비하면서 시대적 변화의 흐름에 따라 기존의 수학 소양 정의에 ‘수학적 추론’을 추가하였다. 보조 영역인 읽기와 과학에서는 PISA 2018의 평가틀을 바탕으로 추이를 점검하게 된다. 창의적 사고력은 ‘창의적 사고력의 범주(domains of creative thinking)’와 ‘창의적 사고력의 역량 모델(competency model of creative thinking)’을 축으로 하며, 두 축이 복합적으로 결합하여 문항이 구성되었다. 교육맥락변인을 위한 설문은 내용 영역에 의한 분류에 따라 수학과 관련성이 있는 구인을 의미하는 ‘영역 한정 구인’과 다양한 영역의 학업성취와 관련이 있는 ‘일반 구인’으로 구분되었다. 또한 교육정책에 따라 분류하면 ‘학생 배경, 학생 신념, 태도, 감정 및 행동, 교수 실행 및 학습 기회, 학교 관행, 정책 및 인프라, 거버넌스, 시스템 수준 정책 및 실행’으로 구분되었다. 한편, PISA 2021에서 새롭게 개발된 수학 영역과 창의적 영역의 예시 문항을 제시하였다.

Ⅲ장에서는 PISA 2021 예비검사의 평가도구 설계와 관련 내용을 제시하였다. OECD PISA 국제본부가 제공한 자료에 따르면, PISA 2021 예비검사 평가도구는 수학의 새 문항묶음(Batch) 3개와 추이 문항군 7개, 읽기와 과학의 추이 문항군 각 17개와 6개, 창의적 사고력은 새 문항묶음 1개로 구성된다. 또한 수학, 읽기, 과학, 창의적 사고력 순서로 단위문항 수/하위문항 수는 각각 106개/264개, 40개/206개, 34개/115개, 21개/40개였다. 이외에 영역별로 평가틀의 하위 범주 및 문항 유형에 따른 문항 정보를 제시하였다.

Ⅳ장에서는 PISA 2021 예비검사 평가도구의 개발과 검토, 번안 및 번역 과정을 제시하였다.
PISA 2021에 새롭게 개발된 문항은 참여국의 교육과정의 관점에서 볼 때 학생들에게 적절한지, 문화적으로 민감한 이슈는 없는지, 번역 과정에서 예상되는 문제가 있는지 등에 대한 검토가 진행되었고, 국내 PISA 연구팀은 각각의 문항에 대하여 적극적으로 검토 의견을 개진하여 많은 문항에 반영되었다. 검토가 완료된 후 최종 확정된 문항에 대하여 각 참여국은 번역과 검증 절차를 진행하게 된다. PISA 2021에서는 이전 주기와 달리 번역 과정에서 Omega-T 프로그램을 사용하였는데, 유사 내용을 검증하고 ‘미리보기’를 할 수 있다는 장점이 있었다. 마지막으로 번역이 완료되면 평가도구와 구동 프로그램을 담은 학생전달시스템(Student Delivery System; SDS)을 제작하여 평가도구를 확정하게 되는 과정을 제시하였다.

Ⅴ장에서는 PISA 2021 예비검사의 표집과 관련하여 표본 설계, 학교 표본의 추출과 관련된 내용을 제시하였다. PISA 2021 예비검사는 본검사에 사용될 문항이 각 국가에서 제대로 번역되었는지 확인하는 것은 물론, 학생 표집 절차와 참여 학교에 대한 시행 절차를 점검하고, 수학에서 단계적 적응형 검사의 적용 가능성을 검토하기 위하여 시행된다. 이를 위해 예비검사는 OECD PISA 국제본부의 표준화된 절차에 따라 엄격하게 진행된다. 우선 PISA 연구 대상은 모집단의 정의를 위해 모집단을 포함하는 모든 학교와 학생 수, 학교 유형, 소재, 설립 유형 등 학교 정보를 조사하여 OECD PISA 국제본부에 제출한다. 이후 OECD PISA 국제본부에서 제시하는 표본 설계 중 우리나라의 상황에 적합한 표본 설계를 결정하게 되는데, 우리나라는 40개 학교, 학교당 학생 수는 50명인 설계를 설정하였다. 이때 40개 학교의 모집단을 고등학교로 설정하고 OECD PISA 국제본부와의 협의를 통해 5개의 중학교를 추가 표집하기로 하였다. 이와 같은 설계를 바탕으로 이전 주기 우리나라의 평가율을 고려하면 학교당 표집할 최소 학생 수는 53명이다. 향후 OECD PISA 국제본부와 조율을 통해 최종 표집학교가 확정된다.

(출처 : 연구요약 7p)

Abstract ▼

OECD (Organization for Economic Cooperation & Development) organises PISA(Programme for International Student Assessment), which is a large-scale international academic achievement assessment for 15-year-old students in participating countries.
It has been conducted every three years since 2000 a

OECD (Organization for Economic Cooperation & Development) organises PISA(Programme for International Student Assessment), which is a large-scale international academic achievement assessment for 15-year-old students in participating countries.
It has been conducted every three years since 2000 and it is now preparing to conduct PISA 2021 for the eighth cycle. This study aims to work closely with the International Headquarters in order to lay the groundwork for stable implementation of PISA 2021.

Chapter I provides an overview of the characteristics of PISA 2021 and the background for introducing creative thinking, an innovative area of PISA 2021. The cognitive domains of PISA 2021 are mathematics (main domain), reading, and science as core fields; as well as creative thinking as an innovative field. From PISA 2012, the OECD PISA International Headquarters selected competence as an innovative field,which should be fostered by students who will live in a changing future society. They have also introduced an assessment framework and finally decided upon 'Creative Thinking' as a PISA 2021 Innovative domain. Creative thinking is the basis of innovation and knowledge creation that students need to adopt in order to overcome new challenges in the future of an intelligent information society.

Chapter II presents the assessment framework for each area of PISA 2021. PISA 2021 takes mathematics as a main domain again nine years after PISA 2012, modifying the assessment framework for mathematics, developing new questionnaires, and adding questionnaires to analyze mathematical knowledge. As the OECD PISA International Headquarters prepares for PISA 2021, it has added 'mathematical reasoning' into the existing definition of mathematics proficiency in accordance with the trend of the changes. In the secondary areas of reading and science, progress will be checked based on the assessment framework of PISA 2018. Creative thinking consists of the 'domains of creative thinking' and the 'competency model of creative thinking' and the questions were developed based on these factors. According to classification by the content area,the survey questionnaires for educational context variables were divided into 'field-specific constructs' related to mathematics and 'general constructs' related to academic achievements in various areas. In addition, they were divided into 'student background, student faith, attitude, emotion and behavior, teaching practices and learning opportunities, school practices, policies and infrastructure, governance, system level policies and practices'. Meanwhile, example questions of the newly developedmathematical and creative areas were presented in PISA 2021.

Chapter III presents the design of assessment instruments and related information for the PISA 2021 Field Trial. According to the data provided by the OECD PISA International Headquarters, the PISA 2021 Field Trial assessment instruments consist of three batches in mathematics, seven progress questions respectively in reading and science, and one new batch for creative thinking. In addition, in the order ofmathematics, reading, science and creative thinking, the number of questions/subquestions was 106/264, 40/206, 34/115 and 21/40, respectively. Finally, the informationof questions was presented according to the subcategories of assessment instruments and types of assessment by each subject.


Chapter IV presents the process of assessment instruments development and its review, adaptation and translation in the PISA 2021 Field Trial. The newly developed questions in PISA 2021 were reviewed to check if they were appropriate for students from the perspective of the curriculum in the participating countries, whether there were any cultural sensitive issues, or if there were any expected problems in the translation process. The Korea PISA team actively commented on each question, which was reflected in many questions. Each participating country will conduct the translation and verification procedures for the finalized questions after the review is completed. In PISA 2021, the Omega-T program was used in the translation process, unlike the previous cycle, which had the advantage of being able to verify similar content and had the function for "preview". Finally, when translation is completed, the student delivery system (SDS) containing assessment instruments and driving programs is produced and the assessment instruments are finalized.

Chapter V provides information related to sample design and school sampling in relation to the PISA 2021 Field Trial. The PISA 2021 Field Trial is conducted to ensure that the questions to be used in the main study have been properly translated in each country, as well as to check student collection procedures and implementation procedures for participating schools, and to review the applicability of step-by-step adaptive tests in mathematics. To this end, the Field Trial will be conducted strictly in accordance with the standardized procedures of the OECD's PISA International Headquarters. First of all, PISA research subjects investigate and submit school information, including the number of schools and students, school types, locations and types of school to the OECD PISA International Headquarters in order to define a population. Then, out of the sample design presented by the OECD PISA International Headquarters, Korea decided on a sample design suitable for the situation in Korea, which was designed with 50 students per 40 schools. At this time, 40 schools decided to set the population as high schools and collect five additional middle schools through consultation with the OECD PISA International Headquarters. In the future, a final collection school will be confirmed through coordination with the OECD PISA International Headquarters.

(출처 : ABSTRACT 153p)

목차 Contents

• 표지 ... 1
• 연구협력진 ... 3
• 머리말 ... 5
• 연구요약 ... 7
• 목차 ... 11
• 표목차 ... 13
• 그림목차 ... 15
• Ⅰ. PISA 2021 개관 ... 17
• 1. PISA 2021의 특징 ... 19
• 2. 창의적 사고력의 도입 배경 ... 20
• Ⅱ. PISA 2021 평가틀 ... 23
• 1. PISA 2021 평가틀 ... 25
• 2. PISA 2021 문항 특성 ... 40
• Ⅲ. PISA 2021 예비검사 평가도구 설계 및 구성 ... 63
• 1. PISA 2021 예비검사 평가도구 설계 ... 65
• 2. PISA 2021 예비검사 평가도구 구성 ... 66
• Ⅳ. PISA 2021 예비검사 평가도구 개발과 검토, 번역, 제작 및 확정 ... 109
• 1. PISA 2021 예비검사 평가도구 개발과 검토 ... 111
• 2. PISA 2021 예비검사 평가도구 번역 ... 117
• 3. PISA 2021 예비검사 평가도구 제작 및 확정 ... 130
• Ⅴ. PISA 2021 예비검사 표집 ... 131
• 1. 예비검사 표본 설계 ... 133
• 2. 학교 표본의 추출 ... 140
• 참고문헌 ... 149
• ABSTRACT ... 153
• 부 록 ... 157
• [부록] PISA 2021 수학 영역 예시 문항 ... 159
• 끝페이지 ... 180