초록 ▼

PISA는 미래 시민이 갖추어야 할 기본적인 소양을 평가하는 역량 중심의 국제 학업성취도 평가로서 만 15세 학생을 대상으로 3년마다 시행되며 현재 70개국 이상이 참여하고 있다. PISA 검사 도구는 학생들의 인지적 성취를 측정하는 평가 문항뿐 아니라 학생들의 성취에 영향을 미칠 수 있는 교육맥락변인 특성을 묻는 설문 문항을 포함하고 있으므로 PISA 결과는 참여국 학생들의 인지적 영역에 대한 성취 특성 및 성취에 영향을 미치는 여러 가지 교육맥락변인의 영향력에 대한 정보를 제공해준다. 각국의 정부는 PISA 결과를 활용하여 자국

PISA는 미래 시민이 갖추어야 할 기본적인 소양을 평가하는 역량 중심의 국제 학업성취도 평가로서 만 15세 학생을 대상으로 3년마다 시행되며 현재 70개국 이상이 참여하고 있다. PISA 검사 도구는 학생들의 인지적 성취를 측정하는 평가 문항뿐 아니라 학생들의 성취에 영향을 미칠 수 있는 교육맥락변인 특성을 묻는 설문 문항을 포함하고 있으므로 PISA 결과는 참여국 학생들의 인지적 영역에 대한 성취 특성 및 성취에 영향을 미치는 여러 가지 교육맥락변인의 영향력에 대한 정보를 제공해준다. 각국의 정부는 PISA 결과를 활용하여 자국의 교육성과를 국제적 수준에서 비교하고 증거 기반 교육 정책 수립의 중요한 기초 자료로 활용하고 있다.

본 연구의 목적은 PISA 2018 본검사 시행에 앞서 2017년에 시행될 예정인 PISA 2018 예비 검사의 안정적 시행을 위한 기반을 구축하고, 이 과정에서 얻은 연구 성과와 경험을 바탕으로 우리나라 교육 개선을 위한 정책을 제언하는 것이다. 즉, PISA 2018 예비검사의 인지적 평가 영역인 읽기, 수학, 과학, 글로벌 역량 영역의 평가틀을 분석하고, 국제본부와의 협력을 통해 영역별 문항의 출제, 번역, 검증 작업을 수행하며 예비검사 시행에 참여할학교와 학생에 대한 표본 설계 및 표집을 수행하였다. 또한 역량 중심의 선진적 PISA 평가 체제에서 우리나라 교육 평가 체제 향상에 도움을 줄 수 있는 요소를 파악하여 국내 대규모 평가의 시행에 도입하는 방안을 마련하였다.

PISA 2018 예비검사 시행 기반을 구축하기 위해 본 연구팀은 선행연구에 대한 문헌분석, 시행 관련 문서에 대한 국내 검토, 영역별 평가틀 검토 및 문항 번역 작업을 위한 전문가 협의회 개최, 문항 번역 및 설문 문항 검토를 위한 워크숍 개최, PISA 2018 예비검사읽기 새 문항과 글로벌 역량 파일럿 문항 개발, NPM 회의 및 PGB 회의, 웨비나 참여 등의 연구 활동을 하였다.

PISA 영역별 소양에 대한 정의와 평가틀을 분석한 결과, PISA 2018의 주영역인 읽기에서는 디지털 매체 환경에서의 학생들의 읽기 역량을 중점적으로 평가하며, 이번 주기에 신설된 글로벌 역량에서는 세계 민주 시민으로서 갖추어야 할 역량을 평가하는 것으로 파악되었다. 보조 영역인 수학과 과학에서는 이전 주기의 평가틀을 바탕으로 학생들의 성취도 추이를 점검하게 된다. 교육맥락변인 조사를 위한 설문은 학생들의 성취 특성을 심층적으로 설명하고자 학생 설문, 학교 설문, 교사 설문 및 학부모 설문을 포함하고 있으며,주영역인 읽기와 신설 영역인 글로벌 역량에 관한 설문 문항이 추가된 것이 특징이다.

PISA 2018 예비검사 평가도구는 읽기·수학·과학 영역에서 각각 6개의 추이 문항군과 주영역인 읽기 영역의 새 문항군 12개를 합하여 모두 30개의 문항군으로 구성되며 130개의 단위문항과 528개의 하위문항을 포함한다. 한편 교육맥락변인에 관한 정보를 수집하고 비인지적 영역의 성과를 파악하기 위해 95개의 문항으로 구성된 2종의 학생 설문, 34개 문항의 학교 설문, 18개 문항의 교육경험 설문, 17개 문항의 ICT 설문, 46개 문항의 학부모 설문, 63개 문항으로 구성된 2종의 교사 설문이 사용된다. 설문 문항은 PISA 2018 교육맥락 변인 조사를 위한 설문 모듈을 기반으로 개발되었고, 주영역인 읽기와 더불어 글로벌 역량 관련 내용이 중점적으로 보강되었다.

PISA 2018 예비검사 평가도구 개발, 검토, 번역과 관련하여 참여국과 국제본부의 협업을 통해서 개발된 318개의 읽기 문항에 대해 세 차례의 검토가 이루어졌으며, 문항 타당도와 완성도를 높이기 위한 의견이 국제본부에 제출되었다. PISA 2018 예비검사 읽기 번역 및 번안은 XLIFF 번역 파일과 문항 번안 양식(TAS)을 중심으로 국제본부와의 협의를 통해 이루어졌다. 글로벌 역량은 PISA 2018 예비검사에서 제외되고 별도의 글로벌 역량 파일럿이 시행됨에 따라 새로운 평가도구가 개발되었다. 우리나라는 글로벌 역량 파일럿 평가도구 개발에 참여하였으며, 글로벌 역량이 다양한 요소를 포함하는 복합적이며 다학문적 영역임을 고려하여 10세트를 개발하였다. 또한 글로벌 역량 검토 업무는 첫째, 우리나라가 개발한 10세트에 대해 국제본부에서 수정한 사항에 대한 재검토와 둘째, 다른 개발국에서 제출한 두 개 묶음(Batch 1, 2)에 대한 검토였으며, 검토 과정에는 읽기 영역에서와 같은 원칙을 적용하였다. 교육맥락변인에 대한 검토는 그동안 설문 조사에서 사용되었던 추이문항 이외에도 새로 개발된 읽기와 글로벌 역량 설문 문항에 대해서도 진행되었으며, 본 연구팀은 국가 교육체제에 적합한 정도, 설문 대상자의 적합성, 문화적 혹은 인종적 민감성,번역상의 문제 등을 고려한 검토 결과를 국제본부에 제출하였다. 설문 조사 도구의 번역 및 검증은 참여국, DIPF, cApStAn, ETS에 의해 진행되었다.

국제본부에서 제공하는 표준화된 기준에 따라 PISA 2018 예비검사 시기를 2017년 5월로정하였으며 표집에는 이전 주기와 동일하게 2단계 비례 층화 표집설계를 적용하였다. 즉 첫 번째 단계에서는 학교를, 두 번째 단계에서는 해당 학교 내 학생을 표집하였으며 층화변인(stratification variable)은 세 가지 요소, 즉 학교급, 계열, 도시화(지역규모)를 고려하여 추출하였다. 또한 국제본부에서 제시한 세 가지 유형의 표집설계 중 40개 학교와 최소 학생 수 45명에 해당하는 ‘설계 2’를 선택하였고, 평가율을 고려하여 학교별 목표 군집 크기(TCS)를 48명으로 정하였다. 층화 변인에 따른 최종 표집 대상 모집단의 학교 수 비율에 따라 표집 학교가 선정되었으며 KeyQuest 프로그램을 사용하여 총 1,920명 학생이 추출될 예정이다.

본 연구에서는 PISA 2018에 나타난 특징적인 변화를 중심으로 우리나라 평가 개선을 위한 정책 추진 방향을 크게 네 가지로 제시하고, 각 추진 방향별로 정책 제언과 실행 전략을 다음과 같이 제시하였다.

첫째, 주영역인 읽기와 관련하여 ‘컴퓨터 기반 다문서 읽기 및 자료 통합형 쓰기 교육을 통한 디지털 시대의 읽기·쓰기 역량 강화’를 정책 추진 방향으로 정하고, ‘컴퓨터 기반 다문서 읽기 및 자료 통합형 쓰기의 학교교육 실행을 위한 기초 연구를 활성화’와 ‘실생활 과제수행을 위한 시나리오 기반 읽기·쓰기 연계 교육 프로그램을 개발하고 웹사이트를 구축’하는 정책을 제언하였다. 이를 위한 실행 전략으로 ‘학교급별 연계를 고려한 다문서 읽기교육의 내용 구안’, ‘컴퓨터 기반의 자료 통합형 쓰기를 학교교육에 도입’, ‘실생활 과제 수행을 위한 시나리오 기반 읽기·쓰기 연계 교육 프로그램 개발’, ‘관련 수업 사례 공유 및 소통을 위한 웹사이트 구축 방안’을 제시하였다.

둘째, 신설된 혁신 영역인 글로벌 역량 영역과 관련하여 ‘미래 사회 대비를 위한 글로벌 역량 교육 강화’를 정책 추진 방향으로 정하고, ‘교육 2030 대비를 위한 거시적‧장기적 차원의 글로벌 역량 교육정책 수립’과 ‘학교현장의 글로벌 역량 교육 활성화·내실화를 위한 실제적 교수학습 방법을 구안’할 것을 제언하였다. 이를 위한 실행 전략으로 ‘글로벌 역량교육정책 협의체 운영’, ‘글로벌 역량 관련 문헌적, 실증적, 경험적 연구 수행’, ‘글로벌 역량교육 지원을 위한 TF 운영’, ‘교사 공동체 기반의 온라인 교사 연수 실시’를 제시하였다.

셋째, 컴퓨터 기반 평가의 적용과 관련하여 ‘ICT를 활용한 국내 대규모 평가 체제의 선진화’를 정책 추진 방향으로 정하고, ‘대규모 학업성취도 평가에서 ICT 기반 평가 시스템을 도입하여 학교급의 교육성과를 파악’하는 것과 ‘ICT를 활용하여 문항 출제 과정의 효율성과 안정성을 제고’하는 정책을 제언하였다. 이를 위한 실행 전략으로 ‘복합적 능력과 수행기술을 파악하기 위한 평가문항 제시 방법의 전환’, ‘행렬표집설계 도입 및 자동 검사배정방법의 적용’, ‘서답형 문항 채점과 점수 산출 과정의 자동화 구현’, ‘온라인 포탈 구축 및 운영’, ‘비 색인어 검색이 가능한 기출 문항 검색 시스템의 도입’을 제시하였다.

마지막으로, 내년에 시행될 PISA 2018 예비검사의 성공적 시행과 관련하여 ‘제도적·인적지원 강화를 통한 PISA 시행의 안정성 확보’를 정책 추진 방향으로 정하고, ‘국제 학업성취도 평가 관련 이해도를 제고하고 전문 인력을 확보’하는 것과 ‘표집 학교의 ICT 관련 정보수집을 위한 법을 개정하고 표집 학교에 대한 지원을 강화’, ‘PISA 2018 혁신적 영역 평가에 대비 및 주도적 역할을 수행하기 위한 체제를 구축’하는 정책을 제언하였다. 이를 위한 실행 전략으로 ‘국제 학업성취도 평가 담당 연구사 및 장학사 대상 PISA 워크숍의 정례화’,‘국제 학업성취도 평가 관련 교사 직무 연수 과정 개설 및 운영’, ‘표집 학교의 ICT 관련 정보의 안정적 수집을 위한 ‘교육관련기관의 정보공개에 관한 특례법 시행령’ 개정’, ‘표집학교에 대한 지원 강화’, ‘지속적 변화에 대비하기 위한 국제본부 및 참여국과의 긴밀한 협력관계 유지’, ‘우리나라의 위상과 역할 제고를 위한 국내 PISA 연구팀 내 혁신적 영역전담 연구원 확보 및 전문가 인력풀 확대 방안’을 제시하였다.

(출처 : 연구요약 7p)

Abstract ▼

This study is conducted to establish a foundation for implementing PISA 2018 Field Trial. PISA, OECD Programme for International Student Assessment, evaluates the basic competence that a future citizen should possess of 15-year-old students from more than seventy economies and provides surveys regar

This study is conducted to establish a foundation for implementing PISA 2018 Field Trial. PISA, OECD Programme for International Student Assessment, evaluates the basic competence that a future citizen should possess of 15-year-old students from more than seventy economies and provides surveys regarding educational context variables.

In chapter Ⅰ presents the need, purpose, content and method of this research. The research purpose is to establish a foundation for implementing PISA 2018 Field Trial through a process of assessment framework analysis, test items development,translation, review, implementation design, sampling schools for PISA 2018 Field Trial,and to seek ways to enhance our education system. To this end, meticulous efforts have been made for a literature review on preceding research, analysis of the proposals concerning the implementation design, conferences with experts for the review of assessment framework and test items development, and workshops for Reading, Global Competence, and item reviews for surveys.

Chapter Ⅱ formulates the definition and assessment framework for respective literacies. Reading in PISA 2018 evaluates students' reading literacy in the mode of computer based assessment and mathematics and science examines the level of the development of progress for each subject. Global Competence, an innovative domain newly adopted in PISA 2018, investigates the readiness of the students as democratic citizens of the world. PISA attempts to elaborate on the characteristics of students' achievement by conducting surveys to students, parents, teachers, and schools, which maintains the framework of PISA 2015 yet while additional items on the main domain of Reading and Global Competence are developed.

Chapter Ⅲ provides plans for the design and organisation of assessment instruments for PISA 2018 Field Trial. All of the PISA 2018 assessment, except for the surveys for parents, is computer-based and the items are designed into two categories; trend-items for Reading, Mathematics and Science, and new items for Reading.
Meanwhile, surveys for students, parents, teachers, schools, educational experience, and ICT are used in order to gather information regarding educational context variables and to explore the development of noncognitive skills. The surveys mainly focus on Reading and Global Competence.

Chapter Ⅳ discusses the development, process of the assessment instruments for PISA 2018 Field Trial. The items developed for Reading have been reviewed three times (Batch 1~3) based on the criteria of item validity, suitability, and completeness. XLIFF translation file and TAS were mainly used for the translation and adaptation. Global Competence was excluded from PISA 2018 Field Trial and Pilot Field Trial for Global Competence is going to be implemented instead. Accordingly, a new assessment instrument for Global Competence is at present being developed. Korea is participating in the development of assessment instrument for the Pilot Field Trial for Global Competence. At the end, 10 sets of scenarios and following items were developed by the Korea PISA research team considering the characteristics of Global Competence as an integral and interdisciplinary area which encompasses diverse components. The review process of Global Competence included firstly, re-review of Korea's assessment instrument thatwas modified by the international headquarters, and secondly, review of two batches (Batch 1, 2) submitted by all developing countries. The same principles applied for the Reading was also applied during the reviewing process of Global Competence. Trends items and newly developed Reading and Global Competence survey items were investigated to examine educational context variables. Suitability for the educational systems of each country, survey participants, cultural or racial sensitivity issues, and errors in translation were all taken into account during the review process.

Chapter Ⅴ focuses on the sampling procedure of PISA 2018 Field Trial. The sampling process is executed on the basis of standardised guidelines provided by the OECD. PISA 2018 Field Trial is expected to be conducted from May 8 until June 9, 2017, with“students born from March 1, 2001 to February 29, 2002" as its target population. Three stratification variables, namely school level, program, and urbanization were taken into consideration. The TCS(target cluster size) of students for schools were set to forty-eight and not only special-education schools and international schools but also small-sized schools were excluded from the list of sample schools for the Field Trial.
A total of 1,920 students from forty schools are selected according to the ratio of the number of final sampling population schools based on the stratification variables.

On the basis of the characteristics of PISA 2018 analysed, this study provides four major principal directions for policy enforcements in order to enhance assessment. The directions are first, strengthening reading and writing skills in the digital era by integrating computer-based multiple-text reading and data synthesized writing education; second, enhancement of Global Competence education to prepare for the future; third, advancement of large-scale assessment system by utilizing ICT at the national level; and fourth, securing the stability of implementing PISA 2018 by strengthening institutional and human resources. Political suggestions, along with specific and detailed implementation strategies, are given for each policy direction.

(출처 : ABSTRACT 207p)

목차 Contents

• 표지 ... 1
• 연구협력진 ... 3
• 머리말 ... 5
• 연구요약 ... 7
• 목차 ... 11
• 표목차 ... 15
• 그림목차 ... 19
• Ⅰ 서론 ... 21
• 1. 연구의 필요성 및 목적 ... 23
• 2. PISA 2018 연구 일정 및 추진 체계 ... 26
• 3. 연구 내용 ... 28
• 가. PISA 2018 예비검사 도구 개발 ... 28
• 나. PISA 2018 예비검사 시행 설계 ... 28
• 4. 연구 방법 ... 29
• 가. 문헌연구 ... 29
• 나. 전문가 협의회 ... 29
• 다. 글로벌 역량 문항 개발 워킹그룹 구성 및 운영 ... 30
• 라. 워크숍 ... 30
• 마. 국제본부 및 국내‧외 유관기관과의 협력 ... 31
• Ⅱ PISA 2018 평가틀 ... 33
• 1. PISA 개관 ... 35
• 2. PISA 2018 평가틀 ... 38
• 가. 읽기 ... 38
• 나. 수학 ... 44
• 다. 과학 ... 49
• 라. 글로벌 역량 ... 53
• 마. 교육맥락변인 ... 60
• 3. PISA 2018 문항 특성 ... 66
• 가. 새 문항 ... 66
• 나. 추이 문항 ... 69
• Ⅲ PISA 2018 예비검사 평가도구 설계 및 구성 ... 71
• 1. PISA 2018 예비검사 평가도구 설계 ... 73
• 2. PISA 2018 예비검사 평가도구 구성 ... 75
• 가. 읽기 ... 75
• 나. 수학 ... 85
• 다. 과학 ... 89
• 라. 글로벌 역량 ... 95
• 마. 교육맥락변인 ... 98
• Ⅳ PISA 2018 예비검사 평가도구 개발, 검토 및 번역 ... 105
• 1. PISA 2018 예비검사 평가도구 개발 ... 107
• 가. 읽기 평가도구 개발 ... 107
• 나. 글로벌 역량 평가도구 개발 ... 108
• 2. PISA 2018 예비검사 평가도구 검토 ... 116
• 가. 읽기 평가도구 검토 ... 116
• 나. 글로벌 역량 평가도구 검토 ... 117
• 다. 교육맥락변인 ... 119
• 3. PISA 2018 예비검사 평가도구 번역 ... 120
• 가. 읽기 평가도구 번역 및 검증 ... 121
• 나. 글로벌 역량 평가도구 번역 ... 122
• 다. 설문 조사 도구 번역 및 검증 ... 122
• 라. 평가도구 제작 및 확정 ... 126
• Ⅴ PISA 2018 예비검사 표집 ... 129
• 1. 예비검사 표본 설계 ... 131
• 가. 모집단 정의 ... 132
• 나. 학교 및 학생 표집 설계방법 ... 134
• 다. 표본 설계와 목표 표본 크기의 결정 ... 137
• 2. 학교 표본의 추출 ... 139
• 가. 예비검사를 위한 모집단 결정 ... 139
• 나. 학교 표집틀의 작성 ... 142
• 다. 학교 표본 할당 및 표집 학교 선정 ... 143
• Ⅵ 결론 및 정책 제언 ... 147
• 1. 요약 및 결론 ... 149
• 2. 정책 제언 ... 152
• 3. 장단기 추진 계획 및 기대효과 ... 192
• 참 고 문 헌 ... 195
• ABSTRACT ... 207
• 부 록 ... 211
• [부록 1] 읽기 문항 검토 결과 제출 양식 ... 213
• [부록 2] 읽기 문항 개발에 대한 국제본부 지침 ... 214
• [부록 3] 번역 일관성 검토를 위한 국제본부 제출 양식 ... 215
• [부록 4] MemoryLn 사용법 ... 217
• [부록 5] 문항 풀이 방법 안내 ... 219
• [부록 6] 문항 번안 양식(TAS) ... 222
• [부록 7] 설문 번안 양식(QAS) ... 223
• 끝페이지 ... 223