초록 ▼

대표적인 역량 평가로 주목받고 있는 PISA 연구의 여섯 번째 주기 PISA 2015 연구가 진행되고 있다. 작년 2013년에는 과학, 읽기, 수학, 협력적 문제해결력 영역별 평가틀의 분석, 평가도구 개발과 번역, 평가대상 학교 표집, 금년 2014년에는 평가도구 번안 검증 및 확정, 영역별 검사 및 설문 조사 시행, 구성형 문항 채점, 자료 입력, 예비검사 결과 분석등을 수행하였다. 이는 내년 2015년에 있을 본검사에서 신뢰롭고 타당한 평가 자료 수집을 위한 연구 기반이 될 것이며, 본 연구에서 PISA 2015 예비검사를 체계

대표적인 역량 평가로 주목받고 있는 PISA 연구의 여섯 번째 주기 PISA 2015 연구가 진행되고 있다. 작년 2013년에는 과학, 읽기, 수학, 협력적 문제해결력 영역별 평가틀의 분석, 평가도구 개발과 번역, 평가대상 학교 표집, 금년 2014년에는 평가도구 번안 검증 및 확정, 영역별 검사 및 설문 조사 시행, 구성형 문항 채점, 자료 입력, 예비검사 결과 분석등을 수행하였다. 이는 내년 2015년에 있을 본검사에서 신뢰롭고 타당한 평가 자료 수집을 위한 연구 기반이 될 것이며, 본 연구에서 PISA 2015 예비검사를 체계적으로 준비하여 시행하고, 그 결과를 분석한 내용을 다음과 같이 요약할 수 있다.

PISA 2015 예비검사 평가도구는 인지영역의 검사도구와 교육맥락변인의 조사도구, 시행 지침서로 구성된다. 전 영역에 대해 컴퓨터 기반 평가로 전환함에 따라 인지영역의 검사도구는 컴퓨터 기반 평가와 지필평가, 두 가지 시행방식에 맞게 개발되었다. 과학, 읽기,수학 영역의 추이문항은 이전 주기의 번안 내용을 따르되, 평가방식 전환으로 인해 필요한 부분만 번안하고 국제본부의 검증을 받았다. PISA 2015의 주영역인 과학과 새로 추가된 협력적 문제해결력 문항의 번역본은 국내 전문가 검토, 국제본부의 타당성 검증을 거쳐 완성되었다. 검사도구의 번안 및 검증 과정은 국제본부에서 정한 지침과 절차에 의거하여 원문의 의미와 난이도 수준을 유지하는 것을 원칙으로 하여 진행되었다.

이전 주기에 이어 PISA 2015에도 기본적인 학생 설문과 학교 설문 이외에 학부모 설문과 학생들의 초·중학교의 교육경험 및 정보통신기술 관련 설문을 선택하였으며, 학교교육 맥락의 다각적이고 정확한 정보 수집을 위해 교사 설문도 추가하였다. 학생, 학교장, 학부모, 교사 대상의 설문 조사도구의 번안 및 검증 과정도 인지영역의 검사도구 번안 및 검증 과정과 유사하였다. 검사도구와 설문 조사도구 번역의 타당성을 국제본부에서 검증받고, 문항의 내용과 형식에 관해 국제본부와 협의와 조율을 거쳐 한국어본 평가도구를 최종확정하였다.

PISA 2015 국제본부는 모든 참여국에서 표준화된 환경과 절차에 따라 예비검사를 시행할 수 있도록 각종 지침서를 사용하도록 관리하고 있다. 학교 책임자 지침서와 감독교사 지침서를 우리나라 상황과 맥락에 맞게 번안, 수정, 보완하고 국제본부와 여러 차례 조정과정을 거쳐 확정하였다.

예비검사를 시행할 평가대상 학교의 표집은 작년에 이루어졌고, 올해는 해당 학교에서 학생 및 교사를 표집하였다. PISA 2015 예비검사 평가대상을 선정하는 과정과 절차 역시 국제본부의 엄격한 지침을 준수해야 하며, 상호 협의 과정과 승인을 얻어 진행하였다.
PISA 2015 예비검사에서는 편의 표집에 의하여 중학교 8개교, 고등학교 54개교를 표집하였으며, 각 학교에서 만 15세 학생 2,363명, 고등학교에서만 교사 1,110명을 표집하였다. 평가대상 학교는 지필평가와 컴퓨터 기반 평가를 병행하거나, 컴퓨터 기반 평가만을 시행하는 학교로 구분된다. 전자의 경우 표집 학생들은 추이문항을 지필평가로 시행하는 집단,추이문항을 컴퓨터 기반 평가로 시행하는 집단, 컴퓨터 기반의 새 문항을 시행하는 집단으로 분류되어 검사가 치러졌다. 추이문항을 두 가지 방식으로 시행하는 것은 이전 주기까지 적용하였던 지필평가 방식과의 일치성 분석을 목적으로 설계된 것이다.

PISA 2015 예비검사를 시행하기에 앞서 컴퓨터 기반 평가 시스템이 우리나라 학교 환경에서 작동되는지 사전 조사하였다. PISA 2015의 기준에 부합하는 컴퓨터를 시행에 필요한 만큼 구비하고 있는 학교는 44개교였고, 시행 시기까지 각 학교에서 컴퓨터를 추가 구입하거나 교체, 오전/오후 분할 시행 계획 등을 수립하였으며, 컴퓨터 기반 평가의 안정적이고 원활한 시행을 위해서 4개 학교에 노트북 106대를 임차하여 시행 지원하였다.

PISA 2015 예비검사는 2014년 5월 16일(금)∼5월 30일(금)에 전국 62개 중․고등학교에서 시행되었다. 이를 위해 컴퓨터 기반 평가와 지필평가 시행을 위한 평가도구 및 각종 지침서와 제반 서식 등이 담긴 평가도구 상자가 각 학교로 송부되었다. 또한 예비검사를 시행하기 1개월 전인 4월 18일(금)에 시행 과정에서 발생할 수 있는 문제를 줄이고 각 학교에서 동일한 방식으로 시행되도록 안내하기 위해 학교 책임자 및 감독교사 연수를 실시하였다.
이와 별도로 11개 학교에 연구팀 및 교육부, 질 관리자가 각각 방문하여 시행 과정을 참관하면서 PISA 표준 절차에 따라 평가가 진행되고 있는지를 점검하였다.

예비검사 결과, 표집학교 62개교 모두 참여하였으며, 인지영역의 검사에 학생 2,299명이 참여하여 97.29%의 참여율을 보였다. 학교 설문은 100%, 교사 설문은 99.18%, 학부모 설문은 97.29% 등 설문 조사의 참여율 역시 매우 높았다. PISA 2015 예비검사는 시행 관련 기관의 원활한 협조 하에 재시험 없이 성공적으로 시행되었다.

구성형 문항의 채점기준은 국제 지침에 따라 번역되었으며 전문가 검토와 협의를 통해 채점기준을 검증하였다. 학생들의 답안 중에서 선다형 문항과 간단한 구성형 문항, 협력적 문제해결력 문항은 자동으로 채점하며, 전문가 판단이 요구되는 구성형 문항에 한해 교과전문가에 의해 채점을 실시하였다. 채점연수를 통해 영역별 채점기준을 각 채점자가 숙지하도록 하고, 채점을 진행하였다. 과학교육 전문가 8명, 국어교육 전문가 4명, 수학교육 전문가 4명이 학생들의 응답을 채점하였는데, 지필평가의 응답은 수기로, 컴퓨터 기반평가의 응답은 OECS 채점 시스템을 통해 이루어졌다. 컴퓨터 기반 평가의 경우 채점 일관성 확보를 위해 복수 채점을 진행하고, 매일 구성형 문항 채점의 신뢰성을 점검하였다.

KeyQuest 및 DME 프로그램을 사용하여 예비검사 응시 여부를 비롯한 시행 관련 사항,구성형 문항의 채점이 완료된 검사 및 설문 응답을 정해진 양식에 따라 각 평가도구별로 입력하였다. 자료입력을 위한 코드북 번안 및 수정이 완료된 후, 자료 입력이 실시되었으며 자체 교차검토 후에 KeyQuest 및 DME 프로그램을 통한 타당성 검증을 실시하였다. 표집 및 시행 정보, 검사와 설문 자료의 기본 정보 간 일치성 점검, 채점 누락 여부 등 타당성 검증까지 완료된 데이터는 최종적으로 국제본부에 송부되었다.

예비검사는 궁극적으로 본검사를 준비하는 목적으로 시행되며, 예비검사 문항 분석결과를 기초로 참여국의 검토와 영역별 전문가 집단의 합의를 거쳐 본검사의 문항을 선정하게 된다. 또한 본검사 시행 전에 예비검사 결과에 터하여 교육과정이나 번역에 의한 문제를 검토할 수 있다. 검사 문항의 경우, 국제본부에서 정답률이 매우 낮거나 높은 문항,변별도가 낮은 문항, 문항반응 모형의 적합도가 낮은 문항 등의 다양한 정보를 함께 제공하여, 우리나라 학생들의 반응 정보를 국제 결과와 비교하였다. 이와 더불어 두 가지 평가방식간 문항특성을 비교하기 위해 국내 독자적으로 차별기능문항 분석 방법을 적용하여 평가방식 간 차이를 보이는 문항을 추출하였다. 그 결과 전반적으로 두 평가방식의 측정은 매우 유사함을 확인하였다.

PISA 2015 본검사에는 추이문항의 경우 예비검사와 동일한 문항이 그대로 사용될 것이다.
과학과 협력적 문제해결력 새 문항 중에서 본검사에 사용될 문항은 2014년 11월에 선정하였으며, 설문 문항은 10월말에 국제본이 확정된 상태이다. 우리나라는 2015년 5월에 시행될 본 검사에 대비하여 본검사 선제 문항에 대해 전문가들의 계속적인 검토와 수정을 받아 한국어본 번역의 정확성 및 타당성을 확보할 것이다. 10월부터 Westat과 공동으로 학교 표집틀을 작성하는 등 PISA 2015 본검사 대상을 선정하기 위한 준비를 하고 있으며, 내년 3월까지 학교 표집 및 확정의 과정을 거치게 될 것이다.

성공적인 본검사 시행을 위해 요구되는 대응 전략으로 개인정보보호 강화 정책에 따른 초·중등교육법 개정과 컴퓨터 기반 평가의 안정적 시행을 위한 환경 조성, 유관기관과의 협조체제 구축 및 채점 전문 인력의 확보 등을 제안하였다. 또한 예비검사 시행 결과에 따라 21세기 역량 신장을 위한 교육 개선 방안과 컴퓨터 기반의 역량 평가 도입 및 활성화 방안을 제시하였다.

( 출처 : 연구요약 5p )

Abstract ▼

With the importance of nurturing global talented individuals through education as one of the government’s top priorities, Korea has been participating in the Program for International Student Assessment (PISA) under the auspices of Organization for Economic Co-operation and Development (OECD). PISA

With the importance of nurturing global talented individuals through education as one of the government’s top priorities, Korea has been participating in the Program for International Student Assessment (PISA) under the auspices of Organization for Economic Co-operation and Development (OECD). PISA underpins its theoretical framework on the DeSeCo Project of OECD to assess competencies in mathematics, reading and science literacy as an ability to be applied to our daily lives. PISA 2015 will have become the 6th assessment since PISA 2000 was conducted. In 2013 the analysis of assessment framework, the development and translation of assessment framework,the sampling of students among schools and the checking of computer environment at schools were performed to gain reliable and valid assessment data from the PISA 2015 preliminary survey. In 2014 verification of translations of assessment instruments,implementation of assessments in cognitive domains and survey of questionnaires,scoring and coding constructive items, analysis of results in PISA 2015 FT and others.

PISA assessment instruments are developed on the basis of assessment framework to assess the competencies of students aged 15 in every country in mathematics, reading and science etc., which are essential to prepare for the entry of society. For the assessment framework and items of PISA 2015, science puts an emphasis on procedural and epistemological knowledge, reading on diversification of text and mathematics on the practical use of mathematical instruments, focusing on knowledge and skills in real lives with combination of knowledge of school subjects and competencies. Noting that most collaborative problem-solving tasks are performed through teamwork, PISA 2015 introduced for the first time the assessment of collaborative problem-solving competencies. The assessment assesses cooperative problem-solving competencies in the process of solving problems working with computer agents via communication tools in cyberspace.

PISA 2015 reflected the fact that most problems are solved on the Internet, and switched to computer-based assessment of literacy in science, reading, mathematics and collaborative problem-solving competencies. With the help of computer-based interaction, simulation technique, more diverse forms of items and extensive content and areas are able to be assessed. The conversion from paper-based assessment to computer-based one is most predominant characteristic in the PISA 2015 compared to previous assessments. The computer-based assessment also includes a survey on educational context variables targeting students, teachers and principals.

PISA 2015 preliminary survey consists of computer-based assessment of science and collaborative problem-solving competencies, both paper- and computer-based assessments of science, reading and mathematics literacy, survey targeting teachers,students and parents, and guidelines for assessment implementation. For compatibility between computer-based and paper-based assessments, testing instruments were developed to conduct an assessment on items in science, reading and mathematics.
Items relating to science literacy and collaborative problem-solving competencies were developed as a main area, and testing instruments for all assessments were devised in PISA 2015.

Cognitive ability testing instruments for PISA 2015 preliminary survey include 304 items in science as a main area, 87 and 72 items in reading and mathematics respectively as secondary area and 22 newly added tasks in collaborative problem-solving competencies. The combination of different types of unit items allows to deal with broad area in dept and to ease the burden of test on students as there is no need to solve the whole items of the preliminary survey.

Survey instruments for PISA 2015 preliminary questionnaire consist of 4 types for students, form 1 for schools, form 2 for teachers, and form 1 for parents. Like previous assessments, individual country can select some types of questionnaires among survey on parent, survey on students’ educational experience during their elementary and middle school days and survey on ICT, and survey for teachers were added to the instruments in order to carry out a precise assessment of teaching learning variables.

With a view to implementing the preliminary survey in 2014 pursuant to the standard testing environment and procedures set by the OECD/PISA consortium, the guidelines and workshop for the school managers, and supervising teachers for both paper-based and computer-based assessments were provided.

Along with preparing for the assessment instrument of the preliminary survey for PISA 2015, sampling for such assessment was carried out. Although two-stage stratified approach was applied for sampling of 15-year-old students in each participating country, in 2013 one-stage stratified sampling was applied in Korea. In 2014, school Level, study program, urbanization were treated as variables for stratification, as in the previous assessment, and the range of birth dates was set according to the planned preliminary test date to allow age-based sampling. In order to encourage stable operation of the co mputer-based test, the schools with the least number of sampled students were selected among the three plans by the OECD/PISA consortium, hence a total of 62 schools were sampled. The timing, selection of the sampling plan, schools for sampling for the prelimi nary survey of PISA 2015 were approved by the OECD/PISA consortium through consu ltations.

PISA 2015 FT in Korea, conducted from 16th, May, 2014 through 30th, May, 2014 by 62 secondary schools, 2,299 students of 62 schools were participated into PISA 2015 FT.
This is 97.29% participatory rate and no school were made up test for PISA 2015 FT.
The key features of pointed by the preliminary survey for PISA 2015 can be summarized as: practical knowledge-based assessment; assessment instrument based on matrix sampling format, computer-based assessment, introduction of collaborative problem-solving assessment and expansion of sampling range and coverage. Based on such findings, the emphasis of the PISA and the implications of the changes on scientific, reading and mathematical education, capacity building education and assessment system of Korea were deducted, henceforth following policy suggestions were made for improving current situation and stable implementation of the main survey for PISA 2015.

As part of establishing stable foundation for the main survey for PISA 2015, it was advised to revise elementary and secondary education act according to emphasis of“privacy agreement policy”; establish environment for the computer-based assessment;expand the number of expertise in grading. At the same time, more emphasis on education for enhancing competencies stressed by the PISA. Moreover, it was also advised to expand researches aimed at seeking the direction to reinforce the education that nurtures talents of the 21st century and to develop and promote teaching, learning and assessment plans for improving collaborative problem-solving competencies. Last, introduction and application of computer-based assessment befitting to the international trend, balanced measurement availed through scientific planning of the assessment instruments and expansion of survey contents and sampling coverage were also recommended in order to bring extensive improvements in the assessment system of Korea.

( 출처 : ABSTRACT 154p )

목차 Contents

• 표지 ... 1
• 연구협력진 ... 3
• 머리말 ... 4
• 연구요약 ... 5
• 목차 ... 8
• 표목차 ... 11
• 그림목차 ... 15
• I. 서론 ... 16
• 1. 연구의 필요성 및 목적 ... 17
• 2. PISA 2015 개관 ... 20
• 3. 연구 내용 ... 24
• 가. PISA 2015 예비검사 준비 ... 24
• 나. PISA 2015 예비검사 시행 ... 25
• 다. PISA 2015 본검사 문항 선제 및 시행 준비 ... 25
• 4. 연구 방법 ... 26
• 가. 문헌연구 ... 26
• 나. 통계분석 ... 26
• 다. 전문가 협의회 ... 26
• 라. 국제본부 및 국내외 유관기관과의 협력 ... 26
• II. PISA 2015 예비검사 시행 ... 27
• 1. 평가 설계 및 표집 ... 28
• 가. 예비검사 설계 ... 28
• 나. 표집 설계 ... 29
• 다. 표집학교의 확정 ... 31
• 라. 학생 및 교사 표집 ... 33
• 2. 평가도구 번역 및 제작 ... 37
• 가. 평가도구 번역 및 확정 ... 39
• 나. 평가도구 제작 ... 44
• 3. 예비검사 시행 및 질 관리 ... 47
• 가. 컴퓨터 기반 평가 시행을 위한 사전 점검 ... 47
• 나. 학교 책임자･감독교사 연수 ... 48
• 다. 평가도구 상자의 제작과 발송 ... 51
• 라. 지필평가와 컴퓨터 기반 평가 시행 ... 53
• 마. 검사 시행 질 관리 ... 58
• III. PISA 2015 예비검사 채점 및 자료 입력 ... 61
• 1. 예비검사 채점 ... 62
• 가. 채점 조직 ... 62
• 나. 지필평가 채점 ... 63
• 다. 컴퓨터 기반 평가 채점 ... 70
• 2. 예비검사 자료 입력 ... 75
• 가. 자료 입력 및 송부 일정 ... 75
• 나. KeyQuest 자료 입력 ... 77
• 다. DME 자료 입력 및 확인 ... 78
• 3. 예비검사 시행검토서 송부 ... 83
• IV. 예비검사 결과 분석 및 본검사 준비 ... 86
• 1. 예비검사 문항 분석 결과 ... 87
• 가. 새 문항의 양호도 분석 ... 87
• 나. 추이문항의 양호도 분석 ... 98
• 2. 평가방식의 효과 검증 ... 110
• 가. 과학 영역 ... 111
• 나. 읽기 영역 ... 113
• 다. 수학 영역 ... 114
• 3. 본검사 문항 선제 및 준비 ... 116
• 가. 과학 ... 116
• 나. 읽기 ... 129
• 다. 수학 ... 134
• 라. 협력적 문제해결력 ... 138
• V. 정책 제언 ... 141
• 1. PISA 2015 본검사의 원활한 시행을 위한 제언 ... 142
• 가. 개인정보보호법 강화에 따른 초･중등교육법 개정 ... 142
• 나. 컴퓨터 기반의 평가의 안정적 시행을 위한 환경 구축 ... 143
• 다. 유관 기관과의 협조 체제 구축 및 채점 전문 인력의 확보 ... 145
• 2. 예비검사 결과에 따른 제언 ... 147
• 가. 21세기 역량 신장을 위한 교육 개선 ... 147
• 나. 컴퓨터 기반의 역량 평가 도입 및 활성화 ... 149
• 참고문헌 ... 152
• Abstract ... 154
• 부록 ... 158
• 부록1. 지필평가 및 컴퓨터 기반 평가 검사 일정 서식 ... 159
• 부록2. 대상 학생 명단 ... 161
• 부록3. 과학교사 명단 ... 162
• 부록4. 과학 외 교과 교사 명단 ... 163
• 부록5. CBA 컴퓨터 진단 결과표 ... 164
• 부록6. 학생 명세서 ... 165
• 부록7. 과학교사 명세서 ... 166
• 부록8. 과학 외 교과 교사 명세서 ... 167
• 부록9. 지필평가 검사 응시자 명단 ... 168
• 부록10. CBA용 검사 응시자 명단 ... 169
• 부록11. 학생 로그인 서식 ... 170
• 부록12. 교사 로그인 서식 ... 171
• 부록13. 지필평가용 검사 실시 보고서 ... 172
• 부록14. CBA용 검사 실시 보고서 ... 174
• 부록15. 평가도구 상자 수령 서식 ... 177
• 부록16. 평가도구 자료 송부 서식 ... 178
• 부록17. TAS(TEST Adaptation Spreadsheet) ... 179
• 부록18. PBA 검토용 TAS(TEST Adaptation Spreadsheet) ... 180
• 부록19. CBA FLC(Format and Layout Check) ... 181
• 부록20. QAS(Questionnaire Adaptation Spreadsheet) ... 182
• 끝페이지 ... 182