초록
▼
본 연구에서는 OECD주관의 국제 학업성취도 평가의 여섯 번째 주기인 PISA2015본검사를 준비하고 시행하는 과정을 평가도구 준비, 표집 및 시행, 채점 및 자료 송부의 순으로 기술하였다.
우리나라에서 PISA 2015본검사...
본 연구에서는 OECD주관의 국제 학업성취도 평가의 여섯 번째 주기인 PISA2015본검사를 준비하고 시행하는 과정을 평가도구 준비, 표집 및 시행, 채점 및 자료 송부의 순으로 기술하였다.
우리나라에서 PISA 2015본검사는 2015년 5월 11일(월)부터 5월 30일(토)까지 3주간 168개 학교(고등학교 145개교, 중학교 23개교)를 대상으로 시행되었다. 표집된 만 15세 학생 총 5, 749명 중 평가에는 5, 581명이, 설문에는 5, 574명이 참여하였다. 교사 설문에는 총 3, 103명이 표집되었으며, 3, 058명이 참여하였다.
PISA 2015본검사 평가도구는 과학, 읽기, 수학, 협력적 문제해결력 검사도구, 설문 조사 도구, 시행 지침서로 구성된다. PISA2015에는 주영역인 과학을 포함하여 읽기, 수학, 협력적 문제해결력 평가에 대해 총 27개 문항군(단위문항 126개, 하위문항 361개)이 사용되었으며, 영역별 문항군은 행렬표집방식에 의해 총 66종의 검사형으로 구분되었다. 이때 과학은 총 문항군 12개(단위문항 55개, 하위문항 185개), 읽기는 문항군 6개(단위문항 25개, 하위문항 87개), 수학은 문항군 6개(단위문항 40개, 하위문항 70개), CPS는 문항군 3개(단위문항 6개, 하위과제 19개)가 사용되었다. 설문 조사 도구는 학생 설문 1종, 학교 설문 1종, 교사 설문 2종, 학부모 설문 1종으로 구성되었으며, 시행 지침서는 학교 책임자 1종, 감독 교사 1종으로 구성되었다.
PISA2015본검사 평가도구에 대한 검증은 국제본부에서 제시한 절차에 따라 진행되어 최종 확정하는 절차를 거쳤다. PISA2015본검사는 전면 컴퓨터 기반 평가로 시행되었다. 평가에 사용된 학생용 CBA시스템(SDS)은 모든 검사도구에 대한 번안 및 검토 과정이 종료된 후, 국제본부가 컴퓨터 기반 평가도구를 제공하였으며, 이를 USB에 탑재하여 제작하였다. 국내 PISA연구팀은 SDS에 대한 여러 차례의 구동 테스트를 실시하였으며, 본검사 후 학생의 응답결과가 자동 기록된 파일을 수합하여 국제본부로 송부하였다.
PISA 2015표집을 위해 국내 PISA 연구팀은 만 15세 학생을 모집단으로 하는 표집틀을 표집 담당 기관인 Westat에 전달했으며, Westat은 각 참여국으로부터 전달받은 학교급, 계열, 도시화 정도, 학교 성별 유형 정보를 토대로 PISA2015본검사 시행 대상 학교를 표집하여 우리나라에 전달하였다. 표집된 학교는 171개 학교(중학교 26개교, 일반계 고등학교 119개교, 비일반계 고등학교 26개교)였으며, 이 중 만 15세에 해당하는 학생이 없는 등 PISA 기준에 부합하지 않은 중학교 3개교가 제외되어 총 168개교가 최종적으로 시행 대상 학교로 표집되었다.
시행 대상 학교가 확정된 후에는 국내 PISA연구팀이 국제본부로부터 제공된 KeyQuest프로그램을 활용하여 각 학교별 평가 대상 학생과 교사설문을 위한 교사 표집을 진행하였다. 각 표집학교별 목표 군집 크기를 36명으로 설정하여 표집한 결과, 전체 표집학생 수는 총 5, 749명이었고, 이 중에서 중학생이 548명(9. 5%), 고등학생은 5, 201명(90. 5%)이었다. 교사 설문은 145개 고등학교의 교사를 대상으로 표집을 진행했으며, 각 표집학교로부터 수합된 교사 명단 중에서 학교별로 과학 교사 10명, 과학 외 교과 교사 15명을 대상으로 표집한 결과, 총 3, 103명의 교사가 표집되었다. 이 중에서 과학 교사 수는 936명(30. 2%), 과학 외 교과 교사 수는 2, 167명 (69. 8%)이었다.
PISA2015본검사는 2015년 5월 11일(월)부터 5월 30일(토)까지 3주간 시행되었다. PISA 2015는 전면 컴퓨터 기반 평가로 시행되기 때문에 무엇보다 컴퓨터의 안정적 구동 여부 점검이 중요하였다. 국내 PISA연구팀에서는 국제본부 지침에 따라 검사 실시 2달 전에 표집된 168개교에 컴퓨터 진단 검사용 응용 프로그램을 배포하고, 검사에 필요한 컴퓨터 확보 여부와 컴퓨터 사양 및 정상 구동 여부를 검증하였다. 그 결과 32개 학교에서 PISA가 적합한 컴퓨터를 갖추지 못한 것으로 나타나 이들 학교에 노트북 938대를 임차하여 지원하였다. 또한 성공적인 본검사 시행을 위해 표집학교의 학교 책임자와 감독 교사를 대상으로 2015년 4월 15일(수)부터 4월 17일(금)까지 3일 동안 서울, 대전, 대구에서 PISA시행 연수를 실시하였다. 이후 본검사 시행 2주전까지 시행에 필요한 평가도구를 제작하고 인쇄하여 각 학교에 발송하였다.
PISA2015본검사 채점은 2015년 7월 6일(월)부터 15일(수)까지 총 10일간 진행되었으며, 과학은 8명, 읽기는 6명, 수학은 4명의 채점자가 채점하였다. 각 문항에 대해서는 단수 채점과 복수 채점을 병행했으며, 각 영역 당 2명의 채점자는 국가 간 채점 신뢰도 점검을 위한 영문문항도 채점하였다. 채점 대상 문항 수는 과학 59문항(추이 문항 29개, 새 문항 30개), 읽기 43문항, 수학 18문항으로 총 120문항이었다. 컴퓨터 기반 평가의 답안 채점은 구성형 채점시스템(OECS)에서 채점자별 PDF파일을 다운로드 받은 뒤 오프라인 상에서 PDF파일에 채점하였다. 채점한 파일은 OECS에서 Excel파일을 생성하여 평가 자료의 입력과 관리 프로그램인 DME로 보냈으며, 다시 DME를 통해 국제본부로 채점 결과를 송부하였다. 이밖에 KeyQuest에서 산출된 학생 명세서와 함께 검사 실시 보고서, 학부모 설문 자료, 온라인 학교 설문 자료, 온라인 과학 교사 설문 및 과학 외 교과 교사 설문 자료 등을 최종적으로 DME 프로그램에 입력하여 국제본부에 PISA2015본검사 자료를 모두 제출했으며, 2015년 10월까지 국제본부와 국내 PISA 연구팀 간의 교차검증 작업을 완료하였다.
마지막으로, PISA2015본검사 시행 과정을 통한 정책 제언은 다음과 같다. 첫째, 워크숍 형태의 학교 책임자 및 감독 교사 연수 프로그램을 구안해야 한다. 둘째, 노후 컴퓨터 교체 및 컴퓨터 교실 리모델링을 통해 컴퓨터 교육 환경을 선진화해야 한다. 셋째, PISA참여국의 원활한 시행을 위해 시행 지침을 간소화하고 시행 시스템을 고도화해야 한다.
(출처 : 연구요약 7p)
Abstract
▼
This study described the process of preparing and conducting the 6th PISA(The Programme for International Assessment) organized by...
This study described the process of preparing and conducting the 6th PISA(The Programme for International Assessment) organized by OECD in the order of preparation for assessment instruments, sampling and execution, grading, and sending materials. The main survey of PISA 2015 was conducted in 168 schools(145 high school, 23 middle school) for 3weeks from May 11(Mon) to May 30(Sat), 2015 in Korea. Among 5,749 collected 15-year old students, 5,574 students participated in the survey, and 3,058 teachers participated in the survey among total 3,103 teachers.
Assessment instruments of PISA 2015 main survey are composed of science, reading, math, cooperative problem solving test instrument, survey instrument, and guideline. In PISA 2015, total 27 clusters(126 units, 361 items) were used for science as well as reading, math, and cooperative problem solving ability, and the cluster by cognitive domain was classified into total 66 forms by matrix sampling method. In here, 12 clusters (55 units, 185 items) were in science, 6clusters (25 units, 87 items) inreading, 6 clusters (40 units, 70 items) for math, and 3 clusters (6 units, 19 items) were used in CPS. The survey instruments include 1 student survey type, 1 school survey type, 2 teacher survey types, and 1 parent survey type, and the guideline is composed of 1 school coordinator type and 1 test administrator type. Verificationon the assessment instrument of PISA 2015 main survey was confirmed according to the procedure offered by the OECD PISA consortium. PISA 2015 main survey was conducted by computer-based assessment. The OECD PISA consortium provided computer-based assessment instruments(SDS) for students after the adaptation and review process for every test instrument were completed, and they were produced by loading them on USB. The Korea PISA team conducted adrive test for SDS several times, and sent a self-recorded file of students’responses to the national headquarters after the test.
For PISA 2015 sampling, the Korea PISA team delivered a framework of a 15-year old student population to West at, asampling institution, and West at sampled schools for PISA 2015 main survey to our country based on the information as school level, affiliation, urbanization information, and gender type of school that they have received from each participating country. There were 171 sampled schools (26 middleschools, 119 general high schools, 26 non-general highschools), and total 168 schools, excluding 3 middle schools who did not meet PISA standards as no 15-year old students, were sampled as the final subject.
After the subjects were confirmed, the Korea PISA team sampled teachers for survey on students and teachers by school using Key Quest Program provided by national centre. As are sult of sampling the target group by school in to 36 students, the total number of sampled students was 5, 749, and among them, 548 students (9.5%) were middle school students and 5,201 students (90.5%) were highschool students. Sampling was conducted on teachers from 145 high schools for teacher survey, and as a result of sampling 10 science teachers and 15 teacher so ther than the science teacher by school among the list of collected teachers, total 3, 103 teachers were sampled. Among them, 936(30.2%) teachers were science teachers and 2,167(69.8%) teachers were non-science teachers.
The main survey of PISA 2015 was implemented for 3 weeks from May 11 (Mon) to May 30(Sat), 2015. Inspection on stable drive of computer was important before everything else because computer-based assessment is done for PISA 2015. The Korea PISA team distributed application program for computer diagnostic check to 168 samples who were collected 2 months before the test according to the guideline of OECDPISA consortium, and verified computer availability, computer specifications, and normal drive condition for the test. As a result, 32 schools are not prepared with appropriate computer for PISA that 938 leased note books were supported to the seschools. Also, for successful implementation of them a in survey, PISA enforcement training was conducted on school coordinators and test administrators of the sampled schools in Seoul, Daejoen, and Daegu for 3 days from Apr 15 (Wed) to Apr 17 (Fri), 2015. Then, this study made assessment instruments required to carryout them a in survey 2 weeks be fore and distributed them to each school.
Grading the main PISA 2015 test was conducted for 10 days from Jul 6 (Mon) to 15 (Wed), 2015, and 8 markers graded science, 6 graded reading, and 4 markers graded mathematics.
Single grading and multiple grading were carried out at the same time for each question, and 2 markers of each are a graded English questions to check credibility of grading between nations. Total number of items for grading was 120 items of 59 science items (29 trend items, 30 new items), 43 reading questions, and 18 mathitems. The marking of computer-based assessment was done on PDF file off line after down loading the PDF file of eachmarker from Open-Ended Coding System(OECS). The graded file was sent to DME, an input and management program of assessment data, by creating Excel file in OECS, and sent the score result to the OECD PISA consortium through DME. In addition, student statement produced in Key Quest, survey report, parent survey data, online school survey data, online science teacher survey, and teacher survey other than science teachers were entered on DME program and submitted every main PISA 2015 test data to the national head quarters, and completed cross-validation between OECD PISA consortium and Korea PISA team by October 2015.
Lastly, policy proposal through the execution of them a in PISA 2015 test is as follows.
First, workshop type of school coordinator and test administrat or training program needs to be developed. Secondly, computer educational environment needs to be advanced by replacing old computers and remodeling computer classes. Thirdly, enforcement policy needs to be simplified for smooth execution of PISA participating countries and enhance the execution system.
(출처 : Abstract 127p)
