보고서 정보
주관연구기관 |
한국교육과정평가원 Korea Institute Of Curriculum & Evaluation |
연구책임자 |
이인호
|
참여연구자 |
이상일
,
김승현
,
이정우
,
서민철
,
조윤동
,
이광상
,
김현경
,
동효관
,
배주경
,
김성혜
,
권경필
,
이규호
,
정기문
|
보고서유형 | 최종보고서 |
발행국가 | 대한민국 |
언어 |
한국어
|
발행년월 | 2015-12 |
주관부처 |
국무조정실 The Office for Government Policy Coordination |
과제관리전문기관 |
한국교육과정평가원 Korea Institute Of Curriculum & Evaluation |
등록번호 |
TRKO201800023011 |
DB 구축일자 |
2018-06-30
|
DOI |
https://doi.org/10.23000/TRKO201800023011 |
초록
▼
이연구는‘교육과정의점검’과‘교육의 질관리’를 목적으로 하는 국가수준 학업성취도평가에 관한 정책 연구로서, 학업성취도 평가의 출제, 시행, 채점, 결과 보고 등 전반적인 체제에 대한 점검과 개선 방안 모색, 학업성취도 평가 결과 분석을 통한 교육적 시사점 도출, 이에 근거한 학교 교육 개선을 위한 정책 제언을 목표로 하는 연구이다.
연구의 내용은 크게 ‘2014년 국가수준 학업성취도 평가의 교과별 평가 결과 분석’, ‘2015년 국가수준 학업성취도 평가’, ‘2009 개정 교육과정에 따른 학업성취도 평가의 성취수준 설정’
이연구는‘교육과정의점검’과‘교육의 질관리’를 목적으로 하는 국가수준 학업성취도평가에 관한 정책 연구로서, 학업성취도 평가의 출제, 시행, 채점, 결과 보고 등 전반적인 체제에 대한 점검과 개선 방안 모색, 학업성취도 평가 결과 분석을 통한 교육적 시사점 도출, 이에 근거한 학교 교육 개선을 위한 정책 제언을 목표로 하는 연구이다.
연구의 내용은 크게 ‘2014년 국가수준 학업성취도 평가의 교과별 평가 결과 분석’, ‘2015년 국가수준 학업성취도 평가’, ‘2009 개정 교육과정에 따른 학업성취도 평가의 성취수준 설정’으로 구성되어 있다.
2014년 국가수준 학업성취도 평가의 교과별 평가 결과 분석
2010~2014년의 교과별 성취수준별 학생 비율의 변화 추이를 분석한 결과, 중학교의 경우 많은 교과에서 우수학력 비율이 줄고 기초학력 미달 비율이 늘어나는 경향이 나타났으며, 고등학교 수학과 영어에서도 우수학력 비율이 줄거나 정체되고 기초학력 미달 비율은 늘어나는 경향을 보였다. 이처럼 우리나라 학생들의 전반적인 학업성취도는 점진적으로 낮아지는 경향을 보였으며, 특히 중학교의 경우 2012년 이후 모든 교과에서 기초학력 미달비율이 늘어나고 있는 것으로 나타났다. 이러한 학업성취도 하락 추세의 원인을 파악하기 위해서는 이에 대한 후속연구가 이루어져야 한다. 또한, 인지적 영역의 학업성취도만으로는 전반적인 교육의 성과를 판단하기 어려우므로 현행지필평가 체제로 평가하기 어려운 성취기준에 대해서도 효과적인 평가 방안을 모색해야 한다.
한편, 2014년 학업성취도 평가의 교과별 문항 분석을 통해 학생들의 성취수준별 학업성취 특성을 분석하여교수·학습에대한 시사점을도출하였다. 또한 지금까지 해 오던 기술통계 자료 중심의 서답형 문항 분석 방법을 개선하기 위하여 표집 평가 대상 학생들의 서답형 답안내용을 유형화하여 분석하고 이를 문항 분석에 활용하는 방안을 제시하였다.
2015년 국가수준 학업성취도 평가
이 연구에서는 2015년 학업성취도 평가 도구를 개발하기 위하여 2009 개정 교육과정 분석, 학교교육과정 운영현황 조사 등을 수행하였고, 이를 토대로 평가범위를 설정하고 출제계획 을 수립하였다. 평가도구를 개발하는 과정에서는 변화된 배점을 반영하여 영역별 출제비중을 조정하고, 서술형 평가 문항의 출제를 강화하였다. 2015년 표집 채점은 모든 교과를 온라인 채점 체제로 운영하였으며, 일부 교과에는 자동채점 프로그램을 시범 적용하여 채점 체제를 개선하기 위한 시사점을 도출하였다. 온라인 전수채점의 경우에는 2014년에 이어 2015년에도 채점이 안정적으로 이루어졌다. 개별 학생에게 제공되는 평가결과표는 올해부터 각 학교에서 온라인으로 인쇄할 수 있게 되어 효율성이 제고되었다.
학업성취도 평가의 개선을 위하여 출제 과정 및 채점 과정에 참여한 출제위원, 검토위원 및 채점위원을 대상으로 설문조사를 실시하였고, 출제 및 채점과정이 끝난 후 평가회, 세미나, 정책협의회 등을 개최하였다. 또한 벨기에를 방문하여 플레미쉬 커뮤니티의 학업성취도 평가 출제 및 채점 체제와 일선 학교의 서술형 문항 활용 실태를 조사하였다. 학업성취도 평가의 개선을 위해 제기한 주요 과제는 출제위원 대상 사전 워크숍 강화, 수학과 평가 범위 설정과 관련된 평가 범위 고지 시기 조정, 표집 평가 대상 학교의 불만 해소 방안 마련, 표집 채점을 위한 충분한 시간확보 및 온라인 채점시스템의보완, 온라인 채점연수의강화, 인지적 요소외 교육 목표 달성도를 확인하기 위한 학업성취도 평가 문항 개선 등이다.
2009 개정 교육과정에 따른 국가수준 학업성취도 평가의 성취수준 설정
2015년 학업성취도 평가는 처음으로 모든 교과에서2009 개정 교육과정에 기반하여 시행되었다. 2015년 평가 대상인 중학교 3학년과 고등학교 2학년이 각 학교급에 입학한 시점부터 2009 개정 교육과정이 적용되었기 때문이다. 이에 2009 개정 교육과정을 먼저 적용하기 시작하였던 고등학교 영어과를 포함하여 모든 교과의 성취수준 분할기준을 재설정하는 작업이 이루어졌다. 먼저 각 교과별로 개별 성취기준에 대하여 그것을 숙달하는 단계를구성하고, 그 단계를 성취수준별로 구분하였다. 이를 바탕으로 성취수준의 특성을 종합하여 진술하였다. 성취수준별 특성은 각 성취수준의 최소능력자가 갖추고 있을 것으로 기대되는 능력특성을 각 교과의 내용 영역과 행동 영역을 고려하여 기술하였다. 이를 기초 자료로 삼아 변형된 앙고프 방법(modified Angoff method)을 사용하여 성취수준을구분하는분할점수를 산출하고, 이를토대로 2015년 성취수준별 비율을 산정하였다. 재설정된 성취수준 분할 기준은 평가 결과의 연도간 비교가 가능하도록 설계되었으며, 향후 학업성취도 평가의 성취수준별 비율을 산정하는데 지속적으로 사용될 것이다.
정책 제언
이상의 연구 결과를 바탕으로 다음의 4가지 정책을 제안하였다.
첫째, 현행 학업성취도평가의한계를 보완할수있는표집평가의개선방안을제안하였다.
현행 학업성취도 평가는 전통적인 지필시험방식으로만 시행되고 있어서, 교과별로 인지적 내용 이외의 행동적·정의적 역량에 대해서는적절하게 평가하지 못하고 있다. 이러한 문제를 해결하기 위해 표집 방식의 국가수준 수행평가를 도입할 필요가 있다. 올해 고시된 2015 개정 교육과정에서 서술형평가, 수행평가 등의 다양한평가방법을 권고하고있는점, 영국과 벨기에 등의 국가에서도 학생들의 역량을 평가하고 교육과정을 점검하기 위해 국가수준의 수행평가를 실시하고 있다는 점을 고려할 때 국가수준의 수행평가 도입에 대한 긍정적이고 적극적인 검토가 필요하다고 하겠다. 국가수준의 수행평가를 시행하기 위해서는 먼저 이에 대한 기초 연구가 필요하며, 교육부, 시·도교육청, 한국교육과정평가원, 학교 현장간의 협력체제를 구축하여 시행기반을 조성해야 한다. 학업성취도 평가에 표집평가로 실시하는 수행평가를 도입함으로써 지필시험체제의 학업성취도 평가가 지닌 한계를 극복하고, 향후 역량중심 교육과정이 학교 현장에서 안정적으로 구현될 수 있는 교육적 기반을 마련할 수 있을 것이다.
둘째, 학교 현장의 학사 운영을 고려하여 학업성취도 평가 체제를 개선할 것을 제안하였다.
현행 학업성취도평가의 교과별 평가시간은 60분으로, 이는 중학교의 교시별 수업시간 45분이나 고등학교의 50분과 일치하지 않아서 평가의 시행, 감독 교사 배치, 학교 수업의 진행 등에 모두 어려움이 있어일선학교의 학사 운영에 지장을초래하고있다. 이러한 문제를 해결하기 위해서는 학업성취도 평가 시간을 단축하여 학생들의 평가 부담을 줄이는 한편, 연도별 평가 중점 교과를 선정하여 중점교과에 대해서는 평가시간과 문항수를 늘리는 방안이있다. 이와같은 학업성취도 평가 체제 개선을 통해 학교와 학생의 평가 부담을 완화하면서 교육과정 질 관리라는 학업성취도 평가의 핵심 기능을 강화할 수 있다.
셋째, 서답형 문항의 채점효율성을 제고하는데 필요한 IT 기술을 개발하여 이를 채점시스템에 접목시키는 기술적 향상에 대한 지원이 필요하다. 현재 학업성취도 평가의 온라인 채점시스템에는 문항별 무응답답안 이미지가 채점대상에 포함되어 채점업무의 효율성을 저하시키고 있으며, 단답형이나 완성형 문항과 같이 비교적 채점이 간단한 문항에 대해서도 다수의 채점위원이 투입되어 동일한 답안을 기계적으로 반복채점함으로써 채점의 효율성이 저하되는 결과로 나타나고 있다. 그러므로숫자 및 문자자동 인식 기술을 한국어 자동채점프로그램에 접목하고 학업성취도 평가온라인채점 시스템에 답안자동분류기능을 적용함으로써 서답형 문항채점의 효율성을 높여 나가야한다. 이것이 실현된다면, 현재 온라인 채점체제에 들어가는 비용을 절감하여 그 비용을 서답형 문항의 수를 늘리는 데 투입할 수 있을 것이다.
넷째, 학업성취도 평가채점의 교육적 활용도를 높이기 위하여 온라인 채점체제를 개선해야 한다. 지금까지 학업성취도 평가 서답형 문항 채점에서는 공모를 통해 해당 학교급이 아닌
교사나 교원자격증 소지자도 서답형 문항 온라인 채점위원으로 채점에 참여할 수 있었다. 그러나 최근에는 현직교사의 공모 신청자수가 급증하여 해당학교급의 현직교사만으로도 채점위원을 구성할 수 있는 여건이 마련되었다. 학업성취도평가 서답형 문항채점은 학생들의 다양한 답안 반응을 직접 확인할 수 있기 때문에 해당 학교급 교과의 교사에게는 학생들의 학업성취 수준이나 특성을 체감할 수 있는 좋은 기회이다. 그리고 이러한 채점 경험은 학교 수업에서 곧바로 교수·학습을 개선하는 데 반영될 수 있다. 그러므로 현직 교사 중심으로 채점위원을 구성하고 현재 채점위원 1인에게 1문항을 배정하고 있는 것을 1인에게 복수의 문항을 배정하는 체제로 변환함으로써 채점위원으로 참여하는 교사들에게 제공되는 채점경험의 질을 향상시킬 수 있다. 이와함께 채점결과를 중간에 점검할 수 있는 시스템을 구축하여 채점관리기능까지 강화한다면 학업성취도 평가 온라인 채점은 현재의 높은 채점 신뢰도를 유지하면서도 채점위원 참여교사의 평가전문성 또한 향상시킬 수 있을 것이다. 이는 국가수준 학업성취도평가에 대한 대외적 인식을 제고하는 데에도 도움이 될 것이다.
(출처 : 연구요약 7p)
Abstract
▼
The National Assessment of Educational Achievement (NAEA) is administered for the purpose of monitoring the curriculum and maintaining educational quality. The study aims to provide suggestions for policy making on the enhancement of curriculum and teaching and learning based on the review of the de
The National Assessment of Educational Achievement (NAEA) is administered for the purpose of monitoring the curriculum and maintaining educational quality. The study aims to provide suggestions for policy making on the enhancement of curriculum and teaching and learning based on the review of the development and scoring of the NAEA and the analysis of the NAEA results. This study is composed of three main parts: the analysis of the results of the 2014 NAEA by school subject, the development and administration of the 2015 NAEA, and the standard setting according to the 2009 Revised National Curriculum.
Analysis of the results of the 2014 NAEA by school subject
In regard to achievement level distribution from 2010 to 2014, in most middle school subjects, the ratio of Advanced level students decreased, while the ratio of Below Basic level students increased annually. In high school Mathematics and English, the ratio of Advanced level students decreased or remained the same, and that of Below Basic increased.
The trends of the changes in the achievement level distribution showed that students’ academic achievement decreased gradually. This requires a follow-up study that will investigate the cause of the drop in academic achievement. Research should be also conducted since some achievement standards cannot be evaluated by paper-and-pencil tests and cognitive abilities alone cannot represent the academic abilities. Based on the analysis of the 2014 NAEA by subject, students’ academic achievements were found, and suggestions for teaching and learning were presented. In addition, to improve the item analysis method, students’ responses to constructed response items were categorized into different types, and the frequency and percentage of the types were provided.
The 2015 NAEA
In this study, an analysis of the 2009 Revised National Curriculum as well as a survey on school curriculum organization and implementation have been conducted to develop an assessment tool for the 2015 NAEA. In the 2015 NAEA, a new point distribution system was applied and sentence writing was included in constructed response items. The scoring system for sample-based testing in 2015 updated the online system implemented in 2014 and was improved by carrying out the automatic scoring program for certain subjects. The online scoring system for census-based testing in 2015 was operated stably following reliable operation in 2014. The efficiency of the system was enhanced as it allowed school reports to print online at school. For the improvement of the NAEA, item writers, reviewers and raters were surveyed, and various seminars and discussions were held to collect feedback.
In addition, through the analysis of evaluation in Belgium, suggestions for improving constructed response items were provided. Suggestions for further improvement include reinforcing workshops for item developers, adjusting notification time for test scope in Mathematics, resolving complaints from schools selected for sample-based testing, ensuring enough time for scoring, enhancing security of online scoring systems, and improving online rater training and assessment items to measure academic achievement level apart from cognitive factors.
The standard setting for the 2015 NAEA based on the 2009 Revised National Curriculum
The 2015 NAEA has been carried out based on the 2009 Revised National Curriculum.
The 2009 Revised National Curriculum was implemented when students in grades 9 and 11, the targets of the 2015 NAEA, entered middle school and high school respectively.
Consequently, achievement levels for all subjects including high school English, which adopted the 2009 Revised National Curriculum earlier, were re-established. First, the stages for the attainment of proficiency based on the achievement standards were organized for each subject, and such stages were classified according to the achievement levels. The characteristics of each achievement standards were described based on the ability the minimally competent learner is expected to have at each achievement level according to the domains of content and behavior. Then, the modified Angoff method was used to set the cut-off scores for the achievement levels, and the ratio for the achievement level in the 2015 NAEA was calculated. The re-established achievement levels are expected to be used in assessing the achievement standards for future educational achievement assessment.
Through its consistent use, comparisons can be made between and among assessing years.
Policy Suggestions
Based on the findings of the study, the following three policies are suggested.
First, sample-based tests need to be improved by overcoming the drawbacks of the NAEA. Since the current NAEA is conducted only in a traditional way using paper-and-pencil tests, it assesses students’ subject content knowledge, but it cannot assess affective aspects of students’ competencies. To solve this problem, it is necessary to introduce a national performance assessment of educational achievement. The 2015 Revised Curriculum also suggests utilizing various assessments such as essay type tests and performance-based tests. In England and Belgium, a performance assessment is implemented to evaluate students’ competency and the curriculum. Thus, it is necessary to conduct research investigating a way to implement a national performance assessment of educational achievement and to build a foundation to create a cooperative system comprising the Ministry of Education, local education offices, Korea Institute for Curriculum and Evaluation, and schools.
Second, the system of the NAEA needs to be revised to cope with a system of schools taking into account the class time arrangements. The class times in middle schools and high schools are 40 and 45 minutes each, respectively, and are not in alignment with the current NAEA system’s’ 60 minutes allocation for each subject. This has led to problems regarding the implementation of the test, assignment of supervising teachers, daily operations of schools, etc. and is causing disruption to the normal operations of middle and high schools.
Therefore, we can consider reducing the overall testing time for the NAEA, and instead selecting core subjects and increasing testing time and test items for those subjects.
Through this change, core functions of the NAEA can be strengthened, reducing students' burden of taking tests and managing the quality of the curriculum.
Third, support for technological improvement such as implementing advanced IT to the scoring system is needed to grade constructed response items effectively. To be more specific, the effect of grading constructed response items should be improved by combining optical recognition technology for numbers and letters with a Korean language scoring system and an automatic function of grouping answers with the online scoring system of the NAEA. Through this, the cost of using the online scoring system can be reduced, and in return the number of constructed response items can be increased.
Fourth, the online scoring system should be improved to enhance the educational use of the NAEA. Since students’ various answers can be verified by grading constructed response items of the NAEA, teachers can understand the academic achievement level and characteristics of the academic performance of their students. In addition, this grading experience will help teachers to improve their teaching. Thus, instituting better quality scoring procedures is necessary. This can be achieved by making a grading committee comprised of teachers and allowing them to grade multiple items. Furthermore, if the scoring system has a function of checking results of tests while grading, the high reliability of the online scoring system will be ensured, and teachers’ competence in student assessment will be enhanced by participating in this grading process.
(출처 : Abstract 241p)
목차 Contents
- 표지 ... 1
- 연구협력진 ... 3
- 머리말 ... 5
- 연구요약 ... 7
- 목차 ... 11
- 표목차 ... 15
- 그림목차 ... 19
- I. 서 론 ... 21
- 1. 연구 필요성 및 목적 ... 23
- 가. 연구의 배경 및 필요성 ... 23
- 나. 연구의 목적 ... 25
- 2. 연구 내용 ... 26
- 가. 2014년 교과별 학업성취도 평가 결과 분석 ... 26
- 나. 2015년 학업성취도 평가 도구 개발 ... 27
- 다. 2015년 학업성취도 평가 서답형 문항 채점 ... 27
- 라. 2009 개정 교육과정에 따른 국가수준 학업성취도 평가의 성취수준 설정 ... 28
- 마. 학업성취도 평가의 출제 시행 채점 결과 보고 개선 방안 탐색 ... 28
- 바. 교과별 학업성취도 평가 결과 분석 방법 개선 방안 모색 ... 29
- 사. 출제 기반 개선 ... 29
- 3. 연구 방법 ... 29
- 가. 문헌 연구 ... 29
- 나. 학업성취도 평가 결과 자료 분석 ... 30
- 다. 전문가 협의회 ... 30
- 라. 평가 도구 개발, 평가 시행, 채점 ... 31
- 마. 현황 조사 및 설문 조사 ... 32
- 바. 국제회의 참가 및 면담 조사 ... 32
- 사. 세미나 ... 33
- II. 2014년 국가수준 학업성취도 평가의 교과별 평가 결과 분석 ... 35
- 1. 2014년 국가수준 학업성취도 평가 개요 ... 37
- 가. 평가 대상 및 시기 ... 37
- 나. 평가 범위 ... 38
- 2. 교과별 성취도 점수 및 변화 추이 ... 39
- 가. 국어과 ... 39
- 나. 사회과 ... 42
- 다. 수학과 ... 43
- 라. 과학과 ... 45
- 마. 영어과 ... 47
- 3. 교과별 문항 분석 및 시사점 ... 49
- 가. 문항 분석 예시 ... 49
- 나. 교과별 문항 분석의 시사점 ... 51
- 4. 서답형 문항 분석 방법 개선 방안 모색 ... 57
- 가. 서답형 문항 분석 방법 개선의 필요성 ... 57
- 나. 개선된 서답형 문항 분석 방법 ... 57
- 다. 개선된 서답형 문항 분석 방법의 기대 효과 ... 61
- III. 2015년 국가수준 학업성취도 평가 ... 63
- 1. 2015년 국가수준 학업성취도 평가 개요 ... 65
- 가. 평가 대상, 평가 범위 및 평가 시간 ... 65
- 나. 재외 한국학교의 학업성취도 평가 시행 ... 67
- 2. 2015년 국가수준 학업성취도 평가 도구 개발을 위한 기초 연구 ... 69
- 가. 2009 개정 교육과정의 변화 내용 분석 ... 69
- 나. 학교 교육과정 운영 현황 조사 및 평가 범위 설정 ... 85
- 다. 문항 DB 개선 및 출제 인력풀 활용도 제고 ... 96
- 3. 2015년 국가수준 학업성취도 평가 도구 개발 ... 99
- 가. 국어과 ... 99
- 나. 사회과 ... 100
- 다. 수학과 ... 101
- 라. 과학과 ... 103
- 마. 영어과 ... 104
- 4. 2015년 국가수준 학업성취도 평가의 채점 및 결과 보고 ... 106
- 가. 표집 채점 ... 106
- 나. 전수 채점 ... 114
- 다. 평가 결과 보고 ... 124
- 5. 국가수준 학업성취도 평가 개선 방안 모색 ... 127
- 가. 평가 도구 개발 체제 개선을 위한 설문 조사 ... 127
- 나. 표집 채점 체제 개선을 위한 설문 조사 ... 130
- 다. 전수 채점 체제 개선을 위한 설문 조사 ... 134
- 라. 해외 사례 조사: 벨기에 플레미쉬 커뮤니티 ... 139
- 마. 학업성취도 평가 개선 과제 ... 149
- IV. 2009 개정 교육과정에 따른 국가수준 학업성취도 평가의 성취수준 설정 ... 159
- 1. 2009 개정 교육과정에 따른 국가수준 학업성취도 평가의 성취수준 설정 과정 ... 161
- 가. 국어과 ... 162
- 나. 사회과 ... 165
- 다. 수학과 ... 168
- 라. 과학과 ... 174
- 마. 영어과 ... 178
- 2. 2009 개정 교육과정에 따른 국가수준 학업성취도 평가의 성취수준별 능력 특성 ... 184
- 가. 국어과 ... 184
- 나. 사회과 ... 191
- 다. 수학과 ... 192
- 라. 과학과 ... 197
- 마. 영어과 ... 200
- 3. 성취수준 분할 점수 설정 ... 203
- 가. 성취수준 분할 점수 설정 방법 ... 203
- 나. 성취수준 분할 점수 설정 과정 ... 204
- V. 요약 및 정책 제언 ... 209
- 1. 요약 ... 211
- 2. 정책 제언 ... 217
- 참고문헌 ... 229
- 관련 자료 목록 ... 233
- 전문가 협의회 목록 ... 235
- Abstract ... 241
- 부록 ... 245
- 부록1. 출제 체제 개선을 위한 설문지 ... 247
- 부록2. 표집 채점 체제 개선을 위한 설문지 ... 254
- 부록3. 전수 채점 체제 개선을 위한 설문지 ... 256
- 부록4. 국외 출장보고서: UNESCO ... 258
- 부록5. 국외 출장보고서: 벨기에 ... 262
- 부록6. 2015년 국가수준 학업성취도 평가 시행 평가회 회의록 ... 274
- 부록7. 교육부-한국교육과정평가원 정책협의회 관련 자료 ... 278
- 부록8. 학교 현장 교사 협의회 회의록(영어과 예시) ... 280
- 끝페이지 ... 280
※ AI-Helper는 부적절한 답변을 할 수 있습니다.