초록 ▼

이 연구는 ‘교육과정의 점검’과 ‘교육의 질 관리’를 목적으로 하는 국가수준 학업성취도 평가에 관한 정책 연구로서, 학업성취도 평가의 출제 및 채점 체제에 대한 점검과 개선,결과 보고 양식에 대한 개선 방안 마련, 전년도의 교과별 평가 결과와 문항 분석을 통한 교육적 시사점 도출, 이에 근거한 학교 교육의 개선을 비롯하여 학업성취도 평가의 개선을 위한 정책 제언을 산출하기 위한 연구이다.

❏ 2015년 국가수준 학업성취도 평가의 교과별 평가 결과 분석
2015년 학업성취도 평가는 2009 개정 교육과정이 모든 교과

이 연구는 ‘교육과정의 점검’과 ‘교육의 질 관리’를 목적으로 하는 국가수준 학업성취도 평가에 관한 정책 연구로서, 학업성취도 평가의 출제 및 채점 체제에 대한 점검과 개선,결과 보고 양식에 대한 개선 방안 마련, 전년도의 교과별 평가 결과와 문항 분석을 통한 교육적 시사점 도출, 이에 근거한 학교 교육의 개선을 비롯하여 학업성취도 평가의 개선을 위한 정책 제언을 산출하기 위한 연구이다.

❏ 2015년 국가수준 학업성취도 평가의 교과별 평가 결과 분석
2015년 학업성취도 평가는 2009 개정 교육과정이 모든 교과(국어, 사회, 수학, 과학, 영어)에 적용된 첫해로, 2015년에 새로 설정된 점수 체계에 따라 평가 결과가 산출되었다. 지역규모별 평가 결과를 보면, 우수학력 비율은 대도시가 중‧소도시나 읍‧면지역에 비해 높았고, 기초학력 미달 비율의 경우 국어는 대도시에서, 사회, 과학, 영어는 읍‧면지역에서, 수학은 중‧소도시에서 그 비율이 가장 높았다. 성별 평가 결과를 보면, 우수학력 비율의 경우,국어와 영어는 여학생이 남학생보다 높았고 사회, 수학, 과학은 남학생이 여학생보다 높았다. 기초학력 미달 비율은 모든 교과에서 남학생이 여학생보다 높았다.

2015년 학업성취도 평가 문항 분석 결과를 통해 교과별로 다음과 같은 시사점을 얻을 수 있었다. 국어과의 경우 기초학력 이하 학생들의 학습 결손이 누적되고 있는 것으로 나타났는데, 특히 듣기‧말하기(화법)와 읽기(독서) 영역의 문항을 해결하는 데 어려움을 겪고 있다는 것이 심각한 문제로 나타났다. 듣기‧말하기와 읽기 능력의 부족은 국어과뿐만 아니라 다른 교과 학습에도 지장을 초래하므로, 기초학력 이하 학생들의 듣기‧말하기와 읽기능력을 신장하기 위한 교수‧학습 방안 마련이 필요하다. 사회과의 경우 우수학력 학생들도 백지도를 이용한 위치 파악 학습, 제도의 의미를 정확하게 이해할 수 있는 개념 학습, 내용이나 과정이 길고 시간적 범위가 넓은 역사적 사건의 의미에 대한 이해를 높일 수 있는 학습이 필요한 것으로 나타났다. 수학과의 경우, 우수학력 학생들은 수학적 개념에 대한 이해도가 높아 일반적인 문제해결 능력은 우수하지만, 수학적 개념을 새로운 문제 상황에 적용하는 문제해결력이나 추론 능력을 요구하는 문항을 다소 어려워하는 것으로 나타나 수학적 개념을 다양하게 적용할 수 있는 문제해결 능력을 제고할 필요가 있는 것으로 나타났다. 기초학력 학생들은 각 내용 영역에서 다루는 기본적인 수학 용어와 기호의 의미에 대한 학습이 필요하고, 이와 더불어 수학에 대한 관심도와 자신감의 향상이 필요한 것으로 나타났다. 과학과에서는 성취수준별로 학생들이 어려워하는 개념이 다르게 나타났는데,우수학력 학생들에게는 여러 가지 변인이 관련되는 복잡한 탐구 상황에서 실험 결과를 해석하고 결론을 내리는 탐구 활동 수업이, 보통학력 학생들에게는 핵심 개념에 대한 이해와 함께 복잡하지 않은 문제 상황에서 가설을 설정하거나 자료를 해석하는 등의 기본적인 탐구 능력을 익힐 수 있는 수업이, 기초학력 학생들에게는 기본 개념의 이해에 충실한 수업과 함께 도표와 그림을 읽고 이해할 수 있는 능력을 함양할 수 있는 수업이 필요한 것으로 나타났다. 영어과에서는 중학교의 경우, 우수학력 학생들은 문맥을 통하여 내용을 추론하는 능력을 함양시키기 위한 학습이, 보통학력 학생들은 세부 내용을 정확하게 파악하고 영어 표현의 정확도를 높이기 위한 학습이, 기초학력 학생들은 교육과정의 주요 어휘와 표현에 대한 학습과 듣거나 읽은 대화나 자료의 전반적인 내용을 파악해 보는 학습이 필요한 것으로 나타났다. 고등학교의 경우, 보통학력 이하의 학생들은 말하기와 쓰기 능력이 부족하여 이에 대한 보정 학습이 필요한 것으로 나타났는데, 특히 기초학력 이하 학생들은 듣기, 말하기, 읽기, 쓰기의 모든 영역에서 기본적인 영어 능력을 습득하기 위한 노력이 필요한 것으로 나타났다.

❏ 2016년 국가수준 학업성취도 평가 도구 개발
2016년 학업성취도 평가 도구 개발의 효율성 제고를 위해, 학업성취도 평가 범위 설정을 위한 학교 교육과정 운영 현황을 조사하고 출제위원 사전 워크숍을 강화하였으며, 문항 DB를 업데이트하는 등 출제 기반을 개선하였다.

2016년 국가수준 학업성취도 평가 도구의 개발은 다음과 같은 방향으로 이루어졌다.
첫째, 교육과정의 점검 및 교육의 질 관리라는 학업성취도 평가의 목적을 충실히 달성할 수 있도록 교육과정의 성취기준을 타당하게 평가할 수 있는 문항을 개발하고자 하였다.
둘째, 서답형 문항을 전반적으로 개선하면서, 그 일환으로 서술형 문항의 출제 비율을 확대하였다. 서답형 문항에서 점수 구분의 논리적 근거가 명확하도록 채점 기준을 정교화하여 채점 시 채점자의 자의적 판단을 최소화하고 채점자 간/내 일관성을 최대한 확보하고자 하였다. 또한 교과에 따라 서답형 문항의 유형을 다양화하는 한편, 가능한 한 단답형이나 완성형 문항보다는 서술형 문항의 출제 비중을 높이고자 하였다. 셋째, 성취수준에 따른 학생들의 학업성취 특성을 파악하기 위해 선행연구 분석 결과를 출제에 활용하여 성취수준별 대표문항을 충분히 확보하고자 하였다.

❏ 2016년 국가수준 학업성취도 평가의 채점 및 결과 보고
학업성취도 평가는 서답형 문항을 채점하기 위해 온라인 채점 시스템을 사용하여 표집채점과 전수 채점을 실시한다. 표집 채점에서는 서답형 문항 채점 업무의 효율성을 제고하기 위해 문자 인식(Optical Character Recognition) 기술을 시범 도입하고, 일부 서답형 문항에 대해 채점 전산화 기술을 적용하는 등 정보기술(IT)을 적극 활용하였다. 전수 채점에서는 채점 관리 업무를 합숙으로 전환하고 채점관리자 인원을 축소하는 대신 모두 합숙에 참여시켜 채점 지원 및 모니터링 업무에 집중할 수 있도록 하였다. 또한 채점자들이 채점기준을 숙지할 수 있도록 채점 연수를 강화하였다. 이러한 개선사항들을 바탕으로 2016년 학업성취도 평가의 서답형 문항 채점 업무를 2015년에 비해 효율적으로 수행할 수 있었다.

❏ 정책 제언
이상의 연구 결과를 바탕으로 다음의 5가지 정책을 제안하였다.
첫째, 학업성취도 평가에서 서답형 문항 출제를 강화함으로써 학업성취도 평가의 평가기능을 강화한다. 둘째, 개별 학생 맞춤형 평가결과표 제공함으로써 학업성취도 평가의 피드백 기능을 강화한다. 셋째, 체계적인 서답형 문항 분석 연구 체제를 구축함으로써 문항분석 연구 결과의 피드백 기능을 강화한다. 넷째, 학업성취도 평가 연구학교를 지정하여 운영함으로써 학업성취도 평가 연구를 내실화하고 연구 결과의 교육적 활용도를 제고한다.
다섯째, 학업성취도 평가의 교과 역량 평가 기능을 강화함으로써 학교 현장의 교과 역량평가를 선도하고, 컴퓨터 기반 학업성취도 평가의 토대를 구축한다.

(출처 : 연구요약 7p)

Abstract ▼

This study aims to (1) improve the assessment and scoring system in the National Assessment of Educational Achievement (NAEA); (2) prepare for plans to improve report cards for students; (3) derive pedagogical implications through results from each subject in the NAEA, and (4) suggest educational po

This study aims to (1) improve the assessment and scoring system in the National Assessment of Educational Achievement (NAEA); (2) prepare for plans to improve report cards for students; (3) derive pedagogical implications through results from each subject in the NAEA, and (4) suggest educational policies for enhancement of both the NAEA and school education.

❏ Analysis of assessment results of five subjects in the 2015 NAEA
The 2015 NAEA was the first assessment that was administered based on the 2009 revised National Curriculum. And as a result, the achievement levels and scoring system of the NAEA were also adjusted.

The analysis of five subjects―Korean, Social Studies, Mathematics, Science, and English―of the 2015 NAEA showed that the proportion of Advanced level students turned out to be higher in large cities than small-and-medium cities or eup-myeon areas. As for the proportion of Below Basic level, Korean turned out to be higher in large cities. Social Studies, Science, and English turned out to be highest in eup-myeon areas, while Mathematics turned out to be highest in small-and-medium cities.
According to the analysis of the proportion of Advanced level students by gender,Korean and English turned out to be higher among female students than male students, while Social Studies, Mathematics, and Science turned out to be higher among male students than female students. The proportion of the Below Basic level turned out to be higher among male students than female students in all five subjects.

Following implications were derived based on the results of the 2015 NAEA. As for Korean, students at the Below Basic level seemed to have accumulated learning deficit.
In particular, it turned out to be a serious issue that they had difficulty in solving questions in listening/speaking (speech) and reading (book-reading). Since the lack of ability in listening/speaking and reading can cause problem in other subjects, it is required to develop teaching and learning methods for the Below Basic level students.

As for Social Studies, it is needed to provide students, even at Advanced level, with (a) identifying location using a blank map, (b) conceptual learning for accurate understanding of concepts related to institutions, and (c) understanding historical accidents with wide temporal ranges and long series of events.

As for Mathematics, students at Advanced level were good at solving general problems. However, they had difficulty in dealing with questions that required inferential skills or problem-solving skills to apply mathematical concept in new circumstances.
Thus, there was a need to improve problem-solving skills that mathematical concept was to be diversely applied. Students at Basic level were in need of learning the meaning of terms and symbols in Mathematics and also building interest and confidence in Mathematics.

In the subject of Science, the results showed that students at different levels had difficulty of understanding different concepts. Students at Advanced level were in need of learning how to interpret the experiment results and making conclusions under complicated situations with multiple variables. Students at Proficient level were in need of learning basic exploratory skills by setting up hypothesis in non-complicated situations along with the understanding of core concepts and interpreting resources.
Students at Basic level turned out to be in need of building skills to read tables and images and also understanding basic concepts.

In the subject of English in middle school, advanced students were in need of class for building inferential skills through the context. Students at Proficient level were in need of learning to improve accuracy in English expression and to understand details.
Students at Basic level were in need of learning basic vocabularies and expressions and also understanding overall contents of texts. As for high school English, students at Proficient level or lower were necessary to improve speaking and writing. Students at basic and the Below Basic level need to learn basic English skills in all the areas of listening, speaking, reading, and writing.

❏ Development of the 2016 NAEA test tools
In order to design and develop test items for the 2016 NAEA, school curriculum was investigated, a workshop for training test item developers was reinforced to help them better prepared, and test items DB was updated.

The 2016 NAEA test items were developed focusing on the following points. First, valid test items were developed to monitor the National Curriculum and the quality of education. Second, types of constructed-response questions were diversified and scoring rubric was elaborated to minimize the subjective judgment of graders and to maintain consistent scoring among raters. Third, items were designed to obtain enough information to represent each achievement level.

❏ Scoring and result report of the 2016 NAEA
Constructed-response items of the NAEA are scored by using online scoring system focusing on the following points. First, optical character recognition technique was adopted in scoring sample-based assessment of the NAEA to improve the efficiency of scoring. Second, several items were scored using computerized scoring system.
Third, rater managers were joined in the camp for scoring census-based assessment of the NAEA to give a prompt feedback to raters. Fourth, rater training was reinforced to help the raters understand and apply the scoring rubric.

❏ Policy suggestions
Five policy suggestions are made as follows. First, it is to adopt more and various constructed-response items in the NAEA to reinforce its assessment function. Second, it is to provide student-customized report cards to bolster feedback of the NAEA. Third,it is to establish systematic research on constructed-response items. Fourth, it is to designate and operate schools to cooperate with KICE in analysing constructed-response items. Fifth, it is to assess competencies in the NAEA to reinforce the function and establish the foundation for computer-based test.

(출처 : ABSTRACT 205p)

목차 Contents

• 표지 ... 1
• 연구협력진 ... 3
• 머리말 ... 5
• 연구요약 ... 7
• 목차 ... 11
• 표목차 ... 14
• 그림목차 ... 18
• Ⅰ 서론 ... 19
• 1. 연구의 필요성 및 목적 ... 21
• 가. 연구의 배경 및 필요성 ... 21
• 나. 연구의 목적 ... 24
• 2. 연구 내용 ... 24
• 가. 2016년 학업성취도 평가 출제 방안 ... 24
• 나. 2016년 학업성취도 평가의 서답형 문항 채점 개선 및 평가 결과 보고 ... 26
• 다. 2015년 학업성취도 평가의 교과별 결과 분석 ... 27
• 라. 2015년 학업성취도 평가의 교과별 서답형 문항 심층 분석 ... 27
• 3. 연구 방법 ... 28
• 가. 문헌 연구 ... 28
• 나. 학업성취도 평가 결과 자료 분석 ... 28
• 다. 전문가 협의회 ... 29
• 라. 평가 도구 개발, 평가 시행, 채점 ... 30
• 마. 현황 조사 및 설문 조사 ... 30
• 바. 국제 학술대회 발표 및 유관 기관 방문 조사 ... 31
• 사. 국내 학술 대회 발표 ... 31
• Ⅱ 2015년 국가수준 학업성취도 평가의 교과별 평가 결과 분석 ... 33
• 1. 2015년 국가수준 학업성취도 평가 개요 ... 35
• 가. 평가 대상 및 시기 ... 35
• 나. 평가 범위 ... 35
• 2. 2015년 국가수준 학업성취도 평가 결과 분석 ... 37
• 가. 국어과 ... 37
• 나. 사회과 ... 40
• 다. 수학과 ... 42
• 라. 과학과 ... 44
• 마. 영어과 ... 45
• 3. 2015년 국가수준 학업성취도 평가 문항 분석 ... 48
• 가. 선다형 문항 분석 ... 48
• 나. 서답형 문항 심층 분석 ... 52
• 다. 교과별 문항 분석의 시사점 ... 62
• Ⅲ 2016년 국가수준 학업성취도 평가 도구 개발 ... 69
• 1. 2016년 국가수준 학업성취도 평가 개요 ... 71
• 가. 평가 대상, 평가 범위 및 평가 시간 ... 71
• 나. 재외 한국학교의 학업성취도 평가 시행 ... 74
• 2. 2016년 국가수준 학업성취도 평가 도구 개발을 위한 출제 기반 개선 ... 75
• 가. 학교 교육과정 운영 현황 조사 및 2016년 학업성취도 평가 범위 설정 ... 75
• 나. 출제위원 역량 제고를 위한 출제위원 사전 워크숍 강화 ... 88
• 다. 학업성취도 평가 문항 DB 업데이트 ... 89
• 3. 2016년 국가수준 학업성취도 평가 도구 개발 ... 90
• 가. 2016년 학업성취도 평가 도구 개발 방향 ... 90
• 나. 2016년 학업성취도 평가 도구 개발 내역 ... 95
• 4. 국가수준 학업성취도 평가 도구 개선 방안 모색 ... 100
• 가. 평가 도구 개선을 위한 설문 조사 ... 100
• 나. 평가 도구 개선에 대한 시사점 ... 106
• 5. 국가수준 학업성취도 평가 개선 방안 모색을 위한 해외 사례 조사 ... 109
• 가. 이탈리아의 학업성취도 평가와 졸업인증시험 ... 109
• 나. 이탈리아의 학업성취도 평가 결과 활용 현황 ... 117
• 다. 시사점 ... 121
• Ⅳ 2016년 국가수준 학업성취도 평가의 채점 및 결과 보고 ... 123
• 1. 표집 채점 ... 125
• 가. 표집 채점 체제 ... 126
• 나. 표집 채점 과정 및 절차 ... 127
• 다. 표집 채점 체제 개선 ... 132
• 2. 전수 채점 ... 137
• 가. 전수 채점 체제 ... 137
• 나. 2016년 온라인 전수 채점 ... 142
• 다. 전수 채점 체제 개선 ... 148
• 3. 평가 결과 보고 ... 150
• 가. 성취수준별 학업성취 특성 진술문 ... 151
• 나. 평가결과표의 온라인 출력 시스템 구축 ... 153
• 4. 채점 및 결과 보고 개선 방안 모색 ... 153
• 가. 표집 채점 체제 개선을 위한 설문 조사 ... 153
• 나. 전수 채점 체제 개선을 위한 설문 조사 ... 157
• 다. 채점 및 결과 보고 개선에 대한 시사점 ... 162
• Ⅴ 요약 및 정책 제언 ... 169
• 1. 요약 ... 171
• 2. 정책 제언 ... 177
• 참 고 문 헌 ... 195
• ABSTRACT ... 205
• 부 록 ... 209
• [부록 1] 출제 체제 개선을 위한 설문지 ... 211
• [부록 2] 표집 채점 체제 개선을 위한 설문지 ... 220
• [부록 3] 전수 채점 체제 개선을 위한 설문지 ... 222
• [부록 4] 국외 출장보고서: 이탈리아 ... 224
• [부록 5] 2016년 국가수준 학업성취도 평가 시행 평가회 회의록 ... 244
• 끝페이지 ... 252