초록 ▼

본 연구는 국가수준 학업성취도 평가(이하 학업성취도 평가)가 당면한 현안과 사회적 요구에 따라 점수 체제 개선과 결과 활용도 제고 측면에 초점을 맞추어 다음과 같은 세가지 주요 목적을 달성하기 위해 추진되었다. 첫째, 2015 개정 교육과정 적용에 의한 학업성취도 평가의 검사 구성 변화 및 행렬표집 설계 도입에 알맞은 안정적인 점수 체제를 구축하기 위해 노력하였다. 이는 역량반영 평가로 지속적으로 전환될 학업성취도 평가의 건실한 측정학적 설계를 담보함으로써 우리나라 학생들의 성취도 추이를 모니터링 하는데 있어 공신력 있는 국가수준

본 연구는 국가수준 학업성취도 평가(이하 학업성취도 평가)가 당면한 현안과 사회적 요구에 따라 점수 체제 개선과 결과 활용도 제고 측면에 초점을 맞추어 다음과 같은 세가지 주요 목적을 달성하기 위해 추진되었다. 첫째, 2015 개정 교육과정 적용에 의한 학업성취도 평가의 검사 구성 변화 및 행렬표집 설계 도입에 알맞은 안정적인 점수 체제를 구축하기 위해 노력하였다. 이는 역량반영 평가로 지속적으로 전환될 학업성취도 평가의 건실한 측정학적 설계를 담보함으로써 우리나라 학생들의 성취도 추이를 모니터링 하는데 있어 공신력 있는 국가수준 평가 체제의 위상을 공고히 하기 위함이다. 둘째, 학업성취도 평가의 역량교육 질 관리 기능 제고를 위해 교과역량이 드러나도록 교과 내 세부 학습영역을 도출하고, 각 세부 학습영역별 평가결과를 프로파일 방식으로 분석 및 제공하는 방안을 모색하였다. 이를 통해 2015 개정 교육과정에 터해 우리나라 학교교육에서 실천하게 될 역량교육의 질을 확인하고 실증적 자료에 기반한 공교육 내실화 방안 도출에 기여하고자 하였다. 자료 분석을 위해 2015 개정 교육과정이 처음으로 반영된 고등학교 수학교과를 예시로 사용하였다. 셋째, 학업성취도 평가에서 수집하는 설문자료를 활용하여 국가수준 및 단위학교에 유용한 교육적 정보를 다각적으로 제공하는 방안을 탐색하였다. 전년도에 산출된 과학과 세부 학습영역 결과를 분석 대상으로 삼아 학습영역별 성취율에 기반한 교과역량이 반영된 학생 성취 특성 정보를 도출하였다. 또한 최신 통계분석인 랜덤 포레스트 방식과 다층모형 분석을 통해 교과별 총점과 배경변인 간의 관련성 탐색에 치중하였던 기존 분석틀에서 벗어나 교과 내 세부 학습영역 평가결과에서 드러나는 성취 특성을 설문자료와 연계‧분석함으로써 보다 심층적인 교육 정보를 도출하기 위해 노력하였다. 이러한 노력은 취약한 학습영역을 보완하는데 있어 효과적인 교육맥락변인 정보를 제공하고, 나아가 인지적 영역에 지나치게 집중되던 관심을 비인지적 영역까지 확대하는데 기여할 수 있을 것이다. 이러한 본 연구의 배경(연구 필요성) 및 세 가지 연구 목적, 연구 내용, 연구결과, 기대 효과를 간략히 도식화하여 [그림 1]로 제시하였다. [그림 1]에는 본 연구의 ‘기본보고서’에 포함된 연구 내용 및 결과를 제시한 것이고, 2018년 학업성취도 평가의 중학교, 고등학교 기초 분석 결과는 ‘기초자료집’으로, 표집 설계‧동등화‧수준 설정 등 학업성취도 평가 시행 연구는 ‘기술보고서(보안)’라는 별도의 보고서에 제시하였다.

❏ 검사 구성 및 시행 체제 변화에 따른 척도화 방안
2015 개정 교육과정을 첫 적용하는 2019년 학업성취도 평가의 고등학교 교과별(국어,수학, 영어) 검사의 평가틀은 역량에 대한 학생의 성취도를 타당하게 측정하기 위해 새로운 유형의 문항을 도입하도록 설계하였다. 단순 지식을 묻기보다는 문제해결력과 같은 복합적인 능력을 측정하기 위한 문항을 도입함에 따라 이러한 문항을 풀기 위한 소요 시간을 고려하여 개별 학생이 치르는 문항 수를 감축할 수밖에 없는 현안이 대두되었다. 즉 2019년학업성취도 평가의 고등학교 교과별 검사 구성의 큰 변화는 역량반영 문항 도입에 따른 문항 수 감축이라고 할 수 있다. 이에 따라 2019년 고등학교 학업성취도 평가는 개별 학생의 경우 시간제한에 적절한 문항 수로 구성된 평가를 시행하되, 전체적인 문항 수를 합산하면 교육과정 상의 교과별 성취기준 대표성을 확보할 수 있도록 행렬표집 설계를 도입하여 시행하였다.

학업성취도 평가에서는 2003년에 첫 척도점수를 개발하였고, 이후 평가틀이 변화할 때마다 재척도화를 거쳐 왔다. 2019년 고등학교 학업성취도 평가는 검사 구성 및 시행 체제변화에 따라 재척도화가 필요한 시점이며, 본 연구에서는 2015년에 도입한 문항반응이론진점수에 기반한 척도화를 유지하는 것을 전제로 하고, 세부적인 개선안을 수립하고자 하였다. 일차적 단계로 2019년 학업성취도 평가의 고등학교 검사도구의 문항 수 감축이 척도의 안정성에 어떠한 영향을 미치는지 확인하기 위한 모의실험을 수행하였다. 국가수준 학업성취도 평가에서는 특히 기초학력 미달 학생 비율의 연도별 추이에 가장 큰 사회적인 관심이 집중되므로 학업성취도 평가 점수 체제의 안정성은 ‘기초학력’과 ‘기초학력 미달’을 안정적으로 판별하는 것이 관건이다. 본 연구의 모의실험 결과를 요약하면, 기초학력/기초학력 미달 학생을 판별하기 위해 문항의 난이도가 ‘하’ 수준(문항 난이도 모수 b ＜-1.5)이면서 문항의 변별력도 양호한(문항 변별도 모수 a ≥ 0.5 이상) 문항을 모든 교과에서 공통적으로 최소한 3개 이상 확보하는 경우 기초학력/기초학력 미달을 구분하는 분할점수 근처에서 척도의 평균오차가 최대 0.05를 초과하지 않을 정도로 안정적임을 확인하였다.
이러한 연구 결과는 2019년 학업성취도 평가의 출제 지침으로 적용되어, 계획-출제-검토-검사 구성 단계에서 문항의 난이도와 변별도를 신중히 고려하는 기제로 작용하였다.

또한 2019년 고등학교 학업성취도 평가 시행에서는 개별 학생에게 시행되는 문항은 감축하되, 전체적인 문항은 평가 영역의 최대한 많은 내용을 포함하도록 행렬표집 설계를 도입하고자 하였다. 학업성취도 평가와 유사한 국외의 평가 체제에서도 학생의 시험 부담을 최소화하면서 평가가 포괄하는 내용은 확장하는 방편으로 행렬표집 설계를 적용하고 있는데, 본 연구에서는 이명애 외(2017)와 동효관 외(2018)에서 제안한 검사 구성 방안을학업성취도 평가에 최적화된 행렬표집 설계와 연계되도록 구체화할 필요가 있었다. 이를 위한 모의실험을 수행한 결과, 공통블럭과 비공통블럭이 배치된 교과별 4개 검사유형을 개발하여 시행하되, 공통블럭 문항 수(통합검사의 25% 이상), 검사유형별 사례 수(1,000명 이상) 등의 조건을 갖추는 행렬표집 설계 적용 시 척도화 및 연도 간 동등화가 안정적임을 확인하였다. 연구 결과에 터해 2019년 고등학교 학업성취도 평가의 행렬표집 설계를 구체화하여 적용하였고, 통합검사 기반의 척도화 및 동등화를 성공적으로 수행하였다.

(출처 : 연구요약 7p)

Abstract ▼

The purpose of the current study was to achieve the following three main objectives by focusing on improving the score system of the National Assessment of Educational Achievement (NAEA) and improving the utilization of its results according to the current issues and social demands that NAEA faces.

The purpose of the current study was to achieve the following three main objectives by focusing on improving the score system of the National Assessment of Educational Achievement (NAEA) and improving the utilization of its results according to the current issues and social demands that NAEA faces. First, we tried to establish a stable scale score system suitable for the changes in the test composition of NAEA and utilization of matrix sampling design for the application of the 2015 Revised National Curriculum. Second, in order to enhance the capability of the education quality management function of the NAEA, the detailed learning areas in each subject were derived to reveal the curriculum based competencies, and the methods for analyzing and providing evaluation results for each learning area were investigated. Third, this study explored the ways to provide educational information that is useful at the national and school level by using the survey data of the NAEA.

❏ Scaling Plans Based upon Test Composition and Changes in Implementation System
The 2019 NAEA for high school level (Korean, mathematics, and English) is designed to introduce a new type of item to measure student achievement in competence of each subject, and is known as the first attempt to apply the 2015 Revised National Curriculum. Since the new type of items are introduced to measure complex abilities, such as problem solving, rather than asking for simple knowledge, the issue of reducing the number of items taken by each student came to light in consideration of the totaltime required to solve these new items. In other words, the major change in the test composition of 2019 academic year is the reduction in the number of items caused by the implementation of the new item type. Accordingly, the 2019 NAEA for high schoollevel was administered to each student for having an appropriate number of items, but a matrix sampling design was applied as well to ensure the representativeness of achievement standards for each subject in the curriculum when the total number of items for each student was summed up.

The year of 2019 is the time that needs rescaling of scores based upon the different test composition and changes in implementation system of the 2019 NAEA for high school level. For this reason, the current study investigated the detailed improvementplans based on the premise that maintaining the current scale from the item response theory (IRT) true score, which was implemented in the 2015 NAEA, is maintained. As the first step, we examined how the reduction in the number of items of the 2019 NAEA for high school level affects the stability of the scale. In the NAEA, the greatest social interest in focused on the annual trend of the proportion of students who do not have basic education level (i.e., Below Basic), so the stability of the NAEA scoring system which categorizes students into two levels, Basic and Below Basic, is crucial. According to the results of simulation study, the following features are needed to distinguish Basiclevel students from Below Basic level students with less than 0.05 estimated RMSE at the cut point: the number of items that should be included for each subject is three,at least, with the difficulty level of ‘low’ (item difficulty parameter b ＜-1.5) and the discrimination level of ‘moderate’ (item discrimination parameter a ≥ 0.5 ).

As mentioned previously, the total number of items in a test decreased; but the overall content of item was designed under the matrix sampling so that each subject could cover as much content as possible in the 2019 NAEA for high school level. Four different test types were developed for each subject, and each test type was composed of ‘common blocks’ and ‘non-common blocks.’ All items in ‘common blocks’ are the same across the different test types, while different items are allotted in each ‘non-common blocks.’ The number of items that each student is actually taking (being scored) is about 20, but when one of the four test types is assigned to each student, the total number of items sums up more than 30. To make the best use of the merit of matrix samplingdesign, the current study tried to investigate the improvement ways of developing scale score by using ‘the integrated test,’ which combines all four test types by subject. To this end, this study devised a method to develop a raw-to-scale score conversion table by setting up a ‘competency reflection test’ of each subject that adds all the items by test type. After that, the raw scores of each test type (A, B, C, and D types) were linked to the integrated test which results in the final raw-to-scale score conversion table.

(출처 : ABSTRACT 250p)

목차 Contents

• 표지 ... 1
• 연구협력진 ... 3
• 머리말 ... 5
• 연구요약 ... 7
• 목차 ... 15
• 표목차 ... 17
• 그림목차 ... 21
• Ⅰ 서론 ... 25
• 1. 연구의 필요성 및 목적 ... 27
• 2. 연구 내용 ... 35
• 3. 연구 방법 ... 38
• Ⅱ 검사 구성 및 시행 체제 변화에 따른 척도화 방안 ... 41
• 1. 학업성취도 평가의 척도점수 개선 필요성 ... 43
• 2. 국외 대규모 학업성취도 평가 척도점수 사례 분석 ... 54
• 3. 검사 구성 변화에 따른 척도의 안정성 점검 ... 57
• 4. 시행 체제 변화에 적합한 척도화 설계 ... 68
• 5. 요약 및 시사점 ... 84
• Ⅲ 역량반영 학업성취도 평가결과 산출 방안 ... 89
• 1. 역량반영 평가결과 산출 필요성 ... 91
• 2. 국외 평가결과 제공 사례 분석 ... 95
• 3. 역량반영 평가결과 산출을 위한 수학과 세부 학습영역 도출 방안 탐색 ... 102
• 4. 수학과 역량반영 평가결과 ... 116
• 5. 요약 및 시사점 ... 135
• Ⅳ 학업성취도 평가 설문조사 연계를 통한 평가결과 활용 방안 ... 139
• 1. 설문조사 결과 활용을 통한 평가결과 제공의 다각화 필요성 ... 141
• 2. 실증 분석을 위한 2017년 학업성취도 평가 과학과 세부 학습영역 사례 ... 144
• 3. 랜덤 포레스트를 활용한 학업성취도와 설문 문항 간 관련성 분석 ... 148
• 4. 잠재집단모형을 적용한 학생 성취 특성 분석 ... 152
• 5. 다층모형을 적용한 학교 및 교사 특성 분석 ... 169
• 6. 요약 및 시사점 ... 186
• Ⅴ 연구요약 및 제언 ... 193
• 1. 연구요약 ... 195
• 2. 정책제언 ... 205
• 참 고 문 헌 ... 240
• ABSTRACT ... 250
• 부 록 ... 257
• [부록 1] 2019년 학업성취도 평가 고등학교 수학과 Q행렬 ... 259
• [부록 2] RF 분석에 사용된 설문 문항 ... 260
• [부록 3] 과학과 설문 상관분석 결과 ... 267
• [부록 4] RF 분석 결과 ... 271
• 끝페이지 ... 276