답지 반응률 분포 곡선을 통한 국가수준 학업성취도 과학 평가 문항 특성 분석 Analysis of the Characteristics of National Assessment of Educational Achievement (NAEA) Items for Science Subject through the use of Option Response Rate Distribution Curve원문보기
국가 수준의 표준화된 학업 성취도 평가 결과를 분석하여 학생들의 성취 수준을 파악하고 이를 교육정책 수립이나 교수활동 개선에 반영하는 과정은 교육의 책무성으로 중요한 부분이다. 본 연구에서는 과학과 국가 수준 학업 성취도 평가 결과를 분석하고, 답지 반응률 분포 곡선을 활용하여 평가 문항의 특성을 분석하고자 하였다. 이를 위해 2010년부터 2013년까지 시행된 과학과 성취도 평가 결과를 성취 수준에 따라 분석하였으며, 성취도 점수에 따른 특정 문항의 정오답 반응률을 토대로 최적 곡선을 추정한 그래프인 답지 반응률 분포 곡선을 활용하여 선다형 평가 문항 112개의 정답지와 오답지 반응률 곡선의 유형을 분류하고, 유형별 문항 특성을 분석하였다. 분석 결과, 정답지는 5가지 유형(S자형, J자형, 직선형, F자형, 계단형)으로 분류하였고, 오답지는 4가지 유형(보통형, 평지형, 산지형, 상승형)으로 분류하였다. S자형의 정답지 반응 곡선과 보통형의 오답지 반응 곡선이 조합인 문항이 가장 많았으며, 성취 수준에 따라 학생들을 변별하는데 적절한 문항인 것으로 분석되었다. 또한, 정답 반응률 분포와 오답 반응률 분포가 서로 연관되는 것으로 나타났다. 연구 결과를 토대로 교수 학습, 교실 평가 등에서 함의를 논의하였다.
국가 수준의 표준화된 학업 성취도 평가 결과를 분석하여 학생들의 성취 수준을 파악하고 이를 교육정책 수립이나 교수활동 개선에 반영하는 과정은 교육의 책무성으로 중요한 부분이다. 본 연구에서는 과학과 국가 수준 학업 성취도 평가 결과를 분석하고, 답지 반응률 분포 곡선을 활용하여 평가 문항의 특성을 분석하고자 하였다. 이를 위해 2010년부터 2013년까지 시행된 과학과 성취도 평가 결과를 성취 수준에 따라 분석하였으며, 성취도 점수에 따른 특정 문항의 정오답 반응률을 토대로 최적 곡선을 추정한 그래프인 답지 반응률 분포 곡선을 활용하여 선다형 평가 문항 112개의 정답지와 오답지 반응률 곡선의 유형을 분류하고, 유형별 문항 특성을 분석하였다. 분석 결과, 정답지는 5가지 유형(S자형, J자형, 직선형, F자형, 계단형)으로 분류하였고, 오답지는 4가지 유형(보통형, 평지형, 산지형, 상승형)으로 분류하였다. S자형의 정답지 반응 곡선과 보통형의 오답지 반응 곡선이 조합인 문항이 가장 많았으며, 성취 수준에 따라 학생들을 변별하는데 적절한 문항인 것으로 분석되었다. 또한, 정답 반응률 분포와 오답 반응률 분포가 서로 연관되는 것으로 나타났다. 연구 결과를 토대로 교수 학습, 교실 평가 등에서 함의를 논의하였다.
Identifying students' achievement level and reflecting it on educational policy making or instructional improvement by analyzing the results of nationwide standardized assessment is an integral part of accountability in education. On the basis of this premise, we analyzed the characteristics of Nati...
Identifying students' achievement level and reflecting it on educational policy making or instructional improvement by analyzing the results of nationwide standardized assessment is an integral part of accountability in education. On the basis of this premise, we analyzed the characteristics of National Assessment of Educational Achievement (NAEA) items for middle school science subject conducted from 2010 to 2013 by using the option response rate distribution curve, the fittest graph estimated from the response rate of correct/incorrect options by achievement score. Furthermore, we classified the type of option response rate curve in terms of correct and incorrect options. Results of the analysis of option response curve showed that five types of correct option response curve (S-shaped, J-shaped, straight-shaped, F-shaped, and step-shaped) and 4 types of incorrect option response curve (down-slope, flat, mound, and up-slope) were identified. The most common type of items was the combination of S-shaped correct option response curve and down-slope incorrect option response curve, which are considered as appropriate items to discriminate the students according to achievement level. Moreover, correct option response was found to be correlated with incorrect option response. Based on the results, we also discussed some implications on teaching-learning method and classroom assessment in science education.
Identifying students' achievement level and reflecting it on educational policy making or instructional improvement by analyzing the results of nationwide standardized assessment is an integral part of accountability in education. On the basis of this premise, we analyzed the characteristics of National Assessment of Educational Achievement (NAEA) items for middle school science subject conducted from 2010 to 2013 by using the option response rate distribution curve, the fittest graph estimated from the response rate of correct/incorrect options by achievement score. Furthermore, we classified the type of option response rate curve in terms of correct and incorrect options. Results of the analysis of option response curve showed that five types of correct option response curve (S-shaped, J-shaped, straight-shaped, F-shaped, and step-shaped) and 4 types of incorrect option response curve (down-slope, flat, mound, and up-slope) were identified. The most common type of items was the combination of S-shaped correct option response curve and down-slope incorrect option response curve, which are considered as appropriate items to discriminate the students according to achievement level. Moreover, correct option response was found to be correlated with incorrect option response. Based on the results, we also discussed some implications on teaching-learning method and classroom assessment in science education.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
국가수준 학업성취도 평가의 목적은 교육과정에 설정된 교육 목표에 견주어 학생들의 도달 정도를 파악함으로써 교육과정을 개선하기 위한 기초 자료를 제공할 뿐만 아니라 학생 개개인의 학업성취 수준을 진단하여 부족한 부분에 대한 교육을 실시할 수 있도록 도와주기 위한 것이다. 이러한 성취도 평가 결과를 통해 교육과정, 교수·학습, 교육환경 개선을 위한 정보를 제공하고, 개별학교의 교육성과를 확인하여 학교에 대한 실효성 있는 차별적 지원을 하며, 학생과 학교, 교육청 등에 교육 향상도를 파악할 수 있는 근거를 제공하여 교육 성과와 지원 체계의 효과를 검토하기 위함이다(Kim et al.
첫째, 교수 학습과 관련된 제언이다. 본 연구에서 제시된 정오답 반응률 분포 곡선을 살펴보면, 학생들이 갖는 오개념이 어떻게 나타나고 있는지 살펴볼 수 있다. 따라서 문항의 오답률을 분석하여 학생들이 오개념을 나타내는 경우에 대한 처치 전략에 대한 연구가 필요하다.
따라서 방대한 데이터를 이용하여 새로운 의미를 도출하는데 어려움이 있어 새로운 분석 방법이 요구된다. 이에 본 연구에서는 척도 점수에 따른 정답과 오답의 답지별 반응률 분포 곡선을 활용한 분석방법을 제시하고 그 결과로부터 과학과 국가수준 학업성취도 문항의 특성을 분석하고자 한다.
이 문항은 단위 부피당 질량을 의미하는 밀도가 물질의 특성임을 이해하는지를 확인하기 위한 것이다. 즉, 같은 물질은 밀도가 같고, 다른 물질이면 밀도가 다름을 이해하고 있는지, 밀도는 세기 성질이므로 물질의 양과 관련 없음을 이해하고 있는지를 확인하기 위한 것이다. 이 문항의 전체 정답률은 50.
제안 방법
둘째, 정답지의 반응률과 오답지의 반응률이 서로 연관되는 결과를 나타내었다. 특히 오답지의 패턴이 정답지의 모양에 영향을 미치고 있는데, 특정 오답지의 분포가 보통형인 경우에는 정답지의 분포가 보통 S자형으로 나타난 반면, 오답지의 내용이 평지형이나 산지형으로 나타난 경우에는 정답지의 유형이 J자형이나 직선형인 형태로 나타났다.
서답형 문항은 몇 가지 정형화된 오답 반응으로 추출하고 분류하기 어렵기 때문에 선다형 문항 128문항을 분석 대상으로 하였다(Table 1). 또한 답지 반응 분포는 연도간 난이도를 보정하는 동등화(equating)를 위해서 출제한 가교 문항을 제외하고 총 112개 문항을 분석하였다.
본 연구에서는 2010년~2013년에 시행된 과학과 국가수준 학업성취도 평가 결과를 정오답 반응률 분포 곡선을 활용하여 분석하였으며, 주요 연구 결과는 다음과 같다.
본 연구에서는 5가지 정답 유형과 4가지 오답 유형의 조합을 따져 총 20개의 유형(정답 5유형 × 오답 4유형)이 나올 수 있을 것으로 예상하였다.
정답지의 경우에는 변별도에 대한 다양한 해석이 가능하고, 오답지의 경우에는 오답의 매력도를 다양한 측면에서 분석할 수 있기 때문이다. 본 연구에서는 성취도 점수를 최적화된 답지 반응률 분포 곡선을 이용하여 분석하였다. 최적화된 답지 반응률 분포 곡선의 추출 방법과 추출된 정답과 오답지 반응률 분포 곡선들의 몇 가지 유형을 추출한 결과를 제시하면 다음과 같다.
이 그래프에서 가로축은 성취도 점수를 나타낸 것으로, 성취도 점수란 학생들의 원점수를 척도 점수로 변환하여 평균 200점, 표준편차 30점, 척도 점수의 범위를 100점에서 300점까지 나타낸 것이다. 세로축은 각 답지에 대해 0과 1 사이의 반응률로 나타낸 것으로, 5지 선다형의 5개 보기에 대해서 각각 성취점수대별 반응률을 제시하였다. 즉, 성취점수 100점부터 최대 성취점수까지 각 점수에 따른 반응률을 점으로 나타내고(그림 1의 왼쪽 그래프), 이 점선 분포 그래프에서 추세선을 고려하여 지수 함수, 2차에서 6차까지 다항식 함수 중 답지 반응을 최적화할 수 있는 그래프로 전환하는 것이다.
본 연구에서는 5가지 정답 유형과 4가지 오답 유형의 조합을 따져 총 20개의 유형(정답 5유형 × 오답 4유형)이 나올 수 있을 것으로 예상하였다. 예상되는 20가지 유형 중 실질적으로 본 연구에서 발견된 유형에 대해서는 답지 반응률 곡선과 문항을 결부시켜 각 문항 특성을 분석하였다.
대상 데이터
또한 초등학교 6학년과 중학교 3학년에 대해서 실시되다가 역시 2013년도부터는 중학교 3학년에 대해서만 평가가 실시되었다. 따라서 본 연구에서는 2010년도부터 2013년도까지 4년 동안 실시된 중학교 3학년 대상의 학업성취도 평가의 결과를 분석 대상으로 하였다.
본 연구의 대상은 2010년부터 2013년까지 시행된 과학과 국가수준 학업성취도 평가의 문항 중 선다형 문항과 그 평가 결과이다. 국가수준 학업성취도 평가는 2008년부터 전수평가로 실시되었는데, 과학과의 경우 2013년도부터 표집으로 전환되었다.
서답형 문항은 몇 가지 정형화된 오답 반응으로 추출하고 분류하기 어렵기 때문에 선다형 문항 128문항을 분석 대상으로 하였다(Table 1). 또한 답지 반응 분포는 연도간 난이도를 보정하는 동등화(equating)를 위해서 출제한 가교 문항을 제외하고 총 112개 문항을 분석하였다.
성능/효과
일반적으로 낮은 성취 수준의 학생들이 많이 오답을 선택하였고 점차 성취수준이 올라가면서 선택비율이 감소되어 나타나는 형태로 역시 전형적인 오답의 패턴이라고 할 수 있다. 따라서 정답 곡선 유형으로 S자형, 오답곡선 유형으로 보통형인 조합이 가장 많이 발견되는 유형으로 총 43개(38.4%)가 발견되었다.
셋째, 오답지의 분포는 교수·학습 지도 방안에 높은 시사점을 줄 수 있다.
연구 대상인 112개 문항에 대해서 답지 반응률 분포 곡선을 구한 후, 과학 교육 전문가 4명과 과학 교사 4명이 답지 반응률 곡선에서 비슷한 패턴을 나타내는 것을 반복적으로 묶는 과정을 통하여 정답에 대해서 S자형, J자형, 직선형, F자형, 계단형 등의 5가지 유형을 발견하였고(Figure 2~6), 오답에 대해서는 보통형, 평지형, 산지형, 상승형 등의 4가지 유형을 발견하였다(Figure 7~10). 정답 1개와 오답 4개의 조합에 따라 다양한 유형의 답지 반응 유형을 정할 수 있다.
정답 곡선 유형으로는 S자형이 66개로 전체 중의 58.9%를 나타내 가장 많은 유형으로 발견되었다. S자형은 낮은 성취 수준(기초학력)의 학생들에게서는 정답률이 크게 변하지 않다가 중간 성취 수준(보통학력)의 학생들에서 급격한 정답률의 향상이 보이고, 높은 성취 수준(우수학력)에서는 크게 변하지 않는 형태로 로지스틱 형태를 나타내는 유형이다.
가장 많은 유형은 정답지가 S자형이고, 오답지가 보통형인 유형으로 변별도가 높은 전형적인 평가 문항이 갖는 유형이다. 정답지가 J자형인 경우에는 오답지가 산지형인 유형이 가장 많았고, 정답지가 직선형인 경우에는 오답지가 산지형, 정답지가 F자형인 경우에는 오답지가 보통형인 유형이 가장 많았다.
정답지의 반응률 분포가 F자형을 나타내는 유형은 기초학력 집단 학생들 수준에서 급격하게 정답률이 증가하여 전체적으로 답지의 반응률이 높은 형태를 나타내는 유형으로 모두 10문항(8.9%)이었다. 기초학력 미달 집단을 제외하면 정답률이 비교적 높기 때문에 오답지 선택률이 낮아 오답지 반응 분포는 지수 함수 형태로 감소하는 보통형이 대부분을 차지하였다.
오답 ⑤를 선택한 학생들은 밀도가 물질의 특성임을 이해하지 못하고 밀도를 반으로 줄이면 질량은 변하지 않고 부피만 반이 되는 것으로 잘못 이해하고 있는 것으로 보인다. 즉, 밀도가 물질의 특성임을 이해하지 못하고 밀도를 질량이나 부피 같은 어떤 크기나 양과 관련된 것으로 생각하고 있는 경향이 있다는 것을 알 수 있다.
첫째, 답지 반응률 분포 곡선으로 분석한 결과, 정답지는 S자형, J자형, 직선형, F자형, 계단형 등의 5가지 유형으로 분류되었고, 오답지는 보통형, 평지형, 산지형, 상승형 등의 4가지 유형으로 분류되었다. 정답지와 오답지의 결합을 통해서 총 20가지 유형이 나올 수 있을 것으로 추정하였다.
둘째, 정답지의 반응률과 오답지의 반응률이 서로 연관되는 결과를 나타내었다. 특히 오답지의 패턴이 정답지의 모양에 영향을 미치고 있는데, 특정 오답지의 분포가 보통형인 경우에는 정답지의 분포가 보통 S자형으로 나타난 반면, 오답지의 내용이 평지형이나 산지형으로 나타난 경우에는 정답지의 유형이 J자형이나 직선형인 형태로 나타났다.
이는 별의 밝기 등급에 대한 이해가 거의 이루어지지 않은 상태라고 여겨진다. 특히 유심히 살펴볼 답지는 ⑤번으로 보통학력 집단까지 반응률이 증가하다가 이후 우수학력 집단으로 갈수록 반응률이 감소하는 산지형 분포를 나타내고 있는데, 보통학력 이하의 성취 수준에서는 정답률보다 높게 나타났다. 이는 ⑤번을 선택한 학생들은 그래프에 대한 해석을 시도한 경우로서 A, B, C를 나타내는 점이 그래프에서 반비례 관계를 유추하게 만들고 있는 것에 주목하여, 별의 거리 순서를 A
이 문항에서 제시된 문제를 해결하기 위해서 학생들은 절대등급과 겉보기등급의 개념과 두 등급 간의 관계를 이해하고 있어야 한다. 평가 결과, 전체 정답률이 28.60%로 매우 어려운 문항으로 변별도는 0.19로 낮았다. 우수학력 학생들의 정답률도 55.
후속연구
국가수준 학업성취도 평가에서 학생들을 우수, 보통, 기초, 기초학력 미달 수준으로 구별하고 해당 집단의 대표 문항이 갖는 성취 기준을 통해서 학생들에게 보다 나은 교육의 방향을 제공할 수 있다. 따라서 본 연구에서 제시된 결과를 바탕으로 우수학력, 보통학력, 기초학력, 기초학력 미달 학생들이 어떤 문항에서 어떻게 정답과 오답 반응을 하는지 충분한 이해를 할 수 있다면 좀 더 양질의 문항이 출제될 수 있을 것이다. 또한 출제 과정에서 학력 수준에 따른 각 선택지별 오답 반응률을 예상하게 하여, 정답률 예상 곡선이 나오는 시스템이 마련되면 보다 정확하게 평가 결과를 예측할 수 있으리라 생각된다.
따라서 본 연구에서 제시된 결과를 바탕으로 우수학력, 보통학력, 기초학력, 기초학력 미달 학생들이 어떤 문항에서 어떻게 정답과 오답 반응을 하는지 충분한 이해를 할 수 있다면 좀 더 양질의 문항이 출제될 수 있을 것이다. 또한 출제 과정에서 학력 수준에 따른 각 선택지별 오답 반응률을 예상하게 하여, 정답률 예상 곡선이 나오는 시스템이 마련되면 보다 정확하게 평가 결과를 예측할 수 있으리라 생각된다. 이와 같은 방법을 사용한다면 각 학력 수준의 대표 문항을 설정하는데 매우 큰 도움이 될 것이며, 모든 학력 수준을 고려한 평가 문항의 출제가 용이할 것이다.
이와 같은 방법을 사용한다면 각 학력 수준의 대표 문항을 설정하는데 매우 큰 도움이 될 것이며, 모든 학력 수준을 고려한 평가 문항의 출제가 용이할 것이다. 또한, 이러한 문항 분석 기법을 현장의 교사들에게 좀 더 적용하기 쉽게 개선하여 보급한다면 각 학교에서 출제되는 문항의 질 향상에도 도움이 될 것이다.
이를 해결하기 위한 방법 중 하나는 정오답 반응률 분포 곡선을 이용한 문항 분석을 통해 어떤 문항에서 어떻게 정답과 오답 반응을 하는지 파악하는 것이다. 이 결과를 바탕으로 좀 더 다양한 학력 수준을 대표하는 문항을 출제할 수 있으며, 학생 수준에 맞게 문항을 출제하는 방법을 연수시킬 수 있는 방법으로 활용할 수도 있다. 정답지의 반응 곡선 유형이 F자형이며 오답지의 반응 곡선 유형이 보통형인 문항의 사례로 생명 영역에서 2010년도 18번 문항의 평가 결과 및 문항 반응 곡선을 Figure 14에 제시하였다.
질의응답
핵심어
질문
논문에서 추출한 답변
과학 교육과정을 개정하는 이유는 무엇이 있는가?
우리나라의 경우, 2007년 개정 교육과정(Ministry of Education & Human Resources Development, 2007)과 2009 개정 교육과정(Ministry of Education and Science Technology, 2009)에 이어 최근 2015 개정 교육과정의 총론이 개발되었고 2016년에 새로운 과학 교육과정을 개발하여 새로운 교육의 방향을 모색하고 있다. 최근 많은 나라에서도 국가의 과학 교육의 경쟁력을 높이기 위해서 과학 교육과정을 개정하고 있다. 미국은 차세대 과학교육 표준(Next Generation Science Standards; NGSS)(NRC, 2012)을 제시하였으며, 영국과 호주 등 많은 나라에서 최근에 교육과정 개정을 실시하였다.
성과 및 체계 측면에서 국가수준 학업성취도 평가의 목적을 달성하는 것은 무엇을 위함인가?
국가수준 학업성취도 평가의 목적은 교육과정에 설정된 교육 목표에 견주어 학생들의 도달 정도를 파악함으로써 교육과정을 개선하기 위한 기초 자료를 제공할 뿐만 아니라 학생 개개인의 학업성취 수준을 진단하여 부족한 부분에 대한 교육을 실시할 수 있도록 도와주기 위한 것이다. 이러한 성취도 평가 결과를 통해 교육과정, 교수․ 학습, 교육환경 개선을 위한 정보를 제공하고, 개별학교의 교육성과를 확인하여 학교에 대한 실효성 있는 차별적 지원을 하며, 학생과 학교, 교육청 등에 교육 향상도를 파악할 수 있는 근거를 제공하여 교육 성과와 지원 체계의 효과를 검토하기 위함이다(Kim et al., 2011a).
우리나라의 국가수준 학업성취도 평가는 어떤 역할을 하는가?
우리나라에서는 국가수준 학업성취도 평가(National Assessment of Educational Achievement; NAEA)를 통하여 국가 수준에서 우리나라 학생의 학업 성취수준을 진단하고, 이에 따라 교육정책 수립과 교수․ 학습 개선을 위한 경험적 자료를 제공하고 있다(Kim et al., 2011a:Kim et al.
참고문헌 (20)
Black, P. J. (1998). Testing: friend or foe? theory and practice of assessment and testing. London: Farmer.
Choi, W. (2013). Comparison of the Characteristics of each Educational Achievement Level of Elementary and Middle School Students shown in the Chemistry Items of the National Assessment of Educational Achievement. Journal of the Korean Association for Science Education, 33(6), 1186-1201.
Choi, W., & Jeong, E. (2008). Relationship between Science Achievement and Student-related Variable in National Assessment of Educational Achievement in 2006. Journal of the Korean Association for Science Education, 28(8), 848-859.
Corcoran, T., & Silander, M. (2009). Instruction in high schools: The evidence and the challenge. The Future of Children: America's High Schools, 19, 157-183.
Corcoran, T., Mosher, F. A., & Rogat, A. (2009). Learning progressions in science: an evidence-based approach to reform (Consortium for Policy Research in Education Report #RR-63). Philadelphia, PA: Consortium for Policy Research in Education.
Duschl, R., Maeng, S., & Sezen, A. (2011). Learning progressions and teaching sequences: A review and analysis. Studies in Science Education, 47(2), 123-182.
Jeong, E., & Choi, W. (2008). Trend Analysis of Students' Science Achievement in National Assessment of Educational Achievement from 2003 to 2006. Journal of the Korean Association for Science Education, 28(5), 438-452.
Kim, D., Kim, D., Kim, Y., Kim, J., Lee, J., Seo, M., Jo, Y., Lee, K., Lee, I., Sim, J., Pae, J., Jung, G., Choi, W., & Park, Y. (2013a). A Study of the Features of Educational Achievement and Development of the National Assessment of Educational Achievement (NAEA) 2013. Korea Institute for Curriculum and Evaluation Research Paper RRE 2013-4.
Kim, D., Lee, I., Kim, M., Jeong, E., Kang, H., & Choi, Y. (2012). Analysis of the 2011 National Assessment of Educational Achievement(Science). Korea Institute for Curriculum and Evaluation Research Paper ORM 2013-37-4.
Kim, D., Lee, I., Sim, J., Choi, W., Park, Y., & Joo, K. (2013b). Analysis of the 2012 National Assessment of Educational Achievement(Science). Korea Institute for Curriculum and Evaluation Research Paper ORM 2013-37-4.
Kim, H., & Jeong, J. (2012). An Analysis of the Result of National Assessment of Educational Achievement in Science at Grade 9. Journal of Science Education, 36(2), 394-407.
Kim, H., Lee, I., Kim, M., Jeong, J., & Sin, M. (2011c). Analysis of the 2010 National Assessment of Educational Achievement(Science). Korea Institute for Curriculum and Evaluation Research Paper ORM 2011-3-5.
Kim, K., Kim, W., Choi, I., Sang, K., Kim, H., Shin, J., Kim, J., & Sohn, W. (2011a). Characteristics of Educational Academic Improvement from NAEA(National Assessment of Educational Achievement) 2010. Korea Institute for Curriculum and Evaluation Research Paper RRE 2011-2-4.
Kim, M., Kim, D., Kim, Y., Chin, J, Kim, H, Lee, B., Jo, Y., Lee, I., Kim, H., Lee, Y., & Lee, C. (2011b). A Study on the Development Process fo the National Assessment of Educational Achievement. Korea Institute for Curriculum and Evaluation Research Paper RRE 2011-3-1.
Lee, C., Nam, M., Nam, G., Park, E., Kim, H., Kwon, J., Choi, W., Lee, I., KIm, M., Song, M, Jeong, E., Park, J., Sin, M., Choi, J., Ko, E., & Kim, D. (2010). A Study on improving the process of developing, implementing, and scoring the National Assessment of Educational Achievement (NAEA). Korea Institute for Curriculum and Evaluation Research Paper RRE 2010-6-1.
Lee, I., Sim, J., Kim, H., Lee, K., Lee, B., & Jeong, I. (2014). Analysis of the 2013 National Assessment of Educational Achievement(Science). Korea Institute for Curriculum and Evaluation Research Paper ORM 2014-30-4.
Ministry of Education & Human Resources Development (2007). National Science Curriculum.
Ministry of Education and Science Technology(MEST) (2009). National Science Curriculum.
National Research Council (2012). A framework for K-12 Science Education: Practices, cross-cutting concepts, and core ideas. Committee on a Conceptual Framework for New K-12 Science Education Standards. Washington DC: The National Academies Press.
National Research Council. (2007). Taking science to school: Learning and teaching science in grades K-8. committee on science learning, kindergarten through eighth grade. R.A. Duschl, H.A. Schweingruber, & A.W. Shouse (Eds.). The National Academies Press.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.