이 연구에서는 이슬점에 대한 중학생들의 개념 이해를 평가하기 위한 루브릭을 개발하였다. 이를 위해 국가 수준 학업성취도 평가의 다층 서답형 문항에 대한 중학생의 응답을 분석하였다. 학생들의 응답 특성에 따라 유형을 분류하고, 성취도 점수 평균에 따른 응답 유형의 분포를 분석하였다. 이를 토대로 이슬점 개념 이해를 평가하기 위한 루브릭을 작성하였다. 연구 결과 다음과 같다: 첫째, 포화수증기량 곡선에서 이슬점 찾기에 대한 학생 응답을 분석한 결과, 다수의 학생들이 이슬점에 대한 개념이 없거나 부족한 것으로 나타났다. 둘째, 이슬점에서 수증기 응결과정에 대한 학생 응답을 분석한 결과, 과학적 개념 유형의 비율은 매우 낮았으며, 오개념 유형의 비율이 상대적으로 높았으며 유형 또한 다양하였다. 셋째, 성취도 점수 평균에 따른 학생 응답 유형 분포 분석을 토대로 4수준의 평가 루브릭을 작성하였다. 이러한 연구 결과를 토대로 지구과학 분야에서 개념 이해 평가를 위한 루브릭 개발과 활용 측면에서 제언을 하였다.
이 연구에서는 이슬점에 대한 중학생들의 개념 이해를 평가하기 위한 루브릭을 개발하였다. 이를 위해 국가 수준 학업성취도 평가의 다층 서답형 문항에 대한 중학생의 응답을 분석하였다. 학생들의 응답 특성에 따라 유형을 분류하고, 성취도 점수 평균에 따른 응답 유형의 분포를 분석하였다. 이를 토대로 이슬점 개념 이해를 평가하기 위한 루브릭을 작성하였다. 연구 결과 다음과 같다: 첫째, 포화수증기량 곡선에서 이슬점 찾기에 대한 학생 응답을 분석한 결과, 다수의 학생들이 이슬점에 대한 개념이 없거나 부족한 것으로 나타났다. 둘째, 이슬점에서 수증기 응결과정에 대한 학생 응답을 분석한 결과, 과학적 개념 유형의 비율은 매우 낮았으며, 오개념 유형의 비율이 상대적으로 높았으며 유형 또한 다양하였다. 셋째, 성취도 점수 평균에 따른 학생 응답 유형 분포 분석을 토대로 4수준의 평가 루브릭을 작성하였다. 이러한 연구 결과를 토대로 지구과학 분야에서 개념 이해 평가를 위한 루브릭 개발과 활용 측면에서 제언을 하였다.
In this study, we developed a rubric for assessing middle school students' conceptual understanding about dew point. For this purpose, we analyzed 9th grade students' responses collected by using a multi-tiers constructed-response item of National Assessment of Educational Achievement (NAEA) and cla...
In this study, we developed a rubric for assessing middle school students' conceptual understanding about dew point. For this purpose, we analyzed 9th grade students' responses collected by using a multi-tiers constructed-response item of National Assessment of Educational Achievement (NAEA) and classified the types of the responses according to their characteristics. In addition, we analyzed the distribution of student response types according to mean achievement scores and developed an assessment rubric of conceptual understanding about dew point. The findings are as follows: First, the analysis of student responses to finding dew point in the saturation curve showed that many students had no or lack understanding of the scientific concept of dew point. Second, as a result of analyzing the student response to the water vapor condensation process at dew point, the proportion of scientific conception types was very low, while the proportion of misconception types was relatively high and the types varied as well. Third, a four- level assessment rubric was developed based on the analysis of the distribution of student response types according to the mean achievement scores. Based on the findings, we suggested the development and utilization of assessment rubric in the field of Earth science education.
In this study, we developed a rubric for assessing middle school students' conceptual understanding about dew point. For this purpose, we analyzed 9th grade students' responses collected by using a multi-tiers constructed-response item of National Assessment of Educational Achievement (NAEA) and classified the types of the responses according to their characteristics. In addition, we analyzed the distribution of student response types according to mean achievement scores and developed an assessment rubric of conceptual understanding about dew point. The findings are as follows: First, the analysis of student responses to finding dew point in the saturation curve showed that many students had no or lack understanding of the scientific concept of dew point. Second, as a result of analyzing the student response to the water vapor condensation process at dew point, the proportion of scientific conception types was very low, while the proportion of misconception types was relatively high and the types varied as well. Third, a four- level assessment rubric was developed based on the analysis of the distribution of student response types according to the mean achievement scores. Based on the findings, we suggested the development and utilization of assessment rubric in the field of Earth science education.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이 연구에서는 이슬점에 대한 중학생들의 개념 이해를 평가하기 위한 루브릭을 개발하였다. 이를 위해 국가 수준 학업성취도 평가의 다층 서답형 문항에 대한 중학생의 응답을 분석하였다.
또한, 과정 중심 평가로서 수행 평가에 집중하다보니 개념 학습의 교과-특수성(subject-specificity)을 고려하지 못한 측면이 있었다. 이에 이 연구에서는 국가 수준 학업 성취도 평가의 서답형 문항에 대한 학생 응답을 활용하여 지구과학 주요 개념 중 이슬점에 대한 중학생들의 개념 이해를 수준별로 탐색하여 이를 적용한 개념 이해 평가 루브릭을 개발하고자 하였다. 이 연구에서 작성된 이슬점에 대한 중학생들의 개념 이해 수준은 중학교 과학 수업에서 적응적 교수활동 (adaptive instruction)을 위한 기초 자료를 활용될 수 있을 것으로 기대한다.
제안 방법
이 문항에서는 포화 수증기량 곡선이 주어지고 실험실 공기의 상태가 그래프 상에 표시되면, 학생들은 이를 활용하여 실험실의 공기의 이슬점을 찾아야 한다. 따라서 이러한 판단 요소를 기준으로 학생들의 답안 유형을 분석하였다. Table 1은 학생들의 주요 답안 유형별 특성과 답안 예시를 보여준다.
마지막으로 성취도 점수 평균에 따른 학생 응답유형 분포 분석한 후 응답의 특성을 고려하여 이슬점에 대한 가설적 학습 발달과정을 4수준으로 작성하고, 각 수준별 특성을 기술하였다.
먼저 학생들의 서답형 답안 전체를 검토한 후, 이를 하위 문항별로 학생의 응답을 특성에 따라 몇 개의 유형으로 분류하였으며, 유형별 비율과 성취도 점수 평균을 산출하였다. 여기에서 의 성취도 점수는 중학교 과학 시험 전체에 대한 학생들의 성취도 점수이며, 학생들의 과학적 능력에 해당한다고 할 수 있다.
셋째, 성취도 점수 평균에 따른 학생 응답 유형 분포 분석을 토대로 4수준의 개념 이해 평가 루브릭을 작성하였다. 이 연구를 통해 작성된 이슬점에 대한 4 수준의 평가 루브릭은 고정되거나 확정된 것이 아니라 추가적인 연구를 통해 경험적으로 평가 루브릭의 타당도를 향상시키게 되는데, 이러한 개발과 향상의 과정은 반복적으로 이루어진다.
활용하였다. 수집된 학생 응답 자료 중 무응답과 미분류 응답을 제외한 중학생 응답을 대상으로 응답 유형을 분류하였으며, 학생 능력(평균 성취도 점수)에 따른 응답 유형 분포를 분석하였다. 이 분석 결과를 토대로 이슬점 개념 이해 평가를 위한 루브릭을 작성하였다.
학생 답안 유형 분류 결과를 나타낸 것이다. 얼음물이 담긴 알루미늄 컵 표면이 뿌옇게 흐려지는 원인에 대한 학생들의 답안은 크게 3개 유형(WC 1, WC 2, WC 3)으로 분류되었다. WC 1은 완전한 과학적 개념으로 이슬점과 수증기의 응결 용어를 모두 사용하여 설명한 경우이다.
수집된 학생 응답 자료 중 무응답과 미분류 응답을 제외한 중학생 응답을 대상으로 응답 유형을 분류하였으며, 학생 능력(평균 성취도 점수)에 따른 응답 유형 분포를 분석하였다. 이 분석 결과를 토대로 이슬점 개념 이해 평가를 위한 루브릭을 작성하였다. Fig.
이 연구에서는 이슬점과 관련된 학생들의 생각을 심층적으로 이끌어내기 위해 Fig. 2와 같은 다층 (multi-tiers) 서답형 문항을 활용하였다. 다층 서답형 문항은 하나의 문제 상황을 공유하는 2개 이상의 하위 문항으로 구성된 문항 세트로, 제시된 문제 상황에 적용되는 개념 원리에 대한 이해와 함께 관련된 어떤 현상이 나타나는 이유를 학생들에게 질문하여 개념 원리와 관련된 학생들의 생각을 심도 있게 평가할 수 있도록 설계되어 있어 학습 발달과정 탐색에 적합하다고 할 수 있다(Lee et al.
평가하기 위한 루브릭을 개발하였다. 이를 위해 국가 수준 학업성취도 평가의 다층 서답형 문항에 대한 중학생의 응답을 분석하였다. 학생들의 응답을 특성에 따라 유형을 분류하였으며, 성취도 점수 평균에 따른 응답 유형의 분포를 분석하였다.
학생들의 응답을 특성에 따라 유형을 분류하였으며, 성취도 점수 평균에 따른 응답 유형의 분포를 분석하였다. 이를 토대로 이슬점 개념 이해를 평가하기 위한 루브릭을 작성하였다. 연구 결과 다음과 같은 결론을 도출할 수 있었다.
Table 1은 학생들의 주요 답안 유형별 특성과 답안 예시를 보여준다. 포화 수증기량 곡선에서 이슬점을 찾는 문항에 대한 학생들의 답안은 크게 3개 유형(DP 1, DP 2, DP 3)으로 분류되었다. DP 1은 냉각을 통한 공기의 포화 상태로 이슬점을 찾은 경우로 과학적으로 옳은 유형이며, DP 2는 현재 공기의 온도를 이슬점으로 오해하여 찾은 경우이다.
학생들의 응답 유형을 분류하고, 각각의 유형별 평균 성취도 점수를 산출한 다음에서는 각각의 답안 유형과 학생들의 과학적 능력과의 관련성을 살피기 위해 성취도 점수 평균에 따른 학생 응답 유형 분포를 그래프로 그려 비교하였다.
이를 위해 국가 수준 학업성취도 평가의 다층 서답형 문항에 대한 중학생의 응답을 분석하였다. 학생들의 응답을 특성에 따라 유형을 분류하였으며, 성취도 점수 평균에 따른 응답 유형의 분포를 분석하였다. 이를 토대로 이슬점 개념 이해를 평가하기 위한 루브릭을 작성하였다.
대상 데이터
이 연구에서는 이슬점 및 학습 발달과정 관련 선행 연구 및 문헌을 조사하였으며, 학생들의 이슬점에 대한 이해도를 분석하기 위한 자료로 2016년 국가 수준 학업성취도 평가의 서답형 문항에 대한 학생 응답을 활용하였다. 수집된 학생 응답 자료 중 무응답과 미분류 응답을 제외한 중학생 응답을 대상으로 응답 유형을 분류하였으며, 학생 능력(평균 성취도 점수)에 따른 응답 유형 분포를 분석하였다.
이 연구에서는 전국 7, 137명의 중학교 3학년 학생을 대상으로 실시한 국가 수준 학업성취도 평가에 서서 답형 8번 문항에 대한 무응답과 미분류 답안을 제외한 5, 278명(이슬점 찾기)과 4, 471명(수증기의 응결) 의 응답을 각각 분석하였다.
성능/효과
과학적 개념에 해당되는 유형(WC 1)의 경우는 응답의 8% 정도였으며, 오개념에 해당되는 유형 (WC 3)의 경우는 33%로 상대적으로 그 비율이 높았으며 오개념의 유형 또한 다양하였다. 이와 같은 결과는 상당수의 중학생들이 이슬점에서의 수증기 응결과정에 대한 이해도가 낮으며 다양한 측면에서 잘못된 개념을 가지고 있음을 의미한다.
기타 오개념을 제외하면, 이슬점이 변화된다는 오개념을 가진 WC 3-3이 564명으로 이슬과 이슬점을 구분하지 못하거나 이슬점과 포화수증기량의 관계로 응결을 설명하는 오개념 유형에 비해 더 많은 것으로 나타났다.
둘째, 이슬점에서 수증기 응결과정에 대한 학생 응답을 분석한 결과, 크게 3개의 유형으로 분류할 수 있었다. 과학적 개념에 해당되는 유형(WC 1)의 경우는 응답의 8% 정도였으며, 오개념에 해당되는 유형 (WC 3)의 경우는 33%로 상대적으로 그 비율이 높았으며 오개념의 유형 또한 다양하였다.
91%)을 나타내었다. 또한 학생 응답 유형에 따른 성취도 평균 점수에서는 DP 1의 평균 점수가 DP 2와 3에 비해 상대적으로 매우 높았으며, 현재 공기의 온도를 이슬점으로 찾은 DP 2와 이슬점과 전혀 무관한 DP 3의 평균 점수는 거의 비슷하게 나타났다. 이것은 현재 온도를 이슬점으로 생각한 학생들과 전혀 무관한 답을 한 학생들의 수준 차이가 거의 없음을 의미한다.
유형별로 볼 때, 3개 유형 중에서는 오개념에 해당되는 WC 3의 비율이 33.03%로 가장 높았다. 부분정답에 해당되는 WC 2의 비율은 21.
적었다. 응결(액화)이라는 용어를 사용하지 않고 원리를 구체적으로 설명한 WC 1-2와 응결이라는 용어를 사용하여 기본적인 원리만을 서술한 WC 1-2의 경우는 각각 143명, 129명으로 WC 1-1에 비해 적게 나타났다.
교수 전략 개발이 필요하다. 이 연구 결과에서 보듯 많은 중학생들이 이슬점과 이슬을 혼동하며, 이슬점에 대한 다양한 오개념을 가지며, 수증기, 응결과 같은 기초 개념에 대한 이해가 부족한 것으로 나타났다. 평가 루브릭에 기초하면 학생들의 수준을 진단할 수 있기 때문에 이슬점과 주요 개념에 대한 학생들의 초기 모형을 추정할 수 있다.
대한 학생 응답 유형별 비율과 성취도 점수 평균을 나타낸 것이다. 정답에 해당되는 DP 1이 가장 높은 비율(39.13%)을 차지하였으며, 현재 공기의 온도를 이슬점으로 응답한 DP 2가 그 다음으로 높은 비율(19.91%)을 나타내었다. 반면, 이슬점이나 공기 온도와 전혀 무관한 온도를 찾은 DP 3은 가장 낮은 비율(14.
첫째, 포화수증기량 곡선에서 이슬점 찾기에 대한 학생 응답을 분석한 결과, 3개 유형으로 분류할 수 있었다. 이 중에서 현재 공기의 온도인 25 C를 답한 유형(DP 2)과 이슬점과 전혀 상관없는 온도를 답한 유형(DP 3)의 비율이 각각 20, 15% 정도로 높게 나타났는데, 이와 같은 결과는 많은 중학생들이 이슬점에 대한 개념이 없거나 부족한 것을 의미한다.
후속연구
둘째, 평가 루브릭 개발 연구는 학습 발달과정 연구의 기초 자료로 활용될 수 있을 것이다. 순위 선다형 문항을 이용한 연구(Lee et al, 2016; Maeng et al, 2014)나 다층 서답형 문항을 이용한 연구(Oh and Lee, 2020)에서 주요 개념에 대한 평가 루브릭은 빅아이디어에 대한 학습 발달과정 탐색에서 구인(발달변인)들의 수준 설정의 근거가 될 것으로 기대된다.
이것은 연구가 주로 개별 연구자에 의해 수행되다보니 대상 학교 섭외, 무작위 표집의 어려움 등으로 인해 전국적인 단위로 샘플링하기가 불가능했기 때문이다. 따라서 표집이지만 전국 단위로 이루어지며 다량의 자료를 수집할 수 있는 국가 학업 성취도 평가를 적절히 잘 활용한다면 이러한 한계를 극복하여 보다 실제적인 평가 루브릭 개발할 수 있을 것이다.
이렇게 추정된 학생들의 초기 모형을 기반으로 모형 진화를 위한 생성-평가-수정(GEM) 순환과 같은 적절한 모형 기반학습 기반의 교수 전략을 통하여 학생들의 이해 수준을 향상시킬 수 있을 것이다. 따라서, 평가 루브릭을 기초로 적응적 교수활동이 개발된다면 효과적인 개념학습을 위한 도구가 될 수 있을 것으로 기대된다.
셋째, 개발된 평가 루브릭을 토대로 지구과학 기초개념에 대한 심층적 이해를 위한 모형 기반 학습과 같은 교수 전략 개발이 필요하다. 이 연구 결과에서 보듯 많은 중학생들이 이슬점과 이슬을 혼동하며, 이슬점에 대한 다양한 오개념을 가지며, 수증기, 응결과 같은 기초 개념에 대한 이해가 부족한 것으로 나타났다.
이에 이 연구에서는 국가 수준 학업 성취도 평가의 서답형 문항에 대한 학생 응답을 활용하여 지구과학 주요 개념 중 이슬점에 대한 중학생들의 개념 이해를 수준별로 탐색하여 이를 적용한 개념 이해 평가 루브릭을 개발하고자 하였다. 이 연구에서 작성된 이슬점에 대한 중학생들의 개념 이해 수준은 중학교 과학 수업에서 적응적 교수활동 (adaptive instruction)을 위한 기초 자료를 활용될 수 있을 것으로 기대한다.
평가 루브릭에 기초하면 학생들의 수준을 진단할 수 있기 때문에 이슬점과 주요 개념에 대한 학생들의 초기 모형을 추정할 수 있다. 이렇게 추정된 학생들의 초기 모형을 기반으로 모형 진화를 위한 생성-평가-수정(GEM) 순환과 같은 적절한 모형 기반학습 기반의 교수 전략을 통하여 학생들의 이해 수준을 향상시킬 수 있을 것이다. 따라서, 평가 루브릭을 기초로 적응적 교수활동이 개발된다면 효과적인 개념학습을 위한 도구가 될 수 있을 것으로 기대된다.
참고문헌 (22)
Cho, B., Ko, Y., Kim, H., Paik, S., Park, J., Park, J., and Im, M., 2002, A study of kindergarden, elementary, and middle school students' conception types and trend of grade related to evaporation and conditions of evaporation activities. Journal of the Korean Association for Research in Science Education, 22, 286-298. (in Korean)
Cho, H., 2015, Driver's alternative science conception. Kyoyookgwahaksa, Gyeonggi, Korea. (in Korean)
Clement, J., 2000, Model based learning as a key research area for science education. International Journal of Science Education, 22, 1041-1053.
Clement, J. and Steinerg, M., 2002, Step-wise evolution of mental models of electric circuits: a "learning-aloud" case study. The Journal of The Learning Sciences, 11, 389-452.
Corcoran, T., Mosher, F., and Rogat, A., 2009, Learning progressions in science: an evidence-based approach to reform (Consortium for Policy Research in Education Report #RR-63). Philadelphia, PA: Consortium for Policy Research in Education.
Duschl, R., Maeng, S., and Sezen, A., 2011, Learning progressions and teaching sequences: A review and analysis. Studies in Science Education, 47(2), 123-182.
Kang, S., Seo, E., and Kim, D., 2019, Earth science prospective teachers' perceptions on the relationship between absolute humidity and dew point temperature. Journal of the Korean Earth Science Society, 40, 624-638. (in Korean)
Lee, J, Dong, H., Choi, W., Kim, Y., and Lee, K., 2017, An analysis of the results of 2016 National Assessment of Educational Achievement (NAEA) (ORM 2017-95-4). Seoul: Korean Institute for Curriculum and Evaluation. (in Korean)
Lee, J., Lee, K., and Park, Y., 2010, Graph interpretation ability and perception of high school students and preservice secondary teachers in earth science. Journal of the Korean Earth Science Society, 31, 378-391. (in Korean)
Lee, K., Dong, H., Choi, W., Kwon, G., Lee, I., and Kim, Y., 2017, Exploring a learning progression for eight core concepts of middle school science using constructed response items in the National Assessment of Educational Achievement (NAEA). Journal of Science Education, 41(3), 382-404. (in Korean)
Lee, K., Maeng, S., Park, Y., Lee, J., and Oh, H., 2016, Validation of learning progressions for Earth's motion and solar system in elementary grades: Focusing on construct validity and consequential validity. Journal of the Korean Association for Research in Science Education, 36(1), 177-190. (in Korean)
Maeng, S., Lee, K., Park, Y., Lee, J., and Oh, H., 2014, Development and validation of a learning progression for astronomical system using ordered multiple-choice assessment. Journal of the Korean Earth Science Society, 34(8), 703-718. (in Korean)
National Research Council., 2007, Taking science to school: Learning and teaching science in grades K-8. committee on science learning, kindergarten through eighth grade. R.A. Duschl, H.A. Schweingruber, & A.W. Shouse (Eds.). The National Academies Press.
Oh, H., 2019, Action research for co-construction of scientific models using smart devices: The case of science teachers's teaching practices on the atmosphere units in middle school. School Science Journal, 13, 225-240. (in Korean)
Oh, H., 2020, Case study for earth science education using smart devices: Focused on the case of science preservice teachers' teaching practices about atmosphere and astronomy units in middle school. School Science Journal, 14, 423-440. (in Korean)
Oh, H. and Lee, K., 2020, The development and validation of learning progression for solar system structure using multi-tiers supply form items. Journal of the Korean Earth Science Society, 41, 291-306. (in Korean)
Rea-Ramirez, M., 1998, Model of conceptual understanding in human respiration and strategies for instruction. Doctoral Dissertation. University of Massachusetts.
Shin, J. and Yang, I., 2017, Problems and improvements of science performance assessment. Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, 7, 873-883. (in Korean)
Son, M. and Jeong, D., 2019, Development worksheet and rubric for system thinking assesment-focused on the earth system unit in 'Integrated Science'. School Science Journal, 13, 78-94. (in Korean)
Vygotsky, L., 1978, Interaction between learning and development. In Gauvain, M. and Cole, M (Eds.) Readings on the development of children (pp. 34-40). Scientific American Books, New York, USA.
Yang, I., Lee, H., Lee H.. and Cho, H., 2009, The development of rubrics to assess scientific argumentation. Journal of the Korean Association for Research in Science Education, 29, 203-220. (in Korean)
※ AI-Helper는 부적절한 답변을 할 수 있습니다.