초등학생의 지구의 운동과 태양계 학습 발달과정의 타당성 검증: 구인 타당도 및 결과 타당도를 중심으로 Validation of Learning Progressions for Earth's Motion and Solar System in Elementary grades: Focusing on Construct Validity and Consequential Validity원문보기
이 연구는 '지구의 운동과 태양계' 학습 발달과정의 타당성을 2가지 측면에서 검증하고자 하였다: 첫 번째는 구인 타당도로서 학생들이 학습하는 동안에 본 연구의 학습 발달과정에서 설정한 가설적인 발달 경로에 따라 실제로 학생들의 발달이 나타나는가를 조사하였다. 두 번째는 결과 타당도로서 학습 발달과정에 기반한 적응적 교수활동이 대부분의 학생들에게 향상된 학습효과를 산출하는가를 조사하였다. 이를 위해 서울, 강원, 광주 지역 소재 6개 초등학교에서 5학년 학생 373명과 교사 17명이 연구에 참여하였다. 초등학교 5학년의 태양계와 별 단원에서 지구의 운동과 태양계 관련 내용을 포함하는 적응적 교수활동을 개발하고, 교수활동 사전과 사후에 순위 선다형 문항(13개)으로 구성된 검사지를 투입하여 그 결과를 비교 분석하였다. 구인 타당도를 알아보기 위해 실험군 학생들을 대상으로 사전과 사후의 수준 변화를 분석한 결과, 약 64%에 해당하는 학생들이 적응적 교수활동에 의해 가설적으로 설정한 경로를 따라 발달하는 것으로 나타났으며, 사전/사후 검사 결과를 Rasch 모델로 적용한 분석 결과도 이를 뒷받침하였다. 결과 타당도를 알아보기 위해 실험군과 대조군의 사전검사를 공변량으로 한 공변량분석(ANCOVA)을 실시한 결과, 실험군 학생들의 수준 향상이 대조군 학생들의 경우에 비해 비해 통계적으로 유의미하게 높은 것으로 나타났으며(F=30.819, p=0.000), 실험군이 대조군보다 정적(+) 수준 변화 경향이 더 뚜렷하게 나타났다. 또한, Rasch 모델을 적용하여 결과 타당도를 검증한 결과, 실험군이 대조군보다 학생 능력치 상승이 더 높게 나타났으며, 이러한 차이는 통계적으로 유의미한 것으로 분석되었다(F=11.632, p=0.001).
이 연구는 '지구의 운동과 태양계' 학습 발달과정의 타당성을 2가지 측면에서 검증하고자 하였다: 첫 번째는 구인 타당도로서 학생들이 학습하는 동안에 본 연구의 학습 발달과정에서 설정한 가설적인 발달 경로에 따라 실제로 학생들의 발달이 나타나는가를 조사하였다. 두 번째는 결과 타당도로서 학습 발달과정에 기반한 적응적 교수활동이 대부분의 학생들에게 향상된 학습효과를 산출하는가를 조사하였다. 이를 위해 서울, 강원, 광주 지역 소재 6개 초등학교에서 5학년 학생 373명과 교사 17명이 연구에 참여하였다. 초등학교 5학년의 태양계와 별 단원에서 지구의 운동과 태양계 관련 내용을 포함하는 적응적 교수활동을 개발하고, 교수활동 사전과 사후에 순위 선다형 문항(13개)으로 구성된 검사지를 투입하여 그 결과를 비교 분석하였다. 구인 타당도를 알아보기 위해 실험군 학생들을 대상으로 사전과 사후의 수준 변화를 분석한 결과, 약 64%에 해당하는 학생들이 적응적 교수활동에 의해 가설적으로 설정한 경로를 따라 발달하는 것으로 나타났으며, 사전/사후 검사 결과를 Rasch 모델로 적용한 분석 결과도 이를 뒷받침하였다. 결과 타당도를 알아보기 위해 실험군과 대조군의 사전검사를 공변량으로 한 공변량분석(ANCOVA)을 실시한 결과, 실험군 학생들의 수준 향상이 대조군 학생들의 경우에 비해 비해 통계적으로 유의미하게 높은 것으로 나타났으며(F=30.819, p=0.000), 실험군이 대조군보다 정적(+) 수준 변화 경향이 더 뚜렷하게 나타났다. 또한, Rasch 모델을 적용하여 결과 타당도를 검증한 결과, 실험군이 대조군보다 학생 능력치 상승이 더 높게 나타났으며, 이러한 차이는 통계적으로 유의미한 것으로 분석되었다(F=11.632, p=0.001).
The purpose of this study is to validate learning progressions for Earth's motion and solar system from two different perspectives of validity. One is construct validity, that is whether a hypothetical pathway derived from our study of LPs is supported by empirical evidence of children's substantive...
The purpose of this study is to validate learning progressions for Earth's motion and solar system from two different perspectives of validity. One is construct validity, that is whether a hypothetical pathway derived from our study of LPs is supported by empirical evidence of children's substantive development. The other is consequential validity, which refers to the impact of LP-based adaptive instruction on children's improved learning outcomes. For this purpose, 373 fifth-grade students and 17 teachers from six elementary schools in Seoul, Kangwon province, and Gwangju participated. We designed LP-based adaptive instruction modules delving into the unit of 'Solar system and stars.' We also employed 13 ordered multiple-choice items and analyzed the transitions of children's achievement levels based on the results of pre-test and post-test. For testing construct validity, 64 % of children in the experimental group showed improvement according to the hypothetical pathways. Rasch analysis also supports this results. For testing consequential validity, the analysis of covariance between experimental and control groups revealed that the improvement of experimental group is significantly higher than the control group (F=30.819, p=0.000), and positive transitions of children's achievement level in the experimental group are more dominant than in the control group. In addition, the findings of applying Rasch model reveal that the improvement of students' ability in the experimental group is significantly higher than that of the control group (F=11.632, p=0.001).
The purpose of this study is to validate learning progressions for Earth's motion and solar system from two different perspectives of validity. One is construct validity, that is whether a hypothetical pathway derived from our study of LPs is supported by empirical evidence of children's substantive development. The other is consequential validity, which refers to the impact of LP-based adaptive instruction on children's improved learning outcomes. For this purpose, 373 fifth-grade students and 17 teachers from six elementary schools in Seoul, Kangwon province, and Gwangju participated. We designed LP-based adaptive instruction modules delving into the unit of 'Solar system and stars.' We also employed 13 ordered multiple-choice items and analyzed the transitions of children's achievement levels based on the results of pre-test and post-test. For testing construct validity, 64 % of children in the experimental group showed improvement according to the hypothetical pathways. Rasch analysis also supports this results. For testing consequential validity, the analysis of covariance between experimental and control groups revealed that the improvement of experimental group is significantly higher than the control group (F=30.819, p=0.000), and positive transitions of children's achievement level in the experimental group are more dominant than in the control group. In addition, the findings of applying Rasch model reveal that the improvement of students' ability in the experimental group is significantly higher than that of the control group (F=11.632, p=0.001).
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
(2009)이 제시한 바와 같이 “제안된 가설적인 학습발달 경로의 적절성을 검증하기 위한 증거를 얼마나 모을 수 있는가, 그리고 제안된 학습의 발달 경로에 대한 가설이 실제로 학습자의 발달 경로에 대한 결과를 산출하는데 효과적인가”(Corcoran et al., 2009, p. 41)를 검증하고자 하였다.
이 연구는 Maeng et al.(2014)의 선행연구를 통해 수행된 천문 시스템 학습 발달과정 개발의 후속 연구로서, 이전 연구에서 개발된 1차 학습 발달과정에 대한 반복 연구를 통해 더욱 심도 있는 타당성을 확보하기 위한 것이다. 선행 연구에서 도출된 천문 시스템 학습 발달과정은 학습 평가의 결과만을 바탕으로 도출된 1차적인 결과물이다.
선행 연구에서 개발된 학습 발달과정의 구인 타당도와 결과 타당도를 검증하기 위해 Table 4와 같이 서울, 강원, 광주 지역 소재 6개 초등학교 5학년 학생들과 지도 교사들이 참여하였다. 3개 지역에서 2개 학교씩, 모두 6개 학교를 선정하였으며, 각 학교마다 동일 학년에서 대조군을 선정함으로써 적응적 교수활동 이외의 다른 변인에 의한 효과를 최소화하고자 하였다. 강원의 N 학교는 실험군으로 2개 반이 선정되었으나, 수업 진도 차이 문제로 동시에 수업 진행을 할 수 없어 대조군을 선정하지 못하였다.
이 연구에서 수행하는 학습발달과정의 타당화 과정의 첫 번째는 구인 타당도(construct validity)로서 학생들이 해당하는 주제를 학습하는 동안에 학습 발달과정으로 제시한 가설적인 발달 경로가 실제로 나타나는가, 즉 경험적 연구의 결과로 도출된 학습 발달과정이 실질적인 발달의 구인으로서 학습 발달 경로를 나타내는지를 알아보는 것이다. 두 번째는 결과 타당도(consequential validity)로서 학습 발달과정을 바탕으로 고안한 적응적 교수활동이 대부분의 학생들에게 향상된 학습효과를 산출하는가, 즉 연구의 결과로 도출된 학습 발달과정이 기대하는 결과를 가져오는지 여부를 알아보는 것이다.
따라서 이 연구에서는 선행 연구로 도출된 가설적 학습 발달과정에 근거하여 적응적 교수활동(adaptive instruction, Corcoran & Silander, 2009)을 개발하고 이를 실제 수업에 적용하고, 수정된 학습 평가를 실시하여 더욱 경험적이고 구체적인학습 발달의 과정을 탐색하고자 하였다.
이 연구에서는 지구의 운동과 태양계 학습 발달과정의 타당성을 구인 타당도와 결과 타당도 측면에서 검증함으로써 학습 발달과정이 포함하고 있는 가설적인 발달 경로에 대해 경험적인 근거를 제공하고자 하였으며, 학습 발달과정이 학습 결과에 미치는 교수학적 효과성에 대해 알아보고자 하였다. 연구 결과 다음과 같은 결론을 도출할 수 있었다:
참여 교사들은 학습 평가의결과를 토대로 초등학교 5학년 ‘태양계와 별’ 단원의 수업에서 활용할 다양한 교수활동을 개발하며 연구자들은 개발된 교수활동을 검토하고 자문하였다.
제안 방법
(2014)에 의해 개발된 천문 시스템 학습 발달과정 중 ‘지구의 운동과 태양계’ 부분의 타당성을 검증하기 위해 초등학교 5학년 지구의 운동과 태양계 관련 단원을 대상으로 적응적 교수활동을 개발하고, 교수활동 사전과 사후에 평가 문항을 적용하여 그 결과를 비교⋅분석하였다.
학습 발달과정을 바탕으로 고안한 적응적 교수활동이 대부분의 학생들에게 향상된 학습효과를 산출하는 정도를 조사하기 위하여 실험군과 대조군에서 나타나는 학생 수준의 변화를 비교, 분석하여 두 집단 간 차이의 통계적 유의성을 검증하였다. 또한 문항 반응 이론에 기반한 Rasch 모델을 적용하여 13개 순위 선다형 문항에 대한 실험군과 대조군 학생들의 응답 반응을 비교하였다.
추리 통계는 실험군에서 처치된 적응적 교수활동의 통계적 유의성(significance)을 검증하기 위한 것이므로 실험군과 대조군의 사전 검사를 공변량(covariance)하는 공변량분석(ANCOVA)을 실시하였다. 또한, Rasch 모델을 적용하여 사전과 사후에 각각문항의 곤란도와 피험자 능력간의 관계를 나타내는 Wright map을 산출함으로써 실험군과 대조군을 비교하였다.
실험군으로 참여한 교사들은 수업 처치 이전에 4∼5주에 걸쳐 연구진들과 교사 학습 공동체 모임을 통해 태양계와 별 단원에 대한 적응적 교수활동을 개발하는 과정을 거쳤다.
이 연구에서 수행하는 학습발달과정의 타당화 과정의 첫 번째는 구인 타당도(construct validity)로서 학생들이 해당하는 주제를 학습하는 동안에 학습 발달과정으로 제시한 가설적인 발달 경로가 실제로 나타나는가, 즉 경험적 연구의 결과로 도출된 학습 발달과정이 실질적인 발달의 구인으로서 학습 발달 경로를 나타내는지를 알아보는 것이다.
지구의 운동과 태양계 학습 발달과정의 타당성을 검증하기 위해서 학생들의 학습이 학습 발달과정의 경로에 따라 구현되는지(구인 타당도), 그리고 고안한 적응적 교수활동을 통해 학습 발달과정의 결과가 도출되는지(결과 타당도) 검사할 수 있는 평가 문항이 필요하다. 이를 위해 Table 5와 같이 13개의 순위 선다형(ordered multiple-choice, 이하 OMC) 문항으로 구성된 검사지를 개발하였다. OMC 문항은 앞서 Table 1에 제시한 지구의 운동과 태양계 학습 발달과정의 내용에 따라 위계를 가지고 순위적으로 서술된 선택지(options)를 통해 학생들의 학습 양상을 평가하기 위해 제안된 선다형 문항의 특수한 형태이다(Briggs et al.
학습 발달과정 연구의 결과로 제시한 가설적인 발달 경로가 적절한 교수활동에 의해 대부분의 학생들에게 실제로 나타나는지 알아보기 위하여 적응적 교수활동을 적용한 실험군 학생들을 대상으로 교수활동 사전-사후 평가 결과를 비교하여 학습 도달 수준이 향상된 학생들의 비율을 조사하였다.
학습 발달과정의 결과 타당도 검증은 학습 발달과정을 바탕으로 고안한 적응적 교수활동이 대부분의 학생들에게 향상된 학습효과를 산출하는 정도, 즉 학습 발달과정에 기반한 적응적 교수활동의 효과를 분석하는 것이므로 실험군과 대조군에서 나타나는 학생 수준의 변화를 비교, 분석하였다. 기술 통계를 활용한 구인 타당도 분석과 달리, 결과 타당도 분석을 위해서는 기술통계에 추가하여 추리 통계기법을 적용하였다.
학습 발달과정의 결과 타당도로서 학습 발달과정을 바탕으로 고안한 적응적 교수활동이 학생들의 학습 발달에 대한 기대하는 결과를 도출하는지 여부를 검증하기 위하여, 연구에 참여한 초등학교 교사들과 연구진들이 교사 학습 공동체(teachers learning community)를 구성하였다. 공동체 모임을 통해 연구자들이 교사들의 교수활동 개발과정에 적절히 개입(intervention)함으로써 참여 교사들이 적응적 교수활동을 효과적으로 개발할 수 있도록 도와주었다.
학습 발달과정의 구인 타당도 검증은 학생들이 태양계와 별 단원을 학습하는 동안에 학습 발달과정에서 설정한 경로에 따라 실제로 학생들의 발달이 나타나는가를 분석하는 것이므로 실험군만을 대상으로 하였으며, 검사 문항별로 단원 수업 전과 후의 학생 수준의 변화를 상향, 중립, 및 하향 변화의 빈도에 근거한 기술통계 분석을 실시하였다. 또한, 검사 문항으로 적용한 OMCs의 각 문항별로 선택지의 곤란도 수준에 따라 학생들의 문항 해결 능력을 문항반응이론(item response theory)의 한 갈래인 Rasch 모델(Liu, 2010; Bond & Fox, 2007; Masters, 1982; Ji & Chae, 2000)을 적용하여 학생들의 발달과정을 분석하였다.
대상 데이터
구인 타당도와 결과 타당도의 두 가지 측면에서 지구의 운동과 태양계 학습 발달과정의 타당성을 검증하기 위해 Figure 4와 같이 실험 연구를 설계하였다. 6개 초등학교에서 7명의 5학년 참여교사를 실험군으로 설정하고, 동일 학교와 학년에서 10명의 참여 교사를 대조군으로 설정하였다. 실험군으로 참여한 교사들은 수업 처치 이전에 4∼5주에 걸쳐 연구진들과 교사 학습 공동체 모임을 통해 태양계와 별 단원에 대한 적응적 교수활동을 개발하는 과정을 거쳤다.
선행 연구에서 개발된 학습 발달과정의 구인 타당도와 결과 타당도를 검증하기 위해 Table 4와 같이 서울, 강원, 광주 지역 소재 6개 초등학교 5학년 학생들과 지도 교사들이 참여하였다. 3개 지역에서 2개 학교씩, 모두 6개 학교를 선정하였으며, 각 학교마다 동일 학년에서 대조군을 선정함으로써 적응적 교수활동 이외의 다른 변인에 의한 효과를 최소화하고자 하였다.
데이터처리
학습 발달과정의 결과 타당도 검증은 학습 발달과정을 바탕으로 고안한 적응적 교수활동이 대부분의 학생들에게 향상된 학습효과를 산출하는 정도, 즉 학습 발달과정에 기반한 적응적 교수활동의 효과를 분석하는 것이므로 실험군과 대조군에서 나타나는 학생 수준의 변화를 비교, 분석하였다. 기술 통계를 활용한 구인 타당도 분석과 달리, 결과 타당도 분석을 위해서는 기술통계에 추가하여 추리 통계기법을 적용하였다. 추리 통계는 실험군에서 처치된 적응적 교수활동의 통계적 유의성(significance)을 검증하기 위한 것이므로 실험군과 대조군의 사전 검사를 공변량(covariance)하는 공변량분석(ANCOVA)을 실시하였다.
이와 같은 두 집단 간 차이의 통계적 유의성을 판단하기 위하여 전체 학생들의 사전/사후 검사 결과를 Rasch 모델로 측정하여 얻은 학생들의 능력을 로지트 값으로 환산하였다. 그리고 사전 검사에서 얻은 학생들의 능력 로지트 값을 공변인으로 하여 공변량분석을 실시한 결과(Table 11), 실험군 학생들의 평균 능력이(로지트 값) 대조군에 비해 통계적으로 매우 유의미하게 향상된 것으로 분석되었다.
기술 통계를 활용한 구인 타당도 분석과 달리, 결과 타당도 분석을 위해서는 기술통계에 추가하여 추리 통계기법을 적용하였다. 추리 통계는 실험군에서 처치된 적응적 교수활동의 통계적 유의성(significance)을 검증하기 위한 것이므로 실험군과 대조군의 사전 검사를 공변량(covariance)하는 공변량분석(ANCOVA)을 실시하였다. 또한, Rasch 모델을 적용하여 사전과 사후에 각각문항의 곤란도와 피험자 능력간의 관계를 나타내는 Wright map을 산출함으로써 실험군과 대조군을 비교하였다.
학습 발달과정을 바탕으로 고안한 적응적 교수활동이 대부분의 학생들에게 향상된 학습효과를 산출하는 정도를 조사하기 위하여 실험군과 대조군에서 나타나는 학생 수준의 변화를 비교, 분석하여 두 집단 간 차이의 통계적 유의성을 검증하였다.
이론/모형
또한, 검사 문항으로 적용한 OMCs의 각 문항별로 선택지의 곤란도 수준에 따라 학생들의 문항 해결 능력을 문항반응이론(item response theory)의 한 갈래인 Rasch 모델(Liu, 2010; Bond & Fox, 2007; Masters, 1982; Ji & Chae, 2000)을 적용하여 학생들의 발달과정을 분석하였다.
Figure 6 및 Figure 7과 다른 것은 세로선 오른쪽의 문항 곤란도를 선택지 수준별로 나타내지 않고 문항별 각 선택지들의 평균 곤란도를 계산하여 표시한 것이다. 이 연구에서 사용한검사 문항들이 OMCs 형태이므로 검사 결과를 Rasch 모델을 적용하여 분석할 때 부분점수 모형(partial credit model, Masters, 1982)을 이용하였다. 부분점수 모형에서 문항의 곤란도는 Figure 6과 Figure 7과 같이 선택지별 곤란도로 표시할 수도 있고, 문항의 평균 곤란도를 표시할 수도 있다.
성능/효과
Figure 9는 사전/사후 검사에서 수준이 상향 변화된 학생 수의 비율을 문항별로 비교한 것이다. 7번과 9번 문항을 제외한 나머지 모든문항에서 실험군의 상향 수준 변화 비율이 대조군에 비해 높게 나타났으며, 문항 전체적으로는 실험군이 40%, 대조군이 34%의 비율을보였다. 대체로 지구의 운동 주제를 다룬 1번∼8번 문항들에 대한 실험군과 대조군의 상향 변화 비율이 태양계 주제를 다룬 9번∼13번 문항들에 비해 그 차이가 더 큰 것을 볼 수 있다.
학습 발달과정의 결과 타당도로서 학습 발달과정을 바탕으로 고안한 적응적 교수활동이 학생들의 학습 발달에 대한 기대하는 결과를 도출하는지 여부를 검증하기 위하여, 연구에 참여한 초등학교 교사들과 연구진들이 교사 학습 공동체(teachers learning community)를 구성하였다. 공동체 모임을 통해 연구자들이 교사들의 교수활동 개발과정에 적절히 개입(intervention)함으로써 참여 교사들이 적응적 교수활동을 효과적으로 개발할 수 있도록 도와주었다. 세 지역의 교사학습 공동체 모임은 참여 교사 2∼3명과 연구자 1∼2명으로 구성하여 각 지역별로 독립적으로 진행하였으며, Figure 1과 같은 4 단계의 동일한 과정을 거쳤다:
이와 같은 두 집단 간 차이의 통계적 유의성을 판단하기 위하여 전체 학생들의 사전/사후 검사 결과를 Rasch 모델로 측정하여 얻은 학생들의 능력을 로지트 값으로 환산하였다. 그리고 사전 검사에서 얻은 학생들의 능력 로지트 값을 공변인으로 하여 공변량분석을 실시한 결과(Table 11), 실험군 학생들의 평균 능력이(로지트 값) 대조군에 비해 통계적으로 매우 유의미하게 향상된 것으로 분석되었다.
전체적으로 볼 때, 사전 검사에서 실험군과 대조군의 수준 1∼수준 4에 해당하는 학생들의 인원 비율이 거의 비슷하였으나 사후 검사에는 차이가 남을 알 수 있다. 대조군의 사전/사후 검사에서 4수준에 해당하는 학생들의 비율이 32%에서33%로 1% 포인트 증가했으나, 실험군의 사전/사후 검사는 4수준에 해당하는 학생들의 비율이 30%에서 40%로 10% 포인트 증가하였다.
0 정도를 나타낸다. 두 집단 모두 수업 처치 후 학생들의 능력 평균값이 향상되었지만, 대조군에 비해 실험군이 더 높은 평균값을 보였다.
둘째, 결과 타당도 검증을 위해 지구의 운동과 태양계 학습 발달과정에 기반한 교수활동이 교과서에 근거한 전통적인 교수활동에 비해 학생들에게 향상된 학습효과를 산출하는가를 알아본 결과, 전체적으로 실험군에서 처치된 적응적 교수활동이 대조군에서 적용된 기존의 일반적 교수활동에 비해 통계적으로 유의미하게 학생들의 수준을 상향 변화시킨 것으로 나타났다. 또한, Rasch 모델을 적용한 결과에서도실험군 학생들의 평균 능력이 대조군 학생들에 비해 통계적으로 유의미하게 향상되는 것으로 나타났다.
학교별로는 S 학교를 제외한 4개 학교에서 실험군의 학생수준이 대조군보다 통계적으로 유의미하게 높은 것으로 분석되었는데, B 학교가 가장 유의미한 차이가 있었으며, 그 다음은 C, Y, K 학교 순으로 나타났다. 또한, 5개 학교 전체를 합한 경우에서 통계적으로 유의미한 차이가 있는 것으로 나타났다. 이와 같은 결과는 Figure 8과 Table 8에 제시한 학생들의 수준별 변화 양상에 대한 빈도분석의 기술 통계 결과를 바탕으로 학습 발달과정에 기반한 적응적 교수활동이 학생들의 수준을 상향 변화시키는데 매우 효과적이라는 주장을 통계적으로 증명해 주는 것이다.
둘째, 결과 타당도 검증을 위해 지구의 운동과 태양계 학습 발달과정에 기반한 교수활동이 교과서에 근거한 전통적인 교수활동에 비해 학생들에게 향상된 학습효과를 산출하는가를 알아본 결과, 전체적으로 실험군에서 처치된 적응적 교수활동이 대조군에서 적용된 기존의 일반적 교수활동에 비해 통계적으로 유의미하게 학생들의 수준을 상향 변화시킨 것으로 나타났다. 또한, Rasch 모델을 적용한 결과에서도실험군 학생들의 평균 능력이 대조군 학생들에 비해 통계적으로 유의미하게 향상되는 것으로 나타났다. 이와 같은 결과는 학습 발달과정에 기반한 적응적 교수활동이 학생들의 수준을 상향 변화에 매우 효과적이었음을 말해주는 것으로, 학습 발달을 도와주는 지도(map)로서 학습 발달과정의 활용 가능성이 확인 것으로 볼 수 있다.
즉, 실험군의경우는 대조군에 비해 사전 검사에서 4수준에 해당했던 학생들이 그 수준을 계속 유지하였고(16%), 그 아래 수준에 해당하는 학생들이 대조군에 비해 4수준으로 더 많이 향상했음을 알 수 있다. 또한, 실험군의 사전/사후 검사에서 1수준의 비율이 18%에서 11%로 7% 포인트 감소하고, 2수준도 26%에서 23%로 감소한 반면, 대조군의 사전/사후검사는 1수준이 19%에서 16%로 3% 포인트 감소하였으나 2수준은 오히려 24%에서 25%로 소폭 증가하는 양상을 보였다. 대조군의 사후검사에서 2수준에 해당하는 학생의 비율이 소폭 증가한 것은 1수준에서 2수준으로 향상한 비율이 5%인 반면, 2수준을 그대로 유지한 학생들의 비율이 9%, 3수준과 4수준에서 2수준으로 하향 변화한 학생들의 비율이 각각 5%와 6%로 비교적 높게 나타난 것에 기인한다고 보인다.
문항 전체적으로는 p< .01 수준에서 통계적으로 유의미한 차이가 나타났으나, 13개 문항 중 7개 문항의 경우는 실험군과 대조군의 차이가 유의미하지 않은 것으로 분석되었다.
문항별로 살펴보면, 실험군의 경우 사전 검사에서 3번 문항(하루동안 달의 겉보기 운동)이 다른 문항에 비해 상대적으로 곤란도가 높았는데 사후 검사에서는 다른 문항과 비교할 때 평균적인 곤란도를 나타냈다. 이 문항은 지구 자전에 의한 달의 위치 변화에 대해 공간적 사고를 바탕으로 달의 겉보기 운동을 이해하는 것인데 실험군에 처치했던 적응적 교수활동에서 공간적 사고를 강조한 결과 이 문항에 대해 학생들이 상대적으로 곤란도를 적게 느끼게 된 것으로 볼 수 있다.
셋째, 타당도 검증 과정에서 지구의 운동 내용(영역)에 해당되는 문항의 경우는 태양계 내용에 해당되는 문항들에 비해 결과 타당도가 상대적으로 높게 나타났는데, 이는 문항 내용 수준 자체의 차이에도 그 원인이 있겠지만 문항 해결을 위해 요구되는 기능인 천문학적 사고(astronomical thinking, Maeng et al., 2014) 중 공간적 사고와 시스템 사고의 차이에서 기인된 것으로 판단된다. 즉 지구의 운동 영역이주로 공간적 사고 기능을 요구하고 있고, 태양계 영역이 주로 시스템사고 기능을 요구하고 있는 데, 교사의 적응적 교수활동이 시스템사고에 비해 공간적 사고의 향상에 주로 초점을 두었음을 시사한다.
실험군 학생들의 문항 반응 결과를 Rasch 모델로 분석한 결과, 사전 검사에서 학생들의 능력 평균값은 약 1.0 부근에 위치하여 선택지 수준 3의 ‘중상’ 또는 선택지 수준 4의 ‘하’의 위치에 있었으며, 사후검사에서 학생들의 능력 평균값은 1.0을 약간 상회하여 선택지 수준 3의 ‘상’ 또는 선택지 수준 4의 ‘중’ 정도의 위치로 약간 향상되었다.
대조군의 경우 3번 문항과 6번 문항의 상대적 곤란도는 사전 검사와 사후 검사에서 그 변화가 크지 않았다. 이러한 결과는 대조군에 비해 실험군에서 공간적 사고를 강조한 적응적 교수활동의 효과가 특히 달의 일주운동과 별자리의 연주운동 주제에 대하여 크게 나타남을 보여준다. 반면에 시스템 사고가 반영된 9번∼11번 문항들은 실험군과 대조군에서 모두 상대적 곤란도의 변화가 사전/사후 검사 결과에서 뚜렷하지 않았다.
첫째, 구인 타당도 검증을 위해 지구의 운동과 태양계 학습 발달과정에서 설정한 가설적인 발달 경로가 적절한 교수활동에 의해 학생들에게 실제로 나타나는가를 알아본 결과, 13개 문항에 대해 실험군학생들 중 약 40%가 성취 도달 수준의 상향 변화하였고, 24%의 학생들이 상위 수준(3수준과 4수준)에서 중립을 나타냈다. 이를 통해 이 연구에서 제안했던 지구의 운동과 태양계 학습 발달과정에서 설정한 가설적 발달 경로가 교사의 적절한 교수활동에 의해 유효하게 나타난다고 주장할 수 있으며, 지구의 운동과 태양계에 대한 학습 발달과정의 구인 타당도를 검증하였다. 그러나 이와 같은 결과는 학생들의 학습 발달 경로가 결코 선형적이지 않으며, 중간 단계에서 다양한 변이(variation)가 있을 수 있다는 Alonzo & Steedle(2009)의 주장을 뒷받침하는 것으로서, 이후 반복적인 타당화 과정(iterative validating process)을 통해 지구의 운동과 태양계 학습 발달과정을 보다 정교화할 필요가 있음을 시사한다.
전체적으로 볼 때, 사전 검사에서 실험군과 대조군의 수준 1∼수준 4에 해당하는 학생들의 인원 비율이 거의 비슷하였으나 사후 검사에는 차이가 남을 알 수 있다.
예를 들어, 3번 문항의 경우는 4수준에서 4수준으로 이동한 학생들의 비율이 가장 크며, 10번 문항의 경우는 2수준에서 2수준으로 이동한, 즉 수준의 변화가 없는 중립에 해당하는 학생들의 비율이 압도적으로 가장 크다. 전체적으로 살펴볼 때, 3번 문항의 경우는 10번 문항에 비해 1수준과 3수준에서 4수준으로 상향 변화된 학생들의 비율이 상대적으로 높으며, 4수준과 3수준에서1수준으로 하향 변화된 학생들의 비율이 낮음을 알 수 있다.
Table 6은 적응적 교수활동의 사전과 사후에 실험군 학생들의 수준변화를 상향, 중립, 하향으로 구분하여 문항별로 정리한 것이다. 지구의 운동과 태양계 주제에 대한 학습 발달과정에서 설정한 가설적 발달경로에 따라 수준이 상향 변화된 비율은 평균 40%였으며, 사전과 사후에 수준의 변화가 없는 중립의 경우는 평균 37%, 사후에 수준이 낮아진 하향 변화의 경우는 평균 23%를 차지하였다. Table 7은 사전과 사후에 수준의 변화 양상의 비율을 사례별로 나타낸 것이다.
첫째, 구인 타당도 검증을 위해 지구의 운동과 태양계 학습 발달과정에서 설정한 가설적인 발달 경로가 적절한 교수활동에 의해 학생들에게 실제로 나타나는가를 알아본 결과, 13개 문항에 대해 실험군학생들 중 약 40%가 성취 도달 수준의 상향 변화하였고, 24%의 학생들이 상위 수준(3수준과 4수준)에서 중립을 나타냈다. 이를 통해 이 연구에서 제안했던 지구의 운동과 태양계 학습 발달과정에서 설정한 가설적 발달 경로가 교사의 적절한 교수활동에 의해 유효하게 나타난다고 주장할 수 있으며, 지구의 운동과 태양계에 대한 학습 발달과정의 구인 타당도를 검증하였다.
Table 9는 실험군과 대조군의 차이의 유의성을 판단하기 위해 학생들의 사전 수준을 공변인으로 하는 공변량분석을 실시한 결과를 나타낸 것이다. 학교별로는 S 학교를 제외한 4개 학교에서 실험군의 학생수준이 대조군보다 통계적으로 유의미하게 높은 것으로 분석되었는데, B 학교가 가장 유의미한 차이가 있었으며, 그 다음은 C, Y, K 학교 순으로 나타났다. 또한, 5개 학교 전체를 합한 경우에서 통계적으로 유의미한 차이가 있는 것으로 나타났다.
후속연구
그러나 이와 같은 결과는 학생들의 학습 발달 경로가 결코 선형적이지 않으며, 중간 단계에서 다양한 변이(variation)가 있을 수 있다는 Alonzo & Steedle(2009)의 주장을 뒷받침하는 것으로서, 이후 반복적인 타당화 과정(iterative validating process)을 통해 지구의 운동과 태양계 학습 발달과정을 보다 정교화할 필요가 있음을 시사한다.
학습 발달과정 연구는 개발(development), 타당화(validation), 적용(application)이라는 반복적인 과정을 통해 지속적으로 수정되고 보완되어야 한다. 그러므로 이 연구에서의 타당화 결과를 토대로 교수연수 프로그램을 개발 및 적용을 통한 실행 연구(action research)가이어진다면 이 연구가 보다 의미를 가질 수 있을 것으로 기대한다.
둘째, 효과적인 적응적 교수활동 또는 PCK 발달의 근거로서 학습발달과정의 역할이 보다 심층적으로 탐색될 필요가 있다. 학습 발달과정은 단순히 학생들의 학업 성취 여부를 판단하는 것이 아닌 학생들의 문제점이 무엇인지, 이를 해결하기 위해 교사는 어떻게 해야하는지 도와주는 도구가 되어야 한다.
반면에 시스템 사고가 반영된 9번∼11번 문항들은 실험군과 대조군에서 모두 상대적 곤란도의 변화가 사전/사후 검사 결과에서 뚜렷하지 않았다. 이러한 특징은 이 연구에서 처치했던 적응적 교수활동이 시스템 사고보다는 공간적 사고를 수행하는데 더 효과가 있었으며, 차후 적응적 교수활동을 수정할 때 시스템사고의 수행 능력 향상을 더욱 강조할 필요가 있음을 말해준다.
질의응답
핵심어
질문
논문에서 추출한 답변
학습 발달과정의 타당성 검증이 갖는 특징은 무엇인가?
학습 발달과정의 타당성 검증은 과학 이론(가설)을 검증하는 것과 유사하다. 일회적인 평가를 통해 검증되는 것이 아니라 반복적인 과정(iterative process)을 통해 가설적 학습 발달과정에 대한 확신을 증가시키는 과정이다. 이에 근거하여 이 연구에서는 Maeng et al.
다이어그램이란 무엇인가?
Figure 6과 Figure 7은 13개 평가 문항에 대한 실험군 학생들의 사전(Figure 6)과 사후(Figure 7) 응답 반응을 Rasch 모델을 적용하여분석한 것이다. 이와 같은 다이어그램을 Wright map이라고 하는데, 문항의 곤란도와 피험자의 능력을 동일한 로그 스케일의 확률 값 즉, 로지트(logit, log-odds unit) 단위로 환산하여 하나의 맵에 표시한 것이다. 두 그림에서 왼쪽의 “MEASURE” 값들(3, 2, 1, 0, -1, -2, -3)은 피험자의 능력과 문항의 곤란도를 고려하여 계산한 로지트 값을 나타낸 것이고, 세로선 왼편의 “PERSON” 아래에 있는 ‘#’ 표시와 ‘.
NRC가 말하는 학습 발달과정이란?
학습 발달과정(learning progressions)은 “학생들이 한 주제에 대해 오랜 기간 동안 탐구하고 학습함에 따라 그 주제에 대한 이해 및 관련된 사고 능력이 순차적으로 점점 더 정교해지는 경로들을 기술한 것”(National Research Council[NRC], 2007)으로서, 학년이 올라감에 따라 저절로 획득되는 발달이 아니라, 과학 교사의 적절한 교수활동의 도움을 받아 형성되는 발달(instruction-assisted development)을 의미한다(Corcoran et al., 2009).
참고문헌 (24)
Alonzo, A. C., & Steedle, J. T. (2009). Developing and assessing a force and motion learning progression. Science Education, 93(3), 389-421.
Alonzo, A. C., Neidorf, T., & Anderson, C. W. (2012). Using learning progression to inform large-scale assessment. In Alonzo, A. C., & Gotwals, A. W. (Eds.). Learning science in science: Current challenges and future directions (pp. 211-240). Rotterdam, The Netherlands: Sense Purblishers.
Bond, T. G., & Fox, C. M. (2007). Applying the Rasch model: Fundamental measurement in the human sciences (2nd edtion). New York, NY: Routledge.
Briggs, D. C., Alonzo, A. C., Schwab, C., & Wilson, M. (2006). Diagnostic assessment with ordered multiple-choice items. Educational Assessment, 11(1), 33-63.
Corcoran, T., & Silander, M. (2009). Instruction in high schools: The evidence and the challenge. The Future of Children: America's High Schools, 19, 157-183.
Corcoran, T., Mosher, F. A., & Rogat, A. (2009). Learning progressions in science: An evidence-based approach to reform. Consortium for Policy Research in Education Report #RR-63. Philadelphia, PA: Consortium for Policy Research in Education.
Ji, E., & Chae, S. (2000). Theory and practices of Rasch model. Seoul: Kyoyook-Kwahak-Sa.
Kim, Y., Lee, K., Maeng, S., & Lee, J. (2014). Development of assessment items for learning progressions on cross-cutting concepts and its application to physics and Earth science. Report submitted to Korea Foundation for the Advancement of Science & Creativity.
Krajcik, J. S. (2012). The importance, cautions and future of learning progression research. In Alonzo, A. C., & Gotwals, A. W. (Eds.). Learning science in science: Current challenges and future directions (pp. 27-36). Rotterdam, The Netherlands: Sense Purblishers.
Liu, X. (2010). Using and developing measurement instruments in science education: A Rasch modeling approach. Charlotte, NC: Information Age Publishing Inc.
Maeng, S., & Lee, K. (2015). Cross-sectional item response analysis of geocognition assessment for the development of plate tectonics learning progressions: Rasch model. Journal of the Korean Earth Science Society, 35(1), 37-52.
Maeng, S., Lee, K., Park, Y., Lee, J., & Oh, H. (2014). Development and validation of a learning progression for astronomical system using ordered multiple-choice assessment. Journal of the Korean Association for Science Education, 34(8), 703-718.
Maeng, S., Seong, Y., & Jang, S. (2013). Present states, methodological features, and an exemplar study of the research on learning progressions. Journal of the Korean Association for Science Education, 33, 161-180.
Ministry of Education, Science, and Technology. (2011). 2009 revised science curriculum. Seoul: MEST.
National Research Council (NRC). (2006). Learning to think spatially. Washington, DC: National Academies Press.
National Research Council. (2007). Taking science to school: Learning and teaching science in grades K-8. (R.A. Duschl, H.A. Schweingruber, & A.W. Shouse, Eds.). Washington DC: The National Academies Press.
National Research Council. (2012). A framework for k-12 science education: Practices, crosscutting concepts, and core ideas. Committee on a Conceptual Framework for New K-12 Science Education Standards. Board on Science Education, Division of Behavioral and Social Sciences and Education. Washington, DC: The National Academies Press.
NGSS Lead States (2013). Next Generation Science Standards. Achieve, Inc.
Oh, H., Lee, K., Park, Y-S., Maeng, S., & Lee, J-A. (2015). An analysis of systems thinking revealed in middle school astronomy classes: The case of science teachers' teaching practices for the unit of stars and universe. Journal of Korean Earth Science Society, 36(6), 591-608.
Seong, Y., Maeng, S., & Jang, S. (2013). A learning progression for water cycle from fourth to sixth graders with ordered multiple-choice items. Elementary Science Education, 32(2), 139-158.
Shin, N., Koh, E. J., Choi, C. I., & Jeong, D. H. (2014). Using a learning progression to characterize Korean secondary students' knowledge and submicroscopic representations of the particle nature of matter. Journal of Korean Association for Science Education, 34(5), 437-447.
Wilson, M. (2009). Measuring progressions: Assessment structures underlying a learning progression. Journal of Research in Science Teaching, 46, 716-730.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.