선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이와 같은 상황에서 이 연구는 Siegel &Ranney(2003)가 개발한 CARS(Changes in Attitudes about the Relevance of Science)를 주목하고자 한다. 이 검사도구의 개발 목적은 학생들이 자신의 삶에서 어떠한 결정을 내릴 때 과학이 얼마나 연관이 되고 영향을 미치는 것인지에 인식을 확인하는데 있다. 예를 들어 학생들이 과학이 자신들의 건강 또는 환경에 관하여 보다 나은 결정을 내리는데 도움이 된다고 믿는가? 또는 과학적인 과정이 학생들의 좋은 결정들에 도움이 되는가? 에 대한 인식을 확인한다.
- 이 연구는 과학의 관련성 태도 변화 검사도구인 CARS의 59개 문항을 번역하고 라쉬 모델 등을 활용하여 우리나라 학생들에게 적용될 수 있는지에 관하여 타당도와 신뢰도를 확인하기 위하여 진행되었다. 또한 과학 관련성 인식에서 성별 및 학년별 차이를 비교 하였다.
- 근접한 난이도를 가진 문항을 두 CARS 버전에 균등하게 배분한다. 이렇게 배분된 두 CARS 세트가 비슷한 평가 기능을 보이는지 라쉬 모델 분석과 여러 통계 분석을 활용하여 확인하고자 한다.
- 이와 같은 상황에서 이 연구는 Siegel &Ranney(2003)가 개발한 CARS(Changes in Attitudes about the Relevance of Science)를 주목하고자 한다.
가설 설정
- 2. 학년별 및 성별에 따른 CARS 점수는 어떠한 차이가 있는가?
- 3. CARS 59개 문항으로 구성한 두 동형 검사 도구는 비슷한 평가 기능을 가지는가?
제안 방법
- 25개 문항으로 구성된 CARS-A와 CARS-B가 비슷한 특성을 보이는지 다양한 방법을 통하여 확인하였다. 먼저 라쉬 모델 분석을 통하여 신뢰도를 확인하였다.
- 이 과정에서 라쉬 모델 분석을 활용한 문항 연결 방법을 사용하였다. 59개 문항을 3개의 버전으로 구분하고, 각 버전마다 공통된 문항을 넣어서 공통문항의 특성을 근거로 59개 문항 전체를 비교하는 것이다. 이 방법은 많은 수의 문항을 분석하는데 매우 널리 사용되는 방법이다(McHorney & Cohen, 2000; Wolfe,1999).
- 설문지는 3 종류로 구성된다. CARS 공통문항(8문항)과 비공통문항(17문항)을 한 버전(25개 문항)로 하여 3 버전의 검사도구를 각 학생들에게 투입하였다. 학생들은 3가지 버전의 문항지 중 한 가지를 무작위로 받게 되었다.
- CARS 번역본의 타당도 및 신뢰도를 확인하기 위해 내적일관성 신뢰도(Cronbach alpha)를 확인하였으며, 라쉬 모델 분석에서 문항의 적합도(MNSQ), person reliability, item reliability를 확인하였다. 일반화 타당도를 확인하기 위하여DIF(differential item functioning) 차이값을 확인하였다.
- 그것을 확인하는 방법은 각 버전에서 나타나는 공통문항의 난이도가 일치하는 것이다. 그래서 각 버전의 연결 문항의 문항난이도 상관관계를 조사하였다. 각 버전에서 1번부터 8번까지는 공통문항으로 Version 1과 2에서의 공통문항 난이도 상관관계는 0.
- , 2014). 두 번째로 문항연결 방법을 사용한 것이다. 59개 문항은 한 학생이 전부 수행하기에는 상당히 힘들 정도로 많은 문항이다.
- 이 연구는 과학의 관련성 태도 변화 검사도구인 CARS의 59개 문항을 번역하고 라쉬 모델 등을 활용하여 우리나라 학생들에게 적용될 수 있는지에 관하여 타당도와 신뢰도를 확인하기 위하여 진행되었다. 또한 과학 관련성 인식에서 성별 및 학년별 차이를 비교 하였다. 마지막으로 문항의 적합성을 확인하여 우리나라 학생들에게 적용할 수 있는 두 형의 과학 관련성 인식 검사도구를 구성하였다.
- 이 결과들은 선행연구와 비교하였을 때에도 일치하는 것이다. 마지막으로 CARS 검사도구가 개발된 미국과 우리나라의 사회적ㆍ문화적 차이로 인한 우리나라 학생들의 문항 적합도를 확인하여 적합도가 낮은 문항을 삭제한 후 50개의 문항 중 난이도가 같은 문항들을 두 개로 구분하여 25개의 문항으로 구성된 CARS-A와 CARS-B를 구성하였다. 두 버전의 문항들을 라쉬 모델 분석을 활용하여 신뢰도 및 점수간 상관관계, Wright map의 유사함, 이원분산분석 결과의 유사함을 근거로 CARS-A와 CARS-B를 동형검사도구라 확신할 수 있다.
- 또한 과학 관련성 인식에서 성별 및 학년별 차이를 비교 하였다. 마지막으로 문항의 적합성을 확인하여 우리나라 학생들에게 적용할 수 있는 두 형의 과학 관련성 인식 검사도구를 구성하였다.
- 마지막으로 확인하고자 하는 연구 문제는 CARS의 59개 문항으로 동형의 문항세트를 구성할 수 있는가 하는 것이다. 교육효과를 측정하기 위한 많은 연구에서 가장 널리 활용되는 방법이 사전과 사후의 결과를 비교하는 것이다.
- 25개 문항으로 구성된 CARS-A와 CARS-B가 비슷한 특성을 보이는지 다양한 방법을 통하여 확인하였다. 먼저 라쉬 모델 분석을 통하여 신뢰도를 확인하였다. 먼저 Person reliability의 경우 전체문항은 0.
- 이와 같은 경우에 확인해야 되는 문항의 타당도가 일반화 타당도이다(Messick, 1995). 성차와 학년간 CARS 점수의 비교를 하기 전에 CARS의 일반화 타당도를 라쉬 모델 분석으로 확인할 것이다.
- CARS 검사도구는 총 59개 문항으로 구성되어 있으며, 이 문항들의 번역은 생물교육 전문가1인 과 2인의 생물교사에 의해 번역 및 확인되었다. 이 도구의 문항은 비교적 쉽고 간단한 문장으로 구성되어 있으며, 문항의 의미파악을 위하여 생물교사 2인이 초벌 번역한 후 생물교육 전문가 1인과 2인의 생물교사가 함께 모여 지속적인 수정 및 확인을 하였다. 최종적으로 확인된 문항은 다른 생물교육 전문가 2인에게 의뢰하여 확인되었다.
- 이 연구는 8개의 공통문항을 바탕으로 25개 문항씩 3개 버전의 검사도구를 투입한 뒤 모든 문항을 한 자료로 합치는 것이다. 모든 학생은 8문항은 공통으로 수행하였으며 그 외에 17개 문항은 3개 집단마다 다른 문항에 응답한 것이다.
- 이번 절에서는 학년별과 성별에 따른 CARS 점수를 비교하였다. 중학교 남학생의 Person measure의 평균은 –0.
- CARS 번역본의 타당도 및 신뢰도를 확인하기 위해 내적일관성 신뢰도(Cronbach alpha)를 확인하였으며, 라쉬 모델 분석에서 문항의 적합도(MNSQ), person reliability, item reliability를 확인하였다. 일반화 타당도를 확인하기 위하여DIF(differential item functioning) 차이값을 확인하였다. 성별과 학년별간 차이를 확인하기 위하여 two-way ANOVA를 사용하였다.
대상 데이터
- 중학생과 고등학생 모두 학년은 2학년이다. 787명의 학생들의 답변 중 모든 문항에 최극단의 번호로 일괄 응답한 56명을 제외한 중학교 300명(남학생-192명, 여학생-108명)과 고등학교 431명(남학생-358명, 여학생-73명)의 731명의 답변을 분석하였다. 설문지는 3 종류로 구성된다.
- 연구에 참여한 학생들은 중학교 세 곳과 고등학교 세 곳에서 수집한 총 787명의 자료이다. 중학생과 고등학생 모두 학년은 2학년이다.
데이터처리
- 일반화 타당도를 확인하기 위하여DIF(differential item functioning) 차이값을 확인하였다. 성별과 학년별간 차이를 확인하기 위하여 two-way ANOVA를 사용하였다.
이론/모형
- 타당도와 신뢰도를 확인하기 위해서 문항을 학생들에게 투입해야 되나 59개 문항은 한 학생이 수행하기에 상당히 많은 문항이다. 그래서 이 연구에서 사용한 방법은 문항 연결 방법(item linking)과 라쉬 모델 분석이다. 라쉬 모델은 문항의 난이도와 피평가자들의 능력(여기에서는 인식의 수준)의 두 변인의 관계를 근거로 이상적인 모델을 형성하고, 그것에 벗어나는 자료를 찾아서 적합도를 계산하는 방식이다(Liu, 2010).
- 하지만 59개 문항의 전체 난이도와 적합도를 확인하기 위해서는 59개 문항 모두에게 일관성이 있게 라쉬 모델 분석이 적용되어야 한다. 이 과정에서 라쉬 모델 분석을 활용한 문항 연결 방법을 사용하였다. 59개 문항을 3개의 버전으로 구분하고, 각 버전마다 공통된 문항을 넣어서 공통문항의 특성을 근거로 59개 문항 전체를 비교하는 것이다.
성능/효과
- 64 이하일 때 두 집단 간 문항의 차별적 기능이 나타나지 않는다고 하였다. 59개 문항을 모두 살펴본 결과 성별의 DIF차이의 최댓값은 0.56이었으며, 학년별 DIF차이의 최댓값은 0.51이었다. 이 결과를 토대로 확인하였을 때 CARS 문항에서는 집단에 따른 차별적 문항 기능이 나타나지 않으며, 집단 간 CARS 점수를 비교하는 분석은 타당하게 진행될 수 있음을 확인할 수 있었다.
- CARS-A와 CARS-B로 생성한 점수와 전체 문항으로 생성한 점수의 상관관계를 확인하면 전체문항과 CARS–A의 점수의 상관관계는 0.91(p<0.001), 전체문항과 CARS-B의 상관관계는 0.93(p<0.001), CARS-A와 CARS-B 점수의 상관관계는 0.78(p<0.001)로 매우 높은 상관관계를 보이고 있었다.
- 517)로 마찬가지로 여학생의 점수가 더 높았다. CARS점수와 학년별, 성별 이원분산분석 결과 성별은 여학생이 더 높은 점수를 (F[1,720]=4.398, p=0.036, PES=0.006), 학급별은 중학생이 더 높은 점수를 보였으며(F[1,720]=8.357, p=0.004, PES=0.011), 교호작용(interaction effect)은 유의미하지 않았다(F[1,720]=1.350, p=0.246, PES=0.002). 이 결과들은 Figure 3에 제시되어 있다.
- 그래서 각 버전의 연결 문항의 문항난이도 상관관계를 조사하였다. 각 버전에서 1번부터 8번까지는 공통문항으로 Version 1과 2에서의 공통문항 난이도 상관관계는 0.975, Version 1과 3에서의 공통문항 난이도 상관관계는 0.996, 그리고 Version 2와 3에서의 공통문항 난이도 상관관계는 0.981로 매우 높은 수준의 상관관계를 보였다. 그러므로 검사지 1, 2, 3을 수행한 집단 모두 과학 관련성 인식 검사도구에 거의 비슷한 수준으로 반응하였다고 가정할 수 있다.
- 마지막으로 CARS 검사도구가 개발된 미국과 우리나라의 사회적ㆍ문화적 차이로 인한 우리나라 학생들의 문항 적합도를 확인하여 적합도가 낮은 문항을 삭제한 후 50개의 문항 중 난이도가 같은 문항들을 두 개로 구분하여 25개의 문항으로 구성된 CARS-A와 CARS-B를 구성하였다. 두 버전의 문항들을 라쉬 모델 분석을 활용하여 신뢰도 및 점수간 상관관계, Wright map의 유사함, 이원분산분석 결과의 유사함을 근거로 CARS-A와 CARS-B를 동형검사도구라 확신할 수 있다. 과학이 우리의 삶과 밀접한 관련성이 있음을 이해하고 일상에 과학지식을 적용할 수 있는 능력을 함양하는 것은 과학교육을 의미 있는 학습으로 이어지게 할 수 있는 중요한 요소이다.
- 이를 바탕으로 전체 자료를 하나로 모아 최종적으로 라쉬 모델 분석을 수행할 수 있었으며, 59개의 문항 모두 적합한 수준의 신뢰도와 타당도를 보이고 있었고 성별 및 학년별에 따른 차별적 문항 기능이 나타나지 않았음을 확인하였다. 두 번째로 학년별과 성별에 따른 CARS 점수를 비교한 결과 중학생이 더 높은 점수를 보였으며, 여학생이 남학생에 비해 높은 점수를 보였다. 이 결과들은 선행연구와 비교하였을 때에도 일치하는 것이다.
- 5일 경우 평가 도구의 문항으로서 의미 있게 활용될 수 있는 문항이라고 하였다. 또한 MNSQ가 1.5~2.0일 겨우 의미 있게 사용될 수는 없지만 평가 결과를 왜곡하지 않는 문항이라고 하였으며, MNSQ가 2를 넘을 경우는 평가에 영향을 미칠 수 있는 문항이라고 판단하였다. 이와 같은 기준들은 라쉬 모델 분석 안내서인 Boone et al.
- 다음은 라쉬 모델 분석을 통하여 제시된 문항의 신뢰도와 문항 반응 적합도 분석 결과이다. 라쉬모델 분석을 통하여 분석한 결과 59개의 CARS 과학 관련성 인식 문항 신뢰도(Item reliability)는0.97, 사람 신뢰도(Person reliability)는 0.85로 적합한 수준을 보이고 있다. 문항 신뢰도의 경우 이 연구에 참여한 중학교 2학년과 고등학교 2학년들이 CARS문항의 난이도와 신뢰도를 평가하기에 적합하다는 것을 보여주며, 사람 신뢰도는 CARS 문항 59개가 학생들을 구분하는데 적합하다는 것을 보여준다.
- 먼저 라쉬 모델 분석을 통하여 신뢰도를 확인하였다. 먼저 Person reliability의 경우 전체문항은 0.85이었으며, CARS-A는 0.74, CARS-B는 0.78로 CARS-A와 CARS-B가 유사한 person reliability를 보였다. Item reliability의 경우 전체문항이 0.
- 이 연구 결과를 근거로 결론을 내리면 다음과 같다. 먼저 이 연구에서 활용된 번역된 3가지 버전의 검사문항들에서 이용된 8개의 공통문항들의 난이도 상관관계가 매우 높았으므로 학생들이 세 버전의 검사도구에서 거의 비슷한 수준으로 반응하였다고 볼 수 있었다. 이를 바탕으로 전체 자료를 하나로 모아 최종적으로 라쉬 모델 분석을 수행할 수 있었으며, 59개의 문항 모두 적합한 수준의 신뢰도와 타당도를 보이고 있었고 성별 및 학년별에 따른 차별적 문항 기능이 나타나지 않았음을 확인하였다.
- 85로 적합한 수준을 보이고 있다. 문항 신뢰도의 경우 이 연구에 참여한 중학교 2학년과 고등학교 2학년들이 CARS문항의 난이도와 신뢰도를 평가하기에 적합하다는 것을 보여주며, 사람 신뢰도는 CARS 문항 59개가 학생들을 구분하는데 적합하다는 것을 보여준다. Table 1은 라쉬 모델 분석을 통해 확인한 문항 적합도(Infit and outfit MNSQ)의 결과이다.
- 그러므로 검사지 1, 2, 3을 수행한 집단 모두 과학 관련성 인식 검사도구에 거의 비슷한 수준으로 반응하였다고 가정할 수 있다. 이 결과를 바탕으로 전체 59개 문항 731명의 자료를 하나로 모아 최종 라쉬 분석을 수행할 수 있었다.
- 51이었다. 이 결과를 토대로 확인하였을 때 CARS 문항에서는 집단에 따른 차별적 문항 기능이 나타나지 않으며, 집단 간 CARS 점수를 비교하는 분석은 타당하게 진행될 수 있음을 확인할 수 있었다.
- 먼저 이 연구에서 활용된 번역된 3가지 버전의 검사문항들에서 이용된 8개의 공통문항들의 난이도 상관관계가 매우 높았으므로 학생들이 세 버전의 검사도구에서 거의 비슷한 수준으로 반응하였다고 볼 수 있었다. 이를 바탕으로 전체 자료를 하나로 모아 최종적으로 라쉬 모델 분석을 수행할 수 있었으며, 59개의 문항 모두 적합한 수준의 신뢰도와 타당도를 보이고 있었고 성별 및 학년별에 따른 차별적 문항 기능이 나타나지 않았음을 확인하였다. 두 번째로 학년별과 성별에 따른 CARS 점수를 비교한 결과 중학생이 더 높은 점수를 보였으며, 여학생이 남학생에 비해 높은 점수를 보였다.
- 6). 최종 ROSE 설문지는 A에서 I까지의 10 개의 섹션으로 구분되어진 245개의 질문으로 구성되어 있어서 한 학생이 한 번에 모든 문항에 답변을 한다는 것이 거의 불가능하다. 또한 문항에 모두 답을 하였다고 하더라도, 문항의 답변에 대한 피로도가 증가하여 답변에 대한 신뢰도는 저하될 수밖에 없다.
후속연구
- 국내외 사례들을 살펴보면 과학과 교수ㆍ학습에서는 공통으로 협력과 문제해결, 학습자 참여, 학습자의 주도적 학습 및 책임, 그리고 학습을 학습자의 삶과 관련짓기 등이 강조된다. 구체적인 교수ㆍ학습 전략이 지속적으로 고민되고 개발되어져야 할 것이며 평가되어져야 할 것이다. 특히 2015 개정 개정교육과정에서는 교과학습이 생활에 활용가능하고 삶을 성찰할 수 있는 의미를 가질 수 있도록 목표를 설정하였다.
- 학생들의 태도인식 변화가 학생들의 학업성취도, 진로 및 직업선택 등에 영향을 미치는 것 등의 확장된 연구에의 활용도 가능할 것이다. 그러나 성별 및 학년별 인식의 차이 또는 변화의 이유를 심층적으로 확인하기 위해서는 서술적 검사지 및 인터뷰 등의 추가적인 연구가 필요하다.
- 또한 새롭게 구성된 동형검사도구는 시험효과의 문제없이 특정 수업과정 및 교육과정 등을 수행한 학생들의 사전•사후 과학적 관련성 인식의 변화를 확인하는데 활용될 수 있을 것이다.
- 또한 새롭게 구성된 동형검사도구는 시험효과의 문제없이 특정 수업과정 및 교육과정 등을 수행한 학생들의 사전•사후 과학적 관련성 인식의 변화를 확인하는데 활용될 수 있을 것이다. 학생들의 태도인식 변화가 학생들의 학업성취도, 진로 및 직업선택 등에 영향을 미치는 것 등의 확장된 연구에의 활용도 가능할 것이다. 그러나 성별 및 학년별 인식의 차이 또는 변화의 이유를 심층적으로 확인하기 위해서는 서술적 검사지 및 인터뷰 등의 추가적인 연구가 필요하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.