이 연구의 목적은 학생들의 과학적 논증과정 평가를 위한 루브릭을 개발하는 것이다. 루브릭의 개발을 위해 과학교육에서의 논증과정과 관련된 문헌의 분석을 통해 루브릭의 개발 절차및 평가의 범주를 도출하였다. 루브릭 개발의 일반적인 절차를 따라서 논증과정 평가의 기준을 형식, 내용, 태도의 세 가지 범주를 문헌을 통해 도출하였다. 형식의 범주에는 전체의 구성, 주장, 근거, 결론의 하위 기능으로 세분화하였고, 내용의 범주에는 이해, 신빙성, 추론으로 하위 기능을 세분하였으며, 태도의 범주에는 참여도와 개방성을 하위 기능으로 정하였다. 이렇게 구성된 각각의 하위기능의 평가에 대한 기준을 구체적인 5단계로 제시하였다. 문헌 연구를 토대로 개발된 평가 루브릭은 과학 교육 전문가 1인과 동료 연구자들의 정기적인 세미나를 통해 점검 받았다. 개발된 초기의 루브릭은 과학교육 전문가 4인에게 의뢰하여 문제점 및 개선점에 대한 검증을 받아 다시 수정되었으며, 최종 완성된 루브릭은 과학교육 전문가 4인에게 타당도를 검증받아 내용타당도지수 0.96으로 높게 나타났다. 개발된 루브릭을 통해 학생들의 논증과정에 대한 이해를 높일 수있고, 논증과정 프로그램 개발과 논증과정 평가를 위한 기준으로 활용이 가능할 것이다.
이 연구의 목적은 학생들의 과학적 논증과정 평가를 위한 루브릭을 개발하는 것이다. 루브릭의 개발을 위해 과학교육에서의 논증과정과 관련된 문헌의 분석을 통해 루브릭의 개발 절차및 평가의 범주를 도출하였다. 루브릭 개발의 일반적인 절차를 따라서 논증과정 평가의 기준을 형식, 내용, 태도의 세 가지 범주를 문헌을 통해 도출하였다. 형식의 범주에는 전체의 구성, 주장, 근거, 결론의 하위 기능으로 세분화하였고, 내용의 범주에는 이해, 신빙성, 추론으로 하위 기능을 세분하였으며, 태도의 범주에는 참여도와 개방성을 하위 기능으로 정하였다. 이렇게 구성된 각각의 하위기능의 평가에 대한 기준을 구체적인 5단계로 제시하였다. 문헌 연구를 토대로 개발된 평가 루브릭은 과학 교육 전문가 1인과 동료 연구자들의 정기적인 세미나를 통해 점검 받았다. 개발된 초기의 루브릭은 과학교육 전문가 4인에게 의뢰하여 문제점 및 개선점에 대한 검증을 받아 다시 수정되었으며, 최종 완성된 루브릭은 과학교육 전문가 4인에게 타당도를 검증받아 내용타당도지수 0.96으로 높게 나타났다. 개발된 루브릭을 통해 학생들의 논증과정에 대한 이해를 높일 수있고, 논증과정 프로그램 개발과 논증과정 평가를 위한 기준으로 활용이 가능할 것이다.
The purpose of this study was to develop a rubric for assessing students' scientific argumentation. Through the analysis of relevant literature related to argument in science education for developing rubric, the procedure in development and the category in assessment for rubric were elicited. Accord...
The purpose of this study was to develop a rubric for assessing students' scientific argumentation. Through the analysis of relevant literature related to argument in science education for developing rubric, the procedure in development and the category in assessment for rubric were elicited. According to the general procedure in developing rubric, the standard for evaluating the argumentation derived three categories such as a form, contents, and attitude. The form category was further segmented into sub-functions composition, claim, ground, and conclusion in the whole. The category for contents was segmented into sub-functions understanding, credibility, and inference. And the category for attitude was set to sub-functions participatory level and openness. The standard for evaluating sub-functions in each of the categories formed in this way was minutely suggested with five stages. The rubric, which was developed on the basis of literature, was inspected through a regular seminar in one expert in science education and fellow researchers. The rubric, which was developed in the early days, was again modified by being verified on problem and improvement matter after being entrusted to four experts in scientific education. And, the finally-completed rubric indicated to be high with 0.96 in the content validity index by being verified the validity by the four experts in science education. The developed rubric will lead to being able to increase the understanding about demonstration in students, and to being available for being utilized as the criteria for developing the argumentation process program and for evaluating the argumentation activity.
The purpose of this study was to develop a rubric for assessing students' scientific argumentation. Through the analysis of relevant literature related to argument in science education for developing rubric, the procedure in development and the category in assessment for rubric were elicited. According to the general procedure in developing rubric, the standard for evaluating the argumentation derived three categories such as a form, contents, and attitude. The form category was further segmented into sub-functions composition, claim, ground, and conclusion in the whole. The category for contents was segmented into sub-functions understanding, credibility, and inference. And the category for attitude was set to sub-functions participatory level and openness. The standard for evaluating sub-functions in each of the categories formed in this way was minutely suggested with five stages. The rubric, which was developed on the basis of literature, was inspected through a regular seminar in one expert in science education and fellow researchers. The rubric, which was developed in the early days, was again modified by being verified on problem and improvement matter after being entrusted to four experts in scientific education. And, the finally-completed rubric indicated to be high with 0.96 in the content validity index by being verified the validity by the four experts in science education. The developed rubric will lead to being able to increase the understanding about demonstration in students, and to being available for being utilized as the criteria for developing the argumentation process program and for evaluating the argumentation activity.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이 주제를 통해 논증과정 수업을 이끌어낸 이유는 과학적 설명을 제안할 때 논리적 근거를 형성할 수 있는 변인들이 다양하고 실험 결과 및 결론에 대해 사전에 학습하지 않은 내용이어야 논증과정이 활발히 이루어질 수 있기 때문이다. 논증과정은 주로 모둠별 결과 발표와 그에 관한 질의응답으로 구성되었는데 이 논증과정을 평가함에 있어서 개발된 루브릭을 예비 적용함으로써 루브릭 개발진과 실제 채점자 간에 지속적인 피드백을 통해 항목에 대한 정의나 평가 척도의 서술이 모호하여 채점자가 잘 이해할 수 없는 부분에 대하여 수정하고 보강하고자 하였다.
이러한 특성을 가진 과학교과를 가장 효과적으로 가르칠 수 있는 방법으로써 논증과정을 통한 교육이 매우 유용하다. 따라서 이 연구에서는 과학과의 초등∙중등∙고등학교 학생들의 논증과정의 질을 평가하여 과학과 교수학습에 도움을 주기 위한 목적으로 관련 문헌 고찰을 통하여 루브릭을 개발하였다. 이 루브릭은 형식, 내용, 태도의 3가지 범주, 각 범주는 형식에 전제 구성, 주장 근거, 결론, 내용에 이해, 신빙성, 추론, 태도에 참여도, 개방성 등의 세부적으로 평가할 하위항목으로 구성되었고, 각각을 5척도로 수준을 나누어 기술되었다.
또한 Toulmin의 TAP가 상호 과정적 논증과정 평가에 어려움이 있다는 한계를 극복하기 위해 학생들의 논증과정에서 그룹 활동을 강조하는 Downing model을 개발하였고(Andrews et al., 1993), 내용 일반적인 평가 관점에서 벗어나기 위하여 논증과정 속에 포함된 과학적 지식수준을 평가하고자 했다(Sandoval & Millwood, 2005; Takao et al., 2002).
Mercer 등(1999)은 논증과정에서 상호작용의 중요성을 강조하면서 상호작용의 차이를 분석할 수 있는 Downing model을 개발하여 7수준으로 학생들의 논증과정을 평가하고자 했다. 이 모델에서는 학생들이 논증과정에 참여하려는 태도에서부터 상대방의 입장을 어떻게 받아들이는가, 그를 바탕으로 자신의 입장을 조정하는지에 대해서도 평가 관점으로 삼았다. 또한 Veerman 등(2002)에 의하면 논증과정상에서 자신이 결정한 입장에 따라서 과학적인 정보를 편파적으로 평가할 수 있으며, 자신의 입장만을 옹호하고 공격하는 성향 때문에 반대 입장의 타당한 증거를 무시하는 특성을 보이는데 이러한 행동이 타협의 여지를 제한하고 지식의 교환을 방해할 수 있다.
이 연구는 이와 같은 필요성을 바탕으로 과학적 논증과정 교수와 평가에 도움을 주기 위하여, 기존에 이루어졌던 과학적 논증과정 분석과 평가에 대한 연구들을 검토하고 종합하여 초, 중, 고등학생의 과학적 논증과정 평가를 위한 루브릭을 개발하는데 목적이 있다.
이 연구의 목적은 학생들의 과학적 논증과정 평가를 위한 루브릭을 개발하는 것이다. 루브릭의 개발을 위해 과학교육에서의 논증과정과 관련된 문헌의 분석을 통해 루브릭의 개발 절차 및 평가의 범주를 도출하였다.
첫째 평가 항목 중 ‘형식’ 부분에 전체 구성/주장/근거/결론이라는 항목을 평가함에 있어서 발표자와 질문자가 있는데 어디에 중점을 두어 평가해야 하는지에 관한 의문이었다.
제안 방법
과학교육분야에서 인용지수가 높은 학술지인 Science Education, Journal of Research Science Teaching, International Journal of Science Education 등에 최근 10년간 게재된 논증과정 관련 논문들을 중심으로 이들 논문에서 인용하고 있는 문헌들과 학술연구정보서비스에서 검색을 통해 찾아낸 문헌 등을 참고로 하여 연구자가 논증과정을 분석하는 절차나 평가 관점을 찾고, 실제 논증과정을 평가에서 높은 수준과 낮은 수준이라고 평가된 논증과정들의 공통점을 살펴봄으로써 논증과정에서 중요시되는 평가 관점을 추출하였다. 논증과정에 관한 연구가 어떻게 이루어져 왔는가를 총체적으로 살펴본 논문들을 토대로 대범주를 생성하고 그 하위 범주로 문헌에서 중시하고 있는 평가 관점들을 범주화하였다.
즉, 근거를 기반으로 주장을 정당화하되 단순한 근거를 기반으로 했는가, 정교한 근거를 기반으로 했는가가 평가 관점이 될 수 있고 반대 입장이 나타났는가 또한 중요한 평가 기준이 될 수 있다(Sadler & Fowler, 2006). 그러나 근거를 기반으로 한 결론이 논리적으로 완전할 것이라는 기대는 하지 않으므로 주장과 결론 사이의 관계에서 일관성의 측면에도 초점을 맞추어 분석하였다(Marttunen,1994). 또한 Hogan 등(2000)이 종합성이라는 측면에서 반대 입장이 진술되었는가, 얼마나 진술되었는가를 바탕으로 제시한 수행 기준 또한 참조하여 결론의 수준을 판별할 수 있는 척도를 기술하였다(표 4).
과학교육분야에서 인용지수가 높은 학술지인 Science Education, Journal of Research Science Teaching, International Journal of Science Education 등에 최근 10년간 게재된 논증과정 관련 논문들을 중심으로 이들 논문에서 인용하고 있는 문헌들과 학술연구정보서비스에서 검색을 통해 찾아낸 문헌 등을 참고로 하여 연구자가 논증과정을 분석하는 절차나 평가 관점을 찾고, 실제 논증과정을 평가에서 높은 수준과 낮은 수준이라고 평가된 논증과정들의 공통점을 살펴봄으로써 논증과정에서 중요시되는 평가 관점을 추출하였다. 논증과정에 관한 연구가 어떻게 이루어져 왔는가를 총체적으로 살펴본 논문들을 토대로 대범주를 생성하고 그 하위 범주로 문헌에서 중시하고 있는 평가 관점들을 범주화하였다.
또한 과제 일반적(task general)인 것은 같은 루브릭을 다양한 평가 상황에서 사용하는 것을 말하며 과제 특수적(task specific)인 것은 과제에 따라 각기 다른 루브릭을 사용하는 것을 뜻한다. 따라서 루브릭에 따라 분석하는 방법과 사용하는 상황이 다르기 때문에 평가 목표에 맞는 형태로 결정하였다.(그림 1과 2 참조)
이외에 수리적 척도와 질적 척도를 함께 사용할 수 있으며 좋은 채점 기준은 이 둘을 동시에 포함하는 경우가 많다(Herman, Aschbacher & Winters, 1992). 따라서 이 연구에서도 수행 기준을 제시함에 있어서 질적인 진술을 사용할 것이며 수행 수준 사이를 구분하는데 있어서 상대적인 비교기준이 아닌 절대적인 기준을 사용하며, 상위의 수행 기준은 하위 기준을 만족했음을 전제로 진술하였다.
루브릭 개발 후 평가도구의 적절성 및 유용성 검증을 위하여 이를 과학 영재의 논증과정을 평가하는 과제에 예비 적용하였다. 적용 대상은 광역시 소재 국립대학교 과학영재교육원 초등과학반 5-6학년 학생 28명이다.
루브릭의 개발을 위해 과학교육에서의 논증과정과 관련된 문헌의 분석을 통해 루브릭의 개발 절차 및 평가의 범주를 도출하였다. 루브릭 개발의 일반적인 절차를 따라서 논증과정 평가의 기준을 형식, 내용, 태도의 세 가지 범주를 문헌을 통해 도출하였다. 형식의 범주에는 전체의 구성, 주장, 근거, 결론의 하위 기능으로 세분화하였고, 내용의 범주에는 이해, 신빙성, 추론으로 하위 기능을 세분하였으며, 태도의 범주에는 참여도와 개방성을 하위 기능으로 정하였다.
이 연구의 목적은 학생들의 과학적 논증과정 평가를 위한 루브릭을 개발하는 것이다. 루브릭의 개발을 위해 과학교육에서의 논증과정과 관련된 문헌의 분석을 통해 루브릭의 개발 절차 및 평가의 범주를 도출하였다. 루브릭 개발의 일반적인 절차를 따라서 논증과정 평가의 기준을 형식, 내용, 태도의 세 가지 범주를 문헌을 통해 도출하였다.
이 항목은 논증과정에서 대부분을 차지하는 근거에서도 내용적인 측면이 아닌 객관적으로 판단 가능한 형식적인 것을 평가하는 것이므로 기준이 되는 근거의 출처를 명시하는 방법, 주장과의 관련성을 표현했는가, 사용한 자료가 충분한가 등을 토대로 척도를 제시하였다(표 4). 먼저 출처를 명시하는 방법과 주장과의 관련성을 표현했는가의 여부는 Sandoval와 Millwood (2005)가 인용한 자료들을 어떻게 다루는가에 따라 나눈 5수준을 참조하여 기술하였다. 또한 근거가 충분한가는 Siegel 등(2006)이 제시한 루브릭을 참조하였으며 얼마나 많은 자료를 폭넓게 사용하였는가를 판단하는 것인데, 이는 비단 양적인 측면 뿐 아니라 하나의 자료만 갖고 있다 하더라도 그것이 주장을 뒷받침하는 것이라면 충분하다고 할 수 있고, 충분한 양의 자료를 가졌다 하더라도 주장에 맞는 자료가 전혀 없을 수도 있으므로 신중하게 판단되어야 한다.
문헌을 통해 추출한 평가 관점과 그에 해당하는 요소들에 대한 정의와 루브릭에 대하여 과학 교육 전문가 4인에게 검토를 받은 후 수정을 거쳐 내용타당도를 의뢰했다. 그 결과 내용타당도 지수 0.
선정된 탐구 실험 주제는 가열된 캔을 수조 속의 물에 거꾸로 집어넣은 후의 현상을 관찰하는 활동이다.
이 항목은 논증과정에서 가장 명확하게 판별해 낼 수 있는 주장의 수준에 대해 평가하는 것이므로 이를 판별해낼 수 있는 기준이 되는 명백함, 초점, 구체성 등의 요소들을 토대로 척도를 제시하였다(표 4).
이 항목은 논증과정에서 대부분을 차지하는 근거에서도 내용적인 측면이 아닌 객관적으로 판단 가능한 형식적인 것을 평가하는 것이므로 기준이 되는 근거의 출처를 명시하는 방법, 주장과의 관련성을 표현했는가, 사용한 자료가 충분한가 등을 토대로 척도를 제시하였다(표 4). 먼저 출처를 명시하는 방법과 주장과의 관련성을 표현했는가의 여부는 Sandoval와 Millwood (2005)가 인용한 자료들을 어떻게 다루는가에 따라 나눈 5수준을 참조하여 기술하였다.
첫째 평가 항목 중 ‘형식’ 부분에 전체 구성/주장/근거/결론이라는 항목을 평가함에 있어서 발표자와 질문자가 있는데 어디에 중점을 두어 평가해야 하는지에 관한 의문이었다. 이는 채점 대상이 발표자이므로 기본적으로는 발표자에 중점을 두고, 4개의 항목 중 특히 전체 구성에 있어서는 발표자와 질문자간에 상호작용을 통해 보다 높은 수준의 논증과정을 구성할 수 있기 때문에 이 상호작용에 중점을 두어 평가하도록 하였다.
Schwarz 등(2003)은 논증과정 구조 분석 틀을 제시하면서 논증과정의 질은 내용보다는 구조적 복잡성에 의해 평가될 수 있다고 주장하며, 개인이 생성하는 논증과정의 질은 상황에 의존적이지 않다고 하여 논증과정의 구조를 중시하였다. 이러한 관점들을 묶어 전체 구성이라는 항목을 추출하였다.
또한 논증과정상에서 타협의 의지를 남겨두고 상대방의 입장이라 할지라도 존중할 수 있는 태도가 질 높은 논증과정을 이끈다는 관점을 제시하였다(Chin & Anderson, 2000; Felton & Kuhn, 2001; Veerman et al, 2002; Maloney & Simon, 2006). 이러한 연구들을 바탕으로 하여 태도적 측면에 하위 평가 항목을 참여도와 개방성(concession)로 나누게 되었다. 평가 관점을 분명히 하기 위해 문헌을 바탕으로 각 항목에서 중요 하다고 생각되는 관점들을 세부적으로 추출하여 표 3과 같이 정의하였다.
개방성 측면에서 중요시되는 것은 자신의 주장이 틀릴 수 있음을 인정하고 모든 증거들을 객관적으로 평가할 수 있느냐하는 것이므로 질의 응답과정에서 다른 사람의 의견을 충분히 고려했고, 이미 자신의 논증을 구성하는 과정에 있어서도 반대 의견을 고려하여 발표했기 때문에 자신의 주장을 더욱 견고하게 만들 수 있었다고 볼 수 있으므로 자신의 의견을 바꾸지 않았다고 하더라도 이는 상위점수로 채점을 한다. 이와 같이 예비 적용과정에서 루브릭 개발진과 실제 적용한 교사 사이에 생긴 의문점들을 바탕으로 개발된 루브릭의 평가 척도의 서술을 일부 수정하고 보안하였다.
과학 교육 전문가 검토에 의한 2차 수정 결과 생산성은 구체성으로 유창성은 충분함으로 보다 직관적으로 의미를 알 수 있는 용어로 교체되었고, 형식적 분야의 오류라는 항목은 과학적 논증과정의 평가에 있어서 중요하지 않은 평가 항목이라는 조언에 따라 삭제하였다. 종합성의 진술이 모호한 점을 지적받아 보다 구체적으로 재 진술 하였고, 그밖에 문맥상 모순이 있는 부분을 조금씩 수정하였다. 완성된 각 항목이 도출된 구체적인 과정과 문헌에서 제시하고 있는 정의는 다음과 같다.
또한 Jimenez-Aleixandre 등(2000)이 제시한 관점을 보면 논증과정상에서 나타나는 학문적인 활동으로 귀납, 연역, 인과관계, 정의, 분류, 호소, 일관성 등이 있으므로 설명체계를 구성하는데 있어서 어떠한 추론전략을 사용하여 적절한 인과관계를 모색하는가에 따라 평가 될 수 있다고 하였고, Newton 등(1999)에 의하면 논증과정은 개념 이해를 돕기 위한 것이며 높은 수준의 논증과정을 하기 위해서는 지식에 관한 이해가 선행되어야 한다고 하였다. 학생의 논증과정을 평가하는데 있어서 학자들이 공통적으로 그들이 제시한 논증과정자체가 믿을만한 것인가를 평가해야 한다고 제시함으로써 이러한 연구들을 바탕으로 하여 내용적 측면에 하위 평가 항목을 과학적으로 얼마나 잘 이해하고 있느냐에 따른 평가항목인 주제에 대한 이해와 과학적 용어 사용에 관한 것을 평가하는 이해, 학생의 논증과정이 과학적 사실에 얼마나 부합하는가에 따른 신빙성, 또한 그 연결이 과학적 추론 방법인 연역, 귀납 등의 추론들과 같이 논증과정이 얼마나 논리적으로 전개되었는가를 평가하는 추론 등의 3가지 관점으로 나누게 되었다. 평가 관점을 분명히 하기 위해 문헌을 바탕으로 각 항목에서 중요하다고 생각되는 관점들을 세부적으로 추출하여 표 2와 같이 정의하였다.
루브릭 개발의 일반적인 절차를 따라서 논증과정 평가의 기준을 형식, 내용, 태도의 세 가지 범주를 문헌을 통해 도출하였다. 형식의 범주에는 전체의 구성, 주장, 근거, 결론의 하위 기능으로 세분화하였고, 내용의 범주에는 이해, 신빙성, 추론으로 하위 기능을 세분하였으며, 태도의 범주에는 참여도와 개방성을 하위 기능으로 정하였다. 이렇게 구성된 각각의 하위 기능의 평가에 대한 기준을 구체적인 5단계로 제시하였다.
대상 데이터
루브릭 개발 후 평가도구의 적절성 및 유용성 검증을 위하여 이를 과학 영재의 논증과정을 평가하는 과제에 예비 적용하였다. 적용 대상은 광역시 소재 국립대학교 과학영재교육원 초등과학반 5-6학년 학생 28명이다. 선정된 탐구 실험 주제는 가열된 캔을 수조 속의 물에 거꾸로 집어넣은 후의 현상을 관찰하는 활동이다.
이론/모형
또한 Sandoval 와 Millwood (2005)도 출처 제시, 근거의 충분성, 주장과의 관련성 등을 제시하였다. 결론은 Aufscjnaiter 등(2008)에 제시된 정당성에 관한 항목과 Hogan 등(2000)이 제시한 종합성 등의 관점에 따라 진술하였다.
이 항목은 논증과정에서 핵심이 될 수 있는 것으로 제시한 근거가 과학적으로 믿을만한 사실인가 하는 여부에 관한 것이다. 근거의 질을 검증할 수 있는 여러 가지 방법 중 어느 수준까지 과학적으로 합의가 이루어진 근거를 사용하는가에 따라 근거의 위계를 나눈 Perella(1987)의 6수준을 바탕으로 척도를 나누었고 Van Gelder(2002)의 의견을 참조하여 진술하였다(표 5).
1차적으로 추출된 요소와 하위 항목에 대하여 동료 연구자들과 여러 차례 수정과정을 거친 후, 최종적으로 개발된 수업 분석 도구는 과학 교육 전문가 4인에 의한 검토를 통해 두 차례에 걸친 수정 작업 뒤 최종적으로 개발된 루브릭에 대한 타당도를 검증받았다. 내용 타당도의 분석은 Likert 척도에 의해 5단계 평정 척도법을 사용하였고, 이들 척도는 매우 적절하다 5, 적절하다 4, 보통이다 3, 부적절하다 2, 매우 부적절하다 1과 같다.
논증과정 분석을 실행한 연구자들이 논증과정 요소의 복잡성으로 인해 학생들의 논증과정 분석에 있어서 요소를 찾지 못해 평가할 수 없다는 한계를 제시함(Naylor et al., 2007)에 따라 요소별로 분석하는 형식적 측면에 있어서 보다 포괄적인 관점이 적절하다고 판단하여 하위 평가 항목에 들어갈 요소로 Marttunen(1994)가 제사한 논증과정 요소인 주장, 근거, 결론을 사용하였다. 또한 상호과정적 논증과정 요소를 강조한 학자들에게서 중요시되는 평가관점들은 태도 영역에서 다루었다.
이 항목은 주제에 대하여 과학적으로 이해하고 있는가의 여부와 용어 사용의 수준에 대하여 평가하는 것이다. 따라서 이 같은 점이 잘 반영되어 내용 특수적으로 개발된 Schafer 등(2001)이 제시한 생물학 루브릭을 기반으로 기술하였고, Kelly와 Takao(2002)의 지식의 수준에 따라 평가한 척도를 참조하였고, Kelly와 Bazerman(2003)의 의견에 따라 과학적 용어의 사용 정도 또한 평가 항목으로 포함시켰다(표 5).
평가 관점을 분명히 하기 위해 문헌을 바탕으로 각 항목에서 중요하다고 생각되는 관점들을 세부적으로 추출하여 표 1과 같이 정의하였다. 먼저 전체 구성의 관점은 Osborne 등(2004)이 제시한 논증과정 평가 틀을 기반으로 진술하였고, 주장, 근거, 결론의 기본틀을 제시한 Marttunen(1994)이 제시한 논증과정 평가관점에 있어서 주장의 명백함, 구체성, 초점 등의 항목을 추출하였고 근거는 Maloney와 Simon(2006)의 관점에 따라 근거의 충분성, 출처 제시의 중요성에 대하여 서술하였다. 또한 Sandoval 와 Millwood (2005)도 출처 제시, 근거의 충분성, 주장과의 관련성 등을 제시하였다.
이 항목은 논증과정 전체의 구성이 잘 짜여져 있는가, 논증과정 구성요소가 나타나 있는가를 평가하는 것이므로 Osborne 등(2004)이 제시한 기준에 따라 척도를 기술하였다(표 4). 이는 Toulmin의 요소를 정확히 수를 세어 판별해내지 못해도 각 요소가 어느 정도 나타나 있는지, 특히 반증이라는 요소, 즉 주장이 옳지 않음을 반대 근거를 들어 증명하는 요소가 얼마나 나타나 있는가의 여부를 통해 파악할 수 있다.
이 항목은 내용에 대한 이해를 바탕으로 각각의 인과적 요소들 안에서 주장에 대한 근거가 명료화된 정도를 평가한다. 이는 Sandoval 와 Millwood(2005)의 개념적 질을 판단하는 관점에 따른 것이며 올바른 인과관계가 성립될 수 있도록 적합한 자료를 사용하였는가 하는 것을 평가하는 것으로 Siegel 등(2006)이 제시한 수행 척도를 참조하였다(표 5).
성능/효과
내용 타당도는 과학적 논증과정을 평가하는 범주의 선정이 적절한지, 범주별로 추출된 하위항목과 각 항목에 대한 평가 척도 등이 타당한지에 관한 내용이다. 1차적으로 추출된 요소와 하위 항목에 대하여 동료 연구자들과 여러 차례 수정과정을 거친 후, 최종적으로 개발된 수업 분석 도구는 과학 교육 전문가 4인에 의한 검토를 통해 두 차례에 걸친 수정 작업 뒤 최종적으로 개발된 루브릭에 대한 타당도를 검증받았다. 내용 타당도의 분석은 Likert 척도에 의해 5단계 평정 척도법을 사용하였고, 이들 척도는 매우 적절하다 5, 적절하다 4, 보통이다 3, 부적절하다 2, 매우 부적절하다 1과 같다.
개발된 초기의 루브릭은 과학교육 전문가 4인에게 의뢰하여 문제점 및 개선점에 대한 검증을 받아 다시 수정되었으며, 최종 완성된 루브릭은 과학교육 전문가 4인에게 타당도를 검증받아 내용타당도지수 0.96으로 높게 나타났다.
과학 교육 전문가 검토에 의한 2차 수정 결과 생산성은 구체성으로 유창성은 충분함으로 보다 직관적으로 의미를 알 수 있는 용어로 교체되었고, 형식적 분야의 오류라는 항목은 과학적 논증과정의 평가에 있어서 중요하지 않은 평가 항목이라는 조언에 따라 삭제하였다. 종합성의 진술이 모호한 점을 지적받아 보다 구체적으로 재 진술 하였고, 그밖에 문맥상 모순이 있는 부분을 조금씩 수정하였다.
문헌을 통해 추출한 평가 관점과 그에 해당하는 요소들에 대한 정의와 루브릭에 대하여 과학 교육 전문가 4인에게 검토를 받은 후 수정을 거쳐 내용타당도를 의뢰했다. 그 결과 내용타당도 지수 0.96을 얻었고 내용타당도의 일반적인 수락기준인 0.80(Davis, 1992) 이상이므로 매우 높다고 할 수 있다.
수정 과정을 자세히 살펴보면 1차 동료 세미나를 통해 수정한 결과 형식적인 측면에 호소라는 항목이 권위에 호소라는 점에서 출처제시의 관점과 겹쳐서 제외되었고, 기술적인 오류 즉, 오탈자, 문법 오류와 같은 것을 포괄한다는 점에서 오류로 명칭이 수정되었다. 내용적인 측면에서도 과학적 개념 이해와 용어 사용이 중첩되는 부분이 있어 이해라는 요소로 통합했고, 근거의 수준은 얼마나 믿을만한가를 나타내는 신빙성이라는 용어로 교체되었다.
Simon 등(2006)에 의하면 학생들도 논증과정을 평가해보도록 한 결과 ‘증거를 갖고 있는가’라는 형식적인 요소를 중요시 하였다. 이렇듯 객관적으로 확인할 수 있는 요소들을 찾는 것이 논증과정 분석을 용이하게 해준다는 연구 결과들을 통해 논증과정의 질을 평가할 때 형식적인 측면에 초점을 두는 것이 중요한 관점이 될 수 있다는 것을 알 수 있으며, 논증과정 전문가들조차 언어가 가진 모호함 때문에 논증과정의 질을 평가하는데 직접적인 기준을 제시하여 판단하는 것이 힘들기 때문에 객관적으로 평가 가능한 요소들에 초점을 맞추는 것이 효과적인 평가 방법이 될 수 있음을 알 수 있다.
후속연구
96으로 높게 나타났다. 개발된 루브릭을 통해 학생들의 논증과정에 대한 이해를 높일 수 있고, 논증과정 프로그램 개발과 논증과정 평가를 위한 기준으로 활용이 가능할 것이다.
둘째, 학교에서 실행되고 있는 논증과정의 수준을 평가하여 그 결과에 따라 논증과정을 촉진할 수 있는 프로그램 개발이나 교수전략 개발에 활용될 수 있다.
이처럼 논증과정 분석에 관한 연구들 중 내용 특수적인 과제를 분석하는 논문에서 내용에 나타난 지식의 수준을 중요시하는 관점이 많이 발견되었고, 이러한 분석을 통해 요소의 유무만으로 평가할 수 없는 논증과정의 질을 평가할 수 있다고 주장했다. 따라서 과제 특수적으로 내용의 수준을 평가할 수 있는 관점이 정리된다면 논증과정 교수가 보다 수월해 질 것이라고 생각된다.
따라서 이러한 논증과정 평가 루브릭을 이용하여 학생들의 실제 논증과정을 평가함으로써 더 나은 논증과정 수업을 계획하는 자료를 추출할 수 있다. 이 루브릭은 개인의 논증과정 뿐 아니라 그룹간의 논증 과정과 같은 상호작용적 논증과정도 평가할 수 있도록 구성되어 있으므로, 형식이나 내용의 범주를 평가 할 때는 각 논증자가 제시하는 개개의 논증과정에 초점을 맞추어 평가하고, 태도의 범주는 상호작용적 논증과정에 보다 초점을 맞추어 평가한다.
학자에 따라 초점을 맞추고 있는 부분이 각기 달라서 논증과정 전체를 평가할 때 고려해야 할 많은 관점들을 모두 반영하고 있는 틀을 찾기 힘들다. 따라서 이러한 연구 결과들을 실제 학생들의 과학적 논증과정 활동에 반영하여 보다 나은 교수학습을 실행하기 위해서는 학자들의 논증과정 평가에 관한 관점들을 종합하여 학생들의 논증과정을 평가하는데 사용할 수 있는 틀을 개발하는 연구가 필요하다
이를 통해 논증과정에 참여하는 단위에 따라 그룹간의 논증과정일 때는 주체가 되는 그룹을 평가할 때 이 그룹의 논증과정에 대하여 질의응답을 나누는 과정도 함께 평가할 수 있고, 개인간의 논증과정일 때는 개개인의 점수를 채점하여 평가할 수 있다. 이러한 방법으로 평가도구를 활용하여 학생들의 논증과정 평가에 관한 후속연구가 필요하다 하겠다.
질의응답
핵심어
질문
논문에서 추출한 답변
총체적 루브릭이란 무엇인가?
Arter와 McTighe (2001)에 따르면 루브릭은 크게 총체적(holistic), 분석적(analytic)이라는 관점과 과제 특수적, 과제 일반적인 관점의 두 가지 차원으로 나눌 수 있다. 총체적 루브릭은 전반적인 특성에 따라 측정하지만 분석적 루브릭은 수행이나 수행 결과물을 몇 가지 특성이나 차원으로 나누어 복합적으로 분석하는 것이다. 또한 과제 일반적(task general)인 것은 같은 루브릭을 다양한 평가 상황에서 사용하는 것을 말하며 과제 특수적(task specific)인 것은 과제에 따라 각기 다른 루브릭을 사용하는 것을 뜻한다.
학교 교육현장에서 논증과정이 효과적으로 이루어지기 위해서 달성해야 하는 목표는 무엇인가?
, 2006). 따라서 학교 교육현장에서 논증과정이 효과적으로 이루어지기 위해서는 첫째, 논증의 질을 개선하기 위한 교육적 장치를 제공하고 둘째, 교사들에게 논증과정상에서 무엇을 찾아야 할 것인지 어떻게 학생들에게 논증을 안내할 것인지를 제공하고 셋째, 학생들이 논증의 본성과 구조에 대해 인식하는 것을 돕고 넷째, 학생이 논증과정에 대하여 어느 정도 진보를 이루었는지 알아내기 위한 평가를 제공해야 한다는 등의 4가지 목표를 달성해야 하며, 이를 위해 논증 과정을 평가하고 분석할 수 있는 도구의 개발이 필요하다(Driver et al., 2000).
과학수업에서 논증과정이 잘 활용되지 못하는 원인은 무엇인가?
그렇다면 왜 과학수업에서 논증과정이 잘 활용되지 못하는 것일까? 이에 대한 원인은 교사들이 성공적인 논증과정 지도 방법을 제대로 이해하고 있지 못하며 그 결과 논증과정을 시도하기 위한 자신감이 결여되어 있기 때문이고(Driver et al., 2000), 교육과정상의 문제, 교사들의 인식 부족도 그 원인 중 하나라고 하였다(Osborne et al., 2004).
참고문헌 (64)
강순민, 곽경화, 남정희 (2006). 논의 과정을 강조한 교수 학습 전략이 중학생들의 인지발달, 과학개념 이해, 과학관련 태도 및 논의 과정에 미치는 영향. 한국과학교육학회, 26(3), 450-461
이범홍 (1998). 토의 토론 학습과 중등학교 과학 교육. 1997년도 교과교육공동연구 결과보고서 (RR97-Ⅱ-6), 서울: 한국 학술 진흥 재단
Herman, J. I., Aschbacher, P. R., & Winters, I. (1992). A practical guide to alternative assessment. Alexandria, VA: Association for Supervision and Curriculum Development. 김경자(역) (2000). 수행평가 과제 제작의 원리와 실재. 서울: 이화여자대학교 출판부
Andrews, R., Costello, P., & Clarke, S. (1993). Improving the quality of argument 5-16: Final Report. Hull, UK: Esmee Fairbairn Charitable Trust/University of Hull
Arter, J. (2000). Rubrics, scoring guides, and performance criteria: Classroom tools for assessing and improving student learning. paper presented at the Annual Meeting of American Educational Research Association. ERIC Document Reproduction Service Mo. ED446100
Arter, J., & McTighe, J. (2001). Scoring rubrics in the classroom: Using performance criteria for assessing and improving student performance. Thousand Oaks, CA: Corwin Press
Astin, A. W. (1993). Assessment for excellence: The philosophy and practice of assessment and evaluation in higher education. New York: Macmillan
Aufscjnaiter, C. V., Erduran, S., Osborne., J., & Simon, S. (2008). Arguing to learn and learning to argue: Case studies of how students' argumentation relates to their scientific knowledge. Journal of Research in Science Teaching, 45(1), 101-131
Banta, T. W., Lund, J. P., Black, K. E., & Oblander, F. W. (1996). Assessment in practice: Putting principles to work on college campuses. San Francisco: Jossey-Bass
Bazerman, C. (1988). Shaping written knowledge: The genre and activity of the experimental article in science. Madison: University of Wisconsin Press
Bell, P., & Linn, M. C. (2000). Scientific arguments as learning artifacts: Designing for learning for the Web with KIE. International Journal of Science Education, 22(8), 797-817
Bricker, L. A., & Bell, P. (2008). Conceptualizations of argumentation from science studies and the learning sciences and their implications for the practices of science education. Science Education, 92(3), 473-498
Carr, J.F., & Harris, D.E. (2001). Succeeding with standards: Linking curriculum, assessment, and action planning. Alexandria, VA: Association for Supervision & Curriculum Development
Chan, C. K. K. (2001). Peer collaboration and discourse patterns in learning from
Chinn, C. A., & Anderson, R. G. (2000). The structure of discussions that promote reasoning. Teachers College Record, 100(2), 315-368
Clark, D., & Sampson, V. (2006). Personally -seeded discussions to scaffold online argumentation. International Journal of Science Education, 29(3), 253-277
Erduran, S., Simon, S., & Osborne, J. (2004). TAPping into argumentation: Developments in the application of Toulmin's argument pattern for studying science discourse. Science Education, 88(6), 915 933
Felton, M. K., & Herko, S. (2004). From dialogue to two-sided argument: Scaffolding adolescents' perspective writing. Journal of Adolescent & Adult Literacy, 47(8), 672-683
Felton, M., & Kuhn, D. (2001). The development of argumentative discourse skill. Discourse Processes, 32(2&3), 135-153
Goodrich, H. (1996). Understanding rubrics. Educational Leadership, 54(4), 14-17
Hogan, K., Nastasi, B. K., & Pressley, M. (2000). Discourse patterns and collaborative scientific reasoning in peer and teacherguided discussion. Cognition and Instruction, 17(4), 379-432
Hogan, K., & Maglienti, M. (2001). Comparing the epistemological underpinnings of students and scientists' reasoning about conclusions. Journal of Research in Science Teaching. 38(6). 663-687
Jimenez-Aleixandre, M. P., Rodrigueze, A. B., & Duschl, R. A. (2000). "Doing the Lesson" or "Doing Science": Argument in high school genetics. London: John Wiley & Sons
Kelly, G. J., & Takao, A. (2002). Epistemic levels in argument: An analysis of university oceanography students use of evidence in writing. Science Education, 86, 314-342
Kanselaar, G., Erkens, G., Andriessne, J., Prangsma, M., Veerman, A., & Jaspers, J. (2002). Designing argumentation tools fro collaborative learning. In P. A. Kirschner, S. J. Buckingham-Shum & C. S. Carr (Eds.), Visualising argumentation: Software Tools for Collaborative and Educational Sense-making. (pp. 51-73). London: Springer
Kuhn, D. (1993). Science as argument: Implications for teaching and learning scientific thinking. Science Education, 77(3), 319-337
Lawson, A. E. (2003). The nature and development of hypothetico-predictive argumentation with implications for science teaching. International Journal of Science Education, 25(11), 1387-1408
Maloney, J., & Simon, S. (2006). Mapping children's discussions of evidence in science to assess collaboration and argumentation. International Journal of Science Education, 28(15), 1817-1841
McCann, T. M. (1989). Student argumentative writing: Knowledge and ability at three grade levels. Research in the Teaching of English, 23(1), 62-76
McNeill, K. L., Lizotte, D. J., Krajcik, J., & Marx, R. W. (2006). Supporting students' construction of scientific explanations by fading scaffolds in instructional materials. Journal of the Learning Science, 15(2), 153-191
McNeill, K. L., & Krajcik, J. (2007). Middle school students' use of appropriate and inappropriate evidence in writing scientific explanations. In Lovett, M. & Shah, P. (Eds.) Thinking with data: The proceedings of the 33rd Carnegie symposium on cognition. Mahwah, NJ: Lawrence Erlbaum Associate, Inc
Mercer, N., Wegerif, R., & Dawes, L. (1999). Children's talk and the development of reasoning in the classroom. British Educational Research Journal, 25(1), 95-111
Newton, P., Driver, R. & Osborne, J. (1999). The place of argumentation in the pedagogy of school science. International Journal of Science Education, 21, 553-576
O'Donnell, A. M., & King, A. (Eds.). (1998). Cognitive perspectives on peer learning. Mahwah, NJ: Erlbaum
Osborne, J. F., Erduran, S., Simon, S., & Monk, M. (2001). Enhancing the quality of argumentation in school science. School Science Review, 82(301), 63-70
Osborne, J., Erduran, S., & Simon, S. (2004). Enhancing the quality of argumentation in school science. Journal of Researcher in Science Teaching, 41(10), 994-1020
Reiser, B. J., Tabak, I., Sandoval, W. A., Smith, B., Steinmuller, F., & Leone, T. J. (2001). BGUILE: Strategic and conceptual scaffolds for scientific inquiry in biology classrooms. In S. M. Carver & D. Klahr (Eds.), Cognition and instruction: Twenty-five years of progress (pp. 263 305). Mahwah, NJ: Erlbaum
Sadler, T. D., & Fowler, S. R. (2006). A threshold model of content knowledge transfer for socioscientific argumentation. Science Education, 90, 986-1004
Sandoval, W. A., & Millwood, K. A. (2005). The quality of students' use of evidence in written scientific explanations. Cognition And Instruction, 23(1), 23-55
Schafer, W. D., Swanson, G., Bene, N., & Newberry, G. (2001). Effects of teacher knowledge of rubrics on student achievement in four content area. Applied Measurement in Education, 14, 151-170
Schwarz, B., & Glassner, A. (2003). The blind and the paralytic: Supporting argumentation in everyday and scientific issues. In J. Andriessen, M. Baker, & D. Suthers (Eds.), Arguing to learn: Confronting cognitions in computer-supported collaborative learning environments (pp. 227-260). Dordrecht, the Netherlands: Kluwer
Siegel, M. A., Hynds, S., Siciliano, M., & Nagle, B. (2006). Chapter 7. Using rubrics to foster meaningful learning. In McMahon, M., Simmons, P., Sommers, R., Debates, D., & Crawley, F. (Ed.) Assessment in Science. (pp. 89-106). Arlington: NSTA press
Takao, A. Y., Prothero, W. A., & Kelly, G. J. (2002). Applying argumentation analysis to assess the quality of university oceanography students' scientific writing. Journal of Geoscience Education, 5(1), 40-48
Waltman, K., Kahn, A., & Koency, G. (1998). Alternative approaches to scoring: The effect of using different scoring methods on the validity of scores from a performance assessment. CSE Technical Report 488. Los Angeles, CA: National Center for Research on Evaluation, Standards, and Student Testing
Yore, L. D., & Treagust, D. F. (2006). Current realities and future possibilities: language and science literacy-empowering research and informing instruction. International Journal of Science Education, 28(2-3), 291-314
Zembal-Saul, C., Munford, D., Crawford, B., Friedrichsen, P., & Land, S. (2003). Scaffolding preservice teachers' evidencebased arguments during an investigation of natural selection. Research in Science Education, 32, 437-463
Zimmaro, D. M. (2004). Developing grading rubrics. Retrieved from http://www.utexas.edu/academic/mec/research/pdf/rubricshandou t.pdf
Zohar, A., & Nemet, F. (2002). Fostering students' knowledge and argumentation skills through dilemmas in human genetics. Journal of Research in Science Teaching, 39, 35-62
※ AI-Helper는 부적절한 답변을 할 수 있습니다.