초록 ▼

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

성취평가제가 고등학교까지 확대되고 평가의 도달점을 중시하는 이해 중심 교육과정을 근간으로 하는 2015 교육과정이 고시되면서 평가의 중요성은 더욱 높아지고 있다. 성취평가제에서는 ‘성취기준’과 ‘성취수준’을 마련하는 일이 중요한데 각 성취수준을 구체적으로 설명한 자료나 연구가 부족한 상황이다. 또한 쓰기 영역의 직접 평가를 성공적으로 실행하기 위해서는 평가기준의 추상성을 극복하고 평가기준에서 의도하는 각 수준의 도달 정도를 알려줄 수 있는 방안이 절실하다. 위의 문제들을 해결할 수 있는 방법으로 학생 예시문이 있다. 영미권에서는 평가의 신뢰도를 높이고 평가 정보를 학생, 교사, 학부모 등에게 알려주기 위해 국가적 차원에서 다양한 예시글을 제공하고 있다.
이 연구에서는 학생 예시문의 중요성을 이해하고 이를 선정하기 위한 방안에 대해 논의하였다. 연구의 초점은 표준 평가 예시문에 한정하였다. 표준 평가 예시문은 일반화가 가능한 예시문이므로 ...

성취평가제가 고등학교까지 확대되고 평가의 도달점을 중시하는 이해 중심 교육과정을 근간으로 하는 2015 교육과정이 고시되면서 평가의 중요성은 더욱 높아지고 있다. 성취평가제에서는 ‘성취기준’과 ‘성취수준’을 마련하는 일이 중요한데 각 성취수준을 구체적으로 설명한 자료나 연구가 부족한 상황이다. 또한 쓰기 영역의 직접 평가를 성공적으로 실행하기 위해서는 평가기준의 추상성을 극복하고 평가기준에서 의도하는 각 수준의 도달 정도를 알려줄 수 있는 방안이 절실하다. 위의 문제들을 해결할 수 있는 방법으로 학생 예시문이 있다. 영미권에서는 평가의 신뢰도를 높이고 평가 정보를 학생, 교사, 학부모 등에게 알려주기 위해 국가적 차원에서 다양한 예시글을 제공하고 있다.
이 연구에서는 학생 예시문의 중요성을 이해하고 이를 선정하기 위한 방안에 대해 논의하였다. 연구의 초점은 표준 평가 예시문에 한정하였다. 표준 평가 예시문은 일반화가 가능한 예시문이므로 타당도는 다소 떨어지나 신뢰도를 높이면 널리 활용할 수 있다. 따라서 예시문 선정 과정에서 신뢰도를 검증할 수 있는 방안을 찾아보고 실제로 적용해 보았다.
실제 평가의 대상은 고등학교 1학년 학생들이 쓴 논설문으로 하였다. 논설문의 특성을 평가하기에 유리하고 피드백을 쉽게 할 수 있도록 평가기준을 수정하였다. 박영민(2012)과 Culham(2009)에서 사용한 평가기준을 바탕으로 주요 자질을 선정하여 교사들의 사전 평가와 작문 전공 전문가의 검토를 거쳐 평가기준을 확정하고 쓰기 과제를 설정하여 글을 수집하였다. 수집한 글은 고등학교 1학년 학생들의 논설문으로 128편을 수집하여 이 중 102편을 교사 14명이 평가하였다.
먼저 고전검사이론 방법인 Cronbach’s α를 살펴보았다. 평가자 간 신뢰도는 0.966으로 신뢰도가 매우 높은 것으로 나타났다. 일반화가능도이론의 G study에서 ‘학생(S) × 평가자(R) × 평가 영역(C)’의 S/RC 설계로 분석하였다. 일반화가능도 계수는 상대 계수 0.95, 절대 계수 0.94로 신뢰도가 높은 것으로 확인되었다. Cronbach’s α는 일반적으로 많이 사용하는 간단한 공식으로 이 연구에서는 일반화가능도의 신뢰도보다 높은 것을 확인할 수 있었다.
일반화가능도이론의 분산분석을 통해 알아본 각 오차원의 영향력은 학생의 분산이 가장 높았으며, 학생과 평가자 간의 상호작용이 그 다음으로 높았다. 추후 라쉬 분석을 통해 밝혀진 부적합, 과적합 평가자를 제외하고 계산한 분산분석에서는 학생의 분산이 더 커지고 평가자의 영향력이 적어지는 것을 확인할 수 있었다. 일반화가능도이론은 평가의 신뢰도 및 각 평가 국면의 영향력을 추정해내므로 쓰기 평가에 유용하게 활용할 수 있는 도구라고 할 수 있다.
다음으로 다국면 라쉬 분석을 통해 적합도를 확인하였다. 평가자의 엄격성과 일관성을 살펴본 결과, 2명이 적절하지 않은 평가자로 나타났다. 이들을 제외하고 다시 다국면 라쉬 모형을 분석한 결과 부적합한 평가자는 없었으며 6척도의 평가 척도가 잘 기능함을 확인하였다. 평가 영역의 적합도에서 다른 쓰기 관련 연구들과 달리 영역별 엄격성이 거의 동일한 것으로 나타났다. 마지막으로 라쉬 분석을 통해 조정된 점수를 얻었다.
수준 설정의 방법 중 데이터만으로 설정하는 방법인 군집 분석을 통해 각 글을 무리 지었다. 102편의 글 중 매우 점수가 낮은 글 1편을 제외하고 101편의 글을 K-평균 군집 분석을 통해 6개 군집으로 나누었다. 6개의 군집을 6개 수준으로 보고 각 수준 내에서 군집 중심에 가장 가까운 글을 2편씩 선정하였다. 최종적으로 12개의 글을 학생 예시문으로 선정하였고 라쉬 분석에서 피험자의 적합도에서 부적합하다고 확인된 글은 제외하였다.
선정된 예시문의 제시 방식은 쓰기 과제의 교수‧학습 상황과 평가 방식을 함께 싣고 전체 글의 평균, 표준편차와 각 글의 점수 및 영역별 점수를 함께 제시하여 평가 시에 활용할 수 있는 정보를 제공하였다. 또한 영역별로 세부 논평을 함께 실어 평가의 근거를 구체적으로 제시하였다.
이 연구를 통해 도출된 표준 평가 예시문은 표집의 한계가 있다. 일정 지역 학생들의 글만 수집하여 표집이 편향되어 있다. 또한 평가자 수가 부족하여 모평균을 추정하기 어려웠다. 하지만 여러 도구를 통해 신뢰도가 검증되었으며 이러한 도구들의 장단점과 특성을 비교해 볼 수 있었다. 또한 수정한 평가기준이 복잡하여 평가에 영향을 미쳤을 가능성이 있다. 이 문제점을 극복하기 위해 사전 평가와 작문 전공 전문가의 검토를 거쳤으며 라쉬 분석에서 평가기준의 적합성을 확인하였고 신뢰도 검증 도구들에서도 문제는 발견되지 않았다.
이 연구는 쓰기 평가를 위한 학생 예시문 선정 과정에서 다양한 신뢰도 검증 도구를 실제 평가에 적용해 봄으로써 각 도구의 장단점을 확인할 수 있었다. 또한 각 성취수준의 글들을 분류함으로써 수준 설정 방법 중 군집 분석의 가능성을 탐색하였다. 이와 같이 선정된 고등학교 1학년 논설문의 학생 예시문은 해당 학년의 성취수준의 양상을 살펴보는 데에도 도움을 줄 수 있을 것이다.

주제어