한국지리 대학수학능력시험의 교육과정 성취기준에 대한 내용타당도 분석 Analysis on the Content Validity of the Korean Geography Subject College Scholastic Ability Test on the National Curriculum Achievement Standards원문보기
본 연구는 2014학년도부터 2016학년도 고등학교 한국지리 대학수학능력시험 평가 문항의 교육과정 성취기준에 대한 내용타당도를 분석하였으며, 주요 연구결과는 다음과 같다. 먼저, '지식 차원'에서 성취기준과 수능 평가 문항은 모두 '사실적 지식'의 비율이 가장 높게 나타났다. 둘째, '인지과정 차원'에서 성취기준은 '이해하다'의 비율이 가장 높게 나타났으나, 수능 평가 문항에서는 '분석하다'와 '분석하다'가 '이해하다'와 복합된 유형의 비율이 가장 높게 나타났다. 셋째, 비율차 검증을 통한 한국지리 수능 문항의 내용타당도 분석 결과, 분석대상 학년도 모두 내용타당도가 '조금 낮다'로 나타났다. 마지막으로 교육과정 내용 영역별 내용타당도 분석 결과, '지형 환경과 생태계', '생산과 소비의 공간' 영역은 '인지과정 차원'에서 성취기준과 수능 평가 문항의 주요 유형의 차이가 크게 나타나 다른 영역에 비해 내용타당도가 상대적으로 낮게 나타났다. 이상의 연구 결과는 한국지리 대학수학능력시험 문항 출제 시 교육과정 성취기준을 충실히 반영한 평가가 이루어져야 하며, 학습자의 자료 분석 능력 평가에 치중되어서는 안 된다는 점을 시사한다.
본 연구는 2014학년도부터 2016학년도 고등학교 한국지리 대학수학능력시험 평가 문항의 교육과정 성취기준에 대한 내용타당도를 분석하였으며, 주요 연구결과는 다음과 같다. 먼저, '지식 차원'에서 성취기준과 수능 평가 문항은 모두 '사실적 지식'의 비율이 가장 높게 나타났다. 둘째, '인지과정 차원'에서 성취기준은 '이해하다'의 비율이 가장 높게 나타났으나, 수능 평가 문항에서는 '분석하다'와 '분석하다'가 '이해하다'와 복합된 유형의 비율이 가장 높게 나타났다. 셋째, 비율차 검증을 통한 한국지리 수능 문항의 내용타당도 분석 결과, 분석대상 학년도 모두 내용타당도가 '조금 낮다'로 나타났다. 마지막으로 교육과정 내용 영역별 내용타당도 분석 결과, '지형 환경과 생태계', '생산과 소비의 공간' 영역은 '인지과정 차원'에서 성취기준과 수능 평가 문항의 주요 유형의 차이가 크게 나타나 다른 영역에 비해 내용타당도가 상대적으로 낮게 나타났다. 이상의 연구 결과는 한국지리 대학수학능력시험 문항 출제 시 교육과정 성취기준을 충실히 반영한 평가가 이루어져야 하며, 학습자의 자료 분석 능력 평가에 치중되어서는 안 된다는 점을 시사한다.
This study analyzed on the content validity of the Korean geography subject evaluation questions on the College Scholastic Ability Test(CSAT) from 2014 to 2016 regarding the national curriculum achievement standards. The main results are as follows. First, from 'the knowledge dimension' aspect, both...
This study analyzed on the content validity of the Korean geography subject evaluation questions on the College Scholastic Ability Test(CSAT) from 2014 to 2016 regarding the national curriculum achievement standards. The main results are as follows. First, from 'the knowledge dimension' aspect, both the achievement standard and the CSAT questions showed the highest ratio of 'factual knowledge'. Second, from 'the cognitive process dimension' aspect, the percentage of 'understand' was the highest in the achievement standard, whereas in the CSAT questions, the ratio of 'analyze' and complex type of 'analyze' and 'understand' was the highest. Third, in the result of the analysis of the content validity of the Korean geography CSAT questions through proportion test, all of the analysis targets showed 'a little low'. Finally, the content validity analysis showed that there was a significant difference between the main types of the achievement standards and the CSAT questions in the 'Geomorphological Environment and Ecosystem part' and 'Space of Production and Consumption part' from the cognitive process aspect, which showed relatively low content validity compared to other areas. The results of this study suggest that the achievement standards should be reflected on the Korean geography CSAT questions and it should not be focused on evaluating the learner's analysing ability.
This study analyzed on the content validity of the Korean geography subject evaluation questions on the College Scholastic Ability Test(CSAT) from 2014 to 2016 regarding the national curriculum achievement standards. The main results are as follows. First, from 'the knowledge dimension' aspect, both the achievement standard and the CSAT questions showed the highest ratio of 'factual knowledge'. Second, from 'the cognitive process dimension' aspect, the percentage of 'understand' was the highest in the achievement standard, whereas in the CSAT questions, the ratio of 'analyze' and complex type of 'analyze' and 'understand' was the highest. Third, in the result of the analysis of the content validity of the Korean geography CSAT questions through proportion test, all of the analysis targets showed 'a little low'. Finally, the content validity analysis showed that there was a significant difference between the main types of the achievement standards and the CSAT questions in the 'Geomorphological Environment and Ecosystem part' and 'Space of Production and Consumption part' from the cognitive process aspect, which showed relatively low content validity compared to other areas. The results of this study suggest that the achievement standards should be reflected on the Korean geography CSAT questions and it should not be focused on evaluating the learner's analysing ability.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 연구에서는 한국지리 수능 문항의 내용타당도 분석을 위해 교육목표분류의 이론들 중 Bloom의 신교육목표분류학(Revision of Bloom’s Taxonomy Educational Objectives)을 바탕으로 한국지리 교육과정 성취기준과 한국지리 수능 문항의 평가 목표를 분석하였다.
이에 본 연구에서는 내용타당도의 의미를 문항의 적절성 측면에 두고, 최근 학교에서 시행되고 있는 2009 개정 교육과정이 적용된 2014~2016학년도 수능 사회탐구 영역 중 세계지리와 함께 지리교과의 중심이 되는 한국지리 과목을 대상으로, Bloom의 신교육목표분류학을 바탕으로 분석하여 교육과정에서 제시한 성취기준을 수능 문항이 평가하고 있는지를 내용타당도 측면에서 살펴보고자한다. 1)
제안 방법
* Anderson et al.(2001)을 바탕으로 실제 성취기준과 평가 목표를 분석하여 삼각검증 한 결과를 통해 복합 유형을 추가하였다.
다음으로, ‘인지과정 차원’은 신 교육목표분류학에 제시된 ‘기억하다(Remember)’, ‘이해하다(Understand)’, ‘적용하다(Apply)’, ‘분석하다(Analysis)’, ‘평가하다(Evaluate)’, ‘창안하다(Create)’와 이들의 복합 유형인 ‘복합a’, ‘복합b’, ‘복합c’, ‘복합d’, ‘복합e’, ‘복합f’로 분류하였다(표 2).
먼저, ‘지식 차원’은 Bloom의 신 교육목표분류학에서 제시된 ‘사실적 지식(Factual knowledge)’, ‘개념적 지식(Conceptual knowledge)’, ‘절차적 지식(Procedural knowledge)’, ‘메타인지적 지식(Metacognitive knowledge)’과 이들의 복합 유형인 ‘복합A’, ‘복합B’, ‘복합C’로 분류하였다(표 1).
위의 분석 준거를 바탕으로 한국지리 교육과정 성취기준과 수능 문항의 평가 목표를 분석하고, 이를 다시 한국지리 교육과정 내용 영역별로 나누어 내용타당도를 분석하였다.4)
이에 Bloom의 신 교육목표분류학의 ‘지식 차원’과 ‘인지과정 차원’의 유형을 바탕으로 한국지리 과목에 맥락적 의미를 갖는 분석 준거를 도출하였으며, 분석 과정에서 나타난 복합 유형을 추가하여 최종 분석 준거를 설정하였다.
하지만 현재 지리교과에서 수능의 내용타당도를 교육과정 성취기준과 함께 체계적으로 비교·분석한 연구가 부족하다. 이에 본 연구에서는 2009 개정 한국지리 교육 과정이 적용된 2014학년도부터 2016학년도의 한국 지리 수능 문항의 교육과정 성취기준에 대한 내용타당도를 분석하였으며, 주요 내용을 정리하면 다음과 같다.
데이터처리
즉, 한국지리 교육과정 성취기준과 수능 문항의 평가 목표를 ‘지식 차원’과 ‘인지과정 차원’으로 분석하고, 이를 다시 한국지리 교육과정 내용 영역별로 나누어 분석한 후, 비율차 검증 방법을 통해 비율차에 의한 t 점수를 산출하여 내용타당도를 분석하였다.
한국지리 수능 문항의 내용타당도 분석을 위해 비율차 검증 방법을 활용하였으며, 비율차 검증을 위해 교육과정 성취기준과 수능 문항의 평가 목표에 나타난 유형의 비율차에 의한 t 점수를 산출하였다. t 점수는 다음과 같은 방법으로 계산하였다.
성능/효과
‘거주와 여가의 공간’ 영역은 2014, 2016학년도에서 ‘사실적 지식’이 각각 66.7%, 100%로 매우 높게 나타났으며, 2014, 2015학년도에서는 ‘개념적 지식’이 각각 33.3%, 100%로 나타나 주로 ‘사실적 지식’과 ‘개념적 지식’ 유형이 출제되는 것을 확인할 수 있다.
‘국토의 지속 가능한 발전’ 영역은 3개 학년도에서 모두 ‘개념적 지식’ 의 비율이 50% 이상으로 높게 나타났으며, 2014, 2015학년도에서 ‘사실적 지식’의 비율이 각각 50%로 나타나 주로 ‘개념적 지식’과 ‘사실적 지식’ 유형이 출제되는 것을 확인할 수 있다.
‘세계화 시대의 국토 인식’ 영역은 2014, 2015학년도에서 ‘사실적 지식’과 ‘절차적 지식’이 복합된 유형의 비율이 100%로 매우 높게 나타났고, ‘지형 환경과 생태계’ 영역은 3개 학년도 모두 ‘사실적 지식’과 ‘개념적 지식’, ‘절차적 지식’이 복합된 유형 비율이 가장 높게 나타났다.
‘우리나라 지역 이해’ 영역은 2014학년도에서 ‘분석하다’의 비율이 100%로 높게 나타났으며, 2015학년도에서는 ‘분석하다’의 비율이 80%로 가장 높게 나타났고, ‘기억하다’가 20%로 나타났다.
‘인지과정 차원’ 분석 결과, 3개 학년도 수능 문항의 평가 목표에서 모두 ‘분석하다’와 ‘복합c’가 각각 30~ 45%로 가장 높게 나타나, 전체의 60% 이상을 차지하였다.
‘인지과정 차원’에서 ‘세계화 시대의 국토 인식’, ‘변화하는 기후 환경’, ‘거주와 여가의 공간’ 영역은 3개 학년도 문항에서 모두 내용타당도가 ‘높다’로 나타난 반면에, ‘지형 환경과 생태계 영역’은 3개 학년도 문항에서 모두 내용타당도가 ‘낮다’ 또는 ‘조금 낮다’로 나타났으며, 2014학년도 문항의 경우 유의도 p<.05인 유형의 비율이 100%로 내용타당도가 매우 낮게 나타났다.
‘인지과정 차원’의 분석 결과, ‘국토의 지속 가능한 발전’ 영역을 제외하고 대부분의 영역에서 ‘이해하다’ 에 관한 성취기준이 주로 제시되었으며, 영역의 내용적 특징을 반영하여 ‘분석하다’, ‘평가하다’, ‘창안하다’ 가 각각 독립적으로 나타나거나 2개 이상의 유형이 복합된 복합 유형으로 나타났다.
‘지식 차원’의 분석 결과, 대부분의 영역에서 지리적 정보나 현상에 대한 ‘사실적 지식’의 성취기준이 주로 제시되었으며, 자연지리 영역은 ‘복합A’의 비율이 높게 나타났고, 인문지리 영역은 ‘사실적 지식’의 비율이 높게 나타났다.
교육과정 내용 영역별 수능 문항의 내용타당도 분석 결과, ‘세계화 시대의 국토 인식’, ‘변화하는 기후 환경’, ‘국토의 지속 가능한 발전’ 영역은 3개 학년도 모두 내용타당도가 ‘높다’로 나타났으며, ‘거주와 여가의 공간’ 영역과 ‘우리나라 지역 이해’ 영역은 2개 학년도에서 내용타당도가 ‘높다’로 나타났다.
넷째, 한국지리 수능 평가 문항의 교육과정 내용 영역별 분석 결과, ‘지식 차원’에서 대부분의 영역은 ‘사실적 지식’이 높은 비율로 나타났으나, 특정 영역에서는 다른 양상이 나타났다.
다음으로, 한국지리 교육과정 내용 영역별 내용타 당도를 ‘지식 차원’과 ‘인지과정 차원’으로 나누어 분석한 결과, 대부분의 영역에서 ‘지식 차원’은 내용타당도가 높은 것으로 나타나나, ‘인지과정 차원’에서는 영역별로 내용타당도의 차이가 나타났다.
둘째, 2009 개정 교육과정 성취기준의 교육과정 내용 영역별 분석 결과, ‘지식 차원’에서 자연지리 영역은 ‘사실적 지식’과 ‘개념적 지식’이 복합된 유형이 상대적으로 높게 나타났으며, 인문지리 영역에서는 ‘사실적 지식’의 비율이 높게 나타났다.
둘째, 교육과정 성취기준과 수능 문항의 평가 목표에 나타난 ‘지식 차원’과 ‘인지과정 차원’의 유형을 비교하면, ‘지식 차원’에서 한국지리 교육과정 성취기준과 3개 학년도 한국지리 수능 문항의 평가 목표 모두 ‘사실적 지식’과 ‘복합A’가 높은 비율로 나타났다.
마지막으로, ‘지식 차원’과 ‘인지과정 차원’으로 분류하여 비율차 검증을 통해 내용타당도를 분석한 결과, 분석대상 한국지리 수능 문항에서 ‘지식 차원’의 내용타당도는 모두 ‘조금 높다’ 로 나타났으나, ‘인지 과정 차원’의 내용타당도는 모두 ‘조금 낮다’로 나타났다.
마지막으로, 한국지리 수능 문항의 내용타당도 분석 결과, 3개 학년도 모두 내용타당도는 ‘조금 낮다’로 나타났다.
먼저, '지식차원'과 '인지과정 차원'을 포괄하여 전체적으로 볼 때, ‘세계화 시대의 국토 인식’과 ‘변화하는 기후 환경’, ‘국토의 지속 가능한 발전’ 영역은 3개 학년도 모두 내용타당도가 ‘높다’로 나타났다.
먼저, ‘지식 차원’ 분석 결과, 3개 학년도 문항의 평가 목표에서 모두 ‘사실적 지식’이 50~60%로 가장 높게 나타났으며, ‘메타인지적 지식’은 3개 학년도에서 모두 나타나지 않았다(그림 5).
먼저, ‘지식 차원’의 분석 결과, ‘사실적 지식(72.5%)’ 의 비율이 가장 높게 나타났으며, ‘복합A(22.5%)’, ‘복합B(5%)’ 순으로 높게 나타났다(표 4).
먼저, 3개 학년도 한국지리 수능 문항의 평가 목표에서 유의도 p<.05 인 유형의 비율이 각각 54.5%, 58.3%, 53.3%로, 내용타당도는 모두 ‘조금 낮다’로 나타났다.
셋째, 한국지리 수능 평가 문항의 분석 결과, ‘지식차원’에서 3개 학년도 모두 ‘사실적 지식’의 비율이 높게 나타났고 ‘메타인지적 지식’은 나타나지 않았다.
통계 처리 결과 비율차의 유의도가 p>.05이면 교육과정 성취기준과 수능 문항의 평가 목표가 동질적이며 내용타당도가 높은 것으로 해석하고, p<.05이면 교육과정 성취기준과 수능 문항의 평가 목표가 이질 적이며 내용타당도가 낮은 것으로 해석하였다.
특히 ‘지형 환경과 생태계’, ‘생산과 소비의 공간’, ‘우리나라 지역 이해’, ‘국토의 지속 가능한 발전’ 영역에서 높은 비율로 나타났다.
특히, ‘우리나라 지역 이해’ 영역의 경우 3개 학년도에서 ‘사실적 지식’의 비율이 각각 100%, 100%, 80%로 매우 높게 나타났다.
후속연구
본 연구는 내용타당도 판정 기준의 단선적인 구간 설정으로 인한 정확성의 한계와 교육과정 대강화로 인한 구체적인 성취기준 분석의 어려움, 대학수학능력시험의 비공개 원칙에 따른 평가 목표 분석의 한계점을 가지고 있다. 앞으로 지리과 수능에 대한 양적, 질적인 연구가 다양한 관점에서 계속된다면, 수능의 본질적인 목적과 기능에 부합되는 방향으로 나아갈수 있을 것이다.
본 연구는 내용타당도 판정 기준의 단선적인 구간 설정으로 인한 정확성의 한계와 교육과정 대강화로 인한 구체적인 성취기준 분석의 어려움, 대학수학능력시험의 비공개 원칙에 따른 평가 목표 분석의 한계점을 가지고 있다. 앞으로 지리과 수능에 대한 양적, 질적인 연구가 다양한 관점에서 계속된다면, 수능의 본질적인 목적과 기능에 부합되는 방향으로 나아갈수 있을 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
수능이란?
대학수학능력시험(이하 수능)은 대학입학학력고사의 단편적인 지식과 암기 위주의 평가로 인한 문제점을 해결하기 위한 하나의 대안으로 등장하였다. 수능은 대학 교육에 필요한 수학 능력 측정으로 선발의 공정성과 객관성을 확보하고, 고등학교 교육과정의 내용과 수준에 맞는 출제로 고등학교 학교교육의 정상화에 기여하며, 개별 교과의 특성을 바탕으로 신뢰도와 타당도를 갖춘 시험으로서 공정성과 객관성이 높은 대입 전형자료를 제공하고자 하는 목적에서(한국교육과정평가원, 2017) 1994학년도부터 도입되어 현재까지 24년간 시행되고 있다.
수능에 한국지리 교육과정 성취기준을 충분히 반영하지 못한 평가가 이루어 질 경우 발생할 문제는?
3개 학년도 한국지리 수능 문항을 분석한 결과, 내용타당도가 다소 낮게 나타났다. 성취기준과 벗어난 평가가 이루어질 경우 교실수업은 혼란을 겪게 되고 결국 수능에 맞춘 학습이 이루어질 것이다. 따라서 수능 문항을 출제하는 출제 진들과 검토위원은 교육과정의 성취기준을 충분히 검토하여 학생들이 학교에서 학습하는 정규 교육과정을 이수할 경우 문항을 해결하는데 어려움을 겪지 않도록 출제해야한다.
성취기준의 역할은 무엇인가?
교육과정에서 교육목표로 제시되는 성취기준은 학생들이 학습을 통해 성취해야 할 지식, 기능, 태도의 능력과 특성을 명료화하여 진술한 것으로 교수·학습 및 평가의 실질적인 근거가 된다. 성취기준을 통해 교사들은 무엇을 가르칠지, 학습자들이 어떤 목표에 도달해야하며 무엇을 평가해야하는지에 대한 기준을 제시하며, 교실 수업뿐만 아니라 수능 문항의 출제 과정에도 영향을 미친다. 수능은 대학 수학에 필요한 능력을 측정하는 시험임과 동시에 초·중·고등학교 교육과정을 이수한 학생들의 성취수준을 평가하는 성격도 가지고 있다(오정준, 2005, 238).
참고문헌 (36)
강창숙, 2005, 중학생 '지도 읽기' 탐구활동에서 나타나는 지리적 메타인지, 한국지역지리학회지, 11(2), 263-277.
강현석.정재임.최윤경, 2005, Bloom의 교육목표분류학에 대한 비판과 그 대안 탐구: 일선 교사들의 인터뷰를 중심으로, 중등교육연구, 53(1), 51-84.
Anderson, L. W., Krathwohl, D. R., Airasian, P. W., Cruikshank, K. A., Mayer, R. E., Pintrich, P. R., Raths, J., Wittrock, M. C.(eds.), 2001, A Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom's Taxonomy of Educational Objectives, New York: Longman.
Anderson, L. W. & Sosniak, L. A., 1994, Bloom's Taxonomy: A Forty-year Retrospective: Ninetythird Yearbook of National Society for the Study of Educationm Part II, Chicago: The National Society for the Study of Education.
김인식.박영무.이원희.최호성.강현석.최병옥.박창언.박찬혁 공역, 2004. 신 교육목표분류학. 서울: 교육과학사(Hauenstein, A. D., 1998, A conceptual frame- work for educational objectives: A holistick approach to traditional taxonomies. Lanham, MD, University press of America).
Krathwohl. D. R., 2002, A revision Bloom's taxonomy: An overview, Theory into Practice, 41(4), 212-218.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.