초록 ▼

국제사회는 인간의 기본적인 권리이자 개인과 사회 발전을 위한 중요한 수단으로 교육의 중요성에 대해 인식을 같이 하고 있으며, 세계 각국 아동들의 학습 현황과 문제점을 파악하고 개선하기 위해 범세계적으로 학습성과를 지속적으로 모니터링 할 필요가 있음을 강조하고 있다(LMTF, 2013c). 학습성과의 측정 및 점검을 통한 교육의 질 개선을 목표로 2012년 출범한 학습성과측정위원회(Learning Metrics Task Force, 이하 LMTF)는 읽기, 수학을 포함한 7개 영역의 학습성과를 국제적으로 모니터링할 필요성에 대해 국제

국제사회는 인간의 기본적인 권리이자 개인과 사회 발전을 위한 중요한 수단으로 교육의 중요성에 대해 인식을 같이 하고 있으며, 세계 각국 아동들의 학습 현황과 문제점을 파악하고 개선하기 위해 범세계적으로 학습성과를 지속적으로 모니터링 할 필요가 있음을 강조하고 있다(LMTF, 2013c). 학습성과의 측정 및 점검을 통한 교육의 질 개선을 목표로 2012년 출범한 학습성과측정위원회(Learning Metrics Task Force, 이하 LMTF)는 읽기, 수학을 포함한 7개 영역의 학습성과를 국제적으로 모니터링할 필요성에 대해 국제적 공감대를 형성하고 학습성과 지표개발을 위한 실질적인 방안을 수립하기 위해 노력해 왔다. 한국교육과정평가원도 2014년부터 LMTF의 읽기, 수학 영역 학습성과 지표를 개발하기 위한 실무그룹에 참여해 왔다. 또한 읽기, 수학학습성과 지표개발을 위한 기초연구로‘국제교육 모니터링 체제구축을 위한 학습 성과지표 개발 연구(상경아외, 2014)’를 수행하고, 이를 통해 국제공통의 읽기, 수학학습 성과를 명세화하고, 세계 각국의 학습성과를 일관된 기준에 의해 평가할 수 있는 방안을 탐색하였다.

본 연구는 국제학습 성과지표 개발을 위한 2차년도 연구로, 이번 연구에서는 학습성과지표 개발을 위한 방안으로 그동안 LMTF의 논의에서 중요하게 검토되어온 국제 학습척도(Learning Metric) 개발을 본격적으로 추진하기 위해 우리나라에서 시범적으로 학습척도개발에 필요한 경험적 데이터를 수집·분석하였다. 이를 통해 학습척도 개발을 위한 대규모 국제공동 연구를 수행하기 위한 사전 작업으로 호주 교육 연구 위원회(Australian Council for Educational Research, 이하ACER)가 자체적으로 개발한 학습척도 시안의 타당성을 검토하였다. 또한 우리나라의 연구 경험을 토대로 국제 학습척도 개발을 위한 국가별 연구의 절차와 방법을 상세화한 지침서를 개발함으로써 향후 학습척도 개발연구에 참여하는 국가들이 참고할 수 있도록 하였다. 연구의 주요 내용과 결과를 간략하게 제시하면 다음과 같다.

먼저 본 연구에서는 국제 학습척도 개발을 위한 국제 공동 연구를 제안한 ACER와 긴밀히 협의하여 국제 학습척도 개발을 위한 경험적 데이터를 수집하는 연구를 우리나라에서 시범적으로 수행하였다. 즉, 우리나라에서 데이터를 수집하기 위한 검사 설계, 검사 대상 표집, 연구 수행절차 등 연구계획을 자체적으로 수립한 후 ACER와협의를 거쳐보완·확정하였으며, 이후 연구계획에 따라 검사도구를 개발하고 검사를 시행하였다. 국제적으로 학습성과를 모니터링 할 시점을 초등교육이 완료되는 시점으로 보고 있음을 고려해, 우리나라에서 데이터를 수집하기 위한 검사 대상은 초등학교 6학년을 선정했다. 검사도구는 학습척도 시안 개발에 사용된 국제공통문항들과 우리나라 성취도 평가문항 중 국제공통문항에 추가할 문항들로 구성되었으며, 학교 소재지(지역 규모)와 학생 성별을 고려해 전국에서 표집된 약 750여명의 학생을 대상으로 검사를 실시하였다.

다음으로 학습척도시안의 타당성을 논리적, 경험적 측면에서 검토하였다. 학습척도시안에 대한 논리적 검토의 목적은 ACER가 개발한 읽기와 수학 영역의 학습척도시안이사회, 문화, 교육적 환경이 다른 우리나라에서도 타당하게 적용될 수 있는가를 질적으로 분석하기 위한 것으로, 읽기, 수학 분야의 국내 전문가들의 검토를 통해 이루어졌다. 읽기 학습척도 시안을 검토한 결과, 학습척도 시안에서 설정한 읽기 능력 단계별 특성이 대체로 우리나라 학생들의 능력발달 단계를 구분하는데 타당하게 적용될 수 있을 것으로 판단되었다. 그러나 총 15단계로 구분된 능력 발달 단계가 지나치게 세분화되어 있으므로 유사한 인접 단계들을 통합하여 단순화하는 방향으로 수정하는 것이 바람직하다는 의견도 일부 제기되었다. 수학 학습척도 시안 역시 우리나라 학생들의 능력 발달 단계를 구분하는데 필요한 내용 요소들을 적절하게 포함하고 있으며, 총9단계로 구분된 능력발달 단계간의 위계도 대체로 적절한 것으로 판단되었다. 다만 발달 단계별 능력 특성에서 일부 요소들은 개별 국가에 적용할 때 수정이 필요할 것으로 보이며, 6단계와 7단계의 능력 특성 또한 보다 명확하게 구분될 수 있도록 조정될 필요가 있는 것으로 나타났다.

끝으로 우리나라에서 수집한 경험적 데이터를 활용해 학습척도 시안의 타당성을 검토하였다. 1모수 문항반응모형을 적용해 각 문항별 난이도를 추정했으며, 국제 공통문항을 포함해 모든 문항들이 문항 적합도에 문제가 없음을 확인하였다. 국내 검사에 사용된 문항 중 국제 공통문항 풀에서 추출된 문항들에 대해, 우리나라에서 수집된 데이터를 활용하여 추정한 난이도가 학습척도시안에서 설정한 난이도와 유사한 경향을 보이는지 검토하였다. 그 결과 학습척도 시안에서 설정한 난이도와 우리나라 데이터에서 추정한 경험적 난이도 간에 읽기는 0.47, 수학은 0.72의 상관을 보였다. 즉, 수학에서는 두가지 난이도가 상당한 일관성을 보였으나 일부 문항에서는 두 가지 난이도간 차이가 비교적 크게 나타나기도 했다. 읽기의 경우 전반적으로 두 가지 난이도 간 상관이 수학에 비해 낮게 나타났다. 또한 학습척도 시안에서 설정한 능력단계별 문항들이 실제경험적 난이도에서도 수준이 뚜렷이 구분되는가를 보기 위해, 능력단계별로 해당 단계 문항들의 경험적 난이도 범위를 검토하였다. 그 결과 읽기, 수학 모두 능력 단계별 문항들의 경험적 난이도 범위가 상당 부분 중복되는 것으로 나타났다. 이것은 일부 문항들의 경우 학습척도시안에서 설정한 난이도와 실제 경험적으로 추정된 난이도의 차이가 크기 때문일 수 있으므로, 향후 경험적 연구를 통해 해당 문항들의 난이도가 재설정될 필요가 있음을 시사한다. 또한 문항의 난이도가 재설정되면 문항을 기준으로 진술된 능력단계별 특성도 재진술되어야 하며, 단계별 능력특성이 명확히 구분되지 않는 단계들은 서로 통합하여 능력발달 단계를 단순화할 필요가 있다.

이상의 연구결과를 통해 본 연구에서는 다음과 같은 세가지 사항을 우리나라에서 정책적으로 추진할 것을 제언하였다.

첫째, 국가 및 국제 수준에서 우리나라 학습성과를 모니터링 할 수 있는 방안을 마련한다.
이를 위해 우리나라에서 초등교육 단계의 학습성과를 모니터링할 수 있는 최적의 방안을 마련하며, 나아가 우리나라의 학습성과 평가결과를 국제기준에 따른학습성과 지표로 변환할 수 있도록 관련 연구를 추진한다.

둘째, 2030년까지 향후 15년간 전세계가 함께 달성해야 할 목표로 UN이 선정한 지속가능 발전목표(Sustainable Development Goals, 이하 SDGs)와 관련해, 교육 분야의목표 달성 정도를 모니터링하기 위한 국제교육 지표개발에 적극 참여한다. SDGs의 교육분야 세부목표와 관련해, 범세계적인 학습성과 측정방안으로 추진되는 학습척도 개발 국제공동 연구를 정부차원에서 지원하고, UN이 추진하는 국제교육 지표사업에 참여하기 위한 효율적인 국내 협력체계를 구축한다.

셋째, 교육개발협력 사업 추진시, SDGs의 교육분야 목표에서 강조하는‘학습의 질 제고’를 중요하게 고려한다. 수원국의 학습의 질 제고를 직접적인 목표로 하는 교육개발 협력의 하나로 해당 국가의 학습성과 모니터링 체제 구축을 지원하는 장기적인 교육개발협력을 추진한다.

(출처 : 연구요약 6p)

Abstract ▼

The present study aims to validate and examine the draft learning metrics that have been developed by the Australian Council for Educational Research(ACER) and specify steps of its procedure by conducting an empirical study as a representative participating country in the second phase of the researc

The present study aims to validate and examine the draft learning metrics that have been developed by the Australian Council for Educational Research(ACER) and specify steps of its procedure by conducting an empirical study as a representative participating country in the second phase of the research. The international society emphasizes education as crucial to individual happiness and national development. In addition, many education experts have insisted on the needs for a standardized monitoring system that can be applied internationally for the enhancement of educational quality. In this context, the Learning Metrics Partnership(LMP) has made substantial, realistic efforts to develop draft learning metrics, consisting of seven domains, including reading and mathematics, which measure individuals’ proficiency levels on the international scale. Last year, researchers investigated the assessment plans of learning outcomes and stipulated learning outcomes especially in reading and mathematics. As a second year of research, an empirical study was conducted to refine the draft learning metrics for reading and mathematics.

The researchers first developed reading and mathematics tests to validate the learning metrics developed by ACER. The test was composed of a Phase II item pool owned by ACER and NAEA items provided by KICE. Researchers discussed with ACER the entire process of developing the test, including the direction, selection, translation, and confirmation of items. Reading has 39 items, and mathematics consisted of 40 items in the final version of the test. In addition, the developed test was administered to approximately 700 students in the sixth grade of an elementary school since the target of the second phase of LMP is when students complete their primary education. Participants took four versions of the 35-minute test to reduce the influence of question order.

We then examined the validity of draft learning metrics both qualitatively and quantitatively. Educational specialists reviewed the presented proficiency descriptions of each band and attempted to assign each item administered to the sixth grades of Korean students to the proper bands. The researchers compared the band assigned by ACER with the educational specialists’ selection for each items. The results demonstrate that generally, the draft learning metrics accurately reflected the abilities of students who had completed their primary education. However, the proficiency descriptions of bands were very similar, and the divisions of reading into 15 levels and mathematics into nine were too detailed. In future development, the number of levels should be reduced. Regarding this point, researchers explored the consistency between the difficulty levels estimated by ACER and item difficulty found in the empirical data collected in Korea. Overall, there was relatively high consistency and significant differences were seen in only a few items. The researchers thought that empirical and cultural differences might contribute to this issue.

In conclusion, draft learning metrics are currently in the developmental stage and need to further validation. However, this research has provided valuable and reliable data as the first country participating in the second phase of the LMP. This research could provide guidelines and serve as a helpful reference for other countries that will participate in the second phase of LMP. Finally, this research has generated positive feedback and data to improve individual students’ learning outcomes and validate the draft learning metrics.

(출처 : Abstract 126p)

목차 Contents

• 표지 ... 1
• 연구협력진 ... 3
• 머리말 ... 4
• 연구요약 ... 6
• 목차 ... 9
• 표목차 ... 11
• 그림목차 ... 12
• 영문 약어집 ... 13
• I. 서 론 ... 14
• 1. 연구의 필요성 및 목적 ... 15
• 2. 연구의 내용 및 범위 ... 19
• 3. 연구 방법 ... 21
• Ⅱ. 선행연구 고찰 ... 23
• 1. 학습척도의 개념 및 개발 원리 ... 24
• 2. 읽기, 수학 영역의 국제 학습척도 개발 가능성 ... 31
• 3. 국제 학습척도 개발 방향 ... 33
• Ⅲ. 국내 데이터 수집 설계, 검사도구 개발 및 시행 ... 40
• 1. 국내 데이터 수집 설계 ... 41
• 2. 검사도구 개발 절차 ... 43
• 3. 읽기 검사도구 개발 ... 49
• 4. 수학 검사도구 개발 ... 53
• 5. 검사 실시 ... 59
• 6. 채점 ... 60
• Ⅳ. 학습척도 시안의 타당성 검토 ... 61
• 1. 내용 전문가들에 의한 타당성 검토 ... 62
• 2. 경험적 데이터에 기초한 타당성 검토 ... 78
• Ⅴ. 결론 및 제언 ... 110
• 1. 결론 ... 111
• 2. 정책 제언 ... 114
• 참고문헌 ... 123
• ABSTRACT ... 126
• 부록 ... 128
• 부록1. A Reference for LMP Phase II Participating Countries ... 129
• 부록2. 수학 학습척도 시안 전문 ... 159
• 부록3. 국제 학습척도 개발을 위한 국어, 수학 검사 시행 안내문 ... 171
• 끝페이지 ... 176