초록 ▼

연구 결과
☞ 채점시스템 및 피드백시스템 개발 방향 탐색 및 설계
채점시스템과 피드백시스템 개발 방향을 탐색하기 위해 학교 단위 평가 기록 관리 현황과 기존 국내외 평가시스템의 특징을 분석하였다. 학교 현장에서 지필평가, 수행평가 등 다양한 평가를 시행하고 학생들의 답안을 채점하고 그 결과를 관리하는 일련의 학교 단위 평가 기록 관리 현황을 분석하여, 형성평가시스템이 기존 학교 상황에 효율적으로 착근될 수 있는 방안을 찾고자 하였다. 또한 국내외 평가시스템의 채점 및 피드백 세부 내용을 분석하여 채점시스템 피드백시스템 개

연구 결과
☞ 채점시스템 및 피드백시스템 개발 방향 탐색 및 설계
채점시스템과 피드백시스템 개발 방향을 탐색하기 위해 학교 단위 평가 기록 관리 현황과 기존 국내외 평가시스템의 특징을 분석하였다. 학교 현장에서 지필평가, 수행평가 등 다양한 평가를 시행하고 학생들의 답안을 채점하고 그 결과를 관리하는 일련의 학교 단위 평가 기록 관리 현황을 분석하여, 형성평가시스템이 기존 학교 상황에 효율적으로 착근될 수 있는 방안을 찾고자 하였다. 또한 국내외 평가시스템의 채점 및 피드백 세부 내용을 분석하여 채점시스템 피드백시스템 개발의 기술적 참고점을 도출하고자 하였다. 이와 같은 분석 결과를 바탕으로< 표 1 >과 같이 시스템 개발 방향을 탐색하고 설계하였다.

☞ 채점시스템 및 피드백시스템 개발
채점시스템은 오프라인으로 시행된 형성평가에서 생성된 학생 답안을 시스템에 입력하고 채점한 평가 결과와 수행평가 등 학교 단위에서 시행되는 평가 결과를 통합 관리하는 역할을 한다. 온라인으로 시행된 형성평가는 기 개발된 시스템에 의해 자동으로 채점이 진행되는 바, 오프라인으로 시행된 형성평가의 답안을 시스템에 입력할 수 있는 별도의 방안이 강구되어야 한다. 본 연구에서는 오프라인 평가 답안 입력 방법으로 온라인 수기 입력, OMR 스캔 입력, 모바일 입력을 고려하였다. 각 입력 방법은 각기 다른 장단점을 지니고 있으며, 다양한 오프라인 답안 입력 기능을 구현하여 개별 학교 상황에 맞춰 사용할 수 있도록 하였다.

본 연구에서는 개별 문항 정오답 여부를 바탕으로 전체 총점 형태로 평가 결과를 생성하는 것이 아니라, 3개 성취수준에 대응하도록 평가 문항 군을 구성하고 문항 군별 평가 결과 를 종합하여 성취기준별 성취수준 진단 정보를 생성하고, 이를 통합·누적 관리하여 학생의 학습 상황을 모니터링 할 수 있도록 하였다. 피드백시스템은 문항별 피드백, 성취기준별 피드백, 단원별 피드백과 같이 3단계로 피드백을 제공한다. 첫째, 문항별 피드백으로 정오답과 정답해설을 제공한다. 둘째, 성취기준별 피드백으로 학생의 성취도를 성취기준 단위 성취수준을 고려하여 ‘미도달-하-중-상’으로 분류하여 제공한다. 이를 성취기준 매핑 구조를 연계하여 학습 취약점을 분석하여 성취기준별 피드백으로 제공한다. 또한 성취기준별 성취 수준의 특성을 고려하여 학습 진행 방향 등과 관련하여 수준별 학습 도움말을 제공한다.

☞ 시스템 개발 결과 및 시범 적용
이처럼 본 연구에서 개발하고자 하는 형성평가시스템은 국가수준 교육과정의 성취기준 정보를 이용하여 교사의 업무 부담을 최소화하는 방식으로 형성평가에 대한 분석적인 정보를 제공하는 것을 목적으로 한다. 즉, 성취기준 간의 연계 구조 곧 성취기준 매핑 구조에 기반한 성취기준별 피드백뿐만 아니라 형성평가 결과가 누적된 데이터를 통합하여 피드백으로 제공하며, 다음 [그림 1]과 [그림 2]는 형성평가 시행 이후 학생용과 교사용 피드백 제공 화면이다.

[그림 1]의 학생용 피드백을 확인하기 위해서 ‘평가별 결과보기’ 메뉴를 선택하면 평가를 완료한 평가 리스트가 제공된다. 결과를 확인하고자 하는 평가 리스트를 클릭하여 ‘결과보기’나 ‘정답해설’을 선택하면 된다. ‘결과보기’는 전체 결과를 보여 주는 것으로 해당 평가에 대한 수준과 개별 및 누적된 평가 결과를 분석하여 취약점 등을 제공하고 분석된 취약점을 바탕으로 학습도움말을 제공한다. ‘정답해설’은 문항별 결과를 보여 주는 것으로 해당 학생 의 응답과 정답, 결과 및 해설을 제공한다.

[그림 2]의 교사용 피드백은 평가별, 성취기준별, 학급별 등 필요한 기준에 따라 통계 정보를 생성하고 이를 원하는 형태로 제공한다. 예를 들어 성취기준별 결과를 확인하기 위해서는 해당 성취기준을 선택하고 ‘검색’ 버튼을 클릭하면 학생 리스트가 제공된다. 결과 를 보고자 하는 학생을 선택하면 해당 학생의 성취기준별 누적 결과가 오른쪽에 그래프로 제공된다.

다음으로 서울에 위치한 2개의 중학교에서 2016년 10월 17일과 10월 18일에 1학년 22명, 2학년 61명, 3학년 90명 총 173명의 학생을 대상으로 시스템을 시범 적용하였다. 시범 적용 이후 학생을 대상으로 시스템 화면 구성, 제공된 정보의 유용성, 그리고 모바일 입력 방식 관련 만족도 설문을 하였다. 학생 설문 결과, ‘그렇다’와 "매우 그렇다’를 선택한 학생 비율의 범위는 813~96.5%로 모든 문항에서 높은 만족도를 보였다. 또한 해당 교사들을 대상으로 한 심층 면담에서 평가 시행 이후 피드백이 직접적으로 제공된다는 점에서 만족하지만 오프라인 답안 입력, 맞춤형 피드백, 시스템 기능 등에 대한 여러 개선 사항을 제안하였다.

끝으로 본 연구의 결과를 바탕으로 추후 연구를 위한 제언과 정책 제언을 다음 < 표 2 >에 제시하였다.

(출처 : 연구요약 7p)

Abstract ▼

The present study is developing an assessment system in order to support the policy of the current government that is to meet the command of the student-customized learning and the international trend of the assessment paradigm This study started in 2014 and aimed at finishing the project in 2017. T

The present study is developing an assessment system in order to support the policy of the current government that is to meet the command of the student-customized learning and the international trend of the assessment paradigm This study started in 2014 and aimed at finishing the project in 2017. The first year of this project (Kim, H., et al., 2014) examined the current situation of the school assessment and the need of schools and based on the survey results of a formative assessment system incorporating online and offline assessments. In the second year, Kim, H., Kim, I. & Jung, Y. (2015) developed a prototype of the online item management system which supports to develop and administer a test based on the standards of National Assessment of Educational Achievement. The present study as the third year project, attempted to develop rating and feedback systems for the results of offline tests. The systems were designed to analyze test results and to provide student-customized feedbacks based on the results. Inaddition, through a pilot test, this study tried to collect a wide range of opinions of test stakeholders in order to improve the two systems.

In the present study the subject, content, and recording & managing system of test results in schools were examined and also domestic test assessment systems were also analyzed before developing the rating and feedback systems. First, it was found that the school test in Korea is administered by following an official test manual and the results of the test are recorded and managed on the NEIS (National Education Information System). Paper-and-pencil tests including multiple-choice tests and performance tests were normally used in schools and the results of them were managed by the NEIS. NEIS can automatically manage the data of multiple-choice items of the paper-and-pencil test. The other data of performance test and students' details and characteristics in the test should be stored and managed manually by teachers. By adopting the Free Semester System (an educational policy of the current government), teachers' work load implementing performance test is rapidly increasing. However, any rating and managing systems for such performance test are not available for teachers. This is why the present study aimed at developing the rating and managing systems.

We reviewed diagnostic tests and remedial learning for cyber-learning service’ and investigated Vocational/meister high school’ in Korea. We also examined Measures of Academic Progress (hereafter MAP) by Northwest Evaluation Association (hereafter NWEA) in US and Pearson's Aimsweb Plus, and referred their system to develop our rating and feedback systems. Even though those assessment systems are a little different from our system in target subjects, purposes and so on, there are still similar functions with our system such as a data input method considering offline tests, a feedback service using clear and visual data, a wide range of test results providing cumulative & comparative scores of classroom/school/nation units, and teaching & learning materials associated with scores. The followings are a system design resulted from those insights.

First, the data input function includes online typing system for offline test results’, ‘OMR card reader, and mobile typing system for offline test results’.

Second, the data structure is based on the cumulative and incorporated scores of all the test administrations considering the provision of a variety of feedbacks.

Third, the sub-functions of correct/incorrect answer, explanation for correct answer, 'diagnostic information for each achievement level’ and 'advices for learning’ are included to provide a student-customized feedback.

Fourth, the function for providing mode scores in the same class/year per each achievement standard is also included and each student's progress is also demonstrated in the system by cumulating all the test scores.

By considering those functions, the rating and feedback service systems were designed. If offline test results are inputed into rating system, the results are automatically rated according to the mapping structure of achievement standards and then the level of the test-taker is produced. On the feedback system, the test-taker can monitor his/her strengths and weaknesses, examine his/her learning progress which could support students' self-regulated learning. For teachers, this feedback system supports to improve teaching methods, to give a consultation, and also to manage students' test scores.

This formative assessment system was validated through a pilot test with two middle schools in Seoul during 17^th and 18^th of October, 2016. The participants are 22 students in the 1st year, 61 in the 2nd year, and 173 in the 3rd year. The pilot test was carried out as an offline paper-and-pencil test For comparing data input methods, online typing system for offline test results’, ‘OMR card reader’, and mobile typing system for offline test results’ were all applied. After the pilot test, the usefulness and satisfaction of the test transcript on the screen was surveyed. 84.3%-96.5% of the participants gave positive answers like ‘satisfied’ and Very satisfied’. On the issue of the data input methods, teachers answered that OMR card and digital scanning would not be practical because of lots of information to input. In the case of mobile typing system, it was convenient but there was also a restriction on internet-accessibility. In addition, online typing system for offline test results5 was found convenient as ell but there were some suggestions to improve. In terms of the feedback system, the instant feedback was satisfactory but it needs to size up the screen of items and answers.

In conclusion, some suggestions were indicated for further research. Those suggestions includes how to manage this systems and what to support for teaching and learning based on information from this system

(출처 : ABSTRACT 171p)

목차 Contents

• 표지 ... 1
• 연구협력진 ... 3
• 머리말 ... 5
• 연구요약 ... 7
• 목차 ... 13
• 표목차 ... 16
• 그림목차 ... 17
• I 서론 ... 21
• 1. 연구 필요성 ... 23
• 2. 연구 목적 ... 33
• 3. 연구 내용 ... 34
• 가. 평가 결과를 관리하는 채점시스템 설계 ... 34
• 나. 학생 및 교사 맞춤형 피드백 제공 시스템 설계 ... 34
• 다. 채점 및 피드백 시스템 프로토타입 개발 ... 35
• 라. 채점 및 피드백 시스템 프로토타입 시범 적용 및 결과 분석 ... 35
• 4. 연구 방법 ... 36
• 가. 문헌 연구 ... 36
• 나. 전문가 협의회, 정책 협의회 ... 36
• 다. 개발 협의체 구성·운영 ... 36
• 라. 시범 적용 및 의견 조사 ... 37
• 마. 세미나 ... 37
• II 채점 및 피드백 시스템 개발 방향 탐색 ... 39
• 1. 학교 단위 평가의 기록 현황 분석 ... 41
• 가. 학교 단위 평가의 기록 대상과 내용 ... 41
• 나. 학교 단위 평가의 기록 생성 ... 49
• 다. 시사점 ... 51
• 2. 국내외 평가시스템 분석 ... 53
• 가. 국내 평가시스템 ... 53
• 나. 해외 평가시스템 ... 62
• 다. 차이점 및 시사점 ... 69
• III 채점 및 피드백 시스템 설계 ... 73
• 1. 평가 결과를 관리하는 채점시스템 설계 ... 75
• 가. 오프라인 평가의 답안 입력 ... 75
• 나. 평가 결과 관리 ... 79
• 2. 학생과 교사 맞춤형 피드백 제공 시스템 설계 ... 85
• 가. 맞춤형 피드백 제공 틀의 구성 ... 86
• 나. 학생 및 교사 맞춤형 피드백 제공 방안 ... 97
• IV 채점 및 피드백 시스템 개발 ... 99
• 1. 채점 및 피드백 시스템의 기능 및 개발 진행 과정 ... 101
• 가. 채점 및 피드백 시스템의 기능 ... 101
• 나. 채점 및 피드백 시스템의 개발 진행 과정 ... 105
• 2. 문항관리시스템 프로토타입의 일부 기능 개선 ... 106
• 가. 인터페이스 변경 ... 106
• 나. 계정 관리 기능 개선 ... 106
• 3. 채점시스템 프로토타입 개발 ... 108
• 가. 오프라인 평가의 답안 입력 방식 ... 109
• 나. 평가 결과 관리 ... 112
• 4. 피드백시스템 프로토타입 개발 ... 113
• 가. 학생용 피드백 ... 114
• 나. 교사용 피드백 ... 116
• 5. 시범 적용 및 설문 결과 ... 118
• V 요약 및 제언 ... 125
• 1. 연구 요약 ... 127
• 가. 채점 및 피드백 시스템 개발 방향 ... 127
• 나. 채점 및 피드백 시스템 설계 ... 129
• 다. 채점 및 피드백 시스템 개발 ... 130
• 2. 제언 ... 132
• 가. 연구 제언 ... 133
• 나. 정책 제언 ... 142
• 참 고 문 헌 ... 165
• ABSTRACT ... 171
• 부 록 ... 175
• [부록 1] 형성평가 문항 ... 177
• [부록 2] 학습도움말 ... 191
• [부록 3] 형성평가시스템 사용 만족도 조사(학생용) ... 199
• 끝페이지 ... 204