초록 ▼

3 연구 결과
온라인 문항관리시스템 설계의 방향
성취기준을 기반으로 한 진단 피드백 방안
온라인 문항관리시스템이 제공하는 진단·피드백의 특장점
① 문항 단위 피드백, 성취기준 단위 피드백, 단원 단위 피드백의 3가지 피드백 제공
② 성취기준별로 상-중-하-미도달 수준 제공, 단원별로 강점 및 취약점 성취기준 제공
③ 성취기준 매핑 구조 개발을 통해 복습이 필요한 선수 성취기준(이전학년 또는 동일학년) 제공
④ 오답한 문항에 대해서는 정답해설뿐 아니라 유사문항 자동생성을 통한 반복학습 기회 제공

3 연구 결과
온라인 문항관리시스템 설계의 방향
성취기준을 기반으로 한 진단 피드백 방안
온라인 문항관리시스템이 제공하는 진단·피드백의 특장점
① 문항 단위 피드백, 성취기준 단위 피드백, 단원 단위 피드백의 3가지 피드백 제공
② 성취기준별로 상-중-하-미도달 수준 제공, 단원별로 강점 및 취약점 성취기준 제공
③ 성취기준 매핑 구조 개발을 통해 복습이 필요한 선수 성취기준(이전학년 또는 동일학년) 제공
④ 오답한 문항에 대해서는 정답해설뿐 아니라 유사문항 자동생성을 통한 반복학습 기회 제공

문항관리시스템 개발
∙문항관리시스템은 기존의 문제은행과 마찬가지로 문항 DB를 갖추고 있으며, 교사는 미리 개발되어 탑재된 형성평가 도구를 그대로 활용할 수도 있고, 직접 문항을 검색·선택하여 형성평가 도구를 제작할 수도 있음.
∙평가 시행은 온·오프라인의 이원적 환경 중, 학교의 상황에 맞게 선택하여 진행할 수 있음.
∙본 연구에서는 문항관리시스템 개발에 초점을 맞추고 있기 때문에 ‘선다형 문항 시행 → 선다형 문항 답안 입력(오프라인 시행의 경우) → 선다형 문항 자동채점’의 절차만 고려하도록 함. 내년에 진행될 3차년도 연구에서는 ‘서답형 문항 시행 및 채점’도 관리할 수 있는 시스템을 개발할 예정임.

온라인 문항관리시스템 설계도
∙사용 주체에 따라 교사용/학생용 인터페이스 구분
∙사용 목적 및 진단 여부에 따라 진단용/학습용 형성평가 구분

온라인 문항관리시스템의 진단결과 제공 화면
① 성취기준 단위의 진단결과 및 단원 단위의 진단결과 화면
② 오답한 문항에 표시된 ʻ연필ʼ 아이콘을 클릭하면 나타나는 유사문항 반복연습 팝업창

① 성취기준 단위의 진단결과 및 단원 단위의 진단결과 화면
∙성취기준별 진단결과의 예시 화면
- 이 학생은 성취기준 수학2211(함수의 뜻을 알고 그래프를 이해한다)에서 ‘중’ 수준에 도달했음을 알 수 있음.
- ‘상’ 수준으로 발전하기 위한 학습전략으로 지금 학습한 수학2211의 심화 학습전략을 추천하고 있음.

∙단원별 진단결과의 예시 화면
- 이 학생은 함수 단원 전체의 75%를 달성한 것을 알 수 있음.
- 함수 단원에 포함된 세 가지 성취기준(수학2211, 수학2212, 수학2213) 중에서 수학2212 (함수의 합성을 이해하고합성합수를 구할 수있다)에서 강점을 보이고 있음. 수학2213 (역함수의 뜻을 알고 주어진 함수의 역함수를 구할 수 있다)에서는 50%의 숙달도를 보여 취약한 것으로 나타남.

② 오답한 문항에 표시된 ʻ연필ʼ 아이콘을 클릭하면 나타나는 유사문항 반복연습 팝업창
∙문항별 진단결과 예시 화면
- 개별 문항에 대한 정답과 학생의 답을 제시해줌.
- 노트 아이콘을 클릭하면 정답해설을 보여줌.
- 연필아이콘을 클릭하면 유사문항을 자동적으로 생성하여 팝업창에 띄워줌으로써 학생이 반복 학습할 수 있는 기회를 제공함.


(출처 : 연구요약 7p)

Abstract ▼

In the future, our society might need elites with creativity, self-regulated learning ability and inquiring minds, thus there is a social command for converting the current education system to a new system where the individual student’s originality and diversity are encouraged.
The shift of the a

In the future, our society might need elites with creativity, self-regulated learning ability and inquiring minds, thus there is a social command for converting the current education system to a new system where the individual student’s originality and diversity are encouraged.
The shift of the assessment paradigm to meet those social needs focuses on eliciting students’ talent by supporting the customized learning process with the student-centered assessment.
In this strand, the ultimate goal of the assessment is to provide students with more useful information in order to foster their talents, not simply ranking them.

Especially, the recent trend of education in the world emphasizes “customized education,” which means that the school helps to discover and foster the potential of individual students.
For this, the prerequisite is to fully understand different features which individual students have.

In the present study, we attempted to develop a formative assessment system in order to support the customized learning where it is possible to assess students all the time while teaching or learning to examine their progress and in the end to guide them with personally optimized learning strategies. This study has been carried out as the second-year stage of the four-year study.

The goal of this study is to design and develop an online item management system as part of the formative assessment system for both teachers and students in the consideration of the policy requirement on the consumer-centered learning by the government and the social demand to meet the international trend in educational assessment.

The item management system developed in this study includes formative test development tools based on the item DB, test administering tools, automated scoring tools for multiple-choice items and feedback providing tools based on scoring results. In addition, word-, phrase-, and sentence-level blank-filling items are to be included in the DB in this year, however, the plan for developing an automated scoring tool for those items is set up at the third-year stage. The prototype of the item management system is focused on Mathematics for the 10th year schooler (1st year in high school).

As mentioned above, this study is done as the second-year stage of the four-year study in order to develop an formative assessment system to support the customized education and the study will be carried out as the following schedule: Designing an formative assessment system (2014) → Developing an online item management system (2015) →Developing an scoring management system and an optimized feedback providing system (2016) →Completing the formative assessment system and piloting the system (2017). After the four-year study is completed, there might be a need to keep on operating, maintaining and expanding the system from 2018.

The main results of this study are as follows:
First of all, we have established a direction of the design of the item management system.
For this, domestic and oversea cases, and needs of the education field were examined. As a domestic case, Cyber Home Studying System would be an example and the oversea cases include aimsweb by Pearson, FastTest by Assessment System, IXL by the state of California, Math Spring by University of Massachusetts, and so on. In addition, we had in-depth interviews with 29 elementary-, middle-, and high-school teachers on March, 2014 to analyze actual needs in the educational setting and difficulties in conducting the formative assessment. For developing an item management system, this study aimed first, to make it possible to extract items from the item bank; second, to be able to diagnose the learning process of students; third, to able to immediately provide item descriptions with a correct answer; and finally, by showing a graph to able to easily understand results of the test.
Differences of the formative assessment system from the existing online assessment systems are to provide a feedback based on the achievement standards and to provide additional chances for incorrectly answered items by automatically generating similar items.

In addition, advantages of the diagnostic tool and the feedback providing tool on the online item management system are as follows. First, those tools provides three types of the feedback, which are the item-based feedback, the achievement standard-based feedback, and the chapter-based feedback. Second, the diagnostic tool provides ‘high,’ ‘middle,’ ‘low,’ and ‘poor’ levels based on the achievement standards and information on strengths and weaknesses of the student according to chapters. Third, through the mapping system, the student can recognize his/her weak points in the achievement standards and get an opportunity to go over related learning contents including lower years.

Features in operating the item management system are as follows.
The Item DB is embedded in this system like other assessment systems. That is, teachers can extract and directly use items from the item bank or they can develop and add their own items. To administer a formative test, teachers can select either online or offline mode considering the testing environment of the school.

The user interface of the system is divided into two modules. One is for teachers and the other for students. In the case of the formative test, it could be optionally administered as a diagnosing process or learning process. On the interface for teachers, it is possible to extract items to make up a test sheet, to administer a test, to manage students’ learning process, and to monitor results of the test. The diagnostic formative test could be used for investigating the current achievement level, and strong and weak points of the student. The learning-oriented formative test could be used when teachers want to extract and test some items which are associated with what they already taught in the classroom. In this case, the goal of the test is to provide students with more chances to review what they learnt, not testing itself. Thus, in the learning-oriented formative test, correct answers, item descriptions, and additional similar items for incorrectly answered items are offered.

The item management system developed in this study was tested with 57 first year high schoolers from two high schools in Seoul. With the aspects of ‘convenience’, ‘usefulness’, and ‘satisfaction’, a survey was conducted. The results show that 87.7% of the participants is positive about the convenience of the system. 91.2% is positive of the usefulness and 91.1% shows general satisfaction with the system. What function the participants most like is the tool which generates additional similar items for incorrectly answered items.

To sum up, the formative assessment system developed in this study could be used for enhancing the efficient implementation of the customized learning by providing students with useful information and feedbacks based on the testing results. In addition, by using the item management system, it would be possible to diagnose what is proficient enough for the achieve standards or not and what is needed to review. Therefore, this system could contribute to improving the current public education as a way for the customized educational support.

(출처 : Abstract 137p)

목차 Contents

• 표지 ... 1
• 연구협력진 ... 3
• 머리말 ... 5
• 연구요약 ... 7
• 목차 ... 15
• 표목차 ... 17
• 그림목차 ... 18
• I. 서 론 ... 21
• 1. 연구 필요성 ... 23
• 2. 연구 목적 ... 30
• 3. 연구 내용 ... 32
• 4. 연구 방법 ... 34
• 가. 문헌 연구 ... 34
• 나. 전문가 협의회, 정책 협의회 ... 34
• 다. 사례 조사 ... 35
• 라. 설문 조사 ... 35
• 마. 개발 협의체 구성·운영 ... 35
• II. 온라인 문항관리시스템 개발 방향 탐색 ... 37
• 1. 문항관리시스템의 개요 ... 39
• 2. 온라인 형성평가 시스템 개발 동향 ... 41
• 가. 사이버학습 시스템 ... 41
• 나. 국외 온라인 형성평가 시스템 사례 ... 43
• 3. 학교 현장의 요구 조사 ... 52
• 가. 형성평가 시스템에 대한 요구사항 수렴 ... 52
• 나. 유사문항 자동생성 시스템에 대한 의견 수렴 ... 53
• 다. 종합 ... 55
• III. 온라인 문항관리시스템의 성취기준 기반 맞춤형 피드백 설계 ... 57
• 1. 성취기준에 기반한 피드백 제공의 필요성 ... 60
• 2. 성취기준 매핑의 의미 ... 61
• 3. 성취기준 매핑 구조 개발 ... 63
• 가. 성취기준 매핑 구조 개발 방안 ... 63
• 나. 성취기준 매핑 구조 개발 예시 ... 67
• 4. 성취기준 기반 맞춤형 피드백 설계 ... 69
• 가. 성취기준 기반 진단 및 피드백의 설계 ... 69
• 나. 맞춤형 피드백 제공 평가결과표 예시 ... 73
• IV. 온라인 문항관리시스템 개발 ... 77
• 1. 문항관리시스템의 기능 ... 79
• 2. 학생용 문항관리시스템 ... 83
• 가. 문항관리시스템 접속 ... 83
• 나. 문항관리시스템 로그인 ... 84
• 다. 평가 시행 ... 84
• 라. 평가결과 ... 86
• 3. 교사용 문항관리시스템 ... 89
• 가. 문항관리시스템 접속 ... 90
• 나. 문항관리시스템 로그인 ... 91
• 다. 교사용 메뉴 ... 91
• 4. 시범 적용 ... 97
• V. 결론 및 제언 ... 103
• 1. 결론 및 논의 ... 105
• 2. 정책 제언 ... 112
• 참고문헌 ... 131
• Abstract ... 137
• 부록 ... 141
• 부록1. 문항관리시스템 사용 만족도 조사 (학생용) ... 143
• 끝페이지 ... 144