초록 ▼

본 연구는 국가단위 평가 결과를 적극적으로 홍보하고 그 활용도를 제고하기 위해 ‘수요자 중심 정보 활용 서비스 시스템(이하 iNAEA 시스템)’의 구축 및 운영을 목표로 도입, 확장, 최적화의 3단계에 걸쳐 추진되는 7개년 장기 과제이다. 2013년에 추진된 1차년도 연구에서는 시스템 구축 및 운영의 기본 방향 설정을 위해 7개년 추진 계획을 구체적으로 수립하고, 국가수준 학업성취도 평가 결과를 서비스하기 위한 iNAEA 시스템의 프로토타입을 구축하였다. 2차년도 연구인 본 연구에서는 1차년도에 구축된 시스템 프로토 타입의 체계적

본 연구는 국가단위 평가 결과를 적극적으로 홍보하고 그 활용도를 제고하기 위해 ‘수요자 중심 정보 활용 서비스 시스템(이하 iNAEA 시스템)’의 구축 및 운영을 목표로 도입, 확장, 최적화의 3단계에 걸쳐 추진되는 7개년 장기 과제이다. 2013년에 추진된 1차년도 연구에서는 시스템 구축 및 운영의 기본 방향 설정을 위해 7개년 추진 계획을 구체적으로 수립하고, 국가수준 학업성취도 평가 결과를 서비스하기 위한 iNAEA 시스템의 프로토타입을 구축하였다. 2차년도 연구인 본 연구에서는 1차년도에 구축된 시스템 프로토 타입의 체계적 개선 및 시범 운영, 제공 정보의 확장에 따른 시스템 고도화 방안 수립을 목표로, 대규모 교육 자료 활용과 관련된 연구 및 정책 동향 분석, 기 구축된 시스템 프로토타입의 기능 및 성능 분석에 따른 시스템 개선, 교육정책 담당자 대상의 시범 운영 등을 통하여 향후 5개년간의 시스템 고도화 방안을 도출하였다.

먼저 시스템 고도화 방안 수립을 위한 기초 연구로 대규모 교육 자료 활용과 관련한 연구 및 정책 동향을 분석하여 다음과 같은 시사점을 도출하였다. 첫째, 학업성취도 평가 뿐 아니라 국제 학업성취도 평가, 대학수학능력시험 등 다양한 국가단위 평가 정보를 제공하는 시스템으로의 확장 및 기타 교육 유관기관들이 보유하고 있는 다양한 교육 관련통계 자료, 온라인상에서 실시간, 대규모로 수집 가능한 다양한 교육 관련 자료인 교육 빅데이터(big data)와의 연계 분석 시스템으로의 확장을 고려하여 대규모 자료를 신속･정확하게 처리할 수 있도록 기 구축된 iNAEA 시스템을 확장･정비할 필요가 있다. 둘째, 보다 유의미한 정보 제공을 위해 데이터 분석 방법을 다각화하고 수요자 요구 정보를 더욱 이해하기 쉽게 전달하기 위해 데이터 시각화 방식을 고도화할 필요가 있다. 셋째, 시스템을 통해 다양한 평가 정보의 공개를 추진함과 동시에 개인 정보를 안전하게 보호하는 균형점을 찾기 위한 법적･제도적인 노력이 필요하다.

다음으로 기 구축된 iNAEA 시스템 프로토타입의 개선 방향 설정을 위해 시스템을 구성하고 있는 각 서비스의 기능 적합성과 데이터 웨어하우스 시스템 성능 분석을 실시하였다. 서비스 기능 적합성 분석은 콘텐츠, 인터페이스, 디자인, 시스템, 서비스 품질 측면에서 시스템 개발 및 웹디자인 전문가와의 심층 협의를 통해 이루어졌으며, 분석 결과를 바탕으로 사용자 경험과 사용성을 증진시키기 위한 개선 방안을 도출하였다. 또한 안정적이고 최적화된 맞춤형 통계 정보 서비스를 제공하고 사용자 확대에 따른 시스템 고도화 방안을 도출하기 위해 데이터 웨어하우스 구축 및 유지를 위한 물적 자원 현황 분석, 데이터 웨어하우스 구조 분석, 데이터 추출, 변환, 적재 과정 분석, 분석 및 보고 과정 분석 등을 실시하였으며, 분석된 결과를 통해 단기와 중･장기 데이터 웨어하우스 성능 개선 방안을 제시하였다.

이상의 시스템 기능 및 성능 분석 결과를 토대로 데이터 웨어하우스 성능 및 시스템을 구성하는 각 서비스(학업성취도 포커스, 학업성취지표, 맞춤형 통계 정보, 연구지원)별 기능을 개선하고 제공 정보의 내용과 범위를 확대하였다. 또한 개선된 시스템을 전국 시･도 교육청과 교육지원청 소속 학업성취도 평가 업무 담당자(교육정책 담당자)를 대상으로 시범 운영하고 만족도 조사를 실시하였다. 구체적인 개선 사항 및 시범 운영 결과를 살펴보면 다음과 같다.

학업성취도 포커스는 교육 수요자들이 쉽고 재미있게 학업성취도 평가 결과를 이해할수 있도록 다양한 이슈 중심의 주제를 선정하여 웹진 형태로 연 4회 발간하는 서비스이다. 올해 연구에서 선정하고 발간한 학업성취도 포커스 웹진의 주제는 다음과 같다. 제1호는 학업성취도 평가 출제와 관련한 전반적인 이해를 돕기 위한 ‘국가수준 학업성취도 평가 A to Z’, 제2호는 우수학력 학생과 기초학력 미달 학생의 가정생활과 학교생활을 비교 분석한 ‘학업성취도를 높이는 작은 습관’, 제3호는 학교 행복도와 관련한 ‘학교 행복도 분석’, 제4호는 올해 시행된 학업성취도 평가의 주요 결과를 요약한 ‘2014년 학업성취도 주요 결과 분석’이다. 학업성취도 포커스는 기본적으로 웹진 형태로 발간하였으나, 적극적으로 홍보하여 그 활용도를 증진하기 위해 각 호별 또는 연도별 웹진을 PDF 파일로 다운로드 받을 수 있도록 하였으며, 다양한 사용자 간 의견 개진 등 상호작용을 촉진하기 위한 기능을 추가하였다. 또한 시스템에 접속하지 않더라도 학업성취도 포커스 웹진을 받아볼 수 있도록 수신 동의 절차를 거친 메일링 서비스 기능을 구현하였다.

학업성취지표는 교육 수요자에게 학교 교육의 현황 및 성과에 관한 객관적이고 종합적인 정보를 제공하는 것을 목적으로 하고 있으며, iNAEA 시스템에서는 성취수준 지표와 학교 향상도 지표를 통계표와 그래프 형태로 제공하고 있다. 본 연구에서는 사용자들이 시스템에 접속하여 원하는 학업성취지표를 직접 검색･산출하는 과정에서의 편의성과 접근성을 개선하였다. 또한 학업성취지표를 통한 정보 제공 범위를 확대(최신 정보 추가 및 3개년 추이 정보 제공)하였으며, 성취수준 및 학교 향상도 지표 이외에 향후 제공할 필요가 있다고 판단되는 준거참조평가의 성취수준 비율을 활용한 학업성취 수월성 및 형평성 지표를 새롭게 산출하고 타당성을 확인하였다.

맞춤형 통계 정보는 학업성취도 평가 결과의 활용도 제고를 목적으로 개발된 수요자 맞춤형 온라인 실시간 통계 정보 검색 서비스로, 올해 연구에서는 정보 제공 범위를 확대(최신 정보 및 추이 정보 제공, 시･도교육청별 정보 제공 등)하고, 검색 편의성을 위한 검색 조건 선택 항목 최소화, 검색 속도 향상, 시각화 방식의 다양화, 사용자와의 상호작용성 확보를 위한 의견 수렴 기능 추가 등의 기능을 개선하였다. 또한 보다 정확하고 빠른 통계 정보 제공을 위해 데이터 웨어하우스 구조 설계를 변경하고 데이터 웨어하우스 구축을 위한 데이터 추출, 변환, 적재 과정 및 데이터 분석과 보고 과정을 개선하였다.

연구지원은 연구 공모 운영 지원을 위한 온라인 서비스로 2014년 연구 공모 운영 절차와 추진 계획에 따라 사용자 편의성 측면에서 일부 기능을 개선하였다. 그리고 2014년 연구 공모 운영에서 개선된 사항은 기존의 연구 공모 절차를 간소화하고 연구계획서 심사항목을 효율적으로 변경하였으며, 연구 결과의 확산 및 정책적 활용도 제고를 위해 심포지엄 연구 결과를 토대로 정책 제언집을 추가 발간하여 교육정책 담당자에게 배포하였다.
한편 2014년 연구 공모에는 28개 연구 과제가 접수되어 10개 과제가 최종 선정되었으며,심포지엄을 통해 연구 성과를 홍보하고 교육의 질을 향상시키기 위한 방안을 모색하였다.

iNAEA 시스템의 시범 운영은 전국 시･도교육청과 교육지원청 학업성취도 평가 업무담당자 190여 명을 대상으로 약 2주간 실시하였다. 각 서비스별 만족도 및 개선 사항 등에 관한 160명의 설문 응답을 분석한 결과, 대부분의 제공 정보 및 해당 서비스 기능에 대해 만족하는 것으로 나타났으며, 국제 학업성취도 평가 결과, 타 교육 유관기관이 보유한 통계 자료와의 연계, 다양한 교육 빅데이터와의 연계 등에 대한 추가적인 서비스 요구가 있었다. 또한 제공 정보의 활용도 제고를 위해 각 정보의 활용 사례 및 설명 자료 제공, 다양한 수요자 요구에 기반한 서비스 개발, 시스템 홍보 강화 등의 개선 의견도 제시되었다.

본 연구에서 도출된 연구 결과들을 토대로 향후 확장 및 최적화 단계에서 수행되어야 할 시스템 고도화 방안을 운영 환경 고도화와 서비스 고도화로 구분하여 제시하였다. 시스템 구축 및 운영을 위한 물리적 인프라와 데이터 웨어하우스 측면에서 살펴본 운영 환경 고도화 방안에서는 향후 대규모 교육 자료 등 제공 정보의 확대에 따른 대규모 데이터 처리 기반 시스템 구축 방안을 제시하였으며, 서비스 고도화 방안에서는 교육 빅데이터 연계 서비스로의 확대, 맞춤형 통계 정보 서비스 단계별 확대 및 시각화 방식의 고도화, 모바일 서비스 제공 방안 등을 제안하였다.

마지막으로 지금까지의 연구 결과를 토대로 iNAEA 시스템의 개선 및 고도화를 위해 향후 추진되어야 할 후속 연구 및 정책 제언은 다음과 같다.

첫째, iNAEA 시스템을 고도화하고 서비스를 확대한다. 이를 위해 미래 국가 경쟁력의 원천이라고 할 정도로 급부상하고 있는 교육 빅데이터 연계 서비스 시스템으로의 확대와 수요자 요구에 따른 콘텐츠의 다양화 및 통계 정보 시각화 방식을 고도화한다. 또한 우리나라 교육의 결과를 국제 사회에 홍보하기 위해 맞춤형 통계 정보의 영문 서비스와 국제 학업성취도 평가 결과 제공을 위한 맞춤형 통계 정보 서비스를 확대한다.

둘째, 학업성취도 평가 결과의 활용도 제고를 위해 서비스 운영을 활성화한다. 교육정책 수립 및 교수･학습 개선을 위한 서비스 활용도 제고를 위해 교육정책 담당자 및 교사에게 적합한 서비스 콘텐츠와 방식을 다양하게 개발하고, 서비스에 대한 홍보를 강화하며, 학업성취도 평가 자료를 다각적이고 심층적으로 분석하기 위한 연구 공모를 확대 운영한다.

셋째, iNAEA 시스템 지원을 위해 행･재정적, 법률적 지원 체제를 구축한다. 이를 위해 교육 유관기관이 보유하고 있는 데이터 공유 체제를 구축하고, 학업성취지표집 제작 및 보급을 위한 정책적 지원, 국가단위 평가 정보 제공에 관한 법률 보완, 시스템 고도화를 위한 예산 지원을 확대한다.

( 출처 : 연구요약 7p )

Abstract ▼

This second year study of a seven-year project was to formulate ways to improve and sophisticate the Customer-Centered Information Service System for the National Assessments (‘iNAEA’ for brevity), where NAEA is the abbreviation for the ‘National Assessment of Educational Achievement.’ For this, sev

This second year study of a seven-year project was to formulate ways to improve and sophisticate the Customer-Centered Information Service System for the National Assessments (‘iNAEA’ for brevity), where NAEA is the abbreviation for the ‘National Assessment of Educational Achievement.’ For this, several studies had been extensively conducted such as analyzing trends of research and policies on large-scale educational data, diagnosing and improving the existing system developed in the first year, trying out the improved system with school inspectors, and eliciting major implications from study results.

■ Trends of Research and Policies
Analyzing trends of research and policies on large-scale educational data drew following implications: First, iNAEA should be extended to promply and accurately process large-scale educational data including public statistics information and real-time unstructured online data. Second, data analysis and visualization methods should be sophisticated to provide information in easy and clear ways. Third, every legal and institutional effort should be made to balance between opening the information on national assessments and protecting private information.

■ Existing System’s Functions and Performance
Ways to improve the system’s user experience/usability and the performance of data warehouse (DW) were suggested based upon diagnosing the functions and performance of the existing system in terms of contents, interface, design, hardware resources, DW structure, extraction-transformation-loading (ETL), analyses, and reporting.

■ System Improvements and Test-operation
Based upon the diagnosis of the existing system, elaborate improvements were made in the functions of three services (‘NAEA Focus,’ ‘Indicators of Educational Attainments,’ and Customized Statistics Information’) and the performance of data warehouse. Thereafter, a survey asked 190 school inspectors to whom the improved system had been test-operated for two weeks about how much they were satisfied with the system. Results of analyzing 160 school inspectors’ responses to the survey revealed that they were largely satisfied with the information and functions of three services. It was also revealed that they need to provide further information and functions including the results of international tests of educational attainments, the connections of statistics data of education-related institutions, the connections of the system’s information with educational big data, the provision of practical usage and explanation of each information, the service developments customized to user needs, and enhancement of system promotion.

■ System Sophistication
How the system should be sophisticated during the stages of extension and customization were specifically formulated in terms of hardware resources, data warehouse, big data system, data visualization, contents diversification, user extension, and research subscription.

■ Suggestions
Following suggestions on follow-up research and policy were implied from the results of this study.

First, iNAEA system should be sophisticated and extend its services.
Second, the service operation of iNAEA system should be promoted to foster the utilization of NAEA results.
Third, administrative, financial, and legal supporting systems should be established to aid iNAEA system.

( 출처 : ABSTRACT 209p )

목차 Contents

• 표지 ... 1
• 연구협력진 ... 3
• 머리말 ... 5
• 연구요약 ... 7
• 목차 ... 11
• 표목차 ... 15
• 그림목차 ... 19
• Ⅰ. 서론 ... 21
• 1. 연구의 필요성 및 목적 ... 23
• 2. 연구 내용 ... 26
• 3. 연구 방법 ... 27
• 가. 문헌분석 ... 27
• 나. 전문가 협의회 및 포커스 그룹 운영 ... 27
• 다. 자료 분석 및 데이터 클리닝 ... 28
• 라. 시스템 개선 및 콘텐츠 개발 ... 28
• 마. 시스템 운영 및 만족도 조사 ... 29
• 바. 연구 공모 심포지엄 개최 ... 29
• Ⅱ. 관련 연구 및 정책 동향 ... 31
• 1. 대규모 교육 자료에 대한 연구 동향 ... 34
• 가. 대규모 교육 자료의 개념 ... 34
• 나. 대규모 교육 자료의 가치 ... 35
• 다. 관련 기술 ... 37
• 라. 분석 방법 ... 39
• 마. 분석 기법 ... 42
• 2. 대규모 교육 자료의 활용 사례 ... 44
• 가. 미국 교육 현황판 ... 44
• 나. 미시간 현황판 ... 45
• 다. Gapminder ... 46
• 라. Course Signals ... 47
• 마. Student Success System ... 47
• 바. 문화체육관광부의 2013 국민 의식 변화 분석 ... 48
• 3. 대규모 교육 자료에 대한 정책 동향 ... 49
• 가. 미국 ... 49
• 나. 영국 ... 50
• 다. 일본 ... 52
• 라. 우리나라 ... 53
• 4. 시사점 ... 54
• 가. 데이터 처리 시스템의 정비 및 확장 ... 55
• 나. 데이터 분석 방법의 다각화 ... 55
• 다. 데이터 시각화 방식의 고도화 ... 55
• 라. 개인 정보 보호 관련 법령의 보완 및 개정 ... 56
• Ⅲ. 시스템 기능 및 성능 분석 ... 57
• 1. 시스템 구성 현황 ... 60
• 2. 서비스 기능 ... 61
• 가. 콘텐츠 ... 63
• 나. 인터페이스 ... 63
• 다. 디자인 ... 64
• 라. 시스템 ... 65
• 마. 서비스 ... 65
• 바. 요약 ... 66
• 3. 데이터 웨어하우스 성능 ... 68
• 가. 물적 자원 현황 ... 68
• 나. 데이터 웨어하우스 구조 ... 69
• 다. 데이터 추출, 변환, 적재(ETL) ... 71
• 라. 분석 및 보고 ... 73
• 마. 요약 ... 74
• 4. 시사점 ... 75
• 가. 시스템 제공 정보의 최신성 확보 ... 76
• 나. 시스템 운영의 안정성, 보안성, 접근성 확보 ... 76
• 다. 시스템 상호작용성 극대화 ... 76
• 라. 대규모 데이터 처리 시스템으로의 확장 ... 76
• Ⅳ. 시스템 개선 및 서비스 운영 ... 77
• 1. 시스템 개선 개요 ... 79
• 가. 시스템 개선의 방향 ... 79
• 나. 시스템 개선 현황 ... 80
• 2. 학업성취도 포커스 ... 83
• 가. 주제 선정 ... 83
• 나. 학업성취도 포커스 서비스의 개선 ... 85
• 3. 학업성취지표 ... 86
• 가. 학업성취지표의 구성 ... 87
• 나. 학업성취지표 서비스의 개선 ... 87
• 다. 성취수준 비율을 활용한 학업성취지표의 산출 및 타당화 ... 90
• 4. 맞춤형 통계 정보 ... 108
• 가. 맞춤형 통계 정보의 구성 ... 108
• 나. 데이터 웨어하우스 성능 개선 ... 114
• 다. 맞춤형 통계 정보 서비스의 개선 ... 117
• 5. 연구지원 ... 132
• 가. 연구 공모의 주요 개선 사항 ... 133
• 나. 연구 공모 운영 및 연구지원 서비스의 개선 ... 136
• 6. 서비스 운영 및 결과 분석 ... 145
• 가. 서비스 운영 ... 145
• 나. 운영 결과 분석 ... 146
• 7. 시사점 ... 152
• 가. 실제적이고 다양한 정보 개발 및 제공 ... 153
• 나. 학업성취지표 및 통계 정보의 활용 사례와 설명 자료 제공 ... 153
• 다. 수요자 맞춤형 정보 개발 및 서비스 제공 ... 153
• 라. 시스템에 대한 홍보 강화 ... 153
• 마. 심포지엄 발표 결과 활용도 제고 ... 154
• Ⅴ. 시스템 고도화 방안 ... 155
• 1. 운영 환경 고도화 ... 157
• 가. 물적 인프라 구축 ... 157
• 나. 데이터 웨어하우스 개선 ... 158
• 2. 서비스 고도화 ... 159
• 가. 빅데이터 시스템 구축 ... 160
• 나. 데이터 시각화 방식 고도화 ... 162
• 다. 콘텐츠 다양화 ... 163
• 라. 맞춤형 통계 정보 서비스 대상 확대 ... 165
• 마. 연구 공모 확대 및 내실화 ... 168
• 3. 종합 로드맵 ... 169
• Ⅵ. 결론 및 제언 ... 171
• 1. 결론 ... 173
• 가. 관련 연구 및 정책 동향 ... 173
• 나. 시스템 기능 및 성능 분석 ... 174
• 다. 시스템 개선 및 서비스 운영 ... 178
• 라. 시스템 고도화 방안 ... 180
• 2. 제언 ... 182
• 참고문헌 ... 201
• ABSTRACT ... 209
• 부록 ... 213
• 부록1. 용어 정리 ... 215
• 부록2. 수요자 중심 정보 활용 서비스 시스템 만족도 조사 설문지 ... 217
• 부록3. 2012년 학업성취지표집 ... 222
• 부록4. 학업성취도 포커스 ... 236
• 끝페이지 ... 243