초록 ▼

본 연구는 7개년(2013년～2019년)에 걸쳐 추진되는 연구로 ‘학업성취도 평가 정보 서비스 시스템’(이하 iNAEA 시스템)의 구축･운영을 통하여 국가수준 학업성취도 평가(이하 학업성취도 평가) 결과의 활용도 제고를 목표로 하고 있다. 먼저 1차년도 연구에서는 ‘학업성취도 리포트’, ‘맞춤형 통계 정보’, ‘연구지원’ 서비스로 구성된 iNAEA 시스템 프로토타입을 구축하였으며, 2차년도 연구에서는 iNAEA 시스템 성능 개선 및 시범 운영을 통해 시스템 고도화 및 확대구축 방향을 제시하였다. 본 연구에서는 iNAEA 시스템을 통

본 연구는 7개년(2013년～2019년)에 걸쳐 추진되는 연구로 ‘학업성취도 평가 정보 서비스 시스템’(이하 iNAEA 시스템)의 구축･운영을 통하여 국가수준 학업성취도 평가(이하 학업성취도 평가) 결과의 활용도 제고를 목표로 하고 있다. 먼저 1차년도 연구에서는 ‘학업성취도 리포트’, ‘맞춤형 통계 정보’, ‘연구지원’ 서비스로 구성된 iNAEA 시스템 프로토타입을 구축하였으며, 2차년도 연구에서는 iNAEA 시스템 성능 개선 및 시범 운영을 통해 시스템 고도화 및 확대구축 방향을 제시하였다. 본 연구에서는 iNAEA 시스템을 통해 다양한 정보 제공을 위한 연구로, 그간의 연구공모 성과라고 할 수 있는 심포지엄에서 발표된 논문들을 종합 정리하고, 2004년에서 2014년까지의 학업성취도 평가 표집자료를 활용한 메타분석과 ‘학업성취도 평가’를 키워드로 한 빅데이터 분석을 추진하였다. 또한 2차년도 연구의 시스템 확장 및 고도화 방안을 토대로 iNAEA 시스템을 확장･고도화함으로써 실제 학교 현장 교사들에게 2015년 학업성취도 평가 결과를 12월 2일부터 서비스를 제공하였다.

학업성취도 평가 결과 활용 연구 동향 분석
먼저 그간의 연구공모를 통해 심포지엄에서 발표된 학업성취도 평가와 관련한 54편의 논문을 학생 효과, 학교장 효과, 학교 및 정책효과로 구분하여 정리하였으며, 그 결과는 다음과 같다.

학생효과 관련 연구에서는 학생의 인지적 특성 파악과 학습 개선에 관한 연구, 다문화가정 및 탈북가정 관련 연구, 학업성취도와 정의적 특성 간의 관계 연구, 학업성취도 평가와 국제학업성취도 평가 간의 관계 연구 등이 이루어졌다. 학교장 효과 연구로는 학교장의 외부관리 효과연구, 학교장의 경영가치관 유형과 학교 효과성 관계 연구, 학교장의 정의적 특성과 학업성취도와의 관계 연구 등이 있었다. 학교 및 정책 효과 연구로는 학력향상중점학교, 방과후학교, 교과교실제 관련 정책효과 연구, 기초학력 미달 학교 및 집단 관련 연구, 학교향상도 및 책무성 관련 연구 등이 발표되었다.

다음으로는 학생들의 학업성취도와 교육맥락변인(정의적 특성) 간의 관련성을 종합적으로 분석하고자 2004년부터 2014년까지의 학업성취도 평가 표집자료를 활용하여 메타분석을 수행하였다. 분석 대상 교과는 국어, 수학, 영어이며, 교육맥락변인에는 학업적 자기효능감, 성취목표지향성의 수행접근과 숙달접근, 행동통제, 학습전략, 수업태도, 수업참여, 교사관계, 교우관계, 교과 흥미, 교과 자신감, 교과 가치관 등을 포함하였다. 여기에 교과, 학교급, 성별, 지역규모를 조절변인으로 사용하여 분석한 결과는 다음과 같다.

첫째, 모든 학교급에서 일관되게 학업성취도가 학업적 자기효능감, 학습전략, 수업태도, 수업참여와 중간 이상의 관련성이 있는 것으로 나타났다. 또한 모든 학교급에서 학업성취도와 교과자신감, 교과 흥미, 교과 가치관의 관련성이 높게 나타났다. 둘째, 학업성취도와 모든 교육맥락 변인 간의 관련성이 학교급에 따라 유의한 차이가 있었다. 초등학교의 경우 교우관계, 영어 흥미, 영어 자신감, 영어 가치관에서 효과크기가 상대적으로 크게 나타났다. 중학교의 경우는 학업적 자기효능감, 학습전략, 수업참여, 교사관계, 국어 자신감, 수학 자신감, 국어 가치관에서 효과크기가 상대적으로 크게 나타났으며, 고등학교에서는 수행접근, 숙달접근, 행동통제, 수업태도, 수업참여, 국어 흥미, 수학 흥미, 수학 가치관에서 효과크기가 상대적으로 크게 나타났다.

학교급이 올라갈수록 학업성취도와 관련성이 높은 교육맥락변인의 개수가 늘어나고, 학업성취도에 직접적인 영향이 있는 것으로 보이는 변인(숙달접근, 수행접근, 수업태도 등)이 더 관련이 있는 것으로 나타났다. 셋째, 각 학교급별로 학업성취도와 교육맥락변인 간의 관련성을 분석하고 이에 대한 교과, 성별, 지역규모의 조절효과를 분석하였다. 그 결과 교육맥락변인별로 유의한 차이를 보이는 조절변인이 서로 상이하게 나타났다. 교과에 대한 조절효과가 유의한 변인은 수행접근, 행동통제, 학습전략, 교우관계 등이었으며, 성별에 대한 조절효과가 유의한 변인은 학업적 자기효능감, 행동통제, 교우관계, 수업참여, 영어 흥미, 영어 자신감 등으로 나타났다.
지역규모에서는 학업적 자기효능감, 숙달접근, 영어 자신감 등으로 나타났다.

‘학업성취도 평가’ 빅데이터 분석
본 연구에서는 개방형 빅데이터인 소셜미디어를 대상으로 ‘학업성취도 평가’와 관련한 주요 이슈들에 대한 분석을 통해, 정형화된 데이터 분석에서 도출하기 어려운 교육적 이슈와 시사점을 도출하였다. 주요 내용은 학업성취도 포커스 3호로 발간하여 서비스를 제공하였다. 분석은 2012년～2015년 3월까지의 뉴스, 블로그, 트위터 상에서 언급된 데이터를 수집하고 학업성취도 평가 관련 동향과 인식 분석을 수행하였다. 동향 분석 결과, 연도별로 주요 이슈가 발생하는 시기는 주로 6월, 11월과 12월 사이로 나타났다. 6월은 학업성취도 평가가 시행되는 기간이며, 11월과 12월은 학업성취도 평가 결과 발표 및 개별학교 정보공시가 진행되는 기간으로 온라인 상에서의 언급량이 급증하는 경향을 보이고 있었다. 긍･부정적 인식 분석 결과는 긍정적인 의견의 비율보다 부정적인 의견의 비율이 높게 나타났으며, 이는 긍정적인 의견보다는 부정적인 의견을 주로 게시하는 소셜 미디어의 특성과 트위터에서 부정적 의견에 대한 다수의 리트윗 때문인 것으로 판단된다. 긍정적인 의견과 밀접한 관련이 있는 키워드로 맞춤형 지원, 기초학력 정착, 개별맞춤식 등이 나타났으며 부정 키워드로 학력경쟁, 학교 서열화, 성적조작, 체벌, 의미부족 등이 도출되었다. 빅데이터 분석 결과에 따른 주요 시사점은 다음과 같다.

학업성취도 평가는 학생들의 기초학력 향상, 학업성취도 평가를 통한 본인의 취약점 파악 등의 긍정적인 효과에 관한 인식도 있으나 부정행위, 과도한 경쟁으로 인한 학생들의 스트레스 등의 부작용을 우려하는 것으로 나타났다. 따라서 학업성취도 평가의 순기능 강화와 적극적인 홍보를 통해 긍정적인 부분은 더욱 발전시키고 부작용을 최소화하는 방안을 마련할 필요가 있다.

학업성취도 평가 정보 서비스 시스템 고도화 및 운영
2013년부터 개발･운영하고 있는 iNAEA 시스템을 고도화하고 서비스 대상을 교육정책 담당자에서 교사로 확대하였다. 시스템 고도화 및 운영 결과를 요약하면 다음과 같다.
첫째, 서비스 대상 확대에 따른 안정적 운영을 위해 기 개발 시스템의 성능 분석을 실시하고 개선 사항을 도출하였다. 성능 분석 결과로는 정보 제공 시점의 고정화, 검색 효율성 증진, 정보 업로드 과정의 자동화, 접속 통계 제공의 필요성 등이 제시되었으며, 이 결과를 기반으로 정보제공 시점의 고정화 및 안내 방안 마련, 검색 효율성 증진을 위한 학업성취지표 검색 바로가기 기능 제공, DW 개선 및 적정 시점 통계 정보가 일괄적으로 업로드될 수 있도록 시스템을 개선하였다.

둘째, 교육정책 담당자용 맞춤형 통계 서비스 고도화를 위해 교육정책 담당자의 실제적 업무지원을 위한 서비스를 추가 구축하였다. 수요자 요구와 특성에 부합하는 서비스 구축을 위해 전국 17개 시･도교육청 학업성취도 평가 업무 담당 장학사를 대상으로 업무 내용 및 특성, 요구정보의 종류 및 양식, 활용 시기 등을 조사･분석하여 그에 적합한 교육정책 담당자용 업무 지원서비스를 개발하였다. 추가 개발된 교육정책 담당자용 업무 지원 서비스의 경우, 통계 정보를 업무 특성에 따라 쉽게 검색･활용할 수 있는 형태로 구성되었다.

셋째, 맞춤형 통계 정보의 서비스 대상을 교육정책 담당자에서 교사로 확대함에 따라 교사용 맞춤형 통계 정보 서비스를 구축하고 시범 운영을 실시하였다. 교사용 맞춤형 통계 정보 서비스의 경우, 교사의 실제적인 교수･학습 개선을 위한 지원 목적으로 구축되었으며, 전국 17개 시･도교육청 소속 중･고등학교 국어, 수학, 영어 교사 약 160명을 대상으로 6월에 요구 분석을 실시하고, 9월에는 시범 운영과 만족도 조사를 실시하였다. 요구 분석을 통해 도출한 제공 정보의 종류와 범위는 학업성취도 평가 결과(성취수준 비율, 교과 내 하위영역별 성취율), 학생 설문결과(학교생활 및 학습 관련 정의적 특성), 문항별 정답률 및 답지반응분포로 구분되며, 소속학교 또는 학급 단위 정보를 소속 상위 집단과의 비교 통계 방식으로 범위를 정하였다. 이러한 결과를 기반으로 시스템을 구축하고 시범 운영을 통해 만족도를 조사한 결과, 정보 제공 내용 및 방법에 대한 만족도는 높게 나타났으며, 보다 구체화된 정보 제공 요구 및 개별 학생 단위의 상세한 정보 제공 요구에 대한 의견이 제시되었다. 그리고 본 시스템에서 제공하는 정보를 교수･학습 개선에 유용하게 활용할 수 있도록 올해 학업성취도 정보 공시가 끝나는 시점인 12월 2일부터 개별 학교 교사들에게 정보를 제공하였다.

또한 기 개발 시스템에서 지속적으로 개선･운영되어 온 학업성취도 포커스 웹진 및 학업성취 지표 서비스는 사용자 편의성 증진을 위해 일부 검색 기능 및 인터페이스를 개선하고 최신정보로 업데이트하였다. 또한 올해 발간한 학업성취도 포커스 주제는 다음과 같다. 제1호는 명품학교에는 있다. 남다른 ‘그것’, 제2호는 게임･채팅은 ‘적게’, 수면은 ‘적당’해야 성적 우수, 제3호는 빅데이터로 수렴한 현장의 여론, 고품질 교육정책의 기초가 된다, 제4호는 2015년 국가수준 학업성취도 평가 주요 결과이다. 시범 운영을 통해 도출한 만족도 조사 결과는 포커스 주제의 적절성과 내용의 만족도는 약 80% 이상이 긍정적으로 응답하였으며, 이북(e-book) 형태로 인터페이스를 개선함으로서 사용자 만족도가 향상되었다. 또한 학업성취지표의 경우에서도 유용성, 편의성, 검색 결과의 신속성 등 전반적으로 만족도가 높은 것으로 나타났다.

제언
이상의 연구 결과를 토대로 향후 추진되어야 할 정책 제언을 제시하면 다음과 같다.
첫째, 학업성취도 향상을 위한 정의적 특성 진단 및 관리 방안을 구축한다. 이를 위해 학업성취 향상과 밀접한 관련이 있는 교육맥락변인에 대한 심층 연구를 통해 학생발달 수준에 따른 교육 환경을 제공하고, 학교급별 맞춤형 교육 환경 지원 방안 마련 및 학생들의 학업성취에 대한 성차와 지역차를 해소할 수 있는 방안을 마련한다. 또한 학교 현장으로의 환류 시스템을 구축하기 위해 교과 관련 교육맥락변인에 관한 심층 연구를 지원하고 교육과정과 교수･학습 개선을 위해 반영한다.

둘째, 학업성취도 평가의 긍정적 인식 확산을 위한 순기능 강화 및 홍보 방안을 모색하고 교육 정책 수립을 위한 빅데이터 활용 극대화를 추진한다. 이를 위해 학업성취도 평가의 교수･학습적 순기능 강화를 위한 정책적인 개선과 정책적 성과 및 교수･학습적 순기능을 홍보한다. 또한 빅데이터 분석을 활성화하여 교육정책 수립 및 평가에 반영하도록 하고, 교육 연구 기관으로서의 역할과 연구의 내실화를 위해 빅데이터 활용을 적극적으로 추진한다.

셋째, 학업성취도 평가 결과의 활용도 제고를 위해 수요자 중심 정보 활용 서비스 시스템 고도화 및 운영 활성화를 추진한다. 이를 위해 상호작용적 맞춤형 정보 서비스가 가능하도록 시스템을 고도화하고 시스템 운영 활성화 방안의 마련, 시스템을 통한 적극적 정보 공개를 위한 행･재정적, 법률적 지원 체제를 구축한다. 또한 연구공모 운영에 있어서 정보 제공 확대를 통한 연구 주제의 다양성을 확보하고, 우수 연구 및 정책 연구 발굴을 위한 특별 기획 연구를 추진한다. 연구공모의 성과인 연구 결과에 대한 정책 활용도를 높이기 위한 방안을 모색하고 홍보방안을 수립하여 학술연구 진흥과 교육정책 개발에 기여할 수 있도록 하여야 한다.

(출처 : 연구요약 7p)

Abstract ▼

This is the third-year study of the seven-year research project (2013-2019), and the purpose of this study is to promote the use of National Assessments of Educational Achievement (NAEA) results by developing and operating a customer-centered Information Service System for the National Assessments o

This is the third-year study of the seven-year research project (2013-2019), and the purpose of this study is to promote the use of National Assessments of Educational Achievement (NAEA) results by developing and operating a customer-centered Information Service System for the National Assessments of Educational Achievement (iNAEA system).
The third-year study, to provide various information via the iNAEA system, (i) summarized NAEA research papers presented in symposiums and conducted a meta-analysis using NAEA sample data from 2004-2014, (ii) performed a big data analysis with "NAEA" as a keyword, and (iii) expanded and sophisticated the iNAEA system based on the second-year research results.

Research trend analysis on the use of NAEA results
This chapter reviews 54 symposium papers on the NAEA and summarizes its effects in students, principals, schools, and policies. Also, to analyze the relationship between the NAEA and educational contextual factors, meta-analysis was conducted using 2004-2014 NAEA sample data, and suggestions are presented in the paper.

Big data analysis on NAEA
In this part of the study, big data from social media was analyzed to identify major NAEA issues, and educational issues that may have gone unnoticed in standardized data analysis were identified. Suggestions are presented in the paper, and major findings are published in the NAEA Focus No. 3. The data were collected from news outlets, blogs, and Twitter from 2012 to March 2013, and the mention trend and public opinion on the NAEA were analyzed.

The trend analysis shows that NAEA issues occur especially in June, November, and December. Online mention volume increases dramatically in these months because the NAEA is conducted in June, and the results of the NAEA are released in November and December. The opinion analysis reveals positive effects of the NAEA such as improving basic achievement and identifying student's academic weaknesses, but there are concerns on possible downside effects such as cheating and increasing student stress from fierce competition. Therefore, the positive effects of the NAEA must be strengthened and actively publicized while minimizing possible downside effects.

iNAEA system sophistication and operation
In this phase of the research, the iNAEA system which has been in operation since 2013 was sophisticated, and the customer scope was expanded from education policymakers to teachers. The results of the system sophistication and operation are summarized as below.

First, to ensure stable operation of the system with the expanded customer scope, the existing system was tested for its performance, and improvements were made based on the result.

Second, to sophisticate the iNAEA system for education policymakers, a survey targeting education policymakers was conducted, and a new service was introduced to provide a better operational support to policymakers.

Third, based on the demand analysis of 160 Korean, English, and Math teachers in middle and high schools, the iNAEA system for teachers was developed. The system was tested in a pilot-operation, and a satisfaction survey was conducted. The result shows that teachers are highly satisfied with the contents and methods of providing information on iNAEA but wanted a more detailed information and student-level data. Also, four issues of the NAEA Focus were published as a pilot-run. According to the satisfaction survey, more than 80% of the users replied positively on topic adequacy and content satisfaction, and the user satisfaction improved with enhanced UI in e-book format.

Suggestions
Following suggestions on follow-up research and policy were implied from the results of this study.

First, to enhance educational achievement, educational environment support system must be developed.

Second, to spread the positive opinion on the NAEA, positive effects of the NAEA must be strengthened and actively publicized.

Third, to sophisticate and promote more active use of the iNAEA system, the administrative, financial, and legal support framework must be established.

(출처 : Abstract 213p)

목차 Contents

• 표지 ... 1
• 연구협력진 ... 3
• 머리말 ... 5
• 연구요약 ... 7
• 목차 ... 13
• 표목차 ... 17
• 그림목차 ... 21
• I. 서 론 ... 23
• 1. 연구의 필요성 및 목적 ... 25
• 2. 연구 내용 ... 28
• 3. 연구 방법 ... 29
• 가. 문헌분석 ... 29
• 나. 전문가 협의회 ... 29
• 다. 자료 분석 및 데이터 클리닝 ... 30
• 라. 시스템 고도화 및 콘텐츠 개발 ... 30
• 마. 시스템 운영 및 만족도 조사(온라인) ... 31
• 바. 심포지엄 개최 ... 31
• II. 학업성취도 평가 결과 활용 연구 동향 분석 ... 33
• 1. 개요 ... 35
• 2. 연구공모 성과 분석 ... 36
• 가. 학생 효과 ... 36
• 나. 학교장 효과 ... 46
• 다. 학교 및 정책 효과 ... 48
• 3. 학업성취도와 교육맥락변인(정의적 특성) 간 관련성 분석 ... 53
• 가. 메타분석의 특성과 선행연구 고찰 ... 53
• 나. 분석 절차 및 방법 ... 55
• 다. 분석 결과 ... 61
• 4. 시사점 ... 95
• 가. 연구공모 주제의 다변화 및 결과 활용 방안 모색 ... 95
• 나. 학업성취도 향상을 위한 정의적 특성 진단 및 관리 방안 마련 ... 95
• III. ‘학업성취도 평가’ 빅데이터 분석 ... 97
• 1. 개요 ... 99
• 가. 빅데이터 분석 개요 ... 100
• 나. 빅데이터 분석 방법론 ... 101
• 다. 빅데이터 분석 활용 사례 ... 103
• 2. 분석 절차 ... 105
• 가. 분석 목적 및 주제 선정 ... 106
• 나. 데이터 수집 설계 ... 107
• 다. 데이터 정제 및 추출 ... 108
• 라. 데이터 분석 및 분석 결과 해석 ... 109
• 3. 분석 결과 ... 110
• 가. 학업성취도 평가 관련 동향 분석 ... 110
• 나. 학업성취도 평가 관련 긍 부정적 인식 분석 ... 113
• 4. 시사점 ... 116
• 가. 학업성취도 평가의 순기능 강화 ... 117
• 나. 학업성취도 평가의 순기능 홍보 강화를 통한 긍정적 인식 확산 ... 117
• 다. 빅데이터 활용의 극대화 추진 ... 117
• IV. 학업성취도 평가 정보 서비스 시스템 고도화 및 운영 ... 119
• 1. 시스템 개요 ... 121
• 가. 시스템 개발 및 운영 목적 ... 121
• 나. 도입단계 시스템 개발 및 운영 현황 ... 123
• 다. 확장단계 시스템 고도화 및 운영 계획 ... 125
• 2. 시스템 고도화 및 운영 ... 125
• 가. 시스템 분석 ... 125
• 나. 학업성취도 포커스 ... 127
• 다. 학업성취지표 ... 130
• 라. 교육정책 담당자용 맞춤형 통계 정보 ... 137
• 마. 교사용 맞춤형 통계 정보 ... 143
• 바. 연구공모 ... 156
• 3. 시스템 운영 결과 분석 ... 158
• 가. 서비스 운영 ... 158
• 나. 운영 결과 분석 ... 158
• 4. 시사점 ... 165
• 가. 학업성취도 포커스 및 학업성취지표 서비스의 적극적 홍보 방안 마련 ... 165
• 나. 학업성취지표 및 통계 정보의 활용 사례 제공 ... 165
• 다. 개별 학생 단위 통계 정보 구축 및 제공 ... 166
• 라. 접근 권한 관리 및 보안 강화 ... 166
• V. 결론 및 제언 ... 167
• 1. 결론 ... 169
• 가. 학업성취도 평가 결과 활용 연구 동향 분석 ... 169
• 나. ‘학업성취도 평가’ 빅데이터 분석 ... 172
• 다. 학업성취도 평가 정보 서비스 시스템 고도화 및 운영 ... 173
• 2. 제언 ... 175
• 참고문헌 ... 203
• Abstract ... 213
• 부록 ... 217
• 부록1. 교사용 요구조사 설문지 ... 219
• 부록2. 교육정책 담당자용 요구조사 설문지 ... 235
• 부록3. 수요자 중심 정보 활용 서비스 시스템 사용자 만족도 조사 설문지 ... 237
• 부록4. 학업성취도 포커스 ... 245
• 부록5. 메타분석 결과 통계표 ... 258
• 끝페이지 ... 272