초록 ▼

대학의 질과 교육성과의 중요성, 성과 평가의 어려움은 세계 각국이 공통으로 직면하고 있는 문제이자 도전과제이다. AHELO 사업은 OECD 회원국을 중심으로 세계 여러 나라가 상호 협력하여 이러한 국제 공통 문제에 적극 대응하고자 하는 노력에서 시작되었다. OECD AHELO 사업은 국제적으로 비교 가능한 고등교육 학습성과 평가를 실시하여 대학교육의 질과 성과에 대한 타당하고 신뢰로운 정보를 산출하고 궁극적으로 대학에서 이루어지는 교수･학습의 질을 제고하는 데 목적을 두고 있다. OECD AHELO 사업은 평가참여자의 범위와 특성,

대학의 질과 교육성과의 중요성, 성과 평가의 어려움은 세계 각국이 공통으로 직면하고 있는 문제이자 도전과제이다. AHELO 사업은 OECD 회원국을 중심으로 세계 여러 나라가 상호 협력하여 이러한 국제 공통 문제에 적극 대응하고자 하는 노력에서 시작되었다. OECD AHELO 사업은 국제적으로 비교 가능한 고등교육 학습성과 평가를 실시하여 대학교육의 질과 성과에 대한 타당하고 신뢰로운 정보를 산출하고 궁극적으로 대학에서 이루어지는 교수･학습의 질을 제고하는 데 목적을 두고 있다. OECD AHELO 사업은 평가참여자의 범위와 특성, 평가목적, 평가내용과 방법, 평가결과 산출되는 정보의 수준과 내용에 있어서 기존의 국내외 대학평가와는 크게 차별화된다. 이처럼 전례를 찾기 어려운 사업을 추진함에 있어 여러 가지 난제와 도전에 직면한 OECD는 본사업에 앞서 AHELO 실행가능성 평가를 추진함으로써 고등교육 학습성과 국제비교평가의 과학적･실행적 측면의 실현가능성을 점검하고자 하였다. OECD AHELO의 중요성을 인식한 우리 정부는 지난 2008년 12월 실행가능성 평가 에 참여하기로 결정하고, 한국교육개발원을 사업 주관기관으로 정해 동 사업을 추진하고 있다. 2009년부터 시작된 본 연구는 한국교육개발원이 수행하고 있는 AHELO 실행가능성 평가와 관련한 국내외 사업을 지원하고 결과를 분석하는 데 목적을 두고 있으며, 2009년부터 2013년까지 총 5개년에 걸쳐 추진되었다.
5개년 연구의 최종 단계인 2013년도 연구의 주요 과업은 실행가능성 평가 결과를 종합하여 국내 고등교육 관계자들에게 AHELO 본사업 추진 방안에 필요한 통합적인 정보를 제공하는 것이다. 특히 AHELO 본사업 추진 여부와 관련한 국가적 수준의 의사결정을 지원하는 데 주안점을 두었다. 이러한 연구 목적을 달성하기 위해 수행한 세부 연구 내용을 각 장별로 제시하면 다음과 같다.
Ⅱ장에서는 AHELO 실행가능성 평가 추진 경과와 결과를 국제 차원에서 개관하였다. AHELO 사업 추진 배경, 평가 설계 및 추진 체제 구축, 평가도구 개발, 평가 실행 등 주요 단계별로 국제적 차원에서 어떻게 사업이 진행되었는지 조망하였다. 특히 Ⅱ장 3절에 수록된 공학 분야에서 사용된 평가 틀과 평가도구에 관한 사항은 AHELO 실행가능성 평가 참여국 간 합의를 통해 도출된 결과로, AHELO 본사업 준비뿐만 아니라 국제공학교육 인증 차원에서도 주목할 필요가 있다. OECD 사업본부는 평가도구의 과학적 타당성과 평가 실행 측면의 실현가능성에 대해서 실행가능하다는 결론을 내렸으며 이에 관한 사항은 Ⅱ장 4절과 5절에 제시하였다.
Ⅲ장에서는 AHELO 실행가능성 평가와 관련하여 지난 4년 간 국내에서 수행된 모든 과업을 일목요연하게 제시하였다. 참여대학 선정을 포함한 사업추진체제 구축, 평가도구 개발, 참여학생 및 교수 표집 과정, 대학 현장에서의 평가 실행 등 국내 차원에서 AHELO 실행가능성 평가 추진 전반을 정리하였다. 또한 지난 2012년 연구에서는 OECD로부터의 데이터 송부 지연으로 학습성과 평가결과 분석이 제한적으로 이루어져 이를 보완한 평가 분석 결과를 제시하였다. 일반핵심능력 평가 결과와 학생 및 교수 설문조사 결과 분석을 다룬 4절의 주요 내용은 다음과 같다. 첫째, 우리나라 대학생의 일반핵심능력 수준과 특성을 분석하였다. 둘째, 대학교육 경험 및 대학 구조적 특성과 일반핵심능력과의 관계를 분석하여 학습성과에 영향을 미치는 요인을 탐색하였다. 셋째, 대학교수 설문조사에 나타난 대학 내 교육 환경적 특성을 살펴보았다.
Ⅳ장에서는 AHELO 추진 방향 탐색 차원에서 좁게는 AHELO 실행가능성 평가, 넓게는 고등교육학습성과 평가에 관한 국내외 동향을 분석하였다. 국제적 차원에서는 17개 전체 참여국이 경험한 AHELO 실행가능성 평가의 문제점과 성과, 본사업 추진에 대한 입장은 무엇인지 분석하였다. 또한 AHELO 참여를 계기로 학습성과 평가 체제 개편을 적극적으로 추진하고 있는 일본과 호주 사례를 조사하여 결과를 제시하였다.
17개 참여국의 평가결과 종합분석에서 도출한 성과, 문제점, 본사업을 위한 제언에 관한 주요 사항은 다음과 같다. 17개 참여국이 AHELO 실행가능성 평가 성과로 손꼽은 사항은 국제적 수준의 고등교육 학습성과 평가도구 개발과 평가실행의 가능성 확인, 국제 차원의 벤치마크를 포함한 학습성과 데이터 확보, 새로운 유형의 고등교육 평가 도입, 대학의 높은 관심 확인과 평가문화 성숙, 자국의 질 보장 체제 변화의 계기 마련 등이다. 이외에 상당수 참여국이 평가도구 개발 노하우 축적을 포함한 고등교육 학습성과 평가 역량 구축을 언급하였다. 17개 참여국 대표가 언급한 주요 문제점으로는 평가도구의 적합성, 특히 평가도구 번역 및 개조의 질 제고 필요성, 학생과 교수 등 평가참여자 모집의 어려움 등이 있다. AHELO 본사업 추진에 관한 제언으로는 명료한 평가목적과 실현가능한 기대 성과 제시, 소요사업예산에 대한 상세 정보 사전 제시, 평가영역의 확대, 일반핵심능력평가방법 개선, 수행과제 중심의 서술형 평가의 효과적 활용, 학생 표집 방안 개선, 국제적 차원의 평가 실행 체제 개선 등이 논의되었다.
일본과 호주 국가사례 분석의 시사점은 다음과 같다. 일본의 경우, 문부과학성 중앙교육심의회 내에 AHELO 워킹그룹을 두고 이들과 일본공학교육인증원, 국립교육정책연구소(NIER)가 긴밀한 공조체제를 이루어 사업을 추진하였다는 점에서 사업추진체제에 관한 시사점을 얻을 수 있었다. 또한 일본은 AHELO 참여를 통해 얻은 정보를 고등교육 학습성과 평가 및 질 보장 체제 개혁 논의에 적절히 활용하고 있었다. 무엇보다도 이번 평가 참여를 통해 EU 회원국이 공유하는 국제적 차원의 학습성과 평가 틀인 튜닝(Tuning)을 분석하여 공학 분야뿐만 아니라 이를 일본 대학 내 다른 전공까지 확산시켰다는 점에 주목할 필요가 있다. 호주의 경우 공학 참여국이지만 일반핵심능력 평가방법을 내부적으로 검토하는 등 AHELO를 국가 차원의 대학교육 성과평가 개편과 연계하여 정책적관심을 두고 있었다.
또한 Ⅳ장에서는 참여대학 관계자, 공학교육인증 관계자, 고등교육 전문가 등 총 41명 고등교육관계자들을 대상으로 실시한 고등교육 학습성과 평가에 대한 요구 조사 결과와 시사점을 제시하였다. 동 요구조사를 통해 고등교육 학습성과 평가 혹은 AHELO 평가의 필요성과 참여로부터 기대할 수 있는 가치, 평가목적 설정 방향, 평가영역이나 평가방법 등 평가설계와 관련한 결정 사항, 참여대학 선정과 동기화 방안 등에 대한 의견을 수렴하였다. 또한 성균관대, 서강대, 숙명여대 등 국내대학이 자체적으로 추진 중인 고등교육 학습성과 평가사례를 평가목적, 추진배경, 평가내용 및 평가방법, 한계점 등을 중심으로 분석하고 시사점을 도출하였다.
고등교육 학습성과 평가에 대한 요구 분석의 주요 결과는 다음과 같다. 먼저, 성과 중심의 대학교육 질에 대한 정보 수요는 많으나 현실적으로 활용할 만한 데이터가 없다는 현실적 한계, 장기적으로 볼 때, AHELO와 같은 평가가 국제 또는 국내 차원의 질 보장 체제에서 중요한 위치를 차지하게될 것으로 전망된다는 점 등을 고려하여 AHELO 본사업 참여가 필요하다는 데 의견이 모아졌다.
AHELO 사업의 효용 가치에 대한 고등교육 전문가 의견 수렴 결과는 다음과 같다. 첫째, AHELO는 대학생의 인지적 역량에 대한 실증 정보를 제공해 주는 동시에 국제 및 국내 차원의 벤치마크 정보를 제공해 준다. 둘째, 교육목표, 교육과정 및 교수방법, 교육평가의 개혁에 중요한 방향타 역할을 할 수 있다. 셋째, AHELO는 국제기구가 주관하고 선진국이 참여하는 국제평가이기 때문에 표준화된 평가도구를 사용한 학습성과 평가에 대한 대학의 반감을 줄이고, 고등교육 학습성과 평가 도입의 당위성을 이끌어 낼 수 있 수 있다. 넷째, 대학 자체적인 질 관리 체제 개선에 도움을 준다. 다섯째, 국가 간 학생 이동이 증가하고, 고등교육 질 보장이 이슈화되고 있는 상황에서 장기적으로 볼때 AHELO 참여는 우리나라 고등교육 질 보장 체제의 국제화에도 도움이 될 것이다.
Ⅴ장에서는 AHELO 실행가능성 평가를 종합한 결과를 제시하였다. 먼저, AHELO 본사업 참여여부와 관련하여 사업에 참여할 경우 예산을 포함한 상당한 행재정 부담이 수반될 것으로 보이나 국내 고등교육 평가 패러다임을 국제적 수준에 맞게 개선하기 위해서는 본사업 참여가 필요한 것으로 결론을 내렸다. 다음으로 AHELO 본사업 추진 방안 마련을 위해 평가 추진 프로세스, 참여 평가영역의 결정, 국내사업 추진체계와 역할자별 우선 추진 과제, 사업 예산 추정치와 확보 등 정부의 의사결정이 필요한 사안별로 구체적인 제안을 제시하였다. 또한 참여대학 선정, 평가 실행, 평가 결과 분석과 환류 등 사업주관기관의 과업에 관해서도 제언하였다. 마지막으로 정부와 대학 차원에서 AHELO의 활용 방안을 제시하였다.

Abstract ▼

The importance of the quality and performance of university education is a common issue that various countries have faced. In 2008, the OECD launched the AHELO feasibility study, an initiative with the objective to assess whether it is possible to develop international measures of learning outcomes

The importance of the quality and performance of university education is a common issue that various countries have faced. In 2008, the OECD launched the AHELO feasibility study, an initiative with the objective to assess whether it is possible to develop international measures of learning outcomes in higher education. OECD AHELO project aims to complement institution-based assessments by providing a direct evaluation of student learning outcomes at global level and to enable institutions to benchmark the performance of their students against their peers as part of their improvement efforts. The purpose of the feasibility study is to examine whether it is practically and scientifically feasible to assess what students in higher education know and can do upon graduation within and across these diverse contexts. The Korean government has joined the project since 2008 and appointed the Korean Educational Development Institute(KEDI) as the National Center. Since then, the AHELO National Team within KEDI has carried out five-year research of the AHELO Feasibility Study. Throughout the five-year research from 2009 to 2013, the project aims to support the AHELO feasibility study including instrument development and assessment implementation and analyzing the results of the feasibility study. In 2013, the final phase of research is designed to analyze the result of five years study synthetically and provide an integrated information for stakeholders in higher education sectors. The main results of the 2013 research can be outlined as follows.
Chapter Ⅱ examines the processes and results of AHELO Feasibility study at international level. It includes the background information about participation in AHELO feasibility study, assessment design, working body, the development of assessment tools, administration of test and survey and scoring processes in each participating countries of 17. The AHELO feasibility study has demonstrated that it is feasible to develop instruments with reliable and valid results amongst different countries, languages, cultures and institutional settings. This is well presented in Chapter Ⅱ, sections 4 and 5.
Chapter Ⅲ presents the main tasks and processes of AHELO feasibility study at national level for past four years. It includes recruiting participating institutions, sampling participating students and faculty, administrating test and survey and scoring in each nine participating institutions in Korea. Furthermore, it focuses on analyzing 1) the levels and characteristics of generic skill of Korean university student, 2) the relationship between the educational experience and the levels of generic skill, 3) the characteristics of educational environment from the results of faculty survey.
The first part of Chapter Ⅳ explains the experience of the feasibility study from the point of view of participating countries. Each country starts with an overview of main challenges, main achievements and main lessons learnt and others. In most cases, they have challenges in considering the suitability of AHELO assessment tools, adaptation and translation of instrument and recruiting randomly sampled students and faculty.
Representatives of 17 participating countries discussed their achievement as successful implementation and development of an instrument for the international assessment, confirmation of a high interest in AHELO among higher education institution and stakholders, and the opportunity to examine and reform their higher education system.
Representatives of 17 participating countries also provided suggestions for AHELO main study. It includes securing sufficient time-frame, resources and budget before implementing AHELO main study, re-examining protocols and process for assessment of generic skills strand, and developing more systemic approaches in designing sampling and recruiting students and faculty. Moreover we examined two specific cases of Japan and Australia in which reflect a number of significant insights and implications in the preparing and implementing AHELO feasibility study.
The second part of Chapter Ⅳ reviews current assessment system of learning outcome at domestic level and examines the relationship between them and AHELO feasibility study.
We conducted an interview with a group of 41 education experts including Institution Coordinator, specialists in higher education and engineering education. A preliminary analysis of AHELO results confirmed that assessing only input and processes as is currently done does not give a full picture of institutional quality. As a main result, AHELO could become a meaningful tool for higher education improvement as it can provide useful information and data to institutions for further development.
Chapter Ⅴ presents the comprehensive results of AHELO feasibility study. It is valuable to participate in AHELO main study in oder to develop educational activities to further promote student's learning and teacher' teaching in the era of globalized higher education.
Chapter Ⅴ also suggests a number of applications and potential usage plans of AHELO project at both the institutional and national level.

목차 Contents

• 표지 ... 1
• 머리말 ... 3
• 연구요약 ... 5
• 목 차 ... 9
• 표목차 ... 11
• 그림목차 ... 15
• Ⅰ 서 론 ... 17
• 1 연구의 필요성과 목적 ... 19
• 2 AHELO 실행가능성 평가 개요 ... 24
• 3 연구 내용 ... 26
• 4 연구 방법 ... 30
• 5 연구의 범위와 제한점 ... 33
• Ⅱ AHELO 실행가능성 평가 개관 : 국제 차원 ... 35
• 1 AHELO 사업 출범 배경과 도전 과제 ... 38
• 2 평가 설계 및 추진 체제 구축 ... 45
• 3 평가도구 개발 ... 52
• 4 평가 실행 ... 70
• 5 평가 실행 결과 ... 78
• Ⅲ AHELO 실행가능성평가 개관 : 국내 차원 ... 83
• 1 국내 평가 환경 조성 ... 85
• 2 평가도구 개발 ... 88
• 3 평가 실행 ... 99
• 4 평가 결과 분석 ... 116
• Ⅳ AHELO 본사업 추진 방향 탐색을 위한 국내외 동향 분석 ... 167
• 1 AHELO 실행가능성 평가 17개 참여국의 평가결과 종합분석 ... 170
• 2 AHELO 실행가능성 평가 주요 참여국 사례 분석 ... 196
• 3 고등교육 학습성과 평가에 대한 국내 요구와 시사점 ... 253
• 4 국내 대학의 고등교육 학습성과 평가 사례분석과 시사점 ... 270
• Ⅴ OECD AHELO 본사업 추진 방안 ... 295
• 1 학습성과 평가 추진의 필요성 ... 297
• 2 OECD 고등교육 학습성과 평가 추진 방안 ... 304
• 참고문헌 ... 323
• Abstract ... 331
• 부 록 ... 335
• [부록1] 공학 영역에서의 학습성과 개념 정의 ... 337
• [부록2] 기계공학 전공의 학습 성과에 대한 개념 정의 ... 340
• 끝페이지 ... 342