초록 ▼

전 세계적인 대학의 책무성과 교육의 질에 대한 관심의 부각은 고등교육의 학습성과의 중요성을 증대시켰다. 이에, OECD의 고등교육 학습성과 평가사업인 AHELO 사업의 출범은 OECD 회권국들 뿐만 아니라 전 세계 국가들의 관심 대상이 되었다. 2008년 AHELO 사업 출범에 대한 OECD의 공식적인 결정과 함께, 우리나라는 실행가능성 평가(feasibility study)를 포함한 동 사업 전반에 적극 참여하기로 결정하고 일반핵심능력, 공학, 경제학 세 영역 가운데 일반핵심능력 영역에 참여하여 사업을 진행하고 있다. 기초 연구의

전 세계적인 대학의 책무성과 교육의 질에 대한 관심의 부각은 고등교육의 학습성과의 중요성을 증대시켰다. 이에, OECD의 고등교육 학습성과 평가사업인 AHELO 사업의 출범은 OECD 회권국들 뿐만 아니라 전 세계 국가들의 관심 대상이 되었다. 2008년 AHELO 사업 출범에 대한 OECD의 공식적인 결정과 함께, 우리나라는 실행가능성 평가(feasibility study)를 포함한 동 사업 전반에 적극 참여하기로 결정하고 일반핵심능력, 공학, 경제학 세 영역 가운데 일반핵심능력 영역에 참여하여 사업을 진행하고 있다. 기초 연구의 성격을 지닌 전년도(2009년) 연구에서는 고등교육 학습성과의 개념과 외국의 대학생 학습성과 평가도구 및 정책적 활용방안등을 분석하였다. 금년도(2010년) 연구는 AHELO 실행가능성 평가의 일반핵심능력 평가도구를 개조·번역을 통한 국내시행용 평가도구 개발, 평가의 국내시행을 위한 전략적 참여시스템 구축의 일환으로 Faculty Academy 시행, 사업의 정책적 함의 탐색에 초점을 맞추었다. 이러한 연구목적을 달성하기 위해 수행한 세부 연구 내용을 각장별로 제시하면 다음과 같다.
Ⅱ장에서는 OECD 사무국 차원에서 추진되는 AHELO 사업을 개관하였다. 먼저, 사업의 이해를 돕기 위해 2010년 이전까지의 사업 추진 경과를 간략하게 소개하였고 사업의 목적, 평가영역, 분석틀, 평가영역별 참여국 현황 등을 제시하였다. 다음으로는, 한국이 참여하는 일반핵심능력 부문의 평가도구 개발과 평가시행을 주관하는 미국 CAE와의 워크숍, OECD에서 주관한 두 차례 국가전문가회의(GNE)와 국가프로젝트책임자(NPM)회의, 워크숍 등에서 논의된 내용을 상세하게 제시함으로써 향후 사업 진행 방향, 예산 및 사업 자금 확보 문제 등 사업진행에 있어서 핵심적인 내용들을 소개 하였다.
Ⅲ장에서는 고등교육 평가의 초점이 대학생의 학습성과에 맞추어지게 된 배경과 그 의미에 대하여 살펴보았다. 먼저, ETS나 ACT 등의 평가 전문 기관이나 미국 대학이 개발하여 활용해온 기존의 고등교육 학습성과 평가 유형을 살펴보면서 고등교육 평가의 간략한 역사를 개관하였다. 또한, 현재 진행되고 있는 고등교육 환경변화와 관련하여 학습성과 평가가 국가적․국제적 차원에서 고등교육 정책 운영에 중요한 지표가 되는 원인과 배경에 관한 논의를 정리하여 보았다. 이와 함께, 일반핵심능력 영역의 평가도구인 CLA의 이론적 배경과 학습성과 평가 활용의 사례를 국가별, 대학별로 각각 두 가지씩 검토하였다.
학습성과 평가 문헌 분석에 이어서, 학습성과 평가도구 개발 이론과 관련하여 국제 비교 연구에서 평가도구의 개조 및 번역과 관련된 주요 논점과 접근방법을 분석하였다. 구체적으로 문화적 편향성, 평가의 동등성 등 서로 다른 언어와 문화를 지닌 국가 간 학습성과 평가에서 반드시 고려해야 할 사항들에 대한 논의를 하였다. 이어서, 평가도구 개발 관련 적용, 개조, 조합 등의 서로 다른 접근법을 고찰하였다.
Ⅳ장에서는 일반핵심능력 평가도구인 CLA의 수행과제(Performance Task) 개발을 다루었다. 특히 “Catfish”와 “Lake-To-River”라는 두 수행과제의 개조·번역 과정에 있어, 상호 유기적 관계에 있는 개조(Adaptation)와 번역(Translation) 작업에 수반되는 주요 쟁점과 그에 따른 절차 등을 분석하였다. 즉 국가 상황 적합성과 인지적․언어적 적합성을 높이기 위해 수행된 작업의 세부 내용을 구체적 예시와 함께 제시하였다. 그러나 이 과정에서 평가 시행 이전에 시험 문제를 공개할 수 없다는 제약 때문에 개조·번역 작업의 예를 공개가 가능한 간략하게 개발 된 수행과제 (Mini-Performance Task)를 통해 제시하였다. 마지막으로 번역과 개조를 통한 번안 작업과정에서 평가도구의 타당도를 높이기 위한 조치와 향후 추진 과제를 논의하였다.
Ⅴ장에서는 Faculty Academy에 관한 내용을 다루었다. OECD AHELO 사업에서 일반핵심능력 영역의 측정도구로 사용되는 CLA라는 평가 도구가 국내외에 일반화 된 평가도구의 형태와는 다른 특징이 있어서 평가도구에 대한 국내 대학 관계자의 이해를 높이려는 노력은 반드시 필요하다. 또한, 개별 대학의 AHELO 실행가능성 평가연구 참여에 대한 동기부여 및 참여를 독려를 위한 노력도 게을리 할 수 없다. 이러한 연유로, Faculty Academy의 목적과 진행 방법 등 이 워크숍과 직접적으로 관련된 내용에 관한 설명이 이 장에 포함 되었다. 뿐만 아니라 학생의 비판적 사고력을 비롯한 학생역량 평가에 중점을 두는 대학교육 평가방향 이해, 대학생의 학습성과와 대학의 책무성 등의 주제와 연결되는 활용 방안도 모색해 보았다.
Ⅵ장에서는 AHELO 평가사업의 정책적 활용방안과 과제에 초점을 맞추어, 사업수준, 단위대학 수준, 국가 수준 등 세 가지 수준으로 나누어 그 활용방안을 제시하였다. 이 사업이 가지는 세 가지 특징 즉, 직접적인 고등교육의 학습성과의 측정, 조직수준에서의 단위대학의 교육활동을 측정, 국가 간 비교가능성 등을 고려하여 정책적 함의를 논의하였다. 이에 따라 세 수준에서 AHELO 사업의 평가결과를 활용하여 정책정보 제공, 대학 단위에서 교육서비스와 시스템의 개선에 평가결과 활용, 국가 수준에서 우리나라 고등교육의 선진화를 위한 다양한 지원정책에 기여의 관점에서 활용방안이 세부적으로 논의하였다.

Abstract ▼

Concerns for accountability and quality of higher education have increased the importance of university students' learning outcomes world-wide. As such, a launch of the OECD AHELO project has received international attentions not only from the member countries. When OECD announced the launch of AHEL

Concerns for accountability and quality of higher education have increased the importance of university students' learning outcomes world-wide. As such, a launch of the OECD AHELO project has received international attentions not only from the member countries. When OECD announced the launch of AHELO project in 2008, Korea decided to actively participate in the project including the feasibility study and we partake in the Generic Skills module among three strands (Generic skills, Engineering, and Economics). In 2009, KEDI carried out a research focusing on analysis of assessment instruments of learning outcomes and their uses. In the year 2010, the foci of the AHELO research are 1) developing test tools involving adaptation and translation process; 2) holding Faculty Academy as a way of promoting Korean universities' strategical participation in AHELO project;and 3) examining policy implications of AHELO project. To achieve these goals, necessary measures were taken, and they are described and analyzed in each chapter as follows.
Chapter Ⅱ begins with an overview of AHELO prpurpose, assessment areas, analysis framework, and the current status of
participating countries. Next, this chapter provides an update on AHELO project including CAE workshops in New York and a translation-adaption workshop that was held by KEDI and CAE (Council for Aid to Education); and GNE meetings and NPM meetings held by OECD and ACER. Through the updates on these meetings, important issues, such as selection of test instruments, budgets and funding, and future plans of AHELO project have been discussed.
Chapter Ⅲ examines a recent development in higher education sector which is a shift in assessment from input-centered to outcome-focused. First, this chapter starts with an overview of learning outcome assessment instruments that have been developed and utilized by testing companies such as ETS and ACT or US universities. Second, this chapter analyzes: factors behind adopting outcome-based assessments; and reasons why university students' learning outcomes have become a significant indicator for establishing and implement higher education policies. In addition, this chapter reviews theoretical framework of CLA (Collegiate Learning Assessment), a test tool for Generic Skills Strand for AHELO project, and case studies of CLA conducted by institutional level. Furthermore, two cases of outcome-based assessment at national level are also reviewed in this chapter. Chapter III also reviews important issues and approaches that are widely referred and discussed in international assessments are examined. Possible linguistic and cultural bias that can be arisen in international assessment, and issues of equivalence are reviewd. Different approaches in development of assessment tools such as, adaptation, adoption, and assembly are explained.
Chapter Ⅳ focuses on the process of development of assessment tool,oject that includes: project performance tasks involving translation and adaptation. An analysis of emerged issues in the process of adaptation and translation of the two performance tasks, "Catfish" and "Lake-to-River" is made. As these two tests cannot be open to public due to a confidentiality issue, mini-Performance Task is utilized as source examples and references. Finally, necessary measures and next steps for increasing reliability of the assessment tools for this project are discussed.
Chapter Ⅴ provides an overview of Faculty Academy. As it gives an explanation about the project and assessment procedures and instrument, Faculty Academy is an important opportunity for both national project management office and participating universities. In addition to the purpose and process of Faculty Academy workshop, an overview of recent development in higher education assessment and evaluation, efforts to connect students' learning outcomes and university's accountability, and policy implications are provided in this chapter.
Finally, chapter Ⅵ explores policy implications of the AHELO project for Korean higher education at three different levels. By examining the three different characteristics of this project-direct measurement of learning outcomes in higher education, college-based assessment of education activities, and potential for international comparison of learning outcomes-this chapter attempts to find a way to utilizing the outcomes of AHELO project for higher education institutions and relevant national policies. Some policy implications include: providing data for informed policy development, applying the assessment outcomes to improve educational services and its system, and assisting in developing strategies for advancing national competitiveness of higher education system.

목차 Contents

• 표 지 ... 1
• 머 리 말 ... 3
• 연 구 요 약 ... 5
• 차 례 ... 9
• 표 차 례 ... 11
• 그 림 차 례 ... 12
• Ⅰ 서 론 ... 13
• 1. 연구의 필요성 및 목적 ... 15
• 2. 연차별 주요 연구과제 ... 17
• 3. 연구 내용 ... 19
• 4. 연구 방법 ... 21
• 5. 연구의 범위 및 제한점 ... 24
• Ⅱ AHELO 실행가능성 평가 추진 경과 ... 27
• 1. 2010년 이전 사업 추진 경과 ... 29
• 2. 2010년도 사업 추진 경과 ... 40
• Ⅲ 고등교육 학습성과 평가에 관한 이론적 배경 ... 69
• 1. 고등교육 평가의 패러다임 전환 ... 71
• 2. CLA(Collegiate Learning Assessment)의 이론적 배경 ... 76
• 3. 성과중심 고등교육 평가의 사례 ... 81
• 4. 학습성과 평가도구 개발 이론 ... 87
• 5. 시사점 ... 92
• Ⅳ 일반핵심 능력 평가도구 개발 ... 95
• 1. 개요 ... 97
• 2. 개조(Adaptation) ... 97
• 3. 번역 ... 105
• 4. 시사점 ... 117
• Ⅴ 효율적 평가 실행을 위한 제반기반구축 ... 121
• 1. 개요 ... 123
• 2. Faculty Academy ... 124
• 3. CLA 교수워크숍 내용 및 운영 ... 125
• 4. 요약 및 시사점 ... 138
• Ⅵ AHELO 사업의 정책적 활용방안과 과제 ... 141
• 1. AHELO 사업의 특징과 정책적 중요성 ... 143
• 2. 정책적 활용방안 ... 147
• 3. 정책 제언 ... 152
• 참 고 문 헌 ... 155
• ABSTRACT ... 159
• 끝페이지 ... 164