본 논문에서는 공학교육인증제를 운영하는 정보보호학 프로그램에서 교과 기반의 학습성과 평가 체계를 활용하여 프로그램의 재학생들이 졸업 시점에 갖추어야 하는 핵심 성과인 프로그램 학습 성과에 대한 달성도를 평가하는 방안을 제안한다. 본 논문의 교과 기반 학습 성과 평가 사례에서는 프로그램의 교육 목표에 부합하는 프로그램 학습 성과를 설정하고, 교과 기반 평가 자료를 포함한 직간접 평가 도구를 이용하여 프로그램 학습 성과 평가 체계를 기술한다. 그리고 교과기반 프로그램 학습 성과 평가를 위한 루브릭 및 평가 절차, 수행 준거의 설정, 이수 체계에 따른 프로그램 학습 성과에 대한 기여도가 높은 탐침(Probe) 교과목의 선정, 탐침 교과목에 대한 교과목 학습 목표의 설정 및 성취 수준을 측정하기 위한 평가 도구별 루브릭을 설명한다. 이어 탐침 교과목의 학습목표별 필기시험 및 프로젝트 평가 도구의 문항을 기초로 교과기반 학습 성과 평가를 수행하고, 평가 결과로부터 성취도 수준의 분석과 개선 사항 도출하는 과정을 보임으로써 제안하는 교과 기반 학습 성과 평가 방안의 효용성을 입증한다.
본 논문에서는 공학교육인증제를 운영하는 정보보호학 프로그램에서 교과 기반의 학습성과 평가 체계를 활용하여 프로그램의 재학생들이 졸업 시점에 갖추어야 하는 핵심 성과인 프로그램 학습 성과에 대한 달성도를 평가하는 방안을 제안한다. 본 논문의 교과 기반 학습 성과 평가 사례에서는 프로그램의 교육 목표에 부합하는 프로그램 학습 성과를 설정하고, 교과 기반 평가 자료를 포함한 직간접 평가 도구를 이용하여 프로그램 학습 성과 평가 체계를 기술한다. 그리고 교과기반 프로그램 학습 성과 평가를 위한 루브릭 및 평가 절차, 수행 준거의 설정, 이수 체계에 따른 프로그램 학습 성과에 대한 기여도가 높은 탐침(Probe) 교과목의 선정, 탐침 교과목에 대한 교과목 학습 목표의 설정 및 성취 수준을 측정하기 위한 평가 도구별 루브릭을 설명한다. 이어 탐침 교과목의 학습목표별 필기시험 및 프로젝트 평가 도구의 문항을 기초로 교과기반 학습 성과 평가를 수행하고, 평가 결과로부터 성취도 수준의 분석과 개선 사항 도출하는 과정을 보임으로써 제안하는 교과 기반 학습 성과 평가 방안의 효용성을 입증한다.
This paper evaluates the achievement of program outcomes using course-embedded assessment for information security programs. In the case study concerning the development of course-embedded assessment used in this paper, we evaluate program outcomes using various evaluation tools including the course...
This paper evaluates the achievement of program outcomes using course-embedded assessment for information security programs. In the case study concerning the development of course-embedded assessment used in this paper, we evaluate program outcomes using various evaluation tools including the course evaluation data. In addition, we consider the evaluation rubric and evaluation procedure for course-embedded program outcomes, set performance criteria, select the probe course with high contribution to the program outcomes according to curriculum flowchart, set course objectives for the probe course, and explain the rubric for each assessment tool to measure achievement level. Subsequently, we perform course-embedded program outcomes assessment, based on tests and projectevaluation tool for each program objectives, and present the achievement levels based analysis results. These results prove the effectiveness of the proposed course-embedded assessment for program outcomes.
This paper evaluates the achievement of program outcomes using course-embedded assessment for information security programs. In the case study concerning the development of course-embedded assessment used in this paper, we evaluate program outcomes using various evaluation tools including the course evaluation data. In addition, we consider the evaluation rubric and evaluation procedure for course-embedded program outcomes, set performance criteria, select the probe course with high contribution to the program outcomes according to curriculum flowchart, set course objectives for the probe course, and explain the rubric for each assessment tool to measure achievement level. Subsequently, we perform course-embedded program outcomes assessment, based on tests and projectevaluation tool for each program objectives, and present the achievement levels based analysis results. These results prove the effectiveness of the proposed course-embedded assessment for program outcomes.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 공학교육인증을 위한 정보보호학 프로그램에서의 교과기반 학습성과 평가를 위한 평가 체계, 성취도 평가, 분석 및 개선에 대한 사례를 논의한다. 제안 논문은 2018년 1월 한국공학교육인증원에 제출한 정보보호학 프로그램 자체평가보고서를 기준으로 한다.
본 논문은 정보보호학 프로그램에서 2017학년도 졸업 예정자를 대상으로 교과기반 학습성과 평가 체계에 따라 프로그램 학습성과 성취도를 평가한 사례에 대해 논의하였다.
본 절에서는 교과기반의 학습성과 평가체계에서 선정한 탐침 교과목을 대상으로 프로그램 학습성과 달성도를 측정한 사례를 기술한다.
프로그램에서는 교과기반 학습성과 성취도 평가의 체계 정립을 위해 2017년 개설 교과목을 대상으로 교과목 기반 학습성과 성취도 평가를 시행하였다. 수행 결과를 바탕으로 추후 교과기반 학습성과평가에 대한 시행 체계를 규정하고자 한다. 교과 기반 평가를 위한 대상 프로그램 학습성과별 수행 준거는 Table 7과 같다.
제안 방법
제안 학습성과 평가체계는 교과기반 평가가 수행될 수 있는 체계를 제시하고, 각 프로그램 학습성과별로 교과기반의 평가와 절차에 대해 기술하였다. 이어 교과목 기반 학습성과 성취도 평가를 위해 프로그램 학습성과별 수행준거를 설정하고, 평가 대상이 되는 탐침 교과목의 선정 기준과 결과, 그리고 해당 탐침 교과 목의 학습목표로부터 학습성과를 도출하는 과정을 기술하였다. 이러한 일련의 평가 흐름은 탐침 교과목의 성취도 결과가 프로그램 학습성과 달성도를 측정할 수 있는 체계로 적절함을 보였다.
사례 연구에서 프로그램 학습성과는 한국공학교육인증원의 인증 기준을 만족하는 10개의 항목으로 구성되었으며, 교육목표와의 연관성을 통해 교육목표 달성에 적합함을 보였다. 제안 학습성과 평가체계는 교과기반 평가가 수행될 수 있는 체계를 제시하고, 각 프로그램 학습성과별로 교과기반의 평가와 절차에 대해 기술하였다. 이어 교과목 기반 학습성과 성취도 평가를 위해 프로그램 학습성과별 수행준거를 설정하고, 평가 대상이 되는 탐침 교과목의 선정 기준과 결과, 그리고 해당 탐침 교과 목의 학습목표로부터 학습성과를 도출하는 과정을 기술하였다.
프로그램에서는 Table 8의 교과목별 학습성과 기여도를 기반으로 모든 교과목에 공통으로 적용되는 학습성과 1과 기여도가 가장 높은 학습성과 3을 측정 및 평가하는 프로그램 학습성과로 선정한다. 탐침 교과목으로는 이수 체계도 및 학습성과 기여도를 평가하여 2학년 1학기에 개설되는 교과목인 자료구조(Data Structure)와 3학년 2 학기에 개설되는 교과목인 데이터베이스 보안(Database Security) 교과목을 선정하였다. 아래 Table 9에서는 선정된 프로그램 학습성과와 탐침 교과목에 대한 내용을 정리하였다.
프로그램 학습성과 1(PO1)은 중간고사 2번 문항, 중간고사 5번 문항, 기말고사 5번 문항을 합산하여 100점으로 환산하여 PO1(%)로 나타내었고, 이를 상(H, 70이상)/중(M, 40이상 70미 만)/하(L, 40미만) 3단계로 성취수준을 분류하였다.
”를 관련 대상으로 학습성과 성취도를 측정하였다. 프로그램 학습성과1은 중간고사 3번 문항과 기말고사 2번 문항을 합산하여 100점으로 환산하여 PO1(%)로 나타내었고, 이를 상(H, 70이 상)/중(M, 40이상 70미만)/하(L, 40미만) 3단계로 성취 수준을 분류하였다. 프로그램 학습성과3은 팀과제의 결과물인 보고서를 기준으로 100점 만점으로 환산하여 PO3(%)로 제시하고 성취도 수준에 대한 평가를 진행하였다.
프로그램 학습성과 1(PO1)은 중간고사 2번 문항, 중간고사 5번 문항, 기말고사 5번 문항을 합산하여 100점으로 환산하여 PO1(%)로 나타내었고, 이를 상(H, 70이상)/중(M, 40이상 70미 만)/하(L, 40미만) 3단계로 성취수준을 분류하였다. 프로그램 학습성과3(PO3)은 팀과제의 결과물인 보고서를 기준으로 100점 만점으로 환산하여 PO3(%)로 제시하고 성취도 수준에 대한 평가를 진행하였다. PO3에서는 팀 과제를 수행함에 있어 제기된 문제에 대해 자료를 수집, 정리 및 분석하여 문제를 정의하고 이를 해결하기 위해 실험을 계획하고 수행할 수 있는지를 측정하기 위해 교과목 학습목표 3(CLO3)과 연관하여 학습성과 성취도를 분석하였다.
프로그램에서는 교과기반 학습성과 성취도 평가의 체계 정립을 위해 2017년 개설 교과목을 대상으로 교과목 기반 학습성과 성취도 평가를 시행하였다. 수행 결과를 바탕으로 추후 교과기반 학습성과평가에 대한 시행 체계를 규정하고자 한다.
Table 15의 데이터베이스 교과목에 대한 교과기반 학습성과 평가표에서 전체 학생들의 일부를 나타낸다. 학 생들이 공학지식의 주요 개념 및 이론을 기반으로 주어진 정보보호 문제를 해결하기 위해 접목하여 활용할 수 있는지를 측정하기 위해 프로그램 학습성과(PO) 1에서는 데이터베이스보안 교과목의 학습목표 1(CLO1), 학습 목표 2(CLO2), 그리고 학습목표3(CLO3)을 관련 대상으로 학습성과 성취도를 측정하였다. 프로그램 학습성과 1(PO1)은 중간고사 2번 문항, 중간고사 5번 문항, 기말고사 5번 문항을 합산하여 100점으로 환산하여 PO1(%)로 나타내었고, 이를 상(H, 70이상)/중(M, 40이상 70미 만)/하(L, 40미만) 3단계로 성취수준을 분류하였다.
성능/효과
PO1에 대한 학습성과 성취수준의 평균은 60점이었으며, 학습성과 성취도가 “중” 이상의 성취도를 보인 비율이 74%, 학습성과 성취도가 “하”인 학생들은 26%를 보였다.
PO3에 대한 학습성과 성취 수준은 100점 만점을 기준으로 평균 71점을 보였으며, “중” 이상의 성취도를 보인 비율이 100%를 나타내고 있다. 데이터베이스보안 교과목에 대한 PO3의 평가를 위해 보고서를 평가 도구로 활용한 경 우에도 자료구조 교과목의 경우와 마찬가지로 소수의 시험 문항으로 평가하는 것이 아니라 팀 과제를 수행하는 전반적인 내용을 종합적으로 평가함으로써 PO1의 성취 수준에 비해 학습성과 성취도가 높음을 알 수 있다.
사례 연구에서 프로그램 학습성과는 한국공학교육인증원의 인증 기준을 만족하는 10개의 항목으로 구성되었으며, 교육목표와의 연관성을 통해 교육목표 달성에 적합함을 보였다. 제안 학습성과 평가체계는 교과기반 평가가 수행될 수 있는 체계를 제시하고, 각 프로그램 학습성과별로 교과기반의 평가와 절차에 대해 기술하였다.
성취수준이 “하”인 학생의 경우 7%로 시험 문항을 기반으로 평가한 PO1에 대한 성취수준에 비해 학습성과 성취도가 전체적으로 높게 나타났다.
이러한 일련의 평가 흐름은 탐침 교과목의 성취도 결과가 프로그램 학습성과 달성도를 측정할 수 있는 체계로 적절함을 보였다. 학습성과 평가에서는 탐침 교과목으로 선정된 자료구조와 데이터베이스보안 교과목의 학습목표를 달성할 수 있는 평가 문항을 도출하고 성취도 평가를 진행하였고, 그 결과 프로그램 교육목표를 달성한 것으로 분석되었다. 개선 사항으로 성취도 수준 평가의 정확도 향상을 위해 탐침 교과목 및 평가 문항의 확대와 팀 과제의 개별 학생 성취도 측정 방안 등이 고려되었다.
후속연구
탐침 교과목에 대한 교과기반 학습성과 성취도를 평가한 결과에서 첫째, 학습성과 성취도가 낮게 나타난 경우에 성취도 측정을 위해 제한적인 시험 문항을 적용하였다는 한계가 있으므로, 학습성과 성취도 수준 평가를 위해 사용한 시험 문항수의 확대와 문항 선정의 적절성에 대한 추가적인 보완이 필요하다. 둘째로, 시험 문항이 아닌 팀 과제를 기반으로 학습성과 성취도를 평가한 경우에 학습성과 성취도가 상대적으로 높게 나타나고 있으며 학생들 간의 편차가 크지 않으므로 팀 과제를 기반으로 학습성과 성취도를 평가하는 경우에도 학생 개별적 성취도를 반영할 수 있는 방안에 대한 추가적인 보완이 필요하다. 향후 본 프로그램 교과목의 학습성과 성취도에 대한 효용적인 평가를 위해 탐침 교과목을 계속 확대하여 적용하고, 교과기반 학습성과 분석 결과에 대한 정확도를 향상시킬 수 있도록 계속적인 자료의 축적과 개선활동이 필요하다.
본 연구의 교과기반 학습성과 평가 방안은 재학생에 대한 졸업 시점에서의 프로그램 학습성과 평가 뿐 아니라 졸업에 이르는 시점까지 재학생에 대한 학습 역량 관리에 기여할 수 있다. 또한 정보보호학 분야에서 공학교육인증 프로그램을 운영하는 교육 단위에서 참고 자료로 활용할 수 있을 것으로 기대한다.
이러한 교과기반 학습성과 운영 결과로부터 학습성과 성취도 평가 방법에 대한 개선 방안은 아래와 같이 논의되었다. 탐침 교과목에 대한 교과기반 학습성과 성취도를 평가한 결과에서 첫째, 학습성과 성취도가 낮게 나타난 경우에 성취도 측정을 위해 제한적인 시험 문항을 적용하였다는 한계가 있으므로, 학습성과 성취도 수준 평가를 위해 사용한 시험 문항수의 확대와 문항 선정의 적절성에 대한 추가적인 보완이 필요하다. 둘째로, 시험 문항이 아닌 팀 과제를 기반으로 학습성과 성취도를 평가한 경우에 학습성과 성취도가 상대적으로 높게 나타나고 있으며 학생들 간의 편차가 크지 않으므로 팀 과제를 기반으로 학습성과 성취도를 평가하는 경우에도 학생 개별적 성취도를 반영할 수 있는 방안에 대한 추가적인 보완이 필요하다.
둘째로, 시험 문항이 아닌 팀 과제를 기반으로 학습성과 성취도를 평가한 경우에 학습성과 성취도가 상대적으로 높게 나타나고 있으며 학생들 간의 편차가 크지 않으므로 팀 과제를 기반으로 학습성과 성취도를 평가하는 경우에도 학생 개별적 성취도를 반영할 수 있는 방안에 대한 추가적인 보완이 필요하다. 향후 본 프로그램 교과목의 학습성과 성취도에 대한 효용적인 평가를 위해 탐침 교과목을 계속 확대하여 적용하고, 교과기반 학습성과 분석 결과에 대한 정확도를 향상시킬 수 있도록 계속적인 자료의 축적과 개선활동이 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
공학교육인증제에서 프로그램 학습성과란?
공학교육인증제에서 프로그램 학습성과는 프로그램의 재학생이 교육과정을 통해 졸업 시점에 갖추어야 할 능력이나 자질로서 국가나 사회의 요구를 수렴하고 국제적인 교육의 등가성에 부합하는 능력을 의미한다[1-2]. 이러한 학습성과 기반의 교육을 위해서는 프로그램 교육 목표에 합치되는 프로그램 학습성과를 설정하고, 이러한 학습성과를 달성하기 위한 교육과정을 개설하고 학생들을 교육하며 적합한 절차에 따라 성취도 평가를 수행해야 한다[3-6].
한국공학교육인증원에서는 종합적인 프로그램 학습성과에 대한 성취도 평가를 위해 제시하는 것은?
한국공학교육인증원에서는 종합적인 프로그램 학습성과에 대한 성취도 평가를 위해 측정 자료의 수집하고 분석하는 절차와 방법으로 평가 도구, 수행 준거, 평가 기준, 성취도 수준 및 목표치에 대한 평가가 수행될 수 있는 학습성과 평가체계를 공학교육인증기준(KCC 2015)을 통해 제시하고 있다. 이러한 학습성과 평가체계에서는 종합설계 보고서 및 발표, 학생 포트폴리오, 인터뷰, 시험 등 학생들의 역량을 측정할 수 있는 다양한 평가도구를 활용할 수 있다.
학습성과 운영 결과로 부터 도출된 평가 방법에 대한 개선 방안은?
이러한 교과기반 학습성과 운영 결과로부터 학습성과 성취도 평가 방법에 대한 개선 방안은 아래와 같이 논의되었다. 탐침 교과목에 대한 교과기반 학습성과 성취도를 평가한 결과에서 첫째, 학습성과 성취도가 낮게 나타난 경우에 성취도 측정을 위해 제한적인 시험 문항을 적용하였다는 한계가 있으므로, 학습성과 성취도 수준 평가를 위해 사용한 시험 문항수의 확대와 문항 선정의 적절성에 대한 추가적인 보완이 필요하다. 둘째로, 시험 문항이 아닌 팀 과제를 기반으로 학습성과 성취도를 평가한 경우에 학습성과 성취도가 상대적으로 높게 나타나고 있으며 학생들 간의 편차가 크지 않으므로 팀 과제를 기반으로 학습성과 성취도를 평가하는 경우에도 학생 개별적 성취도를 반영할 수 있는 방안에 대한 추가적인 보완이 필요하다. 향후 본 프로그램 교과목의 학습성과 성취도에 대한 효용적인 평가를 위해 탐침 교과목을 계속 확대하여 적용하고, 교과기반 학습성과 분석 결과에 대한 정확도를 향상시킬 수 있도록 계속적인 자료의 축적과 개선활동이 필요하다.
참고문헌 (9)
ABET, "Criteria for accrediting engineering programs: Effective for Reviews During the 2016-2017 Accreditation Cycle", 2015.
D. Park, C. Sim, and C. Kim, "KEC2005 Program Outcomes: Sound Interpretation and Understanding", Journal of Engineering Education Research, Vol. 18, No. 3, pp. 33-38, May 2015.
ABEEK, "ABEEK Criteria for Accrediting Computing Programs2015(KCC2015)", 2015.
ABEEK, "KCC2015 Decision Guide for Accreditation Evaluation", 2016.
W. Chung, S. Oh and H. Kim, "A Case Study on Program Outcomes Assessment of Information SecurityProgram for Engineering Education Accreditation", Journal of The Korea Institute of Information Security and Cryptology, Vol. 26, No. 3, pp. 777-785, 2016.
S. Cho, "A Case Study of Course-Embedded Assessment for Program Outcomes in Computer Science & Information Engineering", Journal of Internet Computing and Services(JICS), Vol. 17, No. 1, pp. 73-81, 2016.
H. Gerretson and E. Golson, "Synopsis of the Use of Course-Embedded Assessment in a Medium Sized Public University's General Education Program", The Journal of general education, Vol. 54, No. 2, pp. 139-146, 2005.
H. Kim, "Development on the model of outcome-based course evaluation design for Course-Embedded Assessment", Journal of Engineering Education Research, Vol. 18, No. 6, pp. 24-31, 2015.
S. Jin and W. Cho, "A Case Analysis of Program Outcomes Assessment Systems for Engineering Education Accreditation of South Korea and USA", Journal of Engineering Education Research, Vol. 14, No. 2, pp. 13-20, 2011.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.