공학교육인증제를 운용하는 공학교육 프로그램에서 프로그램 학습성과는 학생이 졸업하는 시점까지 갖추어야 할 지식, 기술 그리고 태도를 말한다. 일반적으로, 프로그램 학습성과 성취도를 측정하는 평가도구로 캡스톤디자인을 사용한다. 본 논문에서는 프로그램 학습성과 평가에 참여한 수요지향 평가자들의 평가 결과의 신뢰도를 측정하기 위해 급내 상관계수(ICC)를 계산한다. 즉, 같은 평가도구를 이용하여, 여러 명의 평가자가 학습성과를 평가하게 하고, 그 결과를 이용하여 평가자의 ICC를 구한다. ICC는 단체로 수집되거나 단체로 분류된 데이터에 대한 신뢰도의 등급을 측정하는 데 이용된다. ICC가 1에 가까우면 평가자 간 신뢰도가 높다고 판단할 수 있다. 이러한 방법을 지난 2년간의 4년제 대학 컴퓨터공학과 PO 평가 결과에 적용하여 평가도구의 신뢰성을 측정하고 분석하였다. 그리고 이 결과를 이용하여 평가자 간 ICC 측정값을 이용하면, 객관성이 부족한 평가도구를 찾아 보완할 수 있음을 알 수 있었다. 이러한 결과를 바탕으로, PO 평가체계에 대한 개선방안과 PO 수행 지침을 도출한다.
공학교육인증제를 운용하는 공학교육 프로그램에서 프로그램 학습성과는 학생이 졸업하는 시점까지 갖추어야 할 지식, 기술 그리고 태도를 말한다. 일반적으로, 프로그램 학습성과 성취도를 측정하는 평가도구로 캡스톤디자인을 사용한다. 본 논문에서는 프로그램 학습성과 평가에 참여한 수요지향 평가자들의 평가 결과의 신뢰도를 측정하기 위해 급내 상관계수(ICC)를 계산한다. 즉, 같은 평가도구를 이용하여, 여러 명의 평가자가 학습성과를 평가하게 하고, 그 결과를 이용하여 평가자의 ICC를 구한다. ICC는 단체로 수집되거나 단체로 분류된 데이터에 대한 신뢰도의 등급을 측정하는 데 이용된다. ICC가 1에 가까우면 평가자 간 신뢰도가 높다고 판단할 수 있다. 이러한 방법을 지난 2년간의 4년제 대학 컴퓨터공학과 PO 평가 결과에 적용하여 평가도구의 신뢰성을 측정하고 분석하였다. 그리고 이 결과를 이용하여 평가자 간 ICC 측정값을 이용하면, 객관성이 부족한 평가도구를 찾아 보완할 수 있음을 알 수 있었다. 이러한 결과를 바탕으로, PO 평가체계에 대한 개선방안과 PO 수행 지침을 도출한다.
In a program that runs an engineering education certification, program outcomes refer to the knowledge, skills, and attitudes a student must have until graduation. In general, capstone design is used as a tool for evaluating program outcomes. This paper applies the intraclass correlation coefficient...
In a program that runs an engineering education certification, program outcomes refer to the knowledge, skills, and attitudes a student must have until graduation. In general, capstone design is used as a tool for evaluating program outcomes. This paper applies the intraclass correlation coefficient (ICC) to measure the raters' reliability in assessing program outcomes. Several raters evaluate program outcomes, and the result is used to obtain the raters' ICC. ICC measures the reliability of ratings or measurements for clusters - data that has been collected as groups or sorted into groups. If the ICC is close to 1, it means that the reliability among the raters is high. We evaluated the proposed method's usefulness through case analysis. As a method for assessing an evaluation tool's objectivity, multiple raters measure the same evaluation tool. As a result, we measured the ICC values for all POs, and analyzed the cause for the low measured POs. We applied this method to evaluate program outcomes of the Department of Computer Engineering in the past two years. As a result, we derived guidelines for improvement and program outcomes.
In a program that runs an engineering education certification, program outcomes refer to the knowledge, skills, and attitudes a student must have until graduation. In general, capstone design is used as a tool for evaluating program outcomes. This paper applies the intraclass correlation coefficient (ICC) to measure the raters' reliability in assessing program outcomes. Several raters evaluate program outcomes, and the result is used to obtain the raters' ICC. ICC measures the reliability of ratings or measurements for clusters - data that has been collected as groups or sorted into groups. If the ICC is close to 1, it means that the reliability among the raters is high. We evaluated the proposed method's usefulness through case analysis. As a method for assessing an evaluation tool's objectivity, multiple raters measure the same evaluation tool. As a result, we measured the ICC values for all POs, and analyzed the cause for the low measured POs. We applied this method to evaluate program outcomes of the Department of Computer Engineering in the past two years. As a result, we derived guidelines for improvement and program outcomes.
김해진, 천의영, 김은경, "기본간호학실습에서 학습성과 평가도구의 적용 사례: 의사소통능력 평가를 중심으로," 한국산학기술학회 논문지, 제21권, 제4호, pp.173-180, 2020.
T. K. Koo and M. Y. Li, "A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research," Journal of Chiropractic Medicine, Vol.15, No.2, pp.155-163, 2016. doi:10.1016/j.jcm.2016.02.012
J. J. Bartko, "The intraclass correlation coefficient as a measure of reliability," Psychol Rep, Vol.19, No.1, pp.3-11, 1966. doi:10.2466/pr0.1966.19.1.3
※ AI-Helper는 부적절한 답변을 할 수 있습니다.