선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구는 D대학교의 교내 학생 포트폴리오 경진대회에서 수행되는 포트폴리오 평가의 타당성과 신뢰성을 확보할 수 있는 평가준거의 개발을 목적으로 하였다. 연구자는 이러한 목적을 달성하기 위하여 포트폴리오에 대한 선행연구와 전국대회 주관 기관인 한국공학교육인증원의 심사방향을 고려하면서 국내 8개 대학에서 사용하고 있는 평가표의 내용을 분석한 후 평가영역과 평가문항을 분류 및 통합하면서 새로운 평가문항을 개발하였다.
- 본 연구에서는 상기와 같은 교내 포트폴리오 평가가 내포하고 있는 문제에 대한 인식에 기초하여 D대학의 교내 학생 포트폴리오 경진대회 평가자인 공과대학 교수의 평가활동을 구체적으로 안내할 수 있는 평가준거를 개발함으로써 포트폴리오 평가의 타당성과 신뢰성을 증진하는 것을 목적으로 한다.
- 포트폴리오 심사에 참여한 9명의 PD교수 중 4명을 선정하여 평가준거표 사용에 대한 인터뷰를 실시하였다. 인터뷰의 목적은 PD교수가 평가준거표를 사용하면서 경험하게 되는 문제점 또는 개선점 등을 파악하기 위함이었다. PD교수 인터뷰는 2011년 6월 1일부터 6월 3일까지 PD교수 1명당 평균 20〜30분 동안 이루어졌다.
제안 방법
- 인터뷰의 목적은 PD교수가 평가준거표를 사용하면서 경험하게 되는 문제점 또는 개선점 등을 파악하기 위함이었다. PD교수 인터뷰는 2011년 6월 1일부터 6월 3일까지 PD교수 1명당 평균 20〜30분 동안 이루어졌다.
- PD교수들은 포트폴리오를 보자마자 상대적으로 분량이 많은 것이 분량이 적은 것에 비하여 보다 충실하게 작성되었다고 생각하여 분량이 많은 포트폴리오를 중심으로 분량이 적은 포트폴리오를 비교하면서 전체적인 구성, 디자인, 창의성, 충실성 등을 평가하게 되었음을 언급하면서, ‘전체적인 구성’ 점수를 20점에서 30〜40점으로 배점을 상향 조정할 것을 제안하였다.
- 넷째, 자신의 계발, 사회봉사, 공학인의 직업적·윤리적 책임의식 등 공학인이 갖추어야 할 교양을 비교과목들에서 얼마나 다양하고 내실있게 수행 및 관리하고 있는가를 평가한다.
- 넷째, 자신의 계발, 사회봉사, 공학인의 직업적·윤리적 책임의식 등 공학인이 갖추어야 할 교양을 비교과목들에서 얼마나 다양하고 내실있게 수행 및 관리하고 있는가를 평가한다. 다섯째, 포트폴리오가 전체적으로 창의적이며 체계적으로 관리되고 사회적으로 활용하여 충분히 자신의 의지를 표현하고 있는가를 포괄적으로 평가한다. 이상에서와 같이 한국공학교육인증원의 포트폴리오 심사방향의 핵심은 첫째, 학생은 포트폴리오의 구성에 있어서 체계성, 창의성, 다양성, 내실성을 추구함으로써 자신의 능력을 효과적·효율적으로 표현할 수 있어야 하며, 둘째로 학생은 포트폴리오를 통해 자신의 의지로 교과 및 비교과 활동을 체계적으로 계획하고, 주도적으로 수행함으로써 학습성과를 만족하고 있음을 보여주어야 한다.
- 첫째, 체계적인 구성을 통하여 누구나 쉽게 이해할 수 있도록 이력서 등을 통해 자신의 능력을 잘 표현하고 있는지를 평가한다. 둘째, 공학교육에서 요구하는 교양, 전공 과정들의 이수과정 체계가 학생 자신의 의지로 잘 관리되고 있는지 평가한다. 셋째, 전공 관련 이수 프로그램의 조건들을 잘 이해하고 관리하며, 특히 전공과목 내에서 자신의 역할이 창의적이고 학습성과를 만족할 수 있도록 유지, 관리하고 있는지를 평가한다.
- 마지막으로, ‘공학인으로서의 직업적·윤리적 책임의식의 함양’과 관련된 평가 문항은 2011년에 공표된 전국대회의 다섯 가지 심사방향 중 하나로서(이영우, 2011;57), 다른 네 가지 심사방향이 다른 평가문항들에 반영된 것과 동일하게 1개의 문항으로 개발하였다.
- 본 연구에서는 Table 7과 같이 5개 평가영역에 걸쳐 총 14개 평가문항을 개발하였다. 평가영역 및 평가문항 개발 내용을 구체적으로 살펴보면 다음과 같다.
- 본 연구에서는 기본적으로 포트폴리오에 대한 선행연구, 한국공학교육인증원의 포트폴리오 심사방향, 국내 8개 대학의 평가표에 대한 분석을 통해 포트폴리오 평가영역 및 평가문항을 도출하였다. 평가준거표는 각 평가영역에 따라 평가문항들을 분류․ 추가·삭제·수정하는 반복적인 과정을 통해 개발되었다.
- 본 연구에서는 평가준거의 타당성, 유용성, 이해도, 보편성, 설명력의 5개 영역에 걸쳐 2차 전문가 타당도 검사를 실시하였다(나일주, 정현미, 2001; 장정아, 2005). 이를 위해 연구자는 Table 3과 같이 5점 Likert 척도의 평가도구를 개발하여 3명의 교육학 박사로 하여금 평가도구를 사용하여 평가준거표에 대한 전문가 타당도 검사를 실시하였다.
- 둘째, 공학교육에서 요구하는 교양, 전공 과정들의 이수과정 체계가 학생 자신의 의지로 잘 관리되고 있는지 평가한다. 셋째, 전공 관련 이수 프로그램의 조건들을 잘 이해하고 관리하며, 특히 전공과목 내에서 자신의 역할이 창의적이고 학습성과를 만족할 수 있도록 유지, 관리하고 있는지를 평가한다. 넷째, 자신의 계발, 사회봉사, 공학인의 직업적·윤리적 책임의식 등 공학인이 갖추어야 할 교양을 비교과목들에서 얼마나 다양하고 내실있게 수행 및 관리하고 있는가를 평가한다.
- 전문가 D, E, F 모두는 교육학 박사 소지자로서 국내의 3개 공과대학의 공학교육혁신센터에서 각각 연구교수, 책임연구원, 연구원으로서 최대 4년, 최소 2년 동안 근무하였으며, 교내 및 전국 단위의 포트폴리오 경진 대회 참가 학생들을 지도해 왔다. 연구자는 이들에 대하여 전화와 이메일을 통해 전문가 타당도 검사를 실시하면서 평가준거표의 각 평가항목에 대한 구체적인 의견도 수집 및 분석하였다.
- 본 연구는 D대학교의 교내 학생 포트폴리오 경진대회에서 수행되는 포트폴리오 평가의 타당성과 신뢰성을 확보할 수 있는 평가준거의 개발을 목적으로 하였다. 연구자는 이러한 목적을 달성하기 위하여 포트폴리오에 대한 선행연구와 전국대회 주관 기관인 한국공학교육인증원의 심사방향을 고려하면서 국내 8개 대학에서 사용하고 있는 평가표의 내용을 분석한 후 평가영역과 평가문항을 분류 및 통합하면서 새로운 평가문항을 개발하였다. 이와 같은 평가준거의 개발은 공과대학 교수들의 안면타당도 검토 과정과 교육학 박사들의 타당도 검사 과정을 거쳤다.
- 본 연구에서는 평가준거의 타당성, 유용성, 이해도, 보편성, 설명력의 5개 영역에 걸쳐 2차 전문가 타당도 검사를 실시하였다(나일주, 정현미, 2001; 장정아, 2005). 이를 위해 연구자는 Table 3과 같이 5점 Likert 척도의 평가도구를 개발하여 3명의 교육학 박사로 하여금 평가도구를 사용하여 평가준거표에 대한 전문가 타당도 검사를 실시하였다. 전문가 D, E, F 모두는 교육학 박사 소지자로서 국내의 3개 공과대학의 공학교육혁신센터에서 각각 연구교수, 책임연구원, 연구원으로서 최대 4년, 최소 2년 동안 근무하였으며, 교내 및 전국 단위의 포트폴리오 경진 대회 참가 학생들을 지도해 왔다.
- 이에 본 연구에서는 교내 경진대회 심사에 참여한 평가자(PD교수) 인터뷰를 통해 ‘전체적인 구성’에 해당하는 평가영역의 중요성이 확인되어, 관련 평가 문항을 총 4개, 40점 배점으로 최종적으로 개발하였다.
- 즉, ‘매우 우수(5)-우수(4)-보통(3)-미흡(2)-매우 미흡(1)’에 해당하는 5단계 평정척도를 사용하여 포트폴리오의 질적 수준을 평가할 수 있는 평가준거표를 개발하였다.
- 즉, 평가준거표 초안에서는 ‘전체적인 구성’의 배점이 20점이었으나, 40점으로 수정하였으며, 문항 간 배타성 문제가 지적된 문항들을 통합하여 초기 16개의 문항을 총 14개 문항으로 수정하였다.
- 2011년 한국공학교육인증원의 포트폴리오 심사방향은 다음과 같다(이영우, 2011:57). 첫째, 체계적인 구성을 통하여 누구나 쉽게 이해할 수 있도록 이력서 등을 통해 자신의 능력을 잘 표현하고 있는지를 평가한다. 둘째, 공학교육에서 요구하는 교양, 전공 과정들의 이수과정 체계가 학생 자신의 의지로 잘 관리되고 있는지 평가한다.
- 평가의 객관성을 확보하기 위하여 PD 교수들은 자신이 소속된 분야가 아닌 타 분야 즉, 1분야 → 2분야, 2분야 → 3분야, 3분야 → 1분야에 소속된 학생들의 포트폴리오를 평가하였다.
대상 데이터
- 2011년의 제5회 경진대회는 10월에 정량적·정성적 심사의 두 단계에 걸쳐 개최되었으며, 이전 대회에서와 동일하게 Table 1과 같이 전공별 5개 분야로 나뉘어 심사가 이루어졌다.
- 이상과 같이 공과대학 교수에 의한 1차 안면타당도 검토, PD 교수의 사용성 검토, 교육학 박사에 의한 2차 타당도 검사를 통해 개발된 평가준거표는 2011년 5월 31일, D대학교의 포트폴리오 경진대회에서 9명의 PD교수에게 제공되어 심사에 사용되도록 하였다.
- Table 4는 각 분야에 속한 전공별 포트폴리오 경진대회 참가 인원수를 제시한다. 참가 인원은 3학년이 13명, 4학년이 28명으로 총 41명이었다. PD교수들의 평가시간은 개인별로 약 1시간〜1시간 30분이 소요되었다.
- 포트폴리오 심사에 참여한 9명의 PD교수 중 4명을 선정하여 평가준거표 사용에 대한 인터뷰를 실시하였다. 인터뷰의 목적은 PD교수가 평가준거표를 사용하면서 경험하게 되는 문제점 또는 개선점 등을 파악하기 위함이었다.
이론/모형
- 본 연구에서는 Table 7와 같이 ‘평정척도(rating scale)’를 사용하였다.
- 본 연구에서는 일반적인 5점 Likert 척도 평가방법을 사용하였는데, 평가자 간 신뢰도 산출을 위하여 4점 척도에 따라 일치도를 산출하는 방법을 따랐다(박경선, 2010; 진성희, 2009). 선행연구(Grant & Davis, 1997; Lynn, 1986; Rubio et al.
성능/효과
- 그러나, 평가자(PD교수) 인터뷰 결과, 평가영역 중 ‘전체적인 구성’의 배점이 상향 조정될 것과 평가문항 간 배타성과 관련하여 평가문항들이 통합될 것이 제안되어 이를 최종적인 평가준거표 개발에 반영하였다. 그 결과, 최종적인 평가준거표는 전체적인 구성(40점), 인적사항(15점), 자격증 및 수상경력(5점), 교과과정(15점), 비교과과정(15점)의 5개 평가영역의 14개 평가문항으로 개발되었다.
- 24임을 감안할 때 개발된 평가준거표는 전반적으로 타당하다고 볼 수 있다. 그리고 3명의 교육학 박사에 대한 인터뷰를 통해 평가준거표가 평가자로 하여금 구체적으로 평가를 수행할 수 있도록 지원하는 장점을 가지고 있음이 확인되었다. 그러나, 교육학 박사 1명은 이러한 평가 준거표의 장점은 평가자의 시간과 노력을 증가시킬 수 있다고 지적하였다.
- 즉, 공과대학 교수에 의한 1차 안면타당도 검토를 통해 평가준거표가 수정·보완되었다. 그리고 교육학 박사에 의한 2차 타당도 검사결과는 전체 평균이 4.24로 평가준거표가 타당하다는 것을 보여주었다. 또한, 실제적으로 D대학교의 교내 학생 포트폴리오 경진대회에서 평가준거표를 사용한 후 평가자 간 신뢰도를 측정한 결과, .
- 둘째, ‘인적사항(15점)’은 문서 작성 내용을 통해 자기주도 학습의 의지와 성찰에 대한 자기표현 능력과 의사전달 능력을 평가할 수 있는 문항으로 개발되었다.
- PD교수들은 포트폴리오를 보자마자 상대적으로 분량이 많은 것이 분량이 적은 것에 비하여 보다 충실하게 작성되었다고 생각하여 분량이 많은 포트폴리오를 중심으로 분량이 적은 포트폴리오를 비교하면서 전체적인 구성, 디자인, 창의성, 충실성 등을 평가하게 되었음을 언급하면서, ‘전체적인 구성’ 점수를 20점에서 30〜40점으로 배점을 상향 조정할 것을 제안하였다. 둘째, PD교수 3명은 평가영역 내에서의 평가문항 간 배타성 문제를 지적하였다. 예를 들어, PD교수 3명은 초기 평가준거표에서 9번과 10번, 13번과 14번을 각각 하나의 평가문항으로 통합하는 것에 대하여 언급하였다.
- 즉, 학생은 자신의 목표, 성과물, 성찰 등에 대한 다양한 증거자료 제시를 통해 포트폴리오 작성의 목적과 내용을 효과적·효율적으로 제시함으로써 독자(讀者)와 커뮤니케이션 할 수 있는 문서 작성 능력, 시각자료 설계 능력 등을 함양할 수 있다. 둘째, 포트폴리오는 학생에게 자기 주도 학습의 기회를 제공한다. 학생은 포트폴리오 작성 과정을 통해 스스로 구체적인 목표(취업 또는 진학)를 설정하고, 이와 관련된 교과과정 및 비교과과정 활동을 계획하여 주도적으로 목표 달성을 위해 노력하게 된다.
- 24로 평가준거표가 타당하다는 것을 보여주었다. 또한, 실제적으로 D대학교의 교내 학생 포트폴리오 경진대회에서 평가준거표를 사용한 후 평가자 간 신뢰도를 측정한 결과, .86의 높은 평가자 간 일치도가 확인되었다. 그러나, 평가자(PD교수) 인터뷰 결과, 평가영역 중 ‘전체적인 구성’의 배점이 상향 조정될 것과 평가문항 간 배타성과 관련하여 평가문항들이 통합될 것이 제안되어 이를 최종적인 평가준거표 개발에 반영하였다.
- 셋째, ‘자격증 및 수상경력(5점)’은 학생의 자기주도 학습능력 및 의지가 실제로 대학 재학 기간 동안에 발휘되고 있는지를 확인할 수 있는 문항으로 개발되었다.
- 학생은 포트폴리오 작성 과정을 통해 스스로 구체적인 목표(취업 또는 진학)를 설정하고, 이와 관련된 교과과정 및 비교과과정 활동을 계획하여 주도적으로 목표 달성을 위해 노력하게 된다. 셋째, 포트폴리오는 학생의 성찰적 사고의 증진에 기여한다. 학생은 포트폴리오의 목표 및 성과물에 대한 지속적인 자기 평가를 통해 자신의 성장발달을 확인 함으로써, 목표 대비 성과에 대한 비교·분석 및 개선의 과정에서 성찰의 기회를 가질 수 있다.
- 연구자는 8개 대학의 평가표를 수집하는 동안 해당 공학교육혁신센터의 포트폴리오 경진대회 담당자들이 자신들이 보유하고 있는 평가표를 개선하고자 하는 요구가 있음을 확인할 수 있었다. 그리고 그와 같은 요구의 정도는 대학마다 다르지만, 일부 대학의 경진대회 담당자들은 평가해야 할 항목을 적절하게 평가할 수 있으며, 공대 교수의 평가활동을 원활하게 안내할 수 있는 평가표 보유를 희망한다는 의사를 밝혔다.
- 이상과 같이 PD교수 인터뷰 결과, 전반적으로 평가 준거표의 사용은 평가자의 평가 활동을 용이하게 하는 것으로 나타났지만, ‘전체적인 구성의 배점’과 ‘평가영역 내에서의 평가문항 간 배타성’에 대한 문제점이 지적되어 이를 평가준거표의 개발에 최종적으로 반영하였다.
- 이상에서와 같이 한국공학교육인증원의 포트폴리오 심사방향의 핵심은 첫째, 학생은 포트폴리오의 구성에 있어서 체계성, 창의성, 다양성, 내실성을 추구함으로써 자신의 능력을 효과적·효율적으로 표현할 수 있어야 하며, 둘째로 학생은 포트폴리오를 통해 자신의 의지로 교과 및 비교과 활동을 체계적으로 계획하고, 주도적으로 수행함으로써 학습성과를 만족하고 있음을 보여주어야 한다.
- 즉, 11개의 타당도 검사 문항 중 ‘평가배점의 타당성(평균 3.67)’을 묻는 1개의 문항을 제외한 10개 문항의 평균이 각각 4.0 이상이며, 전체 평균이 4.24임을 감안할 때 개발된 평가준거표는 전반적으로 타당하다고 볼 수 있다.
- 첫째, ‘전체적인 구성(40점)’은 시각적인 측면에 중점을 두어 포트폴리오를 개발한 학생의 자기 표현 능력 및 의사전달 능력을 평가할 수 있는 문항으로 개발되었다.
- 첫째, PD교수 2명은 포트폴리오 평가 시, ‘전체적인 구성’과 관련된 평가문항들을 가장 먼저 중요하게 평가하게 되었다고 하였다.
- 상기와 같은 포트폴리오에 대한 이론적 고찰에 근거하여, 포트폴리오 작성이 교육적 차원에서 학생에게 주는 의미와 필요성을 정리하면 다음과 같다. 첫째, 포트폴리오는 학생의 자기표현 능력과 의사전달 능력을 증진시킨다. 학생은 포트폴리오를 작성하는 과정을 통해 포트폴리오가 지향하는 목적을 명확하게 드러낼 수 있도록 자료를 문서화함으로써 자신의 의지와 능력을 표현하는 역량을 증진시킬 수 있다.
후속연구
- 그리고, 본 연구에서 개발한 D대학교의 포트폴리오 평가준거가 효과적·효율적으로 활용되기 위해서는 평가준거와 더불어 포트폴리오 작성의 목적, 의미, 필요성, 작성방법이 학생과 교수 모두에게 사전에 공유되어야 할 것이다.
- 그리고, 본 연구에서 개발한 D대학교의 포트폴리오 평가준거가 효과적·효율적으로 활용되기 위해서는 평가준거와 더불어 포트폴리오 작성의 목적, 의미, 필요성, 작성방법이 학생과 교수 모두에게 사전에 공유되어야 할 것이다. 이를 통해 학생은 자신의 수행과정과 성과를 지속적으로 성찰 및 개선해 나갈 수 있을 것이며, 교수는 학생상담과 지도에 있어서 포트폴리오를 효과적·효율적으로 사용할 수 있을 것이다.
- 이상과 같은 연구결과에 따르면, 교수는 포트폴리오 작성지도 시, ‘전체적인 구성’의 중요성을 보다 강조하여 지도해야 할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.