대학의 강의평가는 수업효과성에 대한 진단적 피드백을 제공하고 교수에 대한 의사결정에 도움을 주며 학생이 수강 시 활용할 수 있는 정보를 제공하는 등 광범위하게 사용되고 있다. 그러나 활용범위가 확대될 수록 강의평가도구의 타당성과 신뢰성이 제기되고 있으며, 강의평가 제도 자체에 대한 측정학적 연구가 요구되고 있다. 본 연구의 목적은 이공계 대학의 강의평가 결과에 대한 실증적 분석을 통하여 강의평가제도의 순기능을 극대화하기 위한 개선방안을 제안하는 것이다. 평가도구의 타당도와 신뢰도, 평가결과에 대한 문항반응 유형 등을 통계적으로 분석하기 위해 국내 대학교 이공계 개설강의 중 471개 과목의 385명 교수에 대한 총 49,127 명 학생의 강의평가 결과자료를 사용하였다. 분석 결과, 첫째, 강의평가의 유형별 차이를 줄이기 위하여 전공별 또는 수업유형별로 평가문항 군에서 문항을 선택하도록 개선할 것을 제안하고, 둘째, 평가결과점수 상하위 10% 해당하는 강의의 특성을 분석하여 결과활용의 방향을 제시하였다.
대학의 강의평가는 수업효과성에 대한 진단적 피드백을 제공하고 교수에 대한 의사결정에 도움을 주며 학생이 수강 시 활용할 수 있는 정보를 제공하는 등 광범위하게 사용되고 있다. 그러나 활용범위가 확대될 수록 강의평가도구의 타당성과 신뢰성이 제기되고 있으며, 강의평가 제도 자체에 대한 측정학적 연구가 요구되고 있다. 본 연구의 목적은 이공계 대학의 강의평가 결과에 대한 실증적 분석을 통하여 강의평가제도의 순기능을 극대화하기 위한 개선방안을 제안하는 것이다. 평가도구의 타당도와 신뢰도, 평가결과에 대한 문항반응 유형 등을 통계적으로 분석하기 위해 국내 대학교 이공계 개설강의 중 471개 과목의 385명 교수에 대한 총 49,127 명 학생의 강의평가 결과자료를 사용하였다. 분석 결과, 첫째, 강의평가의 유형별 차이를 줄이기 위하여 전공별 또는 수업유형별로 평가문항 군에서 문항을 선택하도록 개선할 것을 제안하고, 둘째, 평가결과점수 상하위 10% 해당하는 강의의 특성을 분석하여 결과활용의 방향을 제시하였다.
An evaluation system of teaching is one of authentic assessment tools for improving the quality of higher education. The purpose of this study is to cultivate the class evaluation system in the college of engineering based on the empirical analysis of the results of the class evaluation. Especially,...
An evaluation system of teaching is one of authentic assessment tools for improving the quality of higher education. The purpose of this study is to cultivate the class evaluation system in the college of engineering based on the empirical analysis of the results of the class evaluation. Especially, this study investigates the validity evidence using the confirmatory factor analysis of the class evaluation. The data used in this study were acquired from 49,127 student's evaluation responses of 471 courses offered in colleges of natural science and engineering at a university in Korea. The reliabilities are quite good for every construct by producing an index value from 0.92 to 0.98. The results provides a guideline for an appropriate measurement model to report the information, to clarify quality and appropriateness of instrument items, to make recommendations for which items should be left or merged in the revised instrument. A special suggestion for improving student's evaluation of each course is to prepare a well-designed instruction for students explaining why and how to evaluate the course in order to produce reliable and valid results.
An evaluation system of teaching is one of authentic assessment tools for improving the quality of higher education. The purpose of this study is to cultivate the class evaluation system in the college of engineering based on the empirical analysis of the results of the class evaluation. Especially, this study investigates the validity evidence using the confirmatory factor analysis of the class evaluation. The data used in this study were acquired from 49,127 student's evaluation responses of 471 courses offered in colleges of natural science and engineering at a university in Korea. The reliabilities are quite good for every construct by producing an index value from 0.92 to 0.98. The results provides a guideline for an appropriate measurement model to report the information, to clarify quality and appropriateness of instrument items, to make recommendations for which items should be left or merged in the revised instrument. A special suggestion for improving student's evaluation of each course is to prepare a well-designed instruction for students explaining why and how to evaluate the course in order to produce reliable and valid results.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
강의평가는 궁극적으로 평가 결과를 반영하여 강의의 질을 개선하고 이후의 교수-학습에 도움을 주고자 하는 것을 목적으로 한다. 이를 위해서 특히 높은 평가를 받은 강의와 낮은 평가를 받은 강의에 주목해 볼 필요가 있다.
둘째, 평가시기는 한학기 1회를 원칙으로 하되 실제로 강의 개선을 위한 피이드백을 수합하기 위하여 강의가 진행되는 학기 중에 한번 더 시행하는 것을 제안하고자 한다. 더욱 중요한 것은 우리나라 대부분 대학에서 성적열람 이전에 온라인 평가방법을 사용함으로써 발생하는 문제점을 시정해야 할 것이다.
, 2000)를 실증적으로 뒷받침한다. 또한 사용하고 있는 표준점수는 수업규모와 단과대학 특성 외 강의평가유형에 따른 점수 차이를 조정할 수 없다는 문제점도 지적하였다. 따라서 강의평가 결과를 유형에 상관없이 비교하거나 교수를 평가하기 위한 행정적인 목적으로 사용하기 위해서는 최근의 강의평가 결과를 기초로 정교한 검토가 필요하며 점수산출 공식을 어떻게 수정해야 하는지 연구해야 할 것이다.
또한, 강의유형별 결과에 대한 분석과 답지반응 유형분석 등은 단순한 기술통계를 계산하여 비교함으로써 실제 다른 유형의 평가도구와 학생반응에 대한 시사점을 도출하고자 하였다. 그리고 평가점수가 상위 10%와 하위 10%에 해당하는 강의의 특성을 분석하여 학생과의 반응과 비교하였다.
이렇게 다양하게 제기되는 필요성에 근거하여 이 연구의 목적은 이공계 대학의 강의평가 결과를 효과적으로 활용하기 위하여 평가결과를 실증적으로 분석함으로써 현행 강의평가제도의 문제점을 정량적으로 분석하고, 강의평가제도에 대한 개선방법을 제안하는 것이다. 구체적인 연구범위는 첫째, 사용되고 있는 강의평가 결과의 신뢰도와 타당도를 점검하고, 둘째, 평가도구의 유형별 특성과 평가결과를 분석함으로써 강의유형과의 관계를 점검하며, 셋째, 강의평가점수에 따른 집단별 강의에 대한 문항반응유형을 분류함으로써 평가제도에 대한 시사점을 도출하는 것이다.
즉 도구를 제작하는 과정에서 가장 중요하게 다루는 ‘구인’이 어느 정도 이론적 구조에 부합되는가를 점검하고자 하였다.
여기서 집단Ⅰ은 수강인원에 의한 분류로 20명 이하, 21~40명, 41~80명, 81~120명, 121명 이상의 5집단으로 구분되고, 집단Ⅱ는 단과대학에 의한 분류로 과목이 개설된 단과대학의 집단 특성을 반영하게 된다. 즉 수강인원과 단과대학에 따른 강의평가 결과를 반영하여 점수를 조정해주는 것이다.
제안 방법
강의평가를 위한 설문은 유형에 따라 다소 문항진술이 틀리지만 위에서 제사한 바와 같이 교수방법에 관한 평가 12문항, 학업성취에 관한 평가 5문항, 강의전반에 관한 평가 4문항으로, 총 3개 영역 21개의 문항으로 구성되어 있다. 각 문항의 응답은 5단계 Likert 척도로 주어지며, 강의평가 설문의 타당도를 검증하기 위하여 요인분석을 실시하였고, 21개의 문항으로 이루어진 강의평가 내용이 교수방법, 학업성취, 강의전반의 3개의 요인으로 구분되는지 살펴보았다.
강의평가를 위한 설문은 유형에 따라 다소 문항진술이 틀리지만 위에서 제사한 바와 같이 교수방법에 관한 평가 12문항, 학업성취에 관한 평가 5문항, 강의전반에 관한 평가 4문항으로, 총 3개 영역 21개의 문항으로 구성되어 있다. 각 문항의 응답은 5단계 Likert 척도로 주어지며, 강의평가 설문의 타당도를 검증하기 위하여 요인분석을 실시하였고, 21개의 문항으로 이루어진 강의평가 내용이 교수방법, 학업성취, 강의전반의 3개의 요인으로 구분되는지 살펴보았다.
이렇게 다양하게 제기되는 필요성에 근거하여 이 연구의 목적은 이공계 대학의 강의평가 결과를 효과적으로 활용하기 위하여 평가결과를 실증적으로 분석함으로써 현행 강의평가제도의 문제점을 정량적으로 분석하고, 강의평가제도에 대한 개선방법을 제안하는 것이다. 구체적인 연구범위는 첫째, 사용되고 있는 강의평가 결과의 신뢰도와 타당도를 점검하고, 둘째, 평가도구의 유형별 특성과 평가결과를 분석함으로써 강의유형과의 관계를 점검하며, 셋째, 강의평가점수에 따른 집단별 강의에 대한 문항반응유형을 분류함으로써 평가제도에 대한 시사점을 도출하는 것이다.
대학의 강의평가가 수업의 질을 향상시키기 위함이라는 것은 모두 동의하는 바이다. 그러나 이미 강의평가의 활용범위가 확대되고 있는 시점에서 다시 강의평가제도의 문제점을 제기하며 강의평가 자체 개선을 위한 실증적 분석을 시도하였다. 연구결과를 요약하면 I 대학의 강의평가 설문내용을 3개 요인으로 구분하는 것은 통계적으로 타당하지 않았으며 21개 문항은 하나의 요인을 설명하고 있었다.
또한, 강의유형별 결과에 대한 분석과 답지반응 유형분석 등은 단순한 기술통계를 계산하여 비교함으로써 실제 다른 유형의 평가도구와 학생반응에 대한 시사점을 도출하고자 하였다. 그리고 평가점수가 상위 10%와 하위 10%에 해당하는 강의의 특성을 분석하여 학생과의 반응과 비교하였다. 분석에 사용한 프로그램은 SPSS/PC 12.
이 연구에서 분석하고자 하는 범위는 첫째, 사용되고 있는 강의평가 결과의 신뢰도와 타당도를 점검하고, 둘째, 평가도구의 유형별 특성과 평가결과를 분석함으로써 강의유형과의 관계를 점검하고, 셋째, 강의평가점수에 따른 집단별 강의에 대한 문항반응유형을 분류하여 특성을 구분하고자 한다. 측정영역에서 검사의 타당도란 측정과 검사의 충실성과 적합성을 의미하여, 신뢰도는 측정과 검사의 정확성과 일관성을 말한다(APA, AERA, NCME, 1985, 1999).
평가결과에 대하여 실질적으로 활용하려면 실제 평가자료에 대한 심층적 분석이 요구된다. 이 연구에서 평가도구의 타당도와 신뢰도, 평가결과에 대한 문항반응유형 등을 통계적으로 분석하기 위하여 실제 강의평가 결과를 사용하였다.
대상 데이터
이 연구를 위해 2005학년도 1학기 강의평가 결과를 분석하였고 해당 학부와 과목, 그리고 교수와 학생자료 구성은 <표 1>과 같다. 분석에 실제 사용된 자료는 국내 I 대학교 공과대학과 자연과학대학에서 개설된 학부과목 총 471개 과목, 385명의 강사에 대해 49,127명 학생들이 평가한 결과이다.
이 연구를 위해 2005학년도 1학기 강의평가 결과를 분석하였고 해당 학부와 과목, 그리고 교수와 학생자료 구성은 과 같다.
데이터처리
신뢰도 추정은 충분한 사례수가 있으므로 각 영역별 그리고 전체평가도구에 대하여 Cronbach α(성태제, 2002)를 산출하였다.
이론/모형
즉 도구를 제작하는 과정에서 가장 중요하게 다루는 ‘구인’이 어느 정도 이론적 구조에 부합되는가를 점검하고자 하였다. I 대학의 강의평가도구에서 제시하고 있는 세 가지 영역에 대하여 각 문항이 어떻게 설명되고 있는지 살펴보기 위해 확인적 요인분석(Confirmatory Factor Analysis) 방법을 적용하였다.
성능/효과
강의평가 유형별 분석결과에서 지적하였듯이 소단위 이하의 전공강의와 조별활동 등을 포함한 다양한 수업방식을 병행한 과목에 대한 평가결과가 다른 유형에 비해 높게 나타났으며 인문사회 일반강의와 조교가 담당하는 실습강의에 대한 평균은 다른 유형보다 낮게 나타났다. 이것은 학생들이 교양보다는 전공관련 과목에, 대규모보다는 소규모 수업에, 그리고 조교가 담당하는 수업보다는 교수가 직접 관리하는 실습강의를 더 좋게 평가하고 있음을 보여줌으로써 최근 연구(Spooren & Mortelmans, 2006; Algozzine, et al.
넷째, 평가 결과를 강의의 질 자체를 개선하는데 활용하기보다 교수의 교수업적 평가나 강사의 강의부여 판정등 행정적 의사결정으로 확대되고 있다는 또 다른 문제점을 발견하였다. 따라서 강의평가 결과 활용이 본질에 충실할 수 있도록 학기 중 또는 다음 학기 시작 직후 실질적인 수업개선을 위해 강의평가 결과를 어떻게 반영하였는지 교수와 학생 간의 상호 피이백이 필요하다.
3%나 속해, 학생들의 강사에 대한 불만이 상대적으로 크다는 것을 알 수 있다. 또한 강의평가 유형별로 볼 때도 상위 10%에서는 D형과 G형의 강의평가 설문을 사용한 강의가, 하위 10%에서는 A형과 E형의 강의평가 설문을 사용한 강의의 비율이 상대적으로 높게 나타났다. 이러한 결과는 강사보다는 교수의 강의가 경험을 바탕으로 교수방법과 강의전반에 있어서 높은 평가를 받고 있다는 것을 시사하며, D형의 강의평가 점수 평균이 높고 A형의 강의평가 점수 평균이 낮은 결과와 유사하게 상·하위 10%에 해당하는 비율에 차이가 있는 점으로 비추어 볼 때 강의평가 유형에 따른 점수 차이를 현재 표준점수가 보정해 주고 있지 못함을 반영하고 있다.
또한, 강의평가의 신뢰도를 검증하기 위하여, 문항내적일관성 신뢰도인 Cronbach α값을 산출한 결과는 와 같고, 신뢰도 검증결과 Cronbach α값은 하위요인과 전체 모두 각각 .963~.989로 매우 높게 나타났다.
그러나 이미 강의평가의 활용범위가 확대되고 있는 시점에서 다시 강의평가제도의 문제점을 제기하며 강의평가 자체 개선을 위한 실증적 분석을 시도하였다. 연구결과를 요약하면 I 대학의 강의평가 설문내용을 3개 요인으로 구분하는 것은 통계적으로 타당하지 않았으며 21개 문항은 하나의 요인을 설명하고 있었다. 따라서 문항의 수를 조정하거나 재배열 또는 문항내용을 수정해야 할 필요가 있다.
요인분석을 통하여 이공계대학에서 가장 많이 사용되었던 B형 강의평가지의 구인타당도를 검증한 결과는 <표 4>와 같다. 요인분석 결과, 하나의 요인만 추출되었고, 요인1의 고유값은 17.335, 설명된 총분산은 82.548로 매우 높게 나타났다. 또한, 강의평가의 신뢰도를 검증하기 위하여, 문항내적일관성 신뢰도인 Cronbach α값을 산출한 결과는 <표 5>와 같고, 신뢰도 검증결과 Cronbach α값은 하위요인과 전체 모두 각각 .
강의평가 유형별로 각 문항과 총점의 평균은 <표 7>과 같다. 이공계 대학의 강의평가 유형별로 살펴보면, D형(이공계 전공 강좌 - 소단위 이하의 전공)과 H형(강의, 조별활동 등 다양한 수업방식 병행 강좌)의 평균이 다른 유형에 비해 높게 나타난 반면, A형(인문사회 일반 강좌)과 I형(조교가 실습을 담당하는 강좌)의 평균은 다른 유형보다 낮게 나타났다. 즉, 학생들은 교양보다는 전공과 관련된 과목에, 대규모보다는 소규모의 수업에, 조교가 담당하는 수업보다는 교수나 강사가 직접 관리하는 수업에 보다 높은 점수를 부여하고 있음을 알 수 있다.
이러한 결과는 강사보다는 교수의 강의가 경험을 바탕으로 교수방법과 강의전반에 있어서 높은 평가를 받고 있다는 것을 시사하며, D형의 강의평가 점수 평균이 높고 A형의 강의평가 점수 평균이 낮은 결과와 유사하게 상·하위 10%에 해당하는 비율에 차이가 있는 점으로 비추어 볼 때 강의평가 유형에 따른 점수 차이를 현재 표준점수가 보정해 주고 있지 못함을 반영하고 있다.
즉, 해당 강의에 매우 만족한 학생은 강의평가 문항에 상관없이 1번부터 21번까지 모두 ‘매우 긍정적’에 해당하는 5번으로 답하고, 강의에 대해 매우 불만이 많았던 학생은 21개의 문항 모두를 ‘매우 부정적’에 해당하는 1번으로 답하는 경향이 있었다.
최근 우리나라 대학의 강의평가 실태를 조사한 한신일·김혜정·이정연(2005) 연구는 대학의 강의평가에 대한 국내외 동향을 몇 가지 특성으로 요약하였다. 첫째, 교수의 책무성 차원에서 강의평가에 대한 인식이 확대되었으며 대학의 질을 결정하는 요인으로 교수능력과 책무성을 강조하면서 질적 관리에 부응하는 평가의 유용성이 중요하게 부각되고 있음을 설명하였다. 즉 강의평가는 단순한 수업개선이나 교수의 강의능력 향상 평가의 준거로서의 역할 뿐 아니라 대학교육의 총체적 질 관리 도구의 하나로 기능하고 있음을 의미하는 것이다.
여섯째, 강의평가 결과를 교수 개인적 차원에서 수업개선을 위해 사용할 뿐 아니라 우수수업 모형을 개발함으로써 대학 차원에서 교육의 질 향상을 위한 교육방법을 개발하고 교육공학적 자료를 체계적으로 지원하도록 한다. 특히 상하위 10% 에 해당하는 강의에 대한 집중적 분석을 통해 높은 강의평가 결과를 받은 강의의 특성과 장점을 제시하고 모형화 함으로써 우수강의의 방법을 적용할 수 있는 프로그램을 개발할 수 있다. 한편 낮은 강의평가를 받은 경우의 문제점과 학생들의 반응도 유형화하여 실질적인 개선책을 제공할 수 있다.
후속연구
강의평가 결과 상·하위 10%에 해당하는 강의 내용을 질적으로 분석하여 장단점을 보다 체계적으로 구조화할 필요가 있으며, 그 결과를 다시 교수-학습 개선을 위한 자료로 강사들에게 제공해 주어야 한다.
또한 사용하고 있는 표준점수는 수업규모와 단과대학 특성 외 강의평가유형에 따른 점수 차이를 조정할 수 없다는 문제점도 지적하였다. 따라서 강의평가 결과를 유형에 상관없이 비교하거나 교수를 평가하기 위한 행정적인 목적으로 사용하기 위해서는 최근의 강의평가 결과를 기초로 정교한 검토가 필요하며 점수산출 공식을 어떻게 수정해야 하는지 연구해야 할 것이다.
따라서 강의평가 유형 선택 자체가 강의평가 결과에 미치는 영향을 고려하여, 강의평가 유형 구분에 대한 타당성을 입증할 수 있는 지속적인 연구가 필요하며, 강의평가 유형별로 문항의 내용과 수준을 점검하고 비교해 보아야 한다. 또한 강의평가 유형에 따른 결과 차이를 최대한 보정할 수 있는 점수 산출방법에 대한 수정이 필요하고, 유형이 다른 강의평가 결과의 활용에 있어서 주의를 기울여야 할 것이다.
여섯째, 강의평가 결과를 교수 개인적 차원에서 수업개선을 위해 사용할 뿐 아니라 우수수업 모형을 개발함으로써 대학 차원에서 교육의 질 향상을 위한 교육방법을 개발하고 교육공학적 자료를 체계적으로 지원하도록 한다. 특히 상하위 10% 에 해당하는 강의에 대한 집중적 분석을 통해 높은 강의평가 결과를 받은 강의의 특성과 장점을 제시하고 모형화 함으로써 우수강의의 방법을 적용할 수 있는 프로그램을 개발할 수 있다.
이와 같이 최근 대두되고 있는 강의평가제도의 문제점과 구체적으로 연계되는 연구는 첫째, 강의평가도구의 타당성과 신뢰성, 평가문항의 부적절성, 강의유형별 또는 규모별 문항의 무차별성 등 평가도구와 문항 개선의 필요성, 둘째, 점수 계량화 등 평가결과 점수 산출방법 개선의 필요성, 셋째, 강의평가 시기의 부적절성과 작성도구의 일방성 등 시행방법 개선의 필요성, 마지막으로 결과 활용에 대한 불신과 부적절한 활용 등 결과의 활용측면 개선의 필요성 등으로 요약할 수 있다.
첫째, 평가대상은 교수 개인에 대한 평가에 국한하지 말고 교수와 강의 그리고 학생으로 구분하여 평가하여야 한다. 즉 수업유형으로 평가도구를 단순 분류하는 것보다 교수 개인에 대한 평가, 강의자체에 대한 평가, 그리고 학생의 성취나 태도에 대한 평가 등으로 분류되어야 결과 활용에 있어 즉각적인 피이드백이 이루어질 것이다.
강의평가 문항 군에서 전공별 또는 수업유형별로 문항을 선택하도록 하는 것이 바람직하며 문항의 수도 15개 안팎이 적절하다고 본다. 특히 평가도구 유형은 다양한 것도 중요하지만 좀 더 타당한 문항으로 수정할 것을 제한한다.
질의응답
핵심어
질문
논문에서 추출한 답변
대학에서 시행하고 있는 강의평가의 기본 목적은?
대학에서 시행하고 있는 강의평가의 기본 목적은 교수의 수업효과성을 평가하기 위함이다. 특히 강의평가 결과가 수업효과성에 대한 진단적 피드백을 제공하고 교수에 대한 의사결정에 도움을 주며 학생이 수강 시 활용할 수 있는 정보를 제공하는 등, 대학교육의 전반적인 질적 제고를 위한 긍정적 역할을 담당해야 한다.
대학교육의 효과성을 보다 객관적으로 측정하기 위한 강의에 대한 평가로 무엇을 제안하고 있는가?
대학교육의 효과성을 보다 객관적으로 측정하기 위하여 강의에 대한 평가는 학생평가를 기본으로 교수의 자기평가, 포트폴리오, 동료평가, 전문기구의 모니터링 등 다면적 평가를 제안하고 있다(Ory, 2001). 대부분 대학이 강의평가를 하는 목적은 강의의 질 개선을 최우선적으로 두고 있으나 최근 교수 업적평가에 항목을 포함함은 물론 우수교육 교수를 선발하는 근거로 활용하는 대학도 증가하고 있다(김성열 외, 2001).
국내 대부분 대학이 단일 평가 설문지를 사용하는 것의 문제점은 무엇인가?
이정연, 2005). 국내 대부분 대학이 수업의 특성이나 전공분야 교수법의 특수성을 고려하지 않은 채 단일한 유형을 사용하고 있는 것을 가장 큰 문제점으로 지적하였다.
Bukalski, P. J., & Zirpola, D. J. (1993). Guide for nontenured faculty members: Annual evaluation, promotion, and tenure. University Film and Association of Georgia State University
Cook, S. S. (1989). Improving the quality of student ratings of instruction: A look at two strategies. Research in Higher Education, 30, 31-45
Feldman, K. A. (1997). Identifying exemplary teachers and teaching : Evidence from student ratings. In R. P. Perry, & J.C. Smart(eds). Effective teaching in Higher Education : Research and Practice, New York: Agathon
Grimes, P. W., Millea, M. J., & Woodruff, T. W. (2004). Grades-Who's to blame? Student evaluation of teaching and locus of control. J. of Economic Education, 35(2) 129-147
Hoy, W. & Miskel, C. (2005). Educational Administration: Theory, Research, and Practice (7th ed.). New York: Mcgraw Hill
Hoyt, D.P. & Palltett, W. H. (1999). Appraising teaching and effectiveness: Beyond student ratings, IDEA paper, 36, IDEA center, Kansas State University, 1-8
L'Hommedieu, R., Mengers, R. J., & Brinko, K. T. (1990). Methodological explanations for the modest effects of feedback from student ratings. J. of Educational Psychology, 82, 232-241
Marsh, H.W.(1994). Weighting for the right criteria in the instructional development and effectiveness assessment(IDEA) system: global and specific ratings of teaching effectiveness and their relation to course objectives. J. of educational psychology, 86(4), pp. 631-648
Marsh, H.W., & Roche, L. (1993). The use of students' evaluation and an individually structured intervention to enhance university teaching effectiveness. American Educational Research Journal, 30, 217-251
McGreal, T. L. (1990). The use of rating scales in teacher evaluation: Concerns and recommendations. J. of Personnel Evaluation in Education, 4, 41-58
McKeachie, W.J. (1996). Research on college : The historical background. J. of Educational Psychology, 82, 189-200
McKee, B. G., & Dowaliby, F. J. (1985). The relationship between student, course, and instructor characteristics and hearing-impaired students' ratings of instruction. Volta- Review, 87, 77-86
Murray, H. G. (1985). Classroom teaching behaviors related to college teaching effectiveness. New Directions for Teaching and Learning, 23, 21-34
Ory, J. C. (2001). Faculty thoughts and concerns about students ratings. New Directions for Teaching and Learning. 87, 3-15
Saroyan, A. & Amundsen, C. (2001). Evaluating University Teaching: time to take stock. Assessment & Evaluation on Higher Education, 36(4), 341-353
Seldin, P. (1993). Rating student ratings of professors. The Education Digest, 70-72
Shevlin, M., et. al. (2000). The validity of student evaluation of teaching in higher education: Love me, love my lectures. Assessment & Evaluation in Higher Education, 25(4), 397-405
Smith, R. A., & Cranton, P. A. (1992). Students' perceptions of teaching skills and overall effectiveness across instructional settings. Research in Higher Education, 33, 747-764
Spooren, P., Mortelmans, D. (2006). Teacher professionalism and student evaluation of teaching: Will better teachers receive higher ratings and will better students give higher ratings?. Educational Studies, 32(2), 201-214
※ AI-Helper는 부적절한 답변을 할 수 있습니다.