본 연구의 목적은 문제중심학습에서 교수, 동료, 자기평가간의 평가점수와 평가주체별 관대화와 중심화의 경향을 알아보고 평가주체별 점수와 지필시험 점수간의 관련성을 알아보기 위함이다. 이를 위해 문제중심학습으로 수업받는 간호학과 학생 중 연구에 동의한 105명을 대상으로 하였다. 교수, 동료, 자기평가는 문제중심학습 효과 도구를 가지고 실시하였고 지필시험은 문제중심학습 수업이 종료된 후 실시하였다. 수집된 자료는 SPSS WIN으로 분석하였다. 연구결과 동료평가, 자기평가, 교수평가 점수 순으로, 학생평가 점수가 교수평가 점수보다 높았다. 관대화와 중심화의 경향에서도 동료평가, 자기평가가 교수평가보다 높고 강하게 나타났다. 평가주체별 점수와 지필시험 점수간의 관계는 교수평가 점수와 지필시험 점수간에 유의한 상관이 있었으나 동료평가나 자기평가 점수는 유의한 상관이 없었다. 평가는 교육목표와 밀접한 관련을 갖기 때문에 문제중심학습이 본래의 목적을 제대로 실현하기 위해서는 문제중심학습의 목적에 맞는 평가방법이 반드시 필요하다. 이를 위해서 다양한 평가방법의 개발과 적용을 위한 논의가 필요하며 문제중심학습 평가와 관련된 실제적인 연구가 필요하다.
본 연구의 목적은 문제중심학습에서 교수, 동료, 자기평가간의 평가점수와 평가주체별 관대화와 중심화의 경향을 알아보고 평가주체별 점수와 지필시험 점수간의 관련성을 알아보기 위함이다. 이를 위해 문제중심학습으로 수업받는 간호학과 학생 중 연구에 동의한 105명을 대상으로 하였다. 교수, 동료, 자기평가는 문제중심학습 효과 도구를 가지고 실시하였고 지필시험은 문제중심학습 수업이 종료된 후 실시하였다. 수집된 자료는 SPSS WIN으로 분석하였다. 연구결과 동료평가, 자기평가, 교수평가 점수 순으로, 학생평가 점수가 교수평가 점수보다 높았다. 관대화와 중심화의 경향에서도 동료평가, 자기평가가 교수평가보다 높고 강하게 나타났다. 평가주체별 점수와 지필시험 점수간의 관계는 교수평가 점수와 지필시험 점수간에 유의한 상관이 있었으나 동료평가나 자기평가 점수는 유의한 상관이 없었다. 평가는 교육목표와 밀접한 관련을 갖기 때문에 문제중심학습이 본래의 목적을 제대로 실현하기 위해서는 문제중심학습의 목적에 맞는 평가방법이 반드시 필요하다. 이를 위해서 다양한 평가방법의 개발과 적용을 위한 논의가 필요하며 문제중심학습 평가와 관련된 실제적인 연구가 필요하다.
The purpose of this study is to investigate the evaluation scores among various evaluators such as tutor, peer, and self evaluation, the lenience and central tendency among these various evaluators, and the correlation between evaluation scores among the various evaluators and the paper test score i...
The purpose of this study is to investigate the evaluation scores among various evaluators such as tutor, peer, and self evaluation, the lenience and central tendency among these various evaluators, and the correlation between evaluation scores among the various evaluators and the paper test score in the Problem-Based Learning (PBL). For the research, tutor, peer, and self evaluations were carried out with PBL effectiveness evaluation tool for the 105 nursing students taking classes using PBL, and paper test was conducted after the PBL class ended. The collected data were analyzed by SPSS WIN (V. 12.0). The study results showed that peer and self evaluation scores were higher than tutor evaluation score. Also lenience and central tendency were higher and stronger in peer and self evaluation than in tutor evaluation. Paper test score had a significant correlation with tutor evaluation score, but not with peer or self evaluation scores.
The purpose of this study is to investigate the evaluation scores among various evaluators such as tutor, peer, and self evaluation, the lenience and central tendency among these various evaluators, and the correlation between evaluation scores among the various evaluators and the paper test score in the Problem-Based Learning (PBL). For the research, tutor, peer, and self evaluations were carried out with PBL effectiveness evaluation tool for the 105 nursing students taking classes using PBL, and paper test was conducted after the PBL class ended. The collected data were analyzed by SPSS WIN (V. 12.0). The study results showed that peer and self evaluation scores were higher than tutor evaluation score. Also lenience and central tendency were higher and stronger in peer and self evaluation than in tutor evaluation. Paper test score had a significant correlation with tutor evaluation score, but not with peer or self evaluation scores.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이에 본 연구는 PBL에서 교수, 동료, 자기평가 점수와 지필시험 점수와의 관계를 분석하므로써 평가주체별 평가의 공정성과 적절성을 검증하고자 한다. 이를 통하여 본 연구결과가 향후 PBL 평가의 개선과 개발을 위한 기초 자료를 제공하게 될 것으로 생각한다.
하지만 PBL에서 다양한 평가주체의 평가결과는 일관성이 있는가, 또한 지필시험과 비교하여 PBL에서의 수행평가는 타당한지에 대해 논의할만한 자료가 충분하지 못한 상황이다. 이에 본 연구에서는 PBL에서 교수평가와 동료평가, 자기평가와 선다형 지필시험간의 관계를 비교, 확인하고자 하였다.
제안 방법
PBL 수업은 10월부터 12월까지 7주 동안 연구자가 개발한 3개의 문제 상황(part)이 포함된 패키지(package)를 가지고 운영한 후, 패키지 종료 시에 교수평가, 동료평가, 자기평가를 실시하여 자료를 수집하였다. 총 159부 중 응답이 누락되거나 분석에 부적절한 54부를 제외한 105부를 최종 분석에 사용하였다.
PBL 효과 설문지는 PBL 수업에서 요구되는 문제해결능력, 통합능력, 협동학습능력, 의사소통능력, 자기주도학습능력의 5개 영역, 17개 항목으로 구성되었다.
지필시험은 5지선다형 객관식 40문항으로 구성되었다. PBL 교과목의 점수는 총 100점 만점이며 출석 20점, 지필시험 60점(중간고사 30점, 기말고사 30점), 실습시험 10점, 튜터평가 5점, 동료평가 5점, 자기평가 0점이다.
지필시험은 PBL 수업이 종료된 후, 5지선다형 객관식 40문항으로 시험지를 구성하여 기말고사를 실시하였다.
평가주체별 관대화와 중심화 경향을 알아보기 위하여 왜도와 첨도를 구하였다(Table 3).
학업성취도를 측정하는 선다형 지필시험 점수와 교수평가, 동료평가, 자기평가의 수행평가 점수간의 관계를 알아보았다(Table 4).
대상 데이터
본 연구는 제주시 소재 C대학교 간호학과에서 간호학 전공과목을 PBL로 수업받고 있는 2학년 학생 중 본 연구의 목적을 이해하고 동의한 105명을 대상으로 하였다.
또한 언제든지 연구참여를 중단할 수 있으며 이에 따른 불이익이 없음을 설명하였다. 이후 연구에 동의한 159명을 대상으로 하여 연구시작 전 PBL 평가에 대하여 평가목적, 시기, 방법, 주의사항 등에 대하여 설명하였다.
PBL 수업은 10월부터 12월까지 7주 동안 연구자가 개발한 3개의 문제 상황(part)이 포함된 패키지(package)를 가지고 운영한 후, 패키지 종료 시에 교수평가, 동료평가, 자기평가를 실시하여 자료를 수집하였다. 총 159부 중 응답이 누락되거나 분석에 부적절한 54부를 제외한 105부를 최종 분석에 사용하였다.
데이터처리
0)을 이용하여 분석하였다. 대상자의 일반적 특성은 빈도와 백분율을 산출하였다. 평가주체별 점수 차이 검증은 분산분석(ANOVA)과 Scheffe 사후검정을 실시하였다.
대상자의 일반적 특성은 빈도와 백분율을 산출하였다. 평가주체별 점수 차이 검증은 분산분석(ANOVA)과 Scheffe 사후검정을 실시하였다. 평가주체별로 평가점수의 관대화와 중심화 경향을 알아보기 위해서 왜도(skewness)와 첨도(kurtosis)를 구하였고 교수평가, 동료평가, 자기평가와 지필시험 점수간의 관계는 상관분석을 하였다.
평가주체별 점수 차이 검증은 분산분석(ANOVA)과 Scheffe 사후검정을 실시하였다. 평가주체별로 평가점수의 관대화와 중심화 경향을 알아보기 위해서 왜도(skewness)와 첨도(kurtosis)를 구하였고 교수평가, 동료평가, 자기평가와 지필시험 점수간의 관계는 상관분석을 하였다.
이론/모형
또한 평가의 타당성 제고를 위하여 평가척도를 개발하는 것도 또다른 방안이 되겠다. 본 연구에서는 도표식평정척도법(graphic rating scale method)을 사용하였다.
튜터평가, 동료평가, 자기평가는 김수진, 양정화, 김효실, 채수경, 임진형(2010)이 개발한 PBL 효과 설문지를 이용하였고[10] 지필시험은 PBL 수업 후 시행한 기말고사 점수를 활용하였다.
성능/효과
지필시험은 5지선다형 객관식 40문항으로 구성되었다. PBL 교과목의 점수는 총 100점 만점이며 출석 20점, 지필시험 60점(중간고사 30점, 기말고사 30점), 실습시험 10점, 튜터평가 5점, 동료평가 5점, 자기평가 0점이다.
이러한 신뢰도의 문제는 평가의 오류와 관련된 것으로 평가자가 공정성을 확보하기 어려운 데에서 기인한다[7]. 따라서 본 연구에서 학생평가 점수가 튜터평가 점수보다 높은 이유도 평가 오류와 관련된 것으로 생각해 볼 수 있는데, 학생평가가 관대화와 중심화 경향에서 튜터평가보다 강하고 높게 나타났다. 본 연구와 유사한 선행연구에서도 학생평가가 교수평가보다 관대화나 중심화 경향이 강한 것으로 나타났다.
마지막으로 선다형 지필시험 점수와 평가주체별 점수간의 관계에 관한 결과를 보면 지필시험과 튜터평가 점수는 유의한 상관이 있었으나(r=.561) 학생평가 점수(동료평가와 자기평가 점수)와는 유의한 상관이 없었다. PBL에서 평가주체별 평가점수와 지필시험 점수와의 관련성에 대한 국내․외 연구를 살펴보면, 지필시험 점수와 동료 및 자기평가 점수 간에는 상관관계가 없거나 있더라도 아주 낮은 것으로 나타나 본 연구와 유사한 결과를 보였다[6,9].
먼저 평가주체별 점수를 보면, 동료평가, 자기평가, 튜터평가의 순으로 학생평가 점수가 튜터평가 점수보다 높았고 이들 사이에 유의한 차이가 있었다. 선행연구와 비교해 보면, 채수진의 연구에서는 동료평가, 자기평가, 튜터평가 점수 순으로 동료평가 점수가 가장 높아 본 연구와 일치하는 결과를 보였으나[6,7], 김수진, 강희경의 연구에서는 자기평가, 동료평가, 튜터평가 순으로 점수가 높아[8] 본 연구와 상이한 결과를 보였다.
일례로 여전히 학생들이 교과 내용을 얼마나 깊이 알고 있는지가 주된 관심이므로 과제물 위주의 수행평가가 이루어지거나 학생이 평가에 참여하기는 하나 성적에 반영되지 않거나 반영되더라도 매우 낮은 것이 사실이다. 본 연구 대상인 학교의 경우도 모든 간호학 전공교과목이 개념 위주로 통합되어 1학년부터 4학년까지 PBL로 수업이 운영되고 있어 PBL이 매우 활성화되고 있음에도 지필시험이 60%이고, 동료평가는 5%,자기평가는 성적에 반영하고 있지 않다. 교과목에 따라 다소의 차이는 있으나 PBL에서 학생평가 점수의 반영이 매우 낮음을 알 수 있다.
평가주체 간에 점수 비교를 한 결과, 동료평가(4.29), 자기평가(3.89), 튜터평가(2.91) 순으로 동료평가 점수가 가장 높았으며, 유의수준 0.05에서 평가주체 간에 유의한 차이가 있었다. Scheffe 사후검정 결과 동료평가 점수가 튜터평가와 자기평가 점수보다 유의하게 높았다(Table 2).
후속연구
둘째, 동료평가 혹은 자기평가를 평가에 반영하는 경우 평가 결과의 공정성이나 유용성에 대한 연구가 이루어져야 할 것이다. 지금까지 PBL에서 동료평가와 자기평가의 실제적인 유용성에 대한 연구가 많지 않아 교수 개인이나 학교(과)의 기준에 따라 성적에 학생평가를 반영하는 비율이 천차만별이었다.
따라서 평가의 전문성과 경험 부족이라는 이유만으로 PBL에서 학생을 평가에서 제외하거나 그 비중을 낮출 것이 아니라 평가에 대한 충분한 설명과 평가도구의 개발 등을 통해 학생평가의 약점으로 지적되는 신뢰도와 타당성 저하를 보완해야 할 것이다.
셋째, PBL 평가에 다양한 평가척도를 적용한 연구가 이루어져야 할 것이다. 일반적으로 널리 사용되는 도표식평정척도법 외에 행위기준평정척도법 등의 다른 평가척도를 적용한 연구 결과를 확인해 볼 필요가 있다.
이에 본 연구는 PBL에서 교수, 동료, 자기평가 점수와 지필시험 점수와의 관계를 분석하므로써 평가주체별 평가의 공정성과 적절성을 검증하고자 한다. 이를 통하여 본 연구결과가 향후 PBL 평가의 개선과 개발을 위한 기초 자료를 제공하게 될 것으로 생각한다.
이상의 연구결과를 바탕으로 다음을 제언한다. 첫째, 학생이 바라보는 동료평가와 자기평가에 대한 질적 연구가 이루어져야 할 것이다. 학생으로서 동료 혹은 자신을 평가하는 과정에서 어떠한 인식을 가지고 있으며, 좋았거나 개선해야 할 부분에 대한 의견과 반응을 조사한다면 학생의 평가 전문성을 신장시킬 수 있는 방안과 평가항목 개발에 도움이 될 것이다.
첫째, 학생이 바라보는 동료평가와 자기평가에 대한 질적 연구가 이루어져야 할 것이다. 학생으로서 동료 혹은 자신을 평가하는 과정에서 어떠한 인식을 가지고 있으며, 좋았거나 개선해야 할 부분에 대한 의견과 반응을 조사한다면 학생의 평가 전문성을 신장시킬 수 있는 방안과 평가항목 개발에 도움이 될 것이다.
일반적으로 널리 사용되는 도표식평정척도법 외에 행위기준평정척도법 등의 다른 평가척도를 적용한 연구 결과를 확인해 볼 필요가 있다. 학생평가에서 평가오류가 발생하는 원인 중 하나가 평가기준이 애매모호한 경우이므로 다양한 척도를 사용한 연구 결과가 제시된다면 이는 PBL에서 학생평가 방식 및 요소 그리고 적절한 평정척도를 결정하는데 필요한 시사점을 제시할 수 있으리라 생각한다.
질의응답
핵심어
질문
논문에서 추출한 답변
자기평가의 장점은 무엇인가?
물론 PBL에서 자기평가나 동료평가가 가지는 장점이 분명히 있다. 자기평가는 학생들이 자기평가 과정을 통하여 자신에 관한 정보들을 정확하게 알수 있게 되어 배운 내용의 내면화에 관한 정보를 알 수 있게 해준다[4]. 동료평가는 자신의 생각을 수정하고, 시작할때와 끝날 때의 수준을 서로 비교․검토하여 성장을 발견하게 해주는 장점이 있다[5].
기존 학습방식은 어떤 문제점이 있는가?
그러나 기존 학습방식은 문제해결에 있어 하나의 정답만을 요구하는 것이어서 학생들이 졸업 후 급변하는 환경에 자신의 기술과 지식을 적절하게, 그리고 융통성 있고 창의적으로 대처할 수 있는 능력을 향상시켜주지 못할 뿐만 아니라 전이가 이루어지지 않아 현실과 유리된 교육일 수밖에 없다[2].
문제중심학습이 학습자 중심의 교수 학습법이라는 것은 무엇을 의미하고 포함하는가?
PBL이 학습자 중심의 교수학습법이라는 것은 학습자가 중심이 되는 학습 환경을 구현한다는 의미로, 학습과정에서 학습자의 능동적인 참여와 자기주도성이 강조되는 것만이 아니라 평가에서도 기존의 결과중심 평가와 다르게 평가에 학생들이 참여하고 다양성을 받아들일 수 있는 과정중심의 평가로 평가패러다임이 바뀐다는 점을 포함한다[3].
참고문헌 (13)
J. I. Choi & K. W. Jang, Lessons in Problem-Based Learning, Hakjisa publisher, 2010.
J. W. Park & O. H. Woo, "PBL's effect on problem solving process by learner's meta cognition level", Journal of Educational Technology, vol. 15, no. 3, pp. 55-81, 1999. DOI: https://doi.org/10.17232/KSET.15.3.55
I. A. Kang, J. H. Jung & D. Y. Jung, Problem-Based Learning, Moonumsa publisher, 2010.
E. B. Lee, O. H. Lee, S. S. Jang, "The feasibility study of the use of self-evaluation and peer-evaluation in a computer practice class at higher education", The Journal of Educational Information and Media, vol. 21, no. 2, pp. 65-89, 2015.
H. M. Cho, "An Assessment tool from the view point of constructivism", The Journal of Education, vol. 11, no. 2, pp. 23-41, 2000.
S. J. Chae, A study on reliability and validity of student assessment in problem based learning -focused on the case of a medical college, Unpublished doctoral dissertation, Sungshin Women's University, 2004.
S. J. Chea, "A study on concordance of student assessment in Problem Based Learning of medical schools-focused on the tutor, peer, self-assessment", The Journal of Yeolin Education, vol. 14, no. 1, pp. 331-349, 2006.
S. J. Kim, H. K. Kang, "Problem based learning evaluation and evaluation agents - focused on tutor, peer and self-evaluation", Journal of the Korean Academia-Industrial Cooperation Society, vol. 14, no. 8, pp. 3732-37382. 2013. DOI: https://doi.org/10.5762/KAIS.2013.14.8.3732
Rezler, A. G., "Self assessment in problem based groups, Medical Teacher", vol. 11, no. 2, pp. 151-156, 1989. DOI: https://doi.org/10.3109/01421598909146318
S. J. Kim, J. H. Yang, H. S. Kim, S. G. Chae, J. H. Lim, "Scale Development of Effect on Problem-Based Learning (PBL)", The Journal of Educational Research, vol. 8, no. 3, pp. 221-239, 2010.
J. K. Sim, "An analysis of the validity of performance appraisal in public corporations", Korean Public Administration Review, vol. 37, no. 2, pp. 131-153, 2013.
S. J. Kim, "Problem based learning evaluation and evaluation agents-focused on tutor, peer and self-evaluation", Journal of the Korean Society for Multicultural Health, vol. 7, no. 1, pp. 13-19, 2017.
Sadler P., Good E., "The impact of self and peer-grading on student learning", Educational Assessment, vol. 11, no. 1, pp. 1-31, 2006. DOI: https://doi.org/10.1207/s15326977ea1101_1
※ AI-Helper는 부적절한 답변을 할 수 있습니다.