선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 그 이후 교내 OSCE/clinical performance examination (CPX) 평가할 때 2015년 12월에도 3학년을 대상으로 같은 항목에 대한 평가가 있어서 2015년 12월 교내평가결과를 2014년 12월의 교내평가점수 및 2015년 3월의 형성평가점수를 비교함으로써 현장 되먹임을 시행만 했던 2014년 12월 교내평가점수와 차이를 비교하고 되먹임과 재시험의 효과를 확인하고자 하였다.
제안 방법
- (1) 2014년도 3학년(44명)의 봉합술 교내총괄평가 및 2015년도 3학년(33명)의 봉합술 교내총괄평가결과, (2) 2015년도 3월 형성평가 1차시험 후 재시험 대상자 판정결과, (3) 2015학년도 3학년의 교내총괄평가 중 2014년과 중복해서 출제된 네 문항의 평균점수결과, (4) 형성평가와 교내총괄평가 봉합술 술기문항의 평가항목별 일치 정도, (5) 형성평가 1차시험 후 판정결과에 따른 군별 교내총괄 평가결과에 대하여 비교 분석하였다. 사용한 통계 프로그램은 SPSSver.
- 본 연구는 2015학년도 대구가톨릭대학교 의과대학 3학년 학생 33명(남:여=21:12)을 대상으로 하였으며, 이들 중 유급자는 없었다. 160시간, 6주간 시행된 임상실습 전 준비과정(임상실습입문교육) 중 본 연구자가 담당한 기본술기문항인 국소마취, 봉합술, 창상드레싱(상처소독), 화상드레싱에 대해 3월 3일과 3월 10일에 각각 4시간씩 시간 배정되어 있었으며, 임상실습 입문교육 책임교수와 상의하여 3시간 및 5시간으로 시간을 조정하였다(Figure 1).
- 실시간 평가에 사용하기 위하여 포털사이트에서 제공하는 폼 툴(form tool)을 사용하여 17가지 평가항목형식을 미리 만들어 두고, 스마트폰으로 그 폼을 평가 시작 시 열어 매 학습자별로 평가 중 직접 실시간으로 연구자가 눈 앞에서 작성하였다. 16가지 평가항목은 항목당 0점 혹은 1점으로 배점하였으며, 나머지 한 평가항목은 통과 여부에 대한 전체적인 평가자의 결정에 대한 배점으로, 0점(불합격, nonpass, Np3), 1점(노력권유, intermediate, I2), 2점(통과,pass, P1)으로 배점하여 합계 18점 만점으로 채점하였다. 평가 중에는 학습자에게 자기성찰의 기회를 제공하기 위하여 학습자의 스마트폰으로 동영상을 촬영하였으며, 평가를 마친 그 날 저녁 동영상을 보면서 그 결과를 성찰하면서 본 후 연구자에게 동영상을 이메일로 공유해 주면 연구자가 답장형식으로 되먹임을 주는 것으로 공지하였다.
- 4가지 항목 중 임의로 2가지 항목을 혼합한 봉합술을 위한 무균적 준비, 봉합술, 그리고 창상드레싱으로 이어지는 혼합형태의 문항을 연구대상에 적용하였다. 총 6분의 제한시간을 임의로 정하여 제시하였다.
- 연구자들은 형성평가의 해당 술기항목의 17가지 항목을 ‘무균적 조작을 위한 지식 연계항목(asep),’ ‘조직손상을 최소화하기 위한 술기 연계항목(coreT),’ ‘시술자 및 환자 안전을 고려한 항목(safety),’ ‘수월성을 고려한 항목(ease)’으로 하여 4가지로 나누었다. 교내총괄평가 중 해당 술기의 평가항목들에 대하여 위와 같이 분류를 요청하여 임상술기센터로부터 받았고, 각 평가점수를 100점으로 환산하여 비교하였다.
- 먼저 이론을 40분간 설명한 후(set), 10분간 휴식을 가진 후, 연구자가 시범을 직접 보여주는(tutor demonstration & explanation) 40분간의 시간을 배정하였으며, 다시 10분 휴식 후 테이블별로 앉은 학생들에게 연습시간을 주고(practice), 연구자와 실습담당 전공의가 함께 면대면으로 도와주면서 연습하는(subsequent deliberate) 1시간을 배정하였다.
- 그 내용은 평가 중에 실시간 작성한 평가결과가 기록되어 있는 폼 결과지를 보면서 채점결과를 새로 확인하였으며, 점수보다는 술기 수행 중에 이뤄진 평가자의 결정에 무게를 두고, 되먹임 의견을 추가하여 개별적으로 이메일로 ‘이만하면 좋다(통과),’ ‘노력이 필요하다(노력권유),’ ‘다시 시험 치러 오세요(불합격/재시험) 중 하나의 결과를 전달하였다. 부진학습자로 재평가가 필요하다는 결과를 받은 학습자들은 동영상과 되먹임을 통하여 학습한 후 원하는 평가시간을 연구자에게 요청하여 재평가를 동일한 문항으로 받았으며, 역시 세 군 중 하나로 평가결과를 도출 받은 후 그 결과에 따라 불합격일 경우 재시험을 추가로 시행하였다.
- 실시간 평가에 사용하기 위하여 포털사이트에서 제공하는 폼 툴(form tool)을 사용하여 17가지 평가항목형식을 미리 만들어 두고, 스마트폰으로 그 폼을 평가 시작 시 열어 매 학습자별로 평가 중 직접 실시간으로 연구자가 눈 앞에서 작성하였다. 16가지 평가항목은 항목당 0점 혹은 1점으로 배점하였으며, 나머지 한 평가항목은 통과 여부에 대한 전체적인 평가자의 결정에 대한 배점으로, 0점(불합격, nonpass, Np3), 1점(노력권유, intermediate, I2), 2점(통과,pass, P1)으로 배점하여 합계 18점 만점으로 채점하였다.
- 연구자들은 형성평가의 해당 술기항목의 17가지 항목을 ‘무균적 조작을 위한 지식 연계항목(asep),’ ‘조직손상을 최소화하기 위한 술기 연계항목(coreT),’ ‘시술자 및 환자 안전을 고려한 항목(safety),’ ‘수월성을 고려한 항목(ease)’으로 하여 4가지로 나누었다.
- 위 4가지 항목들에 대하여 set-tutor demonstration-explanation-practice-subsequent deliberate practice (STEPS) 방법을 활용하여(Bullock, 2000; Ker, 2009), 상대적으로 교육시간이 짧은 창상드레싱과 화상드레싱은 하루 3시간을 배정하였으며, 국소마취와 봉합술은 하루 5시간으로 배정하였다. 먼저 이론을 40분간 설명한 후(set), 10분간 휴식을 가진 후, 연구자가 시범을 직접 보여주는(tutor demonstration & explanation) 40분간의 시간을 배정하였으며, 다시 10분 휴식 후 테이블별로 앉은 학생들에게 연습시간을 주고(practice), 연구자와 실습담당 전공의가 함께 면대면으로 도와주면서 연습하는(subsequent deliberate) 1시간을 배정하였다.
대상 데이터
- 교내에서는 의학과 3학년에 대하여 OSCE를 해마다 최소 2회 시행하였으며, 국가시험 32문항 중 10문항씩이 OSCE/CPX위원회에서 시험일정과 문항, 감독관섭외 등과 관련한 회의 중에서 임의로 뽑아 만들어졌다. 2015년도 12월에도 봉합술에 대한 평가가 2014년도 12월과 같이 진행되었으며, 그 평가에 대한 결과를 연구자가 임상술기센터로부터 받아 분석하였다.
- 본 연구는 2015학년도 대구가톨릭대학교 의과대학 3학년 학생 33명(남:여=21:12)을 대상으로 하였으며, 이들 중 유급자는 없었다. 160시간, 6주간 시행된 임상실습 전 준비과정(임상실습입문교육) 중 본 연구자가 담당한 기본술기문항인 국소마취, 봉합술, 창상드레싱(상처소독), 화상드레싱에 대해 3월 3일과 3월 10일에 각각 4시간씩 시간 배정되어 있었으며, 임상실습 입문교육 책임교수와 상의하여 3시간 및 5시간으로 시간을 조정하였다(Figure 1).
데이터처리
- 사용한 통계 프로그램은 SPSSver. 16.0 소프트웨어(SPSS Inc., Chicago, IL, USA)를 활용하여 t-검정과 비모수 검정(Mann-Whitney test, Kruskal-Wallis test) 하였으며, 유의확률은 0.05였다.
성능/효과
- (1) 2015학년도 3월 봉합술 형성평가 1차 평균점수는 69.52점±15.16점이었으며(p<0.001) (Table 2), (2) 교내총괄평가와 같이 ‘시술자 및 환자 안전을 고려한 항목(safety)’을 포함하지 않는 경우의 평균점수는 72.93점±16.58점이었으며, 이 둘 모두는 각각 교내 총괄평가 평균점수인 86.56점±7.14점과 통계적으로 유의하였다(p<0.001) (Table 2).
- 그 내용은 평가 중에 실시간 작성한 평가결과가 기록되어 있는 폼 결과지를 보면서 채점결과를 새로 확인하였으며, 점수보다는 술기 수행 중에 이뤄진 평가자의 결정에 무게를 두고, 되먹임 의견을 추가하여 개별적으로 이메일로 ‘이만하면 좋다(통과),’ ‘노력이 필요하다(노력권유),’ ‘다시 시험 치러 오세요(불합격/재시험) 중 하나의 결과를 전달하였다.
- 봉합술 후 창상드레싱을 하는 혼합형 문항의 형성평가 속 17가지 항목은 ‘무균적 조작을 위한 지식 연계항목’이 5개, ‘조직손상을 최소화하기 위한 술기 연계항목’이 4개, ‘시술자 및 환자 안전을 고려한 항목’은 3개, ‘수월성을 고려한 항목’은 5개로 나눠 볼 수 있었으며, 교내평가의 술기문항 15가지 항목은 각각 ‘무균적 조작을 위한 지식 연계항목’이 3개, ‘조직손상을 최소화하기 위한 술기 연계항목’이 6개, ‘시술자 및 환자 안전을 고려한 항목’은 0개, ‘수월성을 고려한 항목’은 6개로 분류되었다.
후속연구
- 결론적으로, 성취기준을 정하고 그 역량이 미치지 못할 경우 되먹임과 재시험을 치르는 절대평가와 같은 제도적 장치를 도입할 경우, 표준편차를 줄이고 최하점수를 상승시켜 학생 전체의 성과를 특정 수준으로 올릴 수 있을 것으로 기대할 수 있겠다. 또한 임상실습과정 중 평가 및 되먹임해 주는 것에 대하여 이 연구와 연속선상에서 구현해 낼 수 있다면, 술기항목에 대한 성과를 훨씬 더 촘촘하고 유기적으로 관리해 줄 수 있을 것으로 기대한다.
- 결론적으로, 성취기준을 정하고 그 역량이 미치지 못할 경우 되먹임과 재시험을 치르는 절대평가와 같은 제도적 장치를 도입할 경우, 표준편차를 줄이고 최하점수를 상승시켜 학생 전체의 성과를 특정 수준으로 올릴 수 있을 것으로 기대할 수 있겠다. 또한 임상실습과정 중 평가 및 되먹임해 주는 것에 대하여 이 연구와 연속선상에서 구현해 낼 수 있다면, 술기항목에 대한 성과를 훨씬 더 촘촘하고 유기적으로 관리해 줄 수 있을 것으로 기대한다. 다만 그렇게 하기 위해서는 연속성을 가지고 업무를 진행할 수 있는 제도적 정비 및 추가적 지원이 필요할 것으로 생각된다.
- 위에 언급된 바와 같이 12월 교내총괄평가에 대하여 3월의 되먹임 및 재학습의 효과는 어느 정도 있을 것으로 생각되나 간격이 9개월이나 있고 3학년 동안 외과실습을 통하여 배우고 익히는 기회를 가지기 때문에 실습교육의 효과를 무시할 수 없으므로, 이런 연구의 제한점을 고려하여 다음 번에 더 잘 계획된 연구가 되려면, 12월의 교내평가보다는 외과임상실습 중의 봉합술에 대한 실행능력 향상 정도에 대한 평가결과를 얻어 비교하는 것이 3월 되먹임 및 재학습의 더 좋은 평가지표가 될 수 있을 것으로 생각된다.
- 임상술기 습득에 도움을 줄 수 있는 구조화된 STEPS모형(Ker, 2009)은 단계적이고 체계적인 모형이다. 학생들의 주도적 학습 이전에 실습지도자의 시범, 이론적 근거에 기반을 둔 재시범과 설명, 실습수행에 대한 격려와 되먹임 등을 통해 실습지도자와 상호작용하면서 정확한 술기를 보고 익힐 수 있는 환경을 만들어주며, 자신감이 생길 때까지 지속해서 반복연습을 할 수 있도록 구성되어 있다. 따라서 술기습득을 위한 학습자의 인지적, 정의적 및 심동적 영역에 효과를 높일 수 있다(Lee, 2015).
※ AI-Helper는 부적절한 답변을 할 수 있습니다.