선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 논문제목, 키워드, 초록, 원문을 읽은 후 본 연구의 목적을 만족하는 논문 9편을 선정하였고, 이들 논문의 참고문헌에 있는 3편의 논문을 추가하였다. 또한 CEA를 실시하고 있는 것으로 언급되고 있는 미국 대학 홈페이지의 Office of assessment에 제시된 자료를 살펴보았다. 따라서 본 연구의 분석 대상은 국내논문 7편, 해외논문 12편과 8개 대학의 Office of assessment의 자료이다.
- 본 연구는 CEA를 적용한 간호교육 프로그램학습성과 평가 체계를 개발하는 방법론적 연구이다. 본 연구는 Reeves (2000)의 개발연구 방법(Developmental Research Method)에 근거하여 설계되었다.
- 본 연구는 지속적인 교육 개선과 평가가 용이한 CEA 기반 프로그램학습성과 평가체계를 개발하기 위한 목적으로 시행되었다. 간호교육인증평가 담당자인 연구자가 교육현장의 문제를 해결하기 위해 실제적 맥락 안에서 논리적 절차에 따라 평가체계를 개발하였다.
- 간호교육인증평가의 목적은 성과기반 교육체제를 바탕으로 지속적인 프로그램 개선을 통해 교육의 질을 향상하는 것이다(KABONE, 2014). 본 연구는 프로그램학습성과 평가뿐만 아니라 교육과정 개선과 교육의 질 관리를 효과적으로 하고자 CEA 기반 프로그램학습성과 평가체계를 개발하였다. CEA는 프로그램학습성과를 교육과정에 연계하고 교수·학습활동과 평가를 통합하여 수업 환경 내에서 학생들의 학업성취 결과물을 근거로 프로그램학습성과를 평가하는 것이다.
- 본 연구에서는 간호교육 프로그램학습성과 평가를 위한 CEA 기반 평가체계를 개발하기 위해 다음과 같이 연구문제를 설정하였다.
- 학습자는 평가 대상이면서 동시에 평가자로서의 능동적 역할을 담당한다. 본 연구에서는 실행평가 결과를 반영하여 매 학기말 학생 스스로 자신의 학습성과 달성도를 확인하고 부족한 영역에 대한 학습을 촉진하기 위해 학생용 CQI 개발하여 사용하였다.
- 이에 본 연구는 간호교육 프로그램학습성과 평가를 위해 표준화된 루브릭을 갖춘 CEA 기반 프로그램학습성과 평가체계를 논리적 절차에 따라 개발하고자 실시되었다.
가설 설정
- • 셋째, 개발된 CEA 기반 프로그램학습성과 평가체계는 타당하고 신뢰할만한가?
제안 방법
- AHP 분석을 위해 10개의 프로그램학습성과를 2개씩 동등에서 중요의 9점 척도로 비교하는 쌍대비교 설문지를 작성하여 간호학교수 7인, 임상실습현장지도자 5인, 8년～10년차 경력간호사 3인, 총 15인으로 구성된 전문가 집단을 대상으로 프로그램학습성과의 상대적 중요도를 조사하였다. 2014년 5월 13일에서 5월 22일까지 연구자가 대상자를 직접 방문, 조사의 목적을 설명, 동의를 구한 후 조사를 실시하였다. 또한 대상자의 이해를 돕기 위해 문헌연구와 전문가 의견 수렴을 거쳐 설정된 각 프로그램학습성과의 개념정의를 제시하였다.
- AHP 분석을 위해 10개의 프로그램학습성과를 2개씩 동등에서 중요의 9점 척도로 비교하는 쌍대비교 설문지를 작성하여 간호학교수 7인, 임상실습현장지도자 5인, 8년～10년차 경력간호사 3인, 총 15인으로 구성된 전문가 집단을 대상으로 프로그램학습성과의 상대적 중요도를 조사하였다. 2014년 5월 13일에서 5월 22일까지 연구자가 대상자를 직접 방문, 조사의 목적을 설명, 동의를 구한 후 조사를 실시하였다.
- CEA 기반 간호교육 프로그램학습성과 평가체계를 개발하기 위해 먼저 CEA에 대한 문헌연구를 실시하였다. 먼저 한국 간호교육 인증평가기준을 확인하여 CEA의 적용가능성을 탐색하고 다음으로 CEA에 대한 선행연구와 사례를 고찰하였다.
- 루브릭 개발 과정에 대한 이론적 근거를 제시하고 있는 선행연구는 찾아보기 어려우나(Kim & Park, 2008; Kim & Kim, 2014; Yang & Hwang, 2014), 본 연구에서는 Goodrich (2000), Mertler (2001), Moskal (2000), Zimmaro (2004)가 제안한 논리적 절차에 따라 루브릭을 개발하였다. CEA 도입방법으로 성취수준별 수행준거 대신 정량적 측정이 가능한 하나의 수행 준거를 설정하는데(Kim, 2014), 본 연구에서는 10개의 프로그램학습성과에 대한 조작적 정의를 토대로 각각의 수행준거를 설정하였다. Ammons와 Mills (2005)는 루브릭을 제시한 CEA 결과 교수·학습 과정과 평가를 일목요연하게 연결할 수 있어 학생의 기능통합역량과 교육 개선의 효과가 있었다고 하였다.
- 본 연구는 지속적인 교육 개선과 평가가 용이한 CEA 기반 프로그램학습성과 평가체계를 개발하기 위한 목적으로 시행되었다. 간호교육인증평가 담당자인 연구자가 교육현장의 문제를 해결하기 위해 실제적 맥락 안에서 논리적 절차에 따라 평가체계를 개발하였다. 실행평가와 성찰로 평가체계의 개선 사항을 확인하고 보완하였으며 적용이 용이하도록 관련 지침과 서식도 개발하였다.
- 개발된 CEA 기반 평가체계의 실행평가를 위해 연구자가 재직하고 있는 대학의 2014학년도 1, 2학기에 성과기반 교육 과정을 실시한 교과목 CQI 보고서를 근거로 CEA를 적용하여 프로그램학습성과 평가를 실시하였다. 1학기에는 2, 3, 4학년의 7개 교과목에 연계된 1, 2, 4, 5의 프로그램학습성과를, 2 학기에는 1, 2, 3, 4학년의 16개 교과목에 연계된 프로그램학습성과 1, 2, 3, 4, 5를 평가하였다.
- 개발된 루브릭의 내용 타당도 검정을 위해 메타 루브릭 (Moskal & Leydens, 2000; Soung, 2012)을 이용하여 간호학교수 3인, 교육학교수 1인, 총 4명의 전문가를 대상으로 내용타 당도를 검정하였다.
- PO4(9%)는 상대적 중요도가 중간정도이나 수행수준이 이해수준이므로 발전단계로 하였다. 그 외 가중치가 낮은 PO6(6%), PO7(5%)과 PO8(3%), PO9(3%)는 발전단계, 수행수준이 지식수준이면서 가중치가 2%인 PO10의 성취수준은 기본단계로 정하였다. 프로그램학습성과와 교과목을 연계한 CEA Matrix는 Table 2와 같다.
- L1(기본)은 기초적인 이론 및 실무를 인식하는 수준, L2(발전)는 간호학의 이론 및 실무를 이해하고 설명하는 수준, L3(심화)는 대상자의 건강문제 해결을 위해 간호학 이론과 실무에 대한 지식을 적용하는 수준으로 정의하였다. 둘째, 프로그램학습성과와 교과목의 관련성 및 가중치를 고려하여 학년에 따라 점차적으로 성취수준을 높이도록 연계하였다. 셋째, 프로그램학습성과 가중치는 상대적 비교에 의한 중요도를 나타내는 수치이므로, 계량적 환산 보다 간호사 핵심역량 성취의 맥락에서 계열적 통합적으로 교육과정에 연계하였다.
- 1학기에는 2, 3, 4학년의 7개 교과목에 연계된 1, 2, 4, 5의 프로그램학습성과를, 2 학기에는 1, 2, 3, 4학년의 16개 교과목에 연계된 프로그램학습성과 1, 2, 3, 4, 5를 평가하였다. 또한 2014학년도 4학년 1, 2학기 프로그램학습성과 평가 결과를 토대로 졸업학년의 프로그램학습성과를 평가하였다. 결과분석에는 빈도와 백분율을 이용하였다.
- 2014년 5월 13일에서 5월 22일까지 연구자가 대상자를 직접 방문, 조사의 목적을 설명, 동의를 구한 후 조사를 실시하였다. 또한 대상자의 이해를 돕기 위해 문헌연구와 전문가 의견 수렴을 거쳐 설정된 각 프로그램학습성과의 개념정의를 제시하였다. 수집된 자료는 Microsoft Excel 2010을 이용하여 분석하였다.
- 타당도는 Polit 과 Beck (2006)이 제시한 I-CVI와 S-CVI/Ave를 기준으로 검정하였다. 또한 실행평가 결과 분석을 토대로 개선사항을 확인하기 위해 간호학과 교수 4인으로 구성된 전문가 협의회를 실시하였다.
- 먼저 프로그램학습성과에 대한 조작적 정의를 설정하기 위해 간호사핵심역량에 대한 선행연구 3편과 프로그램학습성과 항목에 대한 국내연구 16편, 2014년 한국간호대학(과)장 협의회 및 2014년 하반기 간호교육인증평가 설명회 자료, American Association of Colleges of Nursing [AACN], 2008)의 간호학사 학위 과정의 필수요소를 고찰 하였다. 문헌고찰을 근거로 1차 조작적 정의를 작성하고 간호학 교수 3인의 의견 수렴을 거쳐 조작적 정의를 완성하였다.
- CEA 기반 간호교육 프로그램학습성과 평가체계를 개발하기 위해 먼저 CEA에 대한 문헌연구를 실시하였다. 먼저 한국 간호교육 인증평가기준을 확인하여 CEA의 적용가능성을 탐색하고 다음으로 CEA에 대한 선행연구와 사례를 고찰하였다. 이를 위해 ‘Course Embedded Assessment’를 키워드로 학술연구정보서비스, 한국학술정보, 누리미디어에서 제공하는 온라인 데이터베이스를 활용하여 검색한 결과, 총 7편의 국내 논문과 15편의 해외학술지논문이 검색되었다.
- 먼저 프로그램학습성과에 대한 조작적 정의를 설정하기 위해 간호사핵심역량에 대한 선행연구 3편과 프로그램학습성과 항목에 대한 국내연구 16편, 2014년 한국간호대학(과)장 협의회 및 2014년 하반기 간호교육인증평가 설명회 자료, American Association of Colleges of Nursing [AACN], 2008)의 간호학사 학위 과정의 필수요소를 고찰 하였다. 문헌고찰을 근거로 1차 조작적 정의를 작성하고 간호학 교수 3인의 의견 수렴을 거쳐 조작적 정의를 완성하였다. 완성된 프로그램학습성과에 대한 정의를 바탕으로 수행준거를 설정하고, 간호학 교수 3인의 내용타당성 검토를 거쳐 수행준거를 완성하였다.
- 이후 전문가 집단으로부터 Polit와 Beck (2006)이 제시한 항목수준과 척도수준의 내용타당도를 검정 받았으며, 타당도는 높은 것으로 확인되었다. 본 연구에서 개발된 CEA 기반 평가체계는 프로그램학습성과의 가중치, CEA Matrix, CEA Rubric 및 12개의 관련서식과 평가지침으로 구성되었다.
- CEA의 핵심은 학습성과를 측정할 수 있는 표준화된 루브릭이다(Gerretson & Golson, 2004). 본 연구에서는 Goodrich (2000), Mertler (2001), Moskal (2000), Zimmaro (2004) 등이 공통으로 제안한 절차로 루브릭을 개발하였다. 루브릭의 유형은 인증평가의 목적인 지속적인 교육의 질 향상에 적합한 총체적 루브릭으로 하였다.
- Ammons와 Mills (2005)는 루브릭을 제시한 CEA 결과 교수·학습 과정과 평가를 일목요연하게 연결할 수 있어 학생의 기능통합역량과 교육 개선의 효과가 있었다고 하였다. 본 연구에서는 개발된 평가체계의 실행평가 시 각 교과목의 강의계획서를 통해 연계된 프로그램학습성과의 루브릭과 평가방법을 공지하였고 학기말 자신의 프로그램학습성과 달성도를 확인하여 학생용 CQI를 작성하게 하여 능동적으로 학습에 임하게 하였다.
- 총체적 루브릭은 학습성과의 전체적인 질에 초점을 두고 학생의 수행정도에 대한 종합적인 평가와 성과에 대한 개관을 제공한다(Mertler, 2001; Zimmaro, 2004). 본 연구의 루브릭 개발과정은 프로그램학습성과의 조작적 정의, 수행준거 설정, 평가척도 결정, 수행준거의 수행수준 기술, 내용타당도 검정 순서로 진행되었다.
- 개발연구는 실천중심의 연구이며 연구 설계가 고정된 접근으로 연구 절차 및 방법이 재설계 되지 않으며, 프로그램의 적용에 초점을 맞춘 연구방법이다(Kang & Lee, 2011). 본 연구의 절차는 Figure 1과 같으며, 실제문제 분석, 해결책 개발, 실행평가, 타당도검정 및 문서화 순으로 진행되었다.
- 간호교육인증평가 담당자인 연구자가 교육현장의 문제를 해결하기 위해 실제적 맥락 안에서 논리적 절차에 따라 평가체계를 개발하였다. 실행평가와 성찰로 평가체계의 개선 사항을 확인하고 보완하였으며 적용이 용이하도록 관련 지침과 서식도 개발하였다. 이후 전문가 집단으로부터 Polit와 Beck (2006)이 제시한 항목수준과 척도수준의 내용타당도를 검정 받았으며, 타당도는 높은 것으로 확인되었다.
- 이상의 문헌고찰을 통해 CEA의 개념, 장·단점, 실행방법, 주의사항 등을 확인하였다.
- Kim 등(2009)은 메타평가 기준을 활용할 때 목적과 상황에 따라 기준을 선정, 보완, 해석할 필요가 있다고 하였다. 이에 간호학 교수 3인에게 메타평가 기준에 대한 자문을 받아, 교육주체의 교육지향성 2항목, 교육방법의 적절성 3항목, 교육성과의 본질성 4항목과 목적부합성, 실행적합성, 정보정확성 각 1항목, 보고충실성 2항목, 총 14개 항목, Likert식 4점 척도로 설문지를 구성하였다. 평가체계의 타당도 검정을 위한 평가자는 내부인사 5명과 외부인사 5명으로 구성되었으며, 이들은 간호교육인증평가 업무를 담당하고 있거나 경험이 있는 간호학 교수 8명과 교육학 교수 2명이다.
- 이와 같은 개선사항을 반영하여 학생, 교수자, 관련 업무 담당자별 서식과 핵심기본간호술 연계 matrix, 교육과정 개선을 위한 Continuous Quality Improvement (CQI) 보고서 분석 서식 등 총 12개의 관련서식과 CEA 기반 프로그램학습성과 평가지침이 개발되었다.
- 평가체계의 타당도 검정을 위한 평가자는 내부인사 5명과 외부인사 5명으로 구성되었으며, 이들은 간호교육인증평가 업무를 담당하고 있거나 경험이 있는 간호학 교수 8명과 교육학 교수 2명이다. 조사방법은 내부인사는 연구자가 방문조사 하였으며, 외부인사는 사전에 조사의 목적을 설명하고 동의를 구한 후 개발된 평가체계와 질문지를 이메일로 발송하였다. 이후 전화로 평가체계에 대해 설명하였으며 이메일을 통해 결과를 회신 받았다.
- 프로그램학습성과의 교과목 연계에 대한 CEA Matrix 작성을 위해 다음과 같은 원칙에 따라 간호학 교수 4인으로 구성된 전문가 협의회를 4회 실시하였다. 첫째, 학습성과의 성취 수준을 달리하여 교육과정을 구성해야하므로 3단계의 성취수준을 정하였다. L1(기본)은 기초적인 이론 및 실무를 인식하는 수준, L2(발전)는 간호학의 이론 및 실무를 이해하고 설명하는 수준, L3(심화)는 대상자의 건강문제 해결을 위해 간호학 이론과 실무에 대한 지식을 적용하는 수준으로 정의하였다.
- 프로그램학습성과를 교과목에 연계하고 평가하기 위해 성취 수준과 교육과정 구성 원리인 계속성, 계열성, 반복성을 고려하여 CEA Matrix를 작성하였다. 프로그램학습성과의 가중치가 높은 PO1(28%), PO2(21%), PO5(12%), PO3(11%)는 1학년부터 4학년까지 모든 간호학 전공교과목에서 기본, 발전, 심화단계로 지속적으로 연계되었다.
- 프로그램학습성과의 교과목 연계에 대한 CEA Matrix 작성을 위해 다음과 같은 원칙에 따라 간호학 교수 4인으로 구성된 전문가 협의회를 4회 실시하였다. 첫째, 학습성과의 성취 수준을 달리하여 교육과정을 구성해야하므로 3단계의 성취수준을 정하였다.
대상 데이터
- AHP 분석에서는 응답의 일관성이 확보되어야 그 타당성을 인정받을 수 있으며 일관성 비율 CR이 0.1이상이면 쌍대비교 행렬의 일관성이 없다고 판정하므로(Saaty, 1994), 본 연구에서는 CR이 0.1 미만인 13명의 자료를 분석하였다.
- CEA는 국내에서는 공학교육인증평가에서 연차별로 적용을 확대하고 있는 단계여서 해당 논문의 수가 적은 것으로 생각된다. 검색된 해외학술지 논문은 1999년부터 2014년까지 발표된 것으로 이중에서 동일한 저자가 같은 주제로 여러 학술지에 논문을 게재한 경우 하나의 논문만을 선정하였다. 논문제목, 키워드, 초록, 원문을 읽은 후 본 연구의 목적을 만족하는 논문 9편을 선정하였고, 이들 논문의 참고문헌에 있는 3편의 논문을 추가하였다.
- 검색된 해외학술지 논문은 1999년부터 2014년까지 발표된 것으로 이중에서 동일한 저자가 같은 주제로 여러 학술지에 논문을 게재한 경우 하나의 논문만을 선정하였다. 논문제목, 키워드, 초록, 원문을 읽은 후 본 연구의 목적을 만족하는 논문 9편을 선정하였고, 이들 논문의 참고문헌에 있는 3편의 논문을 추가하였다. 또한 CEA를 실시하고 있는 것으로 언급되고 있는 미국 대학 홈페이지의 Office of assessment에 제시된 자료를 살펴보았다.
- 또한 CEA를 실시하고 있는 것으로 언급되고 있는 미국 대학 홈페이지의 Office of assessment에 제시된 자료를 살펴보았다. 따라서 본 연구의 분석 대상은 국내논문 7편, 해외논문 12편과 8개 대학의 Office of assessment의 자료이다. 이상의 문헌고찰을 통해 CEA의 개념, 장·단점, 실행방법, 주의사항 등을 확인하였다.
- 이를 위해 ‘Course Embedded Assessment’를 키워드로 학술연구정보서비스, 한국학술정보, 누리미디어에서 제공하는 온라인 데이터베이스를 활용하여 검색한 결과, 총 7편의 국내 논문과 15편의 해외학술지논문이 검색되었다.
- 이에 간호학 교수 3인에게 메타평가 기준에 대한 자문을 받아, 교육주체의 교육지향성 2항목, 교육방법의 적절성 3항목, 교육성과의 본질성 4항목과 목적부합성, 실행적합성, 정보정확성 각 1항목, 보고충실성 2항목, 총 14개 항목, Likert식 4점 척도로 설문지를 구성하였다. 평가체계의 타당도 검정을 위한 평가자는 내부인사 5명과 외부인사 5명으로 구성되었으며, 이들은 간호교육인증평가 업무를 담당하고 있거나 경험이 있는 간호학 교수 8명과 교육학 교수 2명이다. 조사방법은 내부인사는 연구자가 방문조사 하였으며, 외부인사는 사전에 조사의 목적을 설명하고 동의를 구한 후 개발된 평가체계와 질문지를 이메일로 발송하였다.
데이터처리
- 수집된 자료는 Microsoft Excel 2010을 이용하여 분석하였다. 각설문지의 쌍대비교 행렬표를 바탕으로 계산된 일관성지수 (Consistency Index [CI])와 Saaty (1994)가 제시한 쌍대비교행렬의 차원 n에 의한 확률지수(Random Indices [RI])로 일관성 비율(Consistency Ratio [CR])을 계산하였다. 일관성지수 (Consistency Index [CI])는 평가자 응답의 고유벡터 최대값인 λmax가 n과 근접할수록 일관성이 양호한 것이며, CI와 CR은 다음과 같이 표현된다.
- 또한 2014학년도 4학년 1, 2학기 프로그램학습성과 평가 결과를 토대로 졸업학년의 프로그램학습성과를 평가하였다. 결과분석에는 빈도와 백분율을 이용하였다.
- 또한 대상자의 이해를 돕기 위해 문헌연구와 전문가 의견 수렴을 거쳐 설정된 각 프로그램학습성과의 개념정의를 제시하였다. 수집된 자료는 Microsoft Excel 2010을 이용하여 분석하였다. 각설문지의 쌍대비교 행렬표를 바탕으로 계산된 일관성지수 (Consistency Index [CI])와 Saaty (1994)가 제시한 쌍대비교행렬의 차원 n에 의한 확률지수(Random Indices [RI])로 일관성 비율(Consistency Ratio [CR])을 계산하였다.
- 평가척도의 기준 점수는 집단 구성원의 평균적인 성취업적을 기준으로(Bae, 2008) 하고자 연구자가 재직하고 있는 대학의 2014학년 1학기의 7개 교과목에 연계된 프로그램학습성과 1, 2, 4, 5(가중치 70%)의 평균과 표준편차를 분석하였다. 분석 결과, 이론과목의 평균은 75～79점 표준편차는 8.
이론/모형
- 개발된 평가체계의 타당도를 검정하기 위해 Kim, Kim, Seo 와 Yang (2009)의 교육프로그램의 메타평가 기준을 활용하였다. Kim 등(2009)은 메타평가 기준을 활용할 때 목적과 상황에 따라 기준을 선정, 보완, 해석할 필요가 있다고 하였다.
- 본 연구의 프로그램학습성과 10개는 연구자가 재직하고 있는 대학의 것으로 이는 한국간호교육평가원 보다 개수만 2개 줄었을 뿐 내용은 거의 유사하다. 따라서 프로그램학습성과의 교과목 연계와 졸업 시점 학생들의 학습성과 달성도 산출을 위해 요인들을 쌍대 비교하여 상대적 중요도를 파악하는 AHP (Saaty, 1994)방법으로 프로그램학습성과의 가중치를 산정하였다.
- 루브릭 개발 과정에 대한 이론적 근거를 제시하고 있는 선행연구는 찾아보기 어려우나(Kim & Park, 2008; Kim & Kim, 2014; Yang & Hwang, 2014), 본 연구에서는 Goodrich (2000), Mertler (2001), Moskal (2000), Zimmaro (2004)가 제안한 논리적 절차에 따라 루브릭을 개발하였다.
- 본 연구는 CEA를 적용한 간호교육 프로그램학습성과 평가 체계를 개발하는 방법론적 연구이다. 본 연구는 Reeves (2000)의 개발연구 방법(Developmental Research Method)에 근거하여 설계되었다. 개발연구는 실천중심의 연구이며 연구 설계가 고정된 접근으로 연구 절차 및 방법이 재설계 되지 않으며, 프로그램의 적용에 초점을 맞춘 연구방법이다(Kang & Lee, 2011).
- 이후 전화로 평가체계에 대해 설명하였으며 이메일을 통해 결과를 회신 받았다. 타당도는 Polit 과 Beck (2006)이 제시한 I-CVI와 S-CVI/Ave를 기준으로 검정하였다. 또한 실행평가 결과 분석을 토대로 개선사항을 확인하기 위해 간호학과 교수 4인으로 구성된 전문가 협의회를 실시하였다.
성능/효과
- 2학기 16개 교과목에 연계된 PO1, 2, 3, 4, 5 또한 모든 과목에서 ‘중’ 이상이 80%이상으로 나타났다. 2014학년도 1, 2학기 프로그램학습성과 평가 결과를 토대로 졸업학년의 PO1, 2, 3, 4, 5를 평가한 결과 PO1, 5는 96.2%, PO2, 3, 4는 100%로 나타났으며, 가중치를 적용한 목표 달성도는 79.4%로 나타났다.
- CEA 기반 프로그램학습성과 평가체계를 2014학년도에 적용한 실행평가 결과, 1학기 7개 교과목에 연계된 PO1, 2, 4, 5의 달성도는 80～100%로 나타났다. 2학기 16개 교과목에 연계된 PO1, 2, 3, 4, 5 또한 모든 과목에서 ‘중’ 이상이 80%이상으로 나타났다.
- CEA는 프로그램학습성과를 교육과정에 연계하고 교수·학습활동과 평가를 통합하여 수업 환경 내에서 학생들의 학업성취 결과물을 근거로 프로그램학습성과를 평가하는 것이다. 개발된 CEA 기반 프로그램학습성과 평가체계는 프로그램학습성과의 가중치, CEA Matrix, CEA Rubric 및 12개의 관련서식과 평가 지침으로 구성되었으며, 타당도는 높은 것으로 나타났다.
- 개발된 루브릭의 내용 타당도 검정을 위해 메타 루브릭 (Moskal & Leydens, 2000; Soung, 2012)을 이용하여 간호학교수 3인, 교육학교수 1인, 총 4명의 전문가를 대상으로 내용타 당도를 검정하였다. 내용, 명확성, 실용성, 신뢰성 4개 범주별 내용타당도지수는 .815～.875 이었으며, 전체 내용타당도지수는 .85로 CEA 루브릭의 내용타당도는 높은 것으로 나타났다. 또한 척도수준 내용타당도(Scale level content validity index, average [S-CVI/Ave])와 항목수준 내용타당도(Item level content validity index [I-CVI])를 확인한 결과 S-CVI/Ave와 I-CVI 모두 1.
- 셋째, 프로그램학습성과 가중치는 상대적 비교에 의한 중요도를 나타내는 수치이므로, 계량적 환산 보다 간호사 핵심역량 성취의 맥락에서 계열적 통합적으로 교육과정에 연계하였다. 넷째, 가중치가 높은 프로그램학습성과는 전공과목에 계속적, 계열적, 통합적으로 연계하여 졸업시점에는 L3(심화)수준을 성취하도록 연계하였다. 다섯째, 가중치가 낮으면서 수행수준이 지식수준인 프로그램학습성과의 최종 성취수준은 기본 또는 발전 단계로 하였다.
- 넷째, 가중치가 높은 프로그램학습성과는 전공과목에 계속적, 계열적, 통합적으로 연계하여 졸업시점에는 L3(심화)수준을 성취하도록 연계하였다. 다섯째, 가중치가 낮으면서 수행수준이 지식수준인 프로그램학습성과의 최종 성취수준은 기본 또는 발전 단계로 하였다.
- 교육과정 운영 실무 측면에서는 표준화된 루브릭을 사용하므로 학생들에게 학습방향을 명확하게 제시할 수 있고, 평가 결과에 대한 즉각적인 피드백을 제공할 수 있다. 또한 실무자는 CEA Matrix에 따라 프로그램학습성과를 평가하므로 평가 업무의 부담을 줄일 수 있으며 간호사 핵심역량 성취과정에 대한 정성평가 결과를 효율적으로 도출할 수 있다.
- 85로 CEA 루브릭의 내용타당도는 높은 것으로 나타났다. 또한 척도수준 내용타당도(Scale level content validity index, average [S-CVI/Ave])와 항목수준 내용타당도(Item level content validity index [I-CVI])를 확인한 결과 S-CVI/Ave와 I-CVI 모두 1.0으로 나타나 타당도 기준을 충족하였다. Polit과 Beck (2006)은 S-CVI/Ave는 .
- 본 연구에서 AHP방법으로 측정한 학습성과 가중치는 다양한 교양지식과 전공지식에 근거한 간호술을 통합적으로 실무에 적용(PO1), 대상자의 간호 상황에 따른 핵심기본간호술 적용(PO2), 비판적 사고에 근거한 간호과정 적용(PO5)이 상위 순위로 나타났으며, 이는 Yoon (2013)의 간호학 전공분야별 학습성과 분류에 대한 델파이 조사결과와 일치한다. 그러므로 이들 프로그램학습성과는 성과기반 교육과정에서 중요한 핵심 영역으로 고려되어야 할 것으로 생각된다.
- 평가척도의 기준 점수는 집단 구성원의 평균적인 성취업적을 기준으로(Bae, 2008) 하고자 연구자가 재직하고 있는 대학의 2014학년 1학기의 7개 교과목에 연계된 프로그램학습성과 1, 2, 4, 5(가중치 70%)의 평균과 표준편차를 분석하였다. 분석 결과, 이론과목의 평균은 75～79점 표준편차는 8.7～11점으로 나타났으며 실습과목의 평균은 86～92, 표준편차는 2. 3～11점의 분포를 나타냈다.
- 214), PO5. 비판적 사고에 근거한 간호과정을 적용하고 임상적 추론을 실행한다(0.124)의 순으로 상대적 중요도가 나타났다.
- 둘째, 프로그램학습성과와 교과목의 관련성 및 가중치를 고려하여 학년에 따라 점차적으로 성취수준을 높이도록 연계하였다. 셋째, 프로그램학습성과 가중치는 상대적 비교에 의한 중요도를 나타내는 수치이므로, 계량적 환산 보다 간호사 핵심역량 성취의 맥락에서 계열적 통합적으로 교육과정에 연계하였다. 넷째, 가중치가 높은 프로그램학습성과는 전공과목에 계속적, 계열적, 통합적으로 연계하여 졸업시점에는 L3(심화)수준을 성취하도록 연계하였다.
- 3～11점의 분포를 나타냈다. 전체적으로 실습과목의 평균이 이론과목보다 평균 11.75점 높았으며, 출석점수를 10점으로 산정하고 있었다. CEA는 프로그램학습성과 자체를 평가하는 것이므로 출석점수를 제외한 원점수의 평균과 표준편차를 고려하여 ‘중’수준을 이론과목은 65～79점, 실습과목은 75～89로 산정하였다.
- 본 연구를 통해 다음을 제언한다. 첫째, CEA 루브릭의 수행준거와 기준점수는 교육과정과 대상자의 특성을 반영하여 계속적으로 개선한다. 둘째, 기준점수 산정에 Angoff나 Hofstee 등의 다양한 방법을 활용할 것을 제안한다.
후속연구
- CEA에 대한 선행연구에서는 대표교과목 1～2개에 학습성과를 연계하거나(Han, 2009; Kim, 2014; Lee, 2014), 수월성의 관점에서 학습성과 별로 연관성이 높은 특정 교과목에 연계하도록 하고 있다(ABEEK, 2015). 그러나 본 연구에서는 전문가집단 협의회를 거쳐 성취수준, 학습성과의 가중치, 교육과정 구성 원리 등을 고려하고 학년에 따라 단계별로 졸업시점까지 평가하므로 지속적 교육과정 개선 및 간호사 핵심역량 성취과정에 평가가 가능하다.
- 셋째, 효율적인 평가를 위해 CEA적용 Web-based 평가시스템을 개발할 필요가 있다. 넷째, 교과목 연계로는 학습성과 달성에 한계가 있는 프로그램학습성과는 교과 외 활동을 함께 운영하고 그 결과를 학생포트폴리오 같은 간접적인 평가방법으로 보완할 필요가 있다. 다섯째, 4년간의 교과목 내 학습성과 성취도와 졸업학년 프로그램학습성과 평가 간의 관계 및 CEA 기반 프로그램학습성과 평가체제 적용의 효과를 다양한 지표를 통해 확인하는 후속 연구를 제안한다.
- 넷째, 교과목 연계로는 학습성과 달성에 한계가 있는 프로그램학습성과는 교과 외 활동을 함께 운영하고 그 결과를 학생포트폴리오 같은 간접적인 평가방법으로 보완할 필요가 있다. 다섯째, 4년간의 교과목 내 학습성과 성취도와 졸업학년 프로그램학습성과 평가 간의 관계 및 CEA 기반 프로그램학습성과 평가체제 적용의 효과를 다양한 지표를 통해 확인하는 후속 연구를 제안한다.
- 첫째, CEA 루브릭의 수행준거와 기준점수는 교육과정과 대상자의 특성을 반영하여 계속적으로 개선한다. 둘째, 기준점수 산정에 Angoff나 Hofstee 등의 다양한 방법을 활용할 것을 제안한다. 셋째, 효율적인 평가를 위해 CEA적용 Web-based 평가시스템을 개발할 필요가 있다.
- 본 연구는 한국간호교육평가원의 프로그램학습성과를 준용하였으나, 일 대학을 대상으로 하였으므로 적용에 제한점이 있다. 본 연구를 통해 다음을 제언한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.