[논문]문제중심학습 (Problem-Based Learning) 효과 측정 도구 개발: Rasch 분석을 중심으로

한상우; 최성열; 최인묵

doi:10.22156/cs4smb.2020.10.03.115

문제중심학습 (Problem-Based Learning) 효과 측정 도구 개발: Rasch 분석을 중심으로
Developing Measurement of Problem-Based Learning Effectiveness: Applying Rasch Analysis 원문보기

융합정보논문지 = Journal of Convergence for Information Technology, v.10 no.3, 2020년, pp.115 - 125

한상우 (광주여자대학교 작업치료학과) , 최성열 (광주여자대학교 작업치료학과) , 최인묵 (광주여자대학교 항공서비스학과)

초록
AI-Helper

최근 사회에서 창의적 문제해결 역량을 갖춘 인재에 대한 요구가 증가하면서 문제중심학습은 교육현장에서 가장 보편적으로 활용되고 있는 새로운 교수법이다. 이러한 교수법 적용에 따른 학습 효과를 수업 현장에서 간편하고 정기적으로 측정할 수 있는 도구를 본 연구를 통해 개발하였다. 기존 문제중심학습 효과 측정 연구에 활용된 문항을 수집하고, 전문가 의견 수렴을 통해 도구 개발을 위한 22개 예비 문항을 구성하였다. 이 문항을 이용하여 문제중심학습을 적용한 교과목을 수강한 학생 124명을 대상으로 데이터를 수집하였다. 이후 Rasch 분석을 통해 타당도와 신뢰도를 검증하였다. 124명의 학생 중 11명이 부적합, 22개 예비 문항 중 1개 문항이 부적합 판정되어 제외하였다. 또한 본 도구 구성을 위한 최적 척도는 4점 척도로 확인되었으며, 대상자와 문항에 대한 분리 신뢰도는 우수한 수준으로 확인되었다. 본 연구를 통해 개발한 문제중심학습의 효과 측정도구가 교육 현장에서 학습효과 측정 및 교육의 질 관리를 위해 적극 활용되길 기대한다.

Abstract ▼ AI-Helper

Problem-Based Learning is the most commonly used teaching method in the field of education as the demand for talented people with creative problem-solving abilities has increased in recent society. In this study, we developed a tool that can simply and regularly measure the learning effects of applying Problem-Based Learning on the classroom. Twenty-two preliminary items for the development were constructed by gathering expert opinions about items collected in existing research of Problem-Based Learning effects measurement. Using this preliminary items, data were collected from 124 students who took the subject-based study. And the validity and reliability were verified through Rash analysis. 11 of 124 students and 1 of 22 items were found to nonconforming and excluded. In addition, the optimal scale for the configuration of this tool was found to be a four-point scale, and the reliability of separation on the subject and the item was found to be excellent. We hope that the assessment tools of Problem-Based Learning effectiveness developed in this study will be actively used to measure learning effectiveness and manage the quality of education.

주제어

표/그림 (14)

그림 Fig. 1. Process of Study
표 Table 1. Key Abilities for the Composition of Basis Items
표 Table 2. The Characteristics of Delphi panels
그림 Fig. 2. Item-person maps in order of difficulty and ability
표 Table 3. Content validity of items by Delphi survey
표 Table 4. Goodness-of-fit analysis about persons
그림 Fig. 3. Probability curve for 5 point category
표 Table 5. Goodness-of-fit analysis about items
표 Table 6. Logit values of item difficulty
표 Table 7. Rating scale analysis for 5 point category
그림 Fig. 4. Probability curve for 4 point category
표 Table 8. Rating scale analysis for 4 point category
표 Table 10. The final items of the assessment
표 Table 9. Separation reliability of person and ite

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 연구를 통해 다음의 문제를 검증하여 문제중심학습 측정 평가도구를 개발하고자 한다.
본 연구를 통해 문제중심학습의 학습효과 측정도구를 개발하였다. 향후 대학 교육 현장에서 문제중심학습 교육에 따른 학습 효과 검증에 적극 활용되길 기대한다.
본 연구에서 델파이 과정을 통해 전문가 의견을 들어 의미가 중복되는 문항들을 통합하여 각 문항들이고 유의 반응을 추정하는 국소독립성을 확립하였다 [29,30]. 각 문항의 내용 타당성 확보를 위해 내용 타당도비율을 분석하여 부적합 문항을 삭제하였다[22].
문제중심학습의 절차에 대한 이견은 있겠으나 일반적으로 학습모듈의 문제를 중심으로 팀 구성, 문제 탐색, 정보 탐색, 문제 설정, 추가 정보 탐색, 가설 검증, 문제 해결 아이디어 및 보완, 학습 성과 평가, 요약 및 검토의 과정은 포함된다 [19,21]. 본 연구의 학업 수행 능력의 능력 단위들은 이러한 문제중심학습의 절차를 중심으로 습득할 수 있는 능력으로 구성하고자 노력하였다.
하지만 이 측정도구의 문제중심학습에 따른 학업수행 능력과 협동학습 능력의 구성과 용어 선택에 있어서 연구자에 따라 이견은 있을 것이다. 하지만 본 연구의 연구자들은 대학의 교육 현장에서 빠르고 간편하게 이용할 수 있는 문제중심학습 효과 측정 도구를 개발하고, 효율성을 높이기 위해 문제중심학습의 과정과 성과를 고려하여 구성하고자 노력하였다. 또한 본 연구는 대학 교육 현장의 문제중심학습을 중심으로 학습효과 측정 도구를 개발하였다.

가설 설정

Rasch 분석은 기본적으로 대상자의 능력과 문항의 난이도가 같을 때 정답할 확률이 50%라고 가정하고, 두 로지스틱 값 사이의 간격과 대상자의 반응을 비교한다 [36]. 이러한 이론적 전제하에 문항 적합성 판정은 문항의 난이도와 유사한 능력의 대상자가 다수의 응답인 정답에 응답할 것을 가정한다. 따라서 내적합 지수의 평균 자승 잔차 값은 문항 난이도와 유사한 능력의 대상 자 반응을 민감하게 분석한다[26,31,32].

제안 방법

3) 평가도구를 구성하는 최적의 표본, 문항, 척도의 타당도와 신뢰도를 검증한다.
Rasch 모형의 적합도는 평정척도 모형에서 외적합 지수의 평균 자승 잔차, 평균측정치의 높은 값부터 내림차순 배열, 확률곡선(probability curve)의 고른 시각적 분포를 기준으로 1차 판정하였다. 이후 단계적 교정치 간격과 관찰 빈도수에 따라 척도를 교정하여 최적의 척도를 선정하고 각 척도를 재정의하였다[27].
본 연구에서 델파이 과정을 통해 전문가 의견을 들어 의미가 중복되는 문항들을 통합하여 각 문항들이고 유의 반응을 추정하는 국소독립성을 확립하였다 [29,30]. 각 문항의 내용 타당성 확보를 위해 내용 타당도비율을 분석하여 부적합 문항을 삭제하였다[22]. 이는 문제중심학습 교과목을 운영하는 전문가의 의견수 렴을 통해 본 연구에서 개발하는 평가에 포함될 문항들의 내용 타당성을 확보하는 과정이다.
최종 자기주도 학습, 정보 처리, 문제해결, 사고, 의견 수용, 의사소통의 6개 능력 단위가 구성되었으며, 요약은 Table 1과 같다. 각 문항의 내용에 따라 수정 및 통합된 총 37개 기초 문항은 학업 수행 능력과 협동 학습 능력으로 구분되는 6개 능력 단위를 구성하였다.
개방형 질문은 델파이 조사 문항의 내용 및 수행능력 적합성에 대한 의견을 묻도록 제시하였고, 폐쇄형 질문은 각 문항의 적합성을 “매우 적합하지 않음”, “적합하지 않음”, “보통”, “적합함”, “ 매우 적합함”의 5점 리커트(likert) 척도로 제시하였다.
로짓 점수로 계산된 문항 난이도와 대상자 능력 수준은 문항-대상자 지도로 제시하였다. 그리고 대상자의 능력의 최소와 최대 로짓 값으로 대상자의 위험 수준 변환식을 추정하였다[23]. 부적합 대상자를 선별 후 적합한 대상자의 응답만을 분석하여 부적합 문항을 판정하였으며, 적합도의 기준은 모두 내적합 지수의 평균 자승 잔차 값과 Z 값을 사용하였다[24-26].
기존 문제중심학습의 효과를 측정한 문항을 수집하여 델파이 기법을 통해 전문가 의견을 수렴한 문제중심 학습 효과 측정도구의 문항을 구성하였다. 또한 문제중심학습 수강학생 자료수집과 Rasch 분석을 통해 타당도와 신뢰도를 검증하고, 최종 문제중심학습 효과 측정도구를 개발하였다.
기존의 문제중심학습 효과 측정 문항을 수집하여 능력 단위를 중심으로 37개 기초문항을 수렴하였으며, 대학에서 문제중심학습 적용 교과목을 운영하는 전문가 패널을 대상으로 델파이 조사를 실시하여 내용 타당도가 검증된 예비 평가문항 22개를 선정하였다. 이 문항으로 K대학교에서 문제중심학습 수업을 듣는 123명 학생의 반응을 수집하여 Rasch 분석을 통해 서열척도 를 등간척도로 변환하여 로짓 점수로 산출된 문항 난이도와 대상자 능력을 비교분석할 수 있는 객관적 기준을 확립하였다.
내용 타당도 검증을 위해 37개 기초 문항을 이용하여 전문가 패널을 대상으로 델파이 조사를 실시하였다. 델파이 조사를 실시한 전문가 패널은 총 14명으로 문제중심학습 방법의 교수법 강의 경험이 있으며, 대학에서 5년 이상의 교육 경험이 있는 교수로 선정되었으며, 선정 내용은 Table 2와 같다.
델파이 조사를 실시한 전문가 패널은 총 14명으로 문제중심학습 방법의 교수법 강의 경험이 있으며, 대학에서 5년 이상의 교육 경험이 있는 교수로 선정되었으며, 선정 내용은 Table 2와 같다. 델파이 조사는 총 3차에 걸쳐 진행되었으며, 개방형 질문과 폐쇄형 질문을 융합하여 구성하였다. 개방형 질문은 델파이 조사 문항의 내용 및 수행능력 적합성에 대한 의견을 묻도록 제시하였고, 폐쇄형 질문은 각 문항의 적합성을 “매우 적합하지 않음”, “적합하지 않음”, “보통”, “적합함”, “ 매우 적합함”의 5점 리커트(likert) 척도로 제시하였다.
기초 문항 구성을 위해 첫 번째 단계로, 전체 문항 중 영문으로 표현된 문항은 10년 이상 영어권 국가에 거주하며 석사 및 박사 학위를 취득한 연구자에 의해서 국문으로 번안되었다. 두 번째 단계로, 전체 문항 중 유사한 의미를 가지고 있는 문항을 선별하고 해 당 문항 중 2회 이상 중복해서 연구에 활용되는 문항을 선정하였다. 세 번째 단계로, 능력 단위를 기준으로 각 문항이 측정하고자하는 내용을 고려하여 능력 단위 별 문항을 재구성하였다.
또한 개방형 질문의 전문가 의견을 수렴하여 5번 문항은 협동학습으로 영역을 변경하고 19번과 20번, 26번과 29번, 35번과 36번은 각각 통합하였다. 또한 32번 문항은 내용을 일부 수정 하였다. 삭제, 조정, 그리고 통합된 모든 문항은 1~3차 의 델파이 조사 동안 수렴도가 향상되었으며, 0.
33을 기준으로 내용 타당도를 검증 하였다. 또한 4분위수를 기준으로 3분위 수에서 1분위 수를 뺀 값을 2로 나눈 수렴도(convergence) 분석을 통해 1~3차의 델파이 조사 과정에서 전문가 패널의 의견이 일치되는지 검토하였으며, 1에서 3분위 수와 1분위 수의 차이를 뺀 값을 중앙값으로 나눈 합의도가 0.7 이상 이면 전문가 패널 사이의 의견 합의가 이루어 진 것으로 판단하였다[22]. Winstep version 3.
기존 문제중심학습의 효과를 측정한 문항을 수집하여 델파이 기법을 통해 전문가 의견을 수렴한 문제중심 학습 효과 측정도구의 문항을 구성하였다. 또한 문제중심학습 수강학생 자료수집과 Rasch 분석을 통해 타당도와 신뢰도를 검증하고, 최종 문제중심학습 효과 측정도구를 개발하였다. 연구과정 전반은 Fig.
또한 문제중심학습 전반에서 팀 기반 학습에 따라 성취할 수 있는 협동 학습 능력을 의견 수용과 의사소통 능력 단위로 구성하였다. 협동력의 문항들과 태도, 학습 전략, 학습 평가, 의사소통 기술, 학습 방법, 팀워크의 일부 문항들을 통합하여 의견 수용 능력단위를 구 성하였으며, 의사소통, 책임감, 참여, 리더십의 항목들 과 태도, 학습 전략, 의사소통 기술, 학습 방법, 팀워크의 일부 문항들을 통합하여 의사소통 능력단위를 구성하였다.
하지만 본 연구의 연구자들은 대학의 교육 현장에서 빠르고 간편하게 이용할 수 있는 문제중심학습 효과 측정 도구를 개발하고, 효율성을 높이기 위해 문제중심학습의 과정과 성과를 고려하여 구성하고자 노력하였다. 또한 본 연구는 대학 교육 현장의 문제중심학습을 중심으로 학습효과 측정 도구를 개발하였다. 따라서 초등, 중등, 고등의 학습 과정 전반에 활용되기에는 제약이 있다.
학업 수행 능력은 자아인식, 자기주도 학습 태도, 자기주도 학습, 학습동기 변수의 문항들과 학습 과정, 태도, 사고력의 일부 문항을 통합하여 자기주도 학습 능력단위를 구성하였고, 정보 과정, 학습 내용, 문제 명료화의 문항 들과 학습과정, 학습 전략, 심화 내용 학습의 일부 문항을 통합하여 정보 과정으로 능력단위를 구성하였다. 또한 해결책 탐색, 문제해결력의 문항들과 사고력, 학습 전략, 학습 성과의 일부 문항을 통합하여 문제해결, 의 사결정의 문항들과 사고력, 학습 전략, 심화 내용 학습, 학습 평가, 학습 성과의 일부 문항을 통합하여 사고력으로 능력단위를 구성하였다. 문제중심학습의 절차에 대한 이견은 있겠으나 일반적으로 학습모듈의 문제를 중심으로 팀 구성, 문제 탐색, 정보 탐색, 문제 설정, 추가 정보 탐색, 가설 검증, 문제 해결 아이디어 및 보완, 학습 성과 평가, 요약 및 검토의 과정은 포함된다 [19,21].
기존에 보고된 문제중심학습의 효과 측정 연구들의 측정 변수를 살펴보면 학습과정, 학습평가, 학습성과, 자아인식, 자기주도 학습 태도, 학습동기, 정보처리, 문제해결력, 사고력, 의사소통, 책임감, 참여, 협동, 리더십, 팀워크 등의 협동학습 능력 변수를 분석해왔다 [15-21]. 본 연구를 통해 개발된 문제중심학습 효과 측정도구는 학업 수행 능력과 협동 학습 능력으로 구분하고, 능력단위와 세부문항에 따른 분석이 가능하다. 학업 수행 능력은 자아인식, 자기주도 학습 태도, 자기주도 학습, 학습동기 변수의 문항들과 학습 과정, 태도, 사고력의 일부 문항을 통합하여 자기주도 학습 능력단위를 구성하였고, 정보 과정, 학습 내용, 문제 명료화의 문항 들과 학습과정, 학습 전략, 심화 내용 학습의 일부 문항을 통합하여 정보 과정으로 능력단위를 구성하였다.
그리고 대상자의 능력의 최소와 최대 로짓 값으로 대상자의 위험 수준 변환식을 추정하였다[23]. 부적합 대상자를 선별 후 적합한 대상자의 응답만을 분석하여 부적합 문항을 판정하였으며, 적합도의 기준은 모두 내적합 지수의 평균 자승 잔차 값과 Z 값을 사용하였다[24-26].
부적합 문항으로 판정된 1개 문항을 제외한 21개 문항으로 난이도 분석을 실시하였으며, 대상자 능력과 문항 난이도 로짓값은 Fig. 2와 Table 6에 제시하였다. 난이도가 가장 높은 문항은 10번 1.
분리 신뢰도는 분리 신뢰도 계수와 분리지수를 기준으로 ‘수용 가능한 수준’, ‘양호한 수준’, ‘우수한 수준’으로 구분하여 판정하였다[24,26,28].
세 번째 단계로, 능력 단위를 기준으로 각 문항이 측정하고자하는 내용을 고려하여 능력 단위 별 문항을 재구성하였다. 사전 연구고찰을 통해 기존에 적용된 능력 단위를 확인하였다. 대표적으로 Lee[15]는 학습 과정, 자아 인식, 정보 과정, 학습 평가, 의사소통, 책임감, Kim 등[16]은 자가 학습 태도, 학습 과정, 학습 성과, 학습 방법, 협동, 참여, 리더십, Lee 등 [17]은 문제 명료화, 해결책 탐색, 의사 결정, Lee 등[18]은 태도, 사고력, 연구 내용, Choy 등[19]은 자기주도 학습, 학습 과정, 팀워크, 의사소통 기술, Zeegers[20]는 동기, 학습 전략, Belland 등[21]은 자기주도 학습, 심화 내용 학습, 문제 해결력의 능력 단위를 적용하였으며, 이러한 능력 단위를 통합하여 본 연구의 평가도구를 구성하였다.
두 번째 단계로, 전체 문항 중 유사한 의미를 가지고 있는 문항을 선별하고 해 당 문항 중 2회 이상 중복해서 연구에 활용되는 문항을 선정하였다. 세 번째 단계로, 능력 단위를 기준으로 각 문항이 측정하고자하는 내용을 고려하여 능력 단위 별 문항을 재구성하였다. 사전 연구고찰을 통해 기존에 적용된 능력 단위를 확인하였다.
수집된 연구들 중 문제중심학습 측정을 위한 문항을 제시하는 연구에서 총 114개 문항을 수집하였다. 이 문항들은 2018년 7월부터 8월까지 2개월간 주 1회 연구자 정기 회의를 통해 문항의 내용을 분석하여 기초문항을 구성 하였다. 기초 문항 구성을 위해 첫 번째 단계로, 전체 문항 중 영문으로 표현된 문항은 10년 이상 영어권 국가에 거주하며 석사 및 박사 학위를 취득한 연구자에 의해서 국문으로 번안되었다.
기존의 문제중심학습 효과 측정 문항을 수집하여 능력 단위를 중심으로 37개 기초문항을 수렴하였으며, 대학에서 문제중심학습 적용 교과목을 운영하는 전문가 패널을 대상으로 델파이 조사를 실시하여 내용 타당도가 검증된 예비 평가문항 22개를 선정하였다. 이 문항으로 K대학교에서 문제중심학습 수업을 듣는 123명 학생의 반응을 수집하여 Rasch 분석을 통해 서열척도 를 등간척도로 변환하여 로짓 점수로 산출된 문항 난이도와 대상자 능력을 비교분석할 수 있는 객관적 기준을 확립하였다. 또한 본 연구를 통해 개발된 문제중심학습 측정 도구는 4점 척도를 사용하는 것이 적합한 것으로 확인되었으며, 해당 척도구성의 타당성을 확인하였다.
Rasch 모형의 적합도는 평정척도 모형에서 외적합 지수의 평균 자승 잔차, 평균측정치의 높은 값부터 내림차순 배열, 확률곡선(probability curve)의 고른 시각적 분포를 기준으로 1차 판정하였다. 이후 단계적 교정치 간격과 관찰 빈도수에 따라 척도를 교정하여 최적의 척도를 선정하고 각 척도를 재정의하였다[27]. 분리 신뢰도는 분리 신뢰도 계수와 분리지수를 기준으로 ‘수용 가능한 수준’, ‘양호한 수준’, ‘우수한 수준’으로 구분하여 판정하였다[24,26,28].
본 연구를 통해 개발된 문제중심학습 효과 측정도구는 학업 수행 능력과 협동 학습 능력으로 구분하고, 능력단위와 세부문항에 따른 분석이 가능하다. 학업 수행 능력은 자아인식, 자기주도 학습 태도, 자기주도 학습, 학습동기 변수의 문항들과 학습 과정, 태도, 사고력의 일부 문항을 통합하여 자기주도 학습 능력단위를 구성하였고, 정보 과정, 학습 내용, 문제 명료화의 문항 들과 학습과정, 학습 전략, 심화 내용 학습의 일부 문항을 통합하여 정보 과정으로 능력단위를 구성하였다. 또한 해결책 탐색, 문제해결력의 문항들과 사고력, 학습 전략, 학습 성과의 일부 문항을 통합하여 문제해결, 의 사결정의 문항들과 사고력, 학습 전략, 심화 내용 학습, 학습 평가, 학습 성과의 일부 문항을 통합하여 사고력으로 능력단위를 구성하였다.
또한 문제중심학습 전반에서 팀 기반 학습에 따라 성취할 수 있는 협동 학습 능력을 의견 수용과 의사소통 능력 단위로 구성하였다. 협동력의 문항들과 태도, 학습 전략, 학습 평가, 의사소통 기술, 학습 방법, 팀워크의 일부 문항들을 통합하여 의견 수용 능력단위를 구 성하였으며, 의사소통, 책임감, 참여, 리더십의 항목들 과 태도, 학습 전략, 의사소통 기술, 학습 방법, 팀워크의 일부 문항들을 통합하여 의사소통 능력단위를 구성하였다.

대상 데이터

2018년 4월 1일부터 2018년 6월 30일까지 “Google 학술 검색”, “PubMed”, “한국학술지인용색인”, “한국교육학술정보원” 등 온라인 검색을 통해 문제 중심학습 효과 측정을 실시한 연구를 수집하였다.
델파이 조사를 통해 수렴된 문항에 대한 학습자 데이터 수집을 위해 2018년 K대학교에서 문제중심학습 교수법이 적용된 교과목을 수강하는 124명의 학생을 선정하였다. 모든 학생들은 연구과정에 대한 설명을 듣고 서면으로 연구 참여에 동의하였으며, 평가문항에 성실하게 응답하였다.
2018년 4월 1일부터 2018년 6월 30일까지 “Google 학술 검색”, “PubMed”, “한국학술지인용색인”, “한국교육학술정보원” 등 온라인 검색을 통해 문제 중심학습 효과 측정을 실시한 연구를 수집하였다. 수집된 연구들 중 문제중심학습 측정을 위한 문항을 제시하는 연구에서 총 114개 문항을 수집하였다. 이 문항들은 2018년 7월부터 8월까지 2개월간 주 1회 연구자 정기 회의를 통해 문항의 내용을 분석하여 기초문항을 구성 하였다.
이렇게 선정된 예비문항을 포함한 설문에 응답한 123명의 학생들 가운데 11명이 부적합한 대상자로 확인되었다. Rasch 분석에서 내적합 지수는 대상자의 능력 수준과 유사한 난이도의 문항에서 예기치 못한 반응에 민감하게 변화되는 지수이다[26,31,32].
적합도 분석결과 전체 123명 중 11명(8.9%)이 부적합 대상자로 판정되어, 지속되는 분석은 부적합 대상을 제외한 112명을 대상으로 실시하였다.

데이터처리

7 이상 이면 전문가 패널 사이의 의견 합의가 이루어 진 것으로 판단하였다[22]. Winstep version 3.80.1 프로그램을 사용하여 Rasch 모형에 따른 대상자 적합도, 문항 적합도, 문항 난이도, 대상자의 위험 수준 변환식 추정, 모형 적합도, 분리 신뢰도분석을 실시하였다. 로짓 점수로 계산된 문항 난이도와 대상자 능력 수준은 문항-대상자 지도로 제시하였다.
0을 이용하여 평균, 표준편차, 사분위수, 중앙값을 산출하였다. 그리고 Microsoft Excel 2010를 통해 내용 타당도비율 (CVR)을 분석하였으며, 이는 Lawshe의 이론에 따라 최소기준 .33을 기준으로 내용 타당도를 검증 하였다. 또한 4분위수를 기준으로 3분위 수에서 1분위 수를 뺀 값을 2로 나눈 수렴도(convergence) 분석을 통해 1~3차의 델파이 조사 과정에서 전문가 패널의 의견이 일치되는지 검토하였으며, 1에서 3분위 수와 1분위 수의 차이를 뺀 값을 중앙값으로 나눈 합의도가 0.
본 연구의 델파이 조사에서 전문가 패널의 의견수렴을 위해 PASW Statistics version 18.0을 이용하여 평균, 표준편차, 사분위수, 중앙값을 산출하였다. 그리고 Microsoft Excel 2010를 통해 내용 타당도비율 (CVR)을 분석하였으며, 이는 Lawshe의 이론에 따라 최소기준 .

성능/효과

모형 적합성 분석결과 본 연구의 문제중심학습 효과 측정도구는 4점 척도로 구성하는 것이 가장 적절한 것으로 확인되었다. 5점 척도의 경우 모형적합도의 기준치 중 관찰빈도의 불균형이 있었으며, 확률곡선이 균등하게 분포하지 않아 부적합한 것으로 확인되었다. 각 점수 척도의 관찰 빈도를 균등하게 배열하는 과정은 각 점수의 확률곡선을 완만하게 교정할 수 있다[27].
1,2,3,4,5의 5점 척도에 대한 평정척도 분석에서 평균 측정치는 수직적 순서배열을 보였다. 그리고 모든 척도의 외적합 지수 평균 자승 잔차는 2.0보다 작으며, 단계적 교정치 간격은 1.0보다 크거나 같고 5.0 보다 작거나 같았다. 하지만 1점의 관찰 빈도가 6으로 작은 수치를 보였으며, 내용은 Table 7과 같다.
부적합 대상자 11명을 제외한 112명을 대상으로 문항의 적합도 분석결과는 Table 5에 제시하였다. 내적합 지수의 평균 자승 잔차가 1.4보다 크면서 Z 값이 2.0보다 크게 분석된 12번 문항이 부적합 문항으로 판정되었다.
본 연구에서 제시한 문항-대상자 지도는 이상적 배열에 맞게 대상자 능력과 문항 난이도가 분포하고 있다. 따라서 평가에 포함된 문항들이 문제중심학습 이후 학생들의 능력 향상을 측정하기 위해 난이도별로 적절히 구성되어 있음을 확인하였다.
이 문항으로 K대학교에서 문제중심학습 수업을 듣는 123명 학생의 반응을 수집하여 Rasch 분석을 통해 서열척도 를 등간척도로 변환하여 로짓 점수로 산출된 문항 난이도와 대상자 능력을 비교분석할 수 있는 객관적 기준을 확립하였다. 또한 본 연구를 통해 개발된 문제중심학습 측정 도구는 4점 척도를 사용하는 것이 적합한 것으로 확인되었으며, 해당 척도구성의 타당성을 확인하였다.
모형 적합성 분석결과 본 연구의 문제중심학습 효과 측정도구는 4점 척도로 구성하는 것이 가장 적절한 것으로 확인되었다. 5점 척도의 경우 모형적합도의 기준치 중 관찰빈도의 불균형이 있었으며, 확률곡선이 균등하게 분포하지 않아 부적합한 것으로 확인되었다.
본 연구에서 대상자의 분리 신뢰도 계수는 0.96, 분리지수는 4.91로 분석되었고, 문항의 분리 신뢰도 계수는 0.95, 분리지수는 4.18로 분석되었다. 따라서 대상자와 문항의 분리 신뢰도는 모두 우수한 수준으로 확인 되었으며, 내용은 Table 9와 같다.
이 문항-대상자 지도(item-person map)는 평균 로짓값인 0에 대상자와 문항이 다수 분포하고, 로짓 값이 증가 또는 감소할수록 비율이 점차 감소하는 형태가 이상적 배열이다[39]. 본 연구에서 제시한 문항-대상자 지도는 이상적 배열에 맞게 대상자 능력과 문항 난이도가 분포하고 있다. 따라서 평가에 포함된 문항들이 문제중심학습 이후 학생들의 능력 향상을 측정하기 위해 난이도별로 적절히 구성되어 있음을 확인하였다.
부적합 대상자를 제외한 112명을 대상으로 분석한 문항 적합성 판정에서 사전 22개 문항 중 1개 문항이 부적합한 것으로 확인되었다. 문항 적합성은 대상자와 마찬가지로 내적합 지수를 근거로 판정한다[24-26].
또한 32번 문항은 내용을 일부 수정 하였다. 삭제, 조정, 그리고 통합된 모든 문항은 1~3차 의 델파이 조사 동안 수렴도가 향상되었으며, 0.7 이상의 합의도가 확인되었다. 최종 학업수행 능력 11개, 협동학습 능력 11개 문항이 선정되었으며, 선정 내용은 Table 3과 같다.
각 점수 척도의 관찰 빈도를 균등하게 배열하는 과정은 각 점수의 확률곡선을 완만하게 교정할 수 있다[27]. 이에 각 척도의 관찰 빈도가 균등해 질 수 있는 1점, 2점을 통합한 1,1,2,3,4로 변환 분석한 결과 모든 통계치가 기준을 충족하였으며, 확률곡선 또한 균등한 분포를 보였다. 단계적 교정치 간격과 관찰 빈도에 따라 수정된 확 률곡선은 모두 적용에 문제는 없으나 최초에 사용한 척도의 의미론적 통합을 고려하였을 때 1점과 2점을 통합하여 “그렇지 않다.
최종 평가를 구성하는 21개 문항의 난이도를 분석한 결과 10번 ‘논리적 사고 능력이 향상되었다.
본 연구를 통해 개발한 문제중심학습 효과 측정도구는 학업수행 능력 11개 문항과 협동학습 능력 10개 문항은 Table 10과 같다. 학업수행 능력은 자기주도 학습능력 2문항, 정보과정 4문항, 문제해결력 3문항, 사고력 2문항이 구성되었으며, 협동학습 능력에는 의견수용력 5문항과 의사소통능력 5문항이 구성되었다.

후속연구

따라서 초등, 중등, 고등의 학습 과정 전반에 활용되기에는 제약이 있다. 이어지는 연구에서 문제중심학습의 효과 전반을 체계적으로 검증할 수 있는 연구가 필요할 것으로 사료된다.
본 연구를 통해 문제중심학습의 학습효과 측정도구를 개발하였다. 향후 대학 교육 현장에서 문제중심학습 교육에 따른 학습 효과 검증에 적극 활용되길 기대한다. 하지만 이 측정도구의 문제중심학습에 따른 학업수행 능력과 협동학습 능력의 구성과 용어 선택에 있어서 연구자에 따라 이견은 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	문제중심학습은 무엇인가?	다양한 프로젝트 및 주제 중심 교수법 중 문제중심 학습(Problem-Based Learning)은 1960년대 중반 캐나다의 McMaster 의과대학에서 개발되어 의학뿐만 아 니라 창의적 문제해결능력 향상을 위해 다양한 전문영역에서 적용 및 발전해왔다[4,5]. 문제중심학습은 학습 의 주체가 학습자로 전통적인 강의방식과 비교하면 혁명적인 패러다임을 제시하는 교육방식이다. 이 교수학 습방법은 교육현장의 혁신에 대한 요구가 증가하면서 관심이 더욱 높아지고 있다.
	최근 고등교육현장에서 강조되는 것은 무엇인가?	이는 다양한 교수-학습모형을 기반으로 한 탐구학습, 극화학습, 프로젝트 및 주제 수업 등을 통해 계발할 수 있다[2]. 이에 최근 고등교육현장에서는 학생이 스스로 문제를 찾고 정보탐색과 토론과정을 통해 사고력, 판단력, 문제해결능력, 창의력과 같은 고등사고 기 능을 개발하는 다양한 교수-학습 방법의 활용이 강조되고 있다[3].
	문제중심학습이 교수자와 학습자에게 미치는 영향은 무엇인가?	이러한 교수법을 통해 교수자는 비구조화된 문제에 학습을 위한 핵심내용과 맥락을 구성함과 동시에 학습 촉진을 위한 교육방식에 대한 고민을 지속하게 되며, 학습자는 제시된 문제를 통해 많은 정보와 지식을 다루며 소집단 활동과 함께 최선의 해결책을 고안함으로서 정보화 시대에 창의적 문제해결자로 성장할 수 있다. 2015 개정 교육과정에서도 능동적이고 창의적으로 문제에 대처할 수 있는 학생을 양성하는 교육 목표를 제시하고 있어, 문제중심학습이 교육현장에 적용될 가치가 있음을 시사하고 있다[7].

참고문헌 (39)

S. W. Ree & Y. M. Koh. (2017). The Aims of Education in the Era of AI. Journal for History of Mathematics, 30(6), 341-351.

원문보기 상세보기
D. J. Treffinger, S. G. Isaksen & Stead-Dorval, K. B. (2005). Creative problem solving: An introduction. Waco : Prufrock Press Inc..
C. S. Park, S. H. Park & S. Y. Jeong. (2010). Research on applicability of Teaching-Learning Methods for Creative Problem Solving to a course in University. Journal of Engineering Education Research, 13(1), 23-37.

원문보기 상세보기
C. H. Kim & S. G. Jeon. (2018). Problem-Based Learning for Enhancing Students Creative Problem-Solving Abilities : Two Cases of Higher Education in. Korean Journal of Resources Development, 21(4), 299-325.

상세보기
S. J. Chae. (2005). Study on reliability and validity of student assessment in problem based learning : focused on the case of A medical college. Doctoral dissertation. Sungshin Women's University, Seoul.
H. J. Lee, S. H. Im & S. M. Kang. (2019). Implications for Innovation in Higher Education from Minerva Schools. Journal of Lifelong Learning Society 15(2), 59-84.

상세보기
S. Glen & K. Wilkie. (2017). Problem-based learning in nursing: A new model for a new context. London : Macmillan International Higher Education.
M. Shon & J. M. Ha. (2008). A Meta-Analysis on the Effects of Problem-Based Learning. The Journal of Educational Information and Media, 14(3), 225-251.
E. H. Yew & K. Goh. (2016). Problem-based learning: An overview of its process and impact on learning. Health Professions Education, 2(2), 75-79.

상세보기
J. S. Shin. (2004). Study on the Factors Influencing on the Effect of Collaborative Learning in the Problem-based Learning of Medical School. Doctoral dissertation. Hanyang University, Seoul.
S. H. Kim, O. J. Kim, E. H. Park & J. Y. Shin. (2006). Does PBL improve Creativity and Creative Problem Solving Ability?. The Journal of Child Education, 15(3), 285-297.
S. Y. Jung & E. K. Lee. (2006). Educational Needs of Nursing Students about Program Outcomes. Journal of Learner-Centered Curriculum and Instruction, 17(10), 1-25. DOI : 10.22251/jlcci.2017.17.10.1
Y. Y. Hwang, M. S. Chu & C. S. Park. (2007). The Effects of Problem Based Learning(PBL) in Nursing Students Studying through PBL Curriculum. The Journal of Korean Academic Society of Nursing Education, 13(2), 155-161.
J. Y. Park & A. J. Woo. (2017). A meta-analysis on the learning effects in problem based learning(PBL). Journal of Learner-Centered Curriculum and Instruction, 17(11), 69-93. DOI : 10.22251/jlcci.2017.17.11.69
S. E. Lee. (2003). The Development and Implementation of PBL(Problem-Based Learning) Module in Maternity Nursing Based on Clinical Cases. Journal of Korean Academy of Nursing, 9(1), 81-93.
H. S. Kim, I. S. Ko, W. H. Lee, S. Y. Bae & J. O. Shim. (2004). Evaluation of Problem-Based Learning in an Undergraduate Nursing Course. Journal of Korean Academy of Children Health Nursing, 10(4), 395-405.
W. S. Lee, S. H. Park & E. Y. Choi. (2008). Development of a Korean Problem Solving Process Inventory for Adults. Journal of Korean Academy Fundamentals of Nursing, 15(4), 548-557.
C. Y. Lee. et al. (2008). Evaluation research on the application of Problem-Based Learning program in community health nursing. The Journal of Korean Community Nursing, 14(4), 1-8.
J. L. F. Choy, G. O'Grady & J. I. Rotgans. (2012). Is the Study Process Questionnaire (SPQ) a good predictor of academic achievement? Examining the mediating role of achievement-related classroom behaviours. Instructional Science, 40(1), 159-172.

상세보기
P. Zeegers. (2002). A revision of the Biggs' study process questionnaire (R-SPQ). Higher Education Research & Development, 21(1), 73-92.

상세보기
B. R. Belland, B. F. French & P. A. Ertmer. (2009). Validity and problem-based learning research: A review of instruments used to assess intended learning outcomes. Interdisciplinary Journal of Problem-based learning, 3(1), 59-89.
C. H. Lawshe. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563-575. DOI : 10.1111/j.1744-6570.1975.tb01393.x

상세보기
L. H. Ludlow & S. M. Haley. (1995). Rasch model logits: Interpretation, use, and transformation. Educational and Psychological Measurement, 55(6), 967-975. DOI : 10.1177/0013164495055006005

상세보기
T. G. Bond & C. M. Fox. (2001). Applying the Rasch Model: Fundamental Measurement in the Human Sciences. New Jersey: Lawrence Erlbaum associates.
A. Kjellberg, L. Haglund, K. Forsyth & G. Kielhofner. (2003). The measurement properties of the swedish version of the assessment of communication and interaction skills. Scandinavian Journal of Caring Sciences, 17(3), 271-277. DOI : 10.1046/j.1471-6712.2003.00225.x

상세보기
A. L. Nilsson, K. S. Sunnerhagen & G. Grimby. (2005). Scoring alternatives for FIM in neurological disorders applying Rasch analysis. Acta neurologica Scandinavica, 111(4), 264-273. DOI : 10.1111/j.1600-0404.2005.00404.x

상세보기
J. M. Linacre. (2002). Optimizing rating scale category effectiveness. Journal of Applied Measurement, 3(1), 85-106.

상세보기
P. W. Duncan, R. K. Bode, S. M. Lai & S. Perera. (2003). Rasch analysis of a new stroke-specific outcome scale: the Stroke Impact Scale. Archives of Physical Medicine and Rehabilitation, 84(7), 950-963. DOI : 10.1016/S0003-9993(03)00035-2

상세보기
R. K. Hambleton. (1991). Fundamentals of item response theory (Vol. 2). Thousand Oaks: Sage publications.
F. M. Lord, M. R. Novick & A. Birnbaum. (1968). Statistical theories of mental test scores. Oxford, England: Addison-Wesley.
V. L. Handa & R. W. Massof. (2004). Measuring the severity of stress urinary incontinence using the Incontinence Impact Questionnaire. Neurourology and Urodynamics, 23(1), 27-32. DOI : 10.1002/nau.10163

상세보기
B. D. Wright & J. M. Linacre. (1992). Combining and splitting categories. Rasch Measurement Transactions, 6(3), 233-235.
J. S. Lee, C. H. Yi, K. Y. Chang & H. C. Kwon. (2007). The Development of Korean Activities of Daily Living Evaluation Tools for Persons With Stroke Out-patient by Using Rasch Analysis. The Journal of Korean Society of Occupational Therapy, 15(1), 1-11.
J. A. Lee, C. H. Yi, S. Y. Park & S. J. Hwang. (2006). Application of Rasch Analysis to the Korean Berg Balance Scale. Physical Therapy Korea. 13(3), 49-56.
D. G. Hong, J. S. Lee, S. K. Kim & B. J. Jeon. (2013). The Development of Swallowing Function Test of Stroke Victims Using a Rasch Analysis. The Journal of Korean Society of Occupational Therapy, 21(4), 71-89. DOI : 10.14519/jksot.2013.21.4.07

상세보기
C. MacKnight & K. Rockwood. (2000). Rasch analysis of the hierarchical assessment of balance and mobility (HABAM). Journal of Clinical Epidemiology, 53(12), 1242-1247. DOI : 10.1016/S0895-4356(00)00255-9

상세보기
J. Funk, C. Fox, M. Chan & K. Curtiss. (2008). The development of the Children's Empathic Attitudes Questionnaire using classical and Rasch analyses. Journal of Applied Developmental Psychology, 29(3), 187-196. DOI : 10.1016/j.appdev.2008.02.005

상세보기
K. Y. Park. (2014). Applying Rasch Analysis for Validation of School Function Assessment. Journal of The Korea Contents Association, 14(3), 269-276. DOI : 10.5392/JKCA.2014.14.03.269

원문보기 상세보기
T. Bond & C. M. Fox. (2015). Applying the Rasch model: Fundamental measurement in the human sciences. London: Routledge.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증