선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- CTP 설계 패턴의 이상과 같은 특징이 본 연구의 비전공자의 프로그래밍 수업 산출물을 평가하는데 적절하다고 판단하여, 본 연구에서 이 준거틀을 기반으로 루브릭을 개발하였다.
- 따라서 본 연구는 CT 요소 준거틀 도입에 대한 근거를 서술하고 신뢰도 평가를 실시함으로서 기존의 CT 기반 평가 루브릭 연구의 한계점을 보완하고자 하였다.
- 본 연구는 비전공자 대상 프로그래밍 수업에서 학생들의 프로젝트 결과물(창의적 산출물)을 CT 기반으로 평가하는 루브릭 개발을 목적으로 진행하였다. 그 결과로 3개의 영역(‘추상화 모델의 설계’, ‘창의적 산출물의 설계 및 적용’, ‘산출물의 자가 평가’)과 10개의 역량 요소로 구성된 루브릭을 개발하였다.
- 본 연구는 컴퓨터 과학 비전공자를 대상으로 실시된 프로그래밍 수업에서 학생들의 산출물을 CT 기반으로 평가할 루브릭을 개발하는 것을 목표로 진행되었다. CT의 다양한 요소 분류 중 CT를 교육 평가적 관점에서 본 ‘CT Practices Design Pattern (컴퓨팅 사고력 수행 설계 패턴)’[26]을 기반으로 수업에 맞게 설계하였다.
- 문헌 연구를 통해 CT의 세부 요소를 ‘절차 및 알고리즘, 병행화 및 동기화, 자료 표현, 추상화, 문제 분해, 시뮬레이션’으로 정의하였다. 연구자는 학생 산출물에서 학생이 CT 역량이 있는지를 확인할 수 있는 증거를 다양하게 수집하는 것을 목적으로 CT 세부 요소를 정의하였다. 정의한 6개의 요소를 바탕으로 수업을 설계하고 평가 루브릭을 만들었다.
가설 설정
- 셋째, 참고 자료의 다양성이다. AP Computer Science Principles와 Exploring Computer Science 등 CS 교육과정, CS 교육 문헌, 과학 교육 문헌, 공학 설계 기준, 커뮤니케이션 및 협업 문헌, 현장 선생님과 교육자 등의 전문가 의견 등을 종합하여 개발하였다.
제안 방법
- 연구자들은 CSTA & ISTE[19]에서 제시한 CT의 9가지 요소인 Data collection, Data Analysis, Data representation, Problem decomposition, Abstraction, Algorithm & procedures, Automation, Simulation, Parallelization에 Connection to other fields를 더하여 CT의 요소를 정의하였다. 10가지 CT요소를 0, 1, 2의 3단계로 나누어 평가하도록 구성하였다.
- 학생들이 약 15분 동안 개발한 애플리케이션에 대해 설명하고 시연하는 동안 평가자가 루브릭에 따라 평가를 진행하였다. 15분 동안 특정 역량을 학생들이 보여주지 않는 경우 질문을 통해 해당 역량을 평가하였다.
- 비전공자를 대상으로 하는 프로그래밍 수업의 프로젝트 산출물 평가에 개발된 루브릭을 사용하였다. 2015년 겨울과 2016년 여름에 실시된 두 번의 수업에 적용하였다.
- 평가 루브릭의 적절성을 평가하는 설문지를 개발하였다. 설문지는 1) 영역 구성과 정의의 적절성, 2) 역량요소의 구성의 적절성과 각 요소의 중요도, 3) 평가요소의 역량요소 평가의 적절성 등으로 구성하였다. 전문가는 5점 척도로 각 문항에 답하였고 각 항목에 대해 서술형태로 제언하였다.
- 둘째, CTP 설계 패턴에서 Supporting 설계 패턴 2개와 1개의 CTP 패턴을 제외한 3개의 패턴을 기반으로 1차 루브릭을 개발하였다. 3개의 패턴(Design and implement creative solutionsand artifacts, Design and apply abstractionsand models, Analyze their computational work and the work of others)을 영역(추상화 모델의 설계, 창의적 산출물의 설계 및 적용, 산출물의 분석)으로 본 수업에 맞게 한글화 및 재정의 작업을 하였다.
- 셋째, 참고 자료의 다양성이다. AP Computer Science Principles와 Exploring Computer Science 등 CS 교육과정, CS 교육 문헌, 과학 교육 문헌, 공학 설계 기준, 커뮤니케이션 및 협업 문헌, 현장 선생님과 교육자 등의 전문가 의견 등을 종합하여 개발하였다.
- CT 기반으로 기 개발된 루브릭을 조사하였다. 국내·외에서 개발과정이 명시된 루브릭 연구를 대상으로 하였다.
- CTP 설계 패턴을 기반으로 전문가 검토를 거쳐 비전공자 프로그래밍 수업의 창의적 산출물 평가에 사용할 루브릭을 개발하였다.
- 루브릭의 타당도과 신뢰도을 검증하기 위해 개발 과정에서 타당도를 확보하고, 사후 점수를 통계처리하여 신뢰도를 검증하였다. CT를 수행(practice) 관점에서 평가하는 준거틀(CTP 설계 모델)을 기반으로 루브릭을 초안을 개발하였다. 1차 초안에 대한 전문가 검토를 더하여 타당도를 확보하였다.
- CT의 다양한 요소 분류 중 CT를 교육 평가적 관점에서 본 ‘CT Practices Design Pattern (컴퓨팅 사고력 수행 설계 패턴)’[26]을 기반으로 수업에 맞게 설계하였다.
- 첫째, 문헌연구는 정보과학 교육 분야에서 개발된 루브릭과 CT 평가 준거틀을 검토하였다. SRI Education에서 개발한 CTP 설계 패턴을 평가의 준거틀로 결정하였다.
- 개발은 문헌연구, 1차 개발, 전문가 검토의 3단계로 진행되었다.
- 특히, 정보과학 기반 수업에서는 학생들이 직접 창의적 산출물을 제작한다. 교수학습 방법으로 산출물 개발을 사용하며, 결과물은 평가 대상으로 활용한다. 산출물은 학생들의 사고를 간접적으로 확인할 수 있는 대상이지만 평가자의 주관에 따라 평가결과가 치우치기 쉽다는 문제가 있다.
- 그 결과로 3개의 영역(‘추상화 모델의 설계’, ‘창의적 산출물의 설계 및 적용’, ‘산출물의 자가 평가’)과 10개의 역량 요소로 구성된 루브릭을 개발하였다.
- 최형신[27]은 초등 로봇 교육에서 대인관계, 협력, CT 능력을 평가하기 위한 도구를 개발하였다. 대인관계는 수업 과정 관찰 시 평가할 수 있는 루브릭을, 협력은 Collaboration Web이라는 평가 도구를, CT는 MIT Media lab에서 스크래치를 운영하며 도출한 CT 요소[28]를 준거틀로 설문조사를 개발하여 평가하였다. 이 준거틀은 <표 1>과 같이 CT를 개념(concepts), 수행(practices), 관점(perspectives)의 3가지 차원으로 나누고 하위 구인을 배치하였다.
- 둘째, CTP 설계 패턴에서 Supporting 설계 패턴 2개와 1개의 CTP 패턴을 제외한 3개의 패턴을 기반으로 1차 루브릭을 개발하였다. 3개의 패턴(Design and implement creative solutionsand artifacts, Design and apply abstractionsand models, Analyze their computational work and the work of others)을 영역(추상화 모델의 설계, 창의적 산출물의 설계 및 적용, 산출물의 분석)으로 본 수업에 맞게 한글화 및 재정의 작업을 하였다.
- 둘째, CT와 같이 평가하기 어려운 구인을 평가하는데 적절한 Evidence-centered design(ECD)에 근거하여 개발하였다. ECD의 5가지 세부 방법은 Domain analysis, Domain modelling, Conceptual assessment framework, Assessment implementation, Assessment delivery이다.
- 둘째, 기 개발된 CT 요소 준거틀을 연구 목적에 맞게 수정하여 적용하였다. 최형신[27] [29] 과 Bort & Brylow[30]은 MIT Media Lab[28]과 CSTA & ISTE[19]을 기반으로 CT 기반 평가 루브릭을 개발하였다.
- 그 결과로 3개의 영역(‘추상화 모델의 설계’, ‘창의적 산출물의 설계 및 적용’, ‘산출물의 자가 평가’)과 10개의 역량 요소로 구성된 루브릭을 개발하였다. 루브릭은 CT를 수행(practice) 관점에서 볼 때 적절하고 중요하다고 판단된 3가지 영역, 해당 영역에서 학생들이 보유해야 할 10가지 역량 요소, 각 역량 요소를 평가하기 위한 평가 요소, 실제 평가에서 어떤 자료를 근거로 판단할 수 있을지 알려주는 평가 자료, 점수 스케일을 제공하는 평가 단계의 5가지로 구성하였다.
- 본 연구는 루브릭을 개발하고 직접 수업에 적용하여 검증하는 단계로 진행되었다.
- 비전공자 대상 프로그래밍 수업에 개발된 루브릭을 적용하여 학생들의 창의적 산출물에 드러난 CT 요소를 평가하였다. 2015년 겨울과 2016년 여름 학기 2차례에 걸쳐 총 33개의 산출물을 평가하였다.
- 이 준거틀은 <표 1>과 같이 CT를 개념(concepts), 수행(practices), 관점(perspectives)의 3가지 차원으로 나누고 하위 구인을 배치하였다. 설문은 각 구인별로 1문항 씩, 4점 척도로, 자기 평가 방식으로 실행되었다.
- 셋째, 1차 개발 루브릭을 3인의 전문가가 검토하였다. 평가 루브릭의 적절성을 평가하는 설문지를 개발하였다.
- 연구자들은 CSTA & ISTE[19]에서 제시한 CT의 9가지 요소인 Data collection, Data Analysis, Data representation, Problem decomposition, Abstraction, Algorithm & procedures, Automation, Simulation, Parallelization에 Connection to other fields를 더하여 CT의 요소를 정의하였다.
- 이 준거틀은 과 같이 CT를 개념(concepts), 수행(practices), 관점(perspectives)의 3가지 차원으로 나누고 하위 구인을 배치하였다.
- 일반적 CT와 모바일 프로그래밍의 CT 요소는 달라야 한다고 보고, 일반 CT 요소 6가지에 모바일 CT 요소 8가지를 추가하였다().
- 내용 타당도는 측정 요소가 해당 영역을 측정하는지에 대한 것이다. 적절한 준거틀인 CTP의 설계 패턴[26]을 근거로 루브릭을 개발하였고, 루브릭 개발 과정에서 전문가 검토를 진행하여 내용 타당도를 확보하였다.
- 연구자는 학생 산출물에서 학생이 CT 역량이 있는지를 확인할 수 있는 증거를 다양하게 수집하는 것을 목적으로 CT 세부 요소를 정의하였다. 정의한 6개의 요소를 바탕으로 수업을 설계하고 평가 루브릭을 만들었다. 평가 루브릭은 정의된 CT 세부 요소를 기초, 발달, 능숙의 3단계 스케일로 구분하였다.
- 첫째, CT를 수행(practice) 관점으로 보았다. CT를 개인의 ‘사고(thinking)’에 국한시키지 않고 “존재하고 사고하는 방법(ways of being and doing)”(3p)으로 이해했다.
- 첫째, 문헌연구는 정보과학 교육 분야에서 개발된 루브릭과 CT 평가 준거틀을 검토하였다. SRI Education에서 개발한 CTP 설계 패턴을 평가의 준거틀로 결정하였다.
- CT의 다양한 요소 분류 중 CT를 교육 평가적 관점에서 본 ‘CT Practices Design Pattern (컴퓨팅 사고력 수행 설계 패턴)’[26]을 기반으로 수업에 맞게 설계하였다. 타당하고 신뢰로운 평가 도구 개발을 위해, 타당도와 신뢰도를 검증하였다.
- 정의한 6개의 요소를 바탕으로 수업을 설계하고 평가 루브릭을 만들었다. 평가 루브릭은 정의된 CT 세부 요소를 기초, 발달, 능숙의 3단계 스케일로 구분하였다.
- 셋째, 1차 개발 루브릭을 3인의 전문가가 검토하였다. 평가 루브릭의 적절성을 평가하는 설문지를 개발하였다. 설문지는 1) 영역 구성과 정의의 적절성, 2) 역량요소의 구성의 적절성과 각 요소의 중요도, 3) 평가요소의 역량요소 평가의 적절성 등으로 구성하였다.
- 이 평가요소는 ADS와 시연을 통해 평가할 수 있다(평가 자료). 평가를 위해 3단계로 구성되어 점수 스케일(1-3, 4-6, 7-10점)을 제공(평가 단계)하였다.
대상 데이터
- 비전공자 대상 프로그래밍 수업에 개발된 루브릭을 적용하여 학생들의 창의적 산출물에 드러난 CT 요소를 평가하였다. 2015년 겨울과 2016년 여름 학기 2차례에 걸쳐 총 33개의 산출물을 평가하였다. 프로젝트 운영 방식이 개인에서 팀으로 변경되어 2015년 겨울에는 24개의 산출물을 평가하였지만, 2016년 여름에는 7개의 산출물을 평가하였다.
- 3개 패턴의 하위 FKSA 64개 중 본 수업에 타당하다고 판단된 11개를 선정하여 하위 역량요소로 재구성 하였다. 예를 들어, Design and implement creative solutions and artifacts 내의 ‘기존의 프로그램을 새로운 문제나 목표의 관점으로 평가하는 능력(Ability to evaluate existing programs and solutions in light of a new problem and purpose)’의 경우, 산출물 개발 시, 기존 프로그램을 반드시 사용해야 한다는 의무가 없었기 때문에 평가 요소에 반영하지 않았다.
- 국내·외에서 개발과정이 명시된 루브릭 연구를 대상으로 하였다.
- 2015년 겨울과 2016년 여름 학기 2차례에 걸쳐 총 33개의 산출물을 평가하였다. 프로젝트 운영 방식이 개인에서 팀으로 변경되어 2015년 겨울에는 24개의 산출물을 평가하였지만, 2016년 여름에는 7개의 산출물을 평가하였다.
- 학생들의 산출물은 3인이 평가하였다. 학생들이 약 15분 동안 개발한 애플리케이션에 대해 설명하고 시연하는 동안 평가자가 루브릭에 따라 평가를 진행하였다.
데이터처리
- 3명의 평가자는 루브릭을 적용하여 10개 항목(역량 요소)을 각 각 10점으로 하여 점수를 합산하였다. 3명의 평가자 점수를 평균하여 낸 점수를 종합해 보면 <표 8>과 같다.
- 둘째, 신뢰도는 루브릭을 사용하였을 때 평가자가 얼마나 일관(consistency)되게 평가하는 지에 대한 것으로, Cronbach’s α로 계산하였다.
- 루브릭의 타당도과 신뢰도을 검증하기 위해 개발 과정에서 타당도를 확보하고, 사후 점수를 통계처리하여 신뢰도를 검증하였다. CT를 수행(practice) 관점에서 평가하는 준거틀(CTP 설계 모델)을 기반으로 루브릭을 초안을 개발하였다.
- 앞서 언급하였듯 2015년 수업은 개인별 프로젝트로, 2016년에는 팀별 프로젝트로 진행되었다. 산출물 개발 단위(개인별, 팀별)에 따라 루브릭 항목별 점수 평균이 차이가 있는지를 t-test로 검사해 보았다. 그 결과 항목별 평균 점수 차이도 최대 0.
- 1차 초안에 대한 전문가 검토를 더하여 타당도를 확보하였다. 신뢰도는 평가자간 (inter- rater) 신뢰도의 일관성으로 검증하였다. Cronbach’α를 사용하여 계산하였다.
이론/모형
- 비전공자를 대상으로 하는 프로그래밍 수업의 프로젝트 산출물 평가에 개발된 루브릭을 사용하였다. 2015년 겨울과 2016년 여름에 실시된 두 번의 수업에 적용하였다.
- 준거틀은 SRI Education의 PACT (Principled Assessment of Computational Development) 프로젝트에서 개발한 ‘CT Practices Design Pattern (컴퓨팅 사고력 수행 설계 패턴, 이하 CTP 설계 패턴)’[26]을 선택하였다.
- 학생들의 산출물은 3인이 평가하였다. 학생들이 약 15분 동안 개발한 애플리케이션에 대해 설명하고 시연하는 동안 평가자가 루브릭에 따라 평가를 진행하였다. 15분 동안 특정 역량을 학생들이 보여주지 않는 경우 질문을 통해 해당 역량을 평가하였다.
성능/효과
- 넷째, 전문가 응답 점수와 서술식 제언을 종합하여 최종 루브릭을 완성하였다. 적절성 점수가 가장 낮았던 ‘산출물을 심미적 기준으로 평가할 수 있는 능력’ 역량기준은 삭제하였다.
- 넷째, 해당 영역의 지식 혹은 기술을 학생이 보유하고 있는지 확인 할 수 있도록 측정 가능한 요소를 제공하였다.
- 다섯째, 일반화 가능하도록 어떤 산출물을 평가하면 되는지, 어떤 평가 환경이 적절한지, 평가 시 어떤 변수가 발생할지 등에 대한 자세한 설명을 제공하였다.
- 첫째, 타당도는 개발 과정에서 확보하였다. 내용 타당도는 측정 요소가 해당 영역을 측정하는지에 대한 것이다.
후속연구
- 이미 여러 문헌에서도 학생들의 동기와 학업성취 부분에서 루브릭이 긍정적 영향을 미치고 있음을 밝히고 있다[32][34][35]. 교수학습도구로서도 본 루브릭이 사용되고, 그 영향에 대해 후속 연구가 진행되길 기대해본다.
- 고등교육 대상 루브릭은 더욱 제한적이다. 비전공자 대상 교육의 확대가 기대되는 바, 향후 CT 기반 루브릭 개발 연구가 확대될 필요가 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.