비전공자 프로그래밍 수업 창의적 산출물의 컴퓨팅 사고력 기반 평가 루브릭 개발 Development of a scoring rubric based on Computational Thinking for evaluating students' computational artifacts in programming course원문보기
고등교육의 비전공자 대상 정보과학 교육의 수요가 늘고 있지만, 컴퓨팅 사고력 관점에서 적절하게 학생들의 창의적 산출물을 평가하는 도구는 부족하다. 이에 본 연구는 고등교육의 비전공자를 위한 정보 과학 수업에서 학생들이 개발한 창의적 산출물을 컴퓨팅 사고력 관점에서 평가하는 루브릭을 개발하기 위한 목적으로 진행되었다. 루브릭 초안의 준거틀(framework)은 CT Practices Design Pattern이며, 개발된 루브릭의 구성 요소는 영역, 역량요소, 평가요소, 평가자료, 평가단계의 다섯 가지이다. 루브릭은 '추상화 모델의 설계', '창의적 산출물의 설계 및 적용', 그리고 '산출물의 자가 평가'의 세 영역으로 구분하여 개발되었다. 전문가 검토를 통해 내용 타당성을 확보하였으며, 신뢰도 측면의 일관성이 검증되었다. 본 연구에서 개발된 루브릭은 해당 목적에 맞게 수정하여 사용할 수 있다.
고등교육의 비전공자 대상 정보과학 교육의 수요가 늘고 있지만, 컴퓨팅 사고력 관점에서 적절하게 학생들의 창의적 산출물을 평가하는 도구는 부족하다. 이에 본 연구는 고등교육의 비전공자를 위한 정보 과학 수업에서 학생들이 개발한 창의적 산출물을 컴퓨팅 사고력 관점에서 평가하는 루브릭을 개발하기 위한 목적으로 진행되었다. 루브릭 초안의 준거틀(framework)은 CT Practices Design Pattern이며, 개발된 루브릭의 구성 요소는 영역, 역량요소, 평가요소, 평가자료, 평가단계의 다섯 가지이다. 루브릭은 '추상화 모델의 설계', '창의적 산출물의 설계 및 적용', 그리고 '산출물의 자가 평가'의 세 영역으로 구분하여 개발되었다. 전문가 검토를 통해 내용 타당성을 확보하였으며, 신뢰도 측면의 일관성이 검증되었다. 본 연구에서 개발된 루브릭은 해당 목적에 맞게 수정하여 사용할 수 있다.
The demands of computer science education for non-majors in higher education is increasing but relevant evaluation tools for the students' computational artifacts are lack. This research aims to develop a scoring rubric to assess student's computational artifacts in non-major programming course at C...
The demands of computer science education for non-majors in higher education is increasing but relevant evaluation tools for the students' computational artifacts are lack. This research aims to develop a scoring rubric to assess student's computational artifacts in non-major programming course at Computational Thinking point of view. The rubric was developed based on 'CT Practice Design Pattern' as a framework. The rubric consists of 'domain, skills, evaluation, evaluating resources, and scales'. Domains are 'Design of abstract model', 'Design and application of creative artifacts', and 'Analysis of the artifacts'. Experts reviewed the rubric to ensure contents validity. The rubric is resulted in reliable for consistency. This rubric can be revised and applied to application environment accordingly.
The demands of computer science education for non-majors in higher education is increasing but relevant evaluation tools for the students' computational artifacts are lack. This research aims to develop a scoring rubric to assess student's computational artifacts in non-major programming course at Computational Thinking point of view. The rubric was developed based on 'CT Practice Design Pattern' as a framework. The rubric consists of 'domain, skills, evaluation, evaluating resources, and scales'. Domains are 'Design of abstract model', 'Design and application of creative artifacts', and 'Analysis of the artifacts'. Experts reviewed the rubric to ensure contents validity. The rubric is resulted in reliable for consistency. This rubric can be revised and applied to application environment accordingly.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
CTP 설계 패턴의 이상과 같은 특징이 본 연구의 비전공자의 프로그래밍 수업 산출물을 평가하는데 적절하다고 판단하여, 본 연구에서 이 준거틀을 기반으로 루브릭을 개발하였다.
따라서 본 연구는 CT 요소 준거틀 도입에 대한 근거를 서술하고 신뢰도 평가를 실시함으로서 기존의 CT 기반 평가 루브릭 연구의 한계점을 보완하고자 하였다.
본 연구는 비전공자 대상 프로그래밍 수업에서 학생들의 프로젝트 결과물(창의적 산출물)을 CT 기반으로 평가하는 루브릭 개발을 목적으로 진행하였다. 그 결과로 3개의 영역(‘추상화 모델의 설계’, ‘창의적 산출물의 설계 및 적용’, ‘산출물의 자가 평가’)과 10개의 역량 요소로 구성된 루브릭을 개발하였다.
본 연구는 컴퓨터 과학 비전공자를 대상으로 실시된 프로그래밍 수업에서 학생들의 산출물을 CT 기반으로 평가할 루브릭을 개발하는 것을 목표로 진행되었다. CT의 다양한 요소 분류 중 CT를 교육 평가적 관점에서 본 ‘CT Practices Design Pattern (컴퓨팅 사고력 수행 설계 패턴)’[26]을 기반으로 수업에 맞게 설계하였다.
문헌 연구를 통해 CT의 세부 요소를 ‘절차 및 알고리즘, 병행화 및 동기화, 자료 표현, 추상화, 문제 분해, 시뮬레이션’으로 정의하였다. 연구자는 학생 산출물에서 학생이 CT 역량이 있는지를 확인할 수 있는 증거를 다양하게 수집하는 것을 목적으로 CT 세부 요소를 정의하였다. 정의한 6개의 요소를 바탕으로 수업을 설계하고 평가 루브릭을 만들었다.
가설 설정
셋째, 참고 자료의 다양성이다. AP Computer Science Principles와 Exploring Computer Science 등 CS 교육과정, CS 교육 문헌, 과학 교육 문헌, 공학 설계 기준, 커뮤니케이션 및 협업 문헌, 현장 선생님과 교육자 등의 전문가 의견 등을 종합하여 개발하였다.
제안 방법
연구자들은 CSTA & ISTE[19]에서 제시한 CT의 9가지 요소인 Data collection, Data Analysis, Data representation, Problem decomposition, Abstraction, Algorithm & procedures, Automation, Simulation, Parallelization에 Connection to other fields를 더하여 CT의 요소를 정의하였다. 10가지 CT요소를 0, 1, 2의 3단계로 나누어 평가하도록 구성하였다.
학생들이 약 15분 동안 개발한 애플리케이션에 대해 설명하고 시연하는 동안 평가자가 루브릭에 따라 평가를 진행하였다. 15분 동안 특정 역량을 학생들이 보여주지 않는 경우 질문을 통해 해당 역량을 평가하였다.
비전공자를 대상으로 하는 프로그래밍 수업의 프로젝트 산출물 평가에 개발된 루브릭을 사용하였다. 2015년 겨울과 2016년 여름에 실시된 두 번의 수업에 적용하였다.
평가 루브릭의 적절성을 평가하는 설문지를 개발하였다. 설문지는 1) 영역 구성과 정의의 적절성, 2) 역량요소의 구성의 적절성과 각 요소의 중요도, 3) 평가요소의 역량요소 평가의 적절성 등으로 구성하였다. 전문가는 5점 척도로 각 문항에 답하였고 각 항목에 대해 서술형태로 제언하였다.
둘째, CTP 설계 패턴에서 Supporting 설계 패턴 2개와 1개의 CTP 패턴을 제외한 3개의 패턴을 기반으로 1차 루브릭을 개발하였다. 3개의 패턴(Design and implement creative solutionsand artifacts, Design and apply abstractionsand models, Analyze their computational work and the work of others)을 영역(추상화 모델의 설계, 창의적 산출물의 설계 및 적용, 산출물의 분석)으로 본 수업에 맞게 한글화 및 재정의 작업을 하였다.
셋째, 참고 자료의 다양성이다. AP Computer Science Principles와 Exploring Computer Science 등 CS 교육과정, CS 교육 문헌, 과학 교육 문헌, 공학 설계 기준, 커뮤니케이션 및 협업 문헌, 현장 선생님과 교육자 등의 전문가 의견 등을 종합하여 개발하였다.
CT 기반으로 기 개발된 루브릭을 조사하였다. 국내·외에서 개발과정이 명시된 루브릭 연구를 대상으로 하였다.
CTP 설계 패턴을 기반으로 전문가 검토를 거쳐 비전공자 프로그래밍 수업의 창의적 산출물 평가에 사용할 루브릭을 개발하였다.
루브릭의 타당도과 신뢰도을 검증하기 위해 개발 과정에서 타당도를 확보하고, 사후 점수를 통계처리하여 신뢰도를 검증하였다. CT를 수행(practice) 관점에서 평가하는 준거틀(CTP 설계 모델)을 기반으로 루브릭을 초안을 개발하였다. 1차 초안에 대한 전문가 검토를 더하여 타당도를 확보하였다.
CT의 다양한 요소 분류 중 CT를 교육 평가적 관점에서 본 ‘CT Practices Design Pattern (컴퓨팅 사고력 수행 설계 패턴)’[26]을 기반으로 수업에 맞게 설계하였다.
첫째, 문헌연구는 정보과학 교육 분야에서 개발된 루브릭과 CT 평가 준거틀을 검토하였다. SRI Education에서 개발한 CTP 설계 패턴을 평가의 준거틀로 결정하였다.
개발은 문헌연구, 1차 개발, 전문가 검토의 3단계로 진행되었다.
특히, 정보과학 기반 수업에서는 학생들이 직접 창의적 산출물을 제작한다. 교수학습 방법으로 산출물 개발을 사용하며, 결과물은 평가 대상으로 활용한다. 산출물은 학생들의 사고를 간접적으로 확인할 수 있는 대상이지만 평가자의 주관에 따라 평가결과가 치우치기 쉽다는 문제가 있다.
그 결과로 3개의 영역(‘추상화 모델의 설계’, ‘창의적 산출물의 설계 및 적용’, ‘산출물의 자가 평가’)과 10개의 역량 요소로 구성된 루브릭을 개발하였다.
최형신[27]은 초등 로봇 교육에서 대인관계, 협력, CT 능력을 평가하기 위한 도구를 개발하였다. 대인관계는 수업 과정 관찰 시 평가할 수 있는 루브릭을, 협력은 Collaboration Web이라는 평가 도구를, CT는 MIT Media lab에서 스크래치를 운영하며 도출한 CT 요소[28]를 준거틀로 설문조사를 개발하여 평가하였다. 이 준거틀은 <표 1>과 같이 CT를 개념(concepts), 수행(practices), 관점(perspectives)의 3가지 차원으로 나누고 하위 구인을 배치하였다.
둘째, CTP 설계 패턴에서 Supporting 설계 패턴 2개와 1개의 CTP 패턴을 제외한 3개의 패턴을 기반으로 1차 루브릭을 개발하였다. 3개의 패턴(Design and implement creative solutionsand artifacts, Design and apply abstractionsand models, Analyze their computational work and the work of others)을 영역(추상화 모델의 설계, 창의적 산출물의 설계 및 적용, 산출물의 분석)으로 본 수업에 맞게 한글화 및 재정의 작업을 하였다.
둘째, CT와 같이 평가하기 어려운 구인을 평가하는데 적절한 Evidence-centered design(ECD)에 근거하여 개발하였다. ECD의 5가지 세부 방법은 Domain analysis, Domain modelling, Conceptual assessment framework, Assessment implementation, Assessment delivery이다.
둘째, 기 개발된 CT 요소 준거틀을 연구 목적에 맞게 수정하여 적용하였다. 최형신[27] [29] 과 Bort & Brylow[30]은 MIT Media Lab[28]과 CSTA & ISTE[19]을 기반으로 CT 기반 평가 루브릭을 개발하였다.
그 결과로 3개의 영역(‘추상화 모델의 설계’, ‘창의적 산출물의 설계 및 적용’, ‘산출물의 자가 평가’)과 10개의 역량 요소로 구성된 루브릭을 개발하였다. 루브릭은 CT를 수행(practice) 관점에서 볼 때 적절하고 중요하다고 판단된 3가지 영역, 해당 영역에서 학생들이 보유해야 할 10가지 역량 요소, 각 역량 요소를 평가하기 위한 평가 요소, 실제 평가에서 어떤 자료를 근거로 판단할 수 있을지 알려주는 평가 자료, 점수 스케일을 제공하는 평가 단계의 5가지로 구성하였다.
본 연구는 루브릭을 개발하고 직접 수업에 적용하여 검증하는 단계로 진행되었다.
비전공자 대상 프로그래밍 수업에 개발된 루브릭을 적용하여 학생들의 창의적 산출물에 드러난 CT 요소를 평가하였다. 2015년 겨울과 2016년 여름 학기 2차례에 걸쳐 총 33개의 산출물을 평가하였다.
이 준거틀은 <표 1>과 같이 CT를 개념(concepts), 수행(practices), 관점(perspectives)의 3가지 차원으로 나누고 하위 구인을 배치하였다. 설문은 각 구인별로 1문항 씩, 4점 척도로, 자기 평가 방식으로 실행되었다.
셋째, 1차 개발 루브릭을 3인의 전문가가 검토하였다. 평가 루브릭의 적절성을 평가하는 설문지를 개발하였다.
연구자들은 CSTA & ISTE[19]에서 제시한 CT의 9가지 요소인 Data collection, Data Analysis, Data representation, Problem decomposition, Abstraction, Algorithm & procedures, Automation, Simulation, Parallelization에 Connection to other fields를 더하여 CT의 요소를 정의하였다.
이 준거틀은 과 같이 CT를 개념(concepts), 수행(practices), 관점(perspectives)의 3가지 차원으로 나누고 하위 구인을 배치하였다.
일반적 CT와 모바일 프로그래밍의 CT 요소는 달라야 한다고 보고, 일반 CT 요소 6가지에 모바일 CT 요소 8가지를 추가하였다().
내용 타당도는 측정 요소가 해당 영역을 측정하는지에 대한 것이다. 적절한 준거틀인 CTP의 설계 패턴[26]을 근거로 루브릭을 개발하였고, 루브릭 개발 과정에서 전문가 검토를 진행하여 내용 타당도를 확보하였다.
연구자는 학생 산출물에서 학생이 CT 역량이 있는지를 확인할 수 있는 증거를 다양하게 수집하는 것을 목적으로 CT 세부 요소를 정의하였다. 정의한 6개의 요소를 바탕으로 수업을 설계하고 평가 루브릭을 만들었다. 평가 루브릭은 정의된 CT 세부 요소를 기초, 발달, 능숙의 3단계 스케일로 구분하였다.
첫째, CT를 수행(practice) 관점으로 보았다. CT를 개인의 ‘사고(thinking)’에 국한시키지 않고 “존재하고 사고하는 방법(ways of being and doing)”(3p)으로 이해했다.
첫째, 문헌연구는 정보과학 교육 분야에서 개발된 루브릭과 CT 평가 준거틀을 검토하였다. SRI Education에서 개발한 CTP 설계 패턴을 평가의 준거틀로 결정하였다.
CT의 다양한 요소 분류 중 CT를 교육 평가적 관점에서 본 ‘CT Practices Design Pattern (컴퓨팅 사고력 수행 설계 패턴)’[26]을 기반으로 수업에 맞게 설계하였다. 타당하고 신뢰로운 평가 도구 개발을 위해, 타당도와 신뢰도를 검증하였다.
정의한 6개의 요소를 바탕으로 수업을 설계하고 평가 루브릭을 만들었다. 평가 루브릭은 정의된 CT 세부 요소를 기초, 발달, 능숙의 3단계 스케일로 구분하였다.
셋째, 1차 개발 루브릭을 3인의 전문가가 검토하였다. 평가 루브릭의 적절성을 평가하는 설문지를 개발하였다. 설문지는 1) 영역 구성과 정의의 적절성, 2) 역량요소의 구성의 적절성과 각 요소의 중요도, 3) 평가요소의 역량요소 평가의 적절성 등으로 구성하였다.
이 평가요소는 ADS와 시연을 통해 평가할 수 있다(평가 자료). 평가를 위해 3단계로 구성되어 점수 스케일(1-3, 4-6, 7-10점)을 제공(평가 단계)하였다.
대상 데이터
비전공자 대상 프로그래밍 수업에 개발된 루브릭을 적용하여 학생들의 창의적 산출물에 드러난 CT 요소를 평가하였다. 2015년 겨울과 2016년 여름 학기 2차례에 걸쳐 총 33개의 산출물을 평가하였다. 프로젝트 운영 방식이 개인에서 팀으로 변경되어 2015년 겨울에는 24개의 산출물을 평가하였지만, 2016년 여름에는 7개의 산출물을 평가하였다.
3개 패턴의 하위 FKSA 64개 중 본 수업에 타당하다고 판단된 11개를 선정하여 하위 역량요소로 재구성 하였다. 예를 들어, Design and implement creative solutions and artifacts 내의 ‘기존의 프로그램을 새로운 문제나 목표의 관점으로 평가하는 능력(Ability to evaluate existing programs and solutions in light of a new problem and purpose)’의 경우, 산출물 개발 시, 기존 프로그램을 반드시 사용해야 한다는 의무가 없었기 때문에 평가 요소에 반영하지 않았다.
국내·외에서 개발과정이 명시된 루브릭 연구를 대상으로 하였다.
2015년 겨울과 2016년 여름 학기 2차례에 걸쳐 총 33개의 산출물을 평가하였다. 프로젝트 운영 방식이 개인에서 팀으로 변경되어 2015년 겨울에는 24개의 산출물을 평가하였지만, 2016년 여름에는 7개의 산출물을 평가하였다.
학생들의 산출물은 3인이 평가하였다. 학생들이 약 15분 동안 개발한 애플리케이션에 대해 설명하고 시연하는 동안 평가자가 루브릭에 따라 평가를 진행하였다.
데이터처리
3명의 평가자는 루브릭을 적용하여 10개 항목(역량 요소)을 각 각 10점으로 하여 점수를 합산하였다. 3명의 평가자 점수를 평균하여 낸 점수를 종합해 보면 <표 8>과 같다.
둘째, 신뢰도는 루브릭을 사용하였을 때 평가자가 얼마나 일관(consistency)되게 평가하는 지에 대한 것으로, Cronbach’s α로 계산하였다.
루브릭의 타당도과 신뢰도을 검증하기 위해 개발 과정에서 타당도를 확보하고, 사후 점수를 통계처리하여 신뢰도를 검증하였다. CT를 수행(practice) 관점에서 평가하는 준거틀(CTP 설계 모델)을 기반으로 루브릭을 초안을 개발하였다.
앞서 언급하였듯 2015년 수업은 개인별 프로젝트로, 2016년에는 팀별 프로젝트로 진행되었다. 산출물 개발 단위(개인별, 팀별)에 따라 루브릭 항목별 점수 평균이 차이가 있는지를 t-test로 검사해 보았다. 그 결과 항목별 평균 점수 차이도 최대 0.
1차 초안에 대한 전문가 검토를 더하여 타당도를 확보하였다. 신뢰도는 평가자간 (inter- rater) 신뢰도의 일관성으로 검증하였다. Cronbach’α를 사용하여 계산하였다.
이론/모형
비전공자를 대상으로 하는 프로그래밍 수업의 프로젝트 산출물 평가에 개발된 루브릭을 사용하였다. 2015년 겨울과 2016년 여름에 실시된 두 번의 수업에 적용하였다.
준거틀은 SRI Education의 PACT (Principled Assessment of Computational Development) 프로젝트에서 개발한 ‘CT Practices Design Pattern (컴퓨팅 사고력 수행 설계 패턴, 이하 CTP 설계 패턴)’[26]을 선택하였다.
학생들의 산출물은 3인이 평가하였다. 학생들이 약 15분 동안 개발한 애플리케이션에 대해 설명하고 시연하는 동안 평가자가 루브릭에 따라 평가를 진행하였다. 15분 동안 특정 역량을 학생들이 보여주지 않는 경우 질문을 통해 해당 역량을 평가하였다.
성능/효과
넷째, 전문가 응답 점수와 서술식 제언을 종합하여 최종 루브릭을 완성하였다. 적절성 점수가 가장 낮았던 ‘산출물을 심미적 기준으로 평가할 수 있는 능력’ 역량기준은 삭제하였다.
넷째, 해당 영역의 지식 혹은 기술을 학생이 보유하고 있는지 확인 할 수 있도록 측정 가능한 요소를 제공하였다.
다섯째, 일반화 가능하도록 어떤 산출물을 평가하면 되는지, 어떤 평가 환경이 적절한지, 평가 시 어떤 변수가 발생할지 등에 대한 자세한 설명을 제공하였다.
첫째, 타당도는 개발 과정에서 확보하였다. 내용 타당도는 측정 요소가 해당 영역을 측정하는지에 대한 것이다.
후속연구
이미 여러 문헌에서도 학생들의 동기와 학업성취 부분에서 루브릭이 긍정적 영향을 미치고 있음을 밝히고 있다[32][34][35]. 교수학습도구로서도 본 루브릭이 사용되고, 그 영향에 대해 후속 연구가 진행되길 기대해본다.
고등교육 대상 루브릭은 더욱 제한적이다. 비전공자 대상 교육의 확대가 기대되는 바, 향후 CT 기반 루브릭 개발 연구가 확대될 필요가 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
정부는 정보교육 강화를 위해 어떤 노력을 하고 있는가?
강의를 개설하거나 커리큘럼을 변경하는 등 각 학교별로 노력하고 있다[8][9]. 정부는 과제나 사업 형태로 고등교육의 정보과학 교육 강화를 지원하고 있다. 미국의 Transforming Undergraduate Education in Science, Technology, Engineering and Mathematics (TUES)[10]나 한국의 SW 중심대학사업[11]이 대표적이다.
루브릭은 무엇인가?
평가 루브릭은(Scoring rubrics)은 이를 해결하기 위해 사용하는 평가방법이다. 루브릭은 학생들의 산출물을 평가하기 위해 만들어진 평가 가이드라인으로, 평가자는 루브릭을 이용하여 에세이, 프로그램, 발표 등 여러 산출물을 좀 더 객관적으로 평가할 수 있다[24][25]. 학생의 산출물에 CT의 요소가 포함되었는지를 살펴봄으로서, 루브릭을 학생들의 CT 평가에 활용 가능하다.
비전공자 대상 교육의 핵심은 무엇인가?
고등교육에서 정보과학교육 내용 및 접근성 향상으로 비전공자 대상 교육이 확대되고 있다. 비전공자 대상 교육의 핵심은 CT의 강화이다. 비전공자 교육의 목표는 기술자를 양성하는 것이 아니라 각 전공 영역에 정보과학의 기본 개념과 원리를 적용할 수 있는 인재를 길러내는 것에 있기 때문이다.
참고문헌 (35)
우호성, 김자미, 이원규 (2017). 해외 고등정보 표준교육과정 기반의 국내 대학 교육과정 비교 분석, 한국컴퓨터교육학회 논문지, 20(1), 27-38.
김민자, 김현철 (2016). 정보 교과 경험 차이에 따른 대학 전공 선택 및 SW수업 학업성취 분석, 한국컴퓨터교육학회 논문지, 19(3), 1-9.
김자미, 이원규 (2014). 영국의 교육과정 개정으로 본 정보교과의 지식과 문제해결력에 대한 쟁점, 한국컴퓨터교육학회 논문지, 17(3), 53-62.
Department for Education (2014). The national curriculum in England: Framework document, Department for Education.
김한성, 정혜진, 이원규 (2010). 한국과 일본의 고등학교 정보교과 교육과정 비교 연구, 비교교육연구, 20(4), 129-151.
김자미, 이원규 (2014). 브루너 이론에 근거한 인도의 정보교육과정 고찰, 한국컴퓨터교육학회, 17(6), 59-69.
National Science Foundation (2017, January 5). Transforming Undergraduate Education in Science, Technology, Engineering and Mathematics. Retrieved from http://nsf.gov
미래창조과학부, 정보통신산업진흥원 (2016년 11월 17일). 소프트웨어 중심대학. 소프트웨어 중심사회. 출처: https://software.kr
Qualls, J. & Sherrell, L. (2010). Why Computational Thinking should be integrated into the curriculum, Journal of Computing Sciences in Colleges, 25(5), 66-71.
Committee for the Workshops on Computational Thinking; National Research Council (2011). Report of a workshop of pedagogical aspects of Computational Thinking, Washington, D.C.: The National Academies Press.
Committee for the Workshops on Computational Thinking; National Research Council (2010). Report of a workshop on the scope and nature of Computational Thinking. Washington, D.C.: The National Academies Press.
Wing, J. (2006). Computational Thinking, Communications of the ACM, Viewpoint, 49(3), 33-35.
Wing, J. (2008). Computational Thinking and thinking about computing, Philosophical transactions of the Royal Society A, 366, 3717-3725.
Lee, I., Martin, F., Denner, J., Coulter, B., Allan, W., Erickson, J., Malyn-Smith, J., & Werner., L. (2010). Computational thinking for youth in practice, ACM Inroads, 2(1), 33-37.
Barr, V., & Stephenson, C. (2011). Bringing computational thinking to K-12: What is involved and what is the role of the computer science education community?, ACM Inroads, 2(1), 48-54.
CSTA & ISTE (2011). Computational Thinking in K-12 education - teacher resources, 2nd edition, CSTA & ISTE.
Computing at School Working Group (2012). Computer Science: A curriculum for schools, Computing at School.
이영준, 백성혜, 신재홍, 유헌창, 정인기, 안상진, 최정원, 전성균 (2014). 초중등 단계 Computational Thinking 도입을 위한 기초 연구, 한국과학창의재단.
Denning, P. & Martell, C. (2015). Great principles of computing, The MIT Press.
성태제 (2014). 문항제작 및 분석의 이론과 실제 (개정판). 서울: 학지사.
Josson, A. & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences, Educational Research Review, 2(2007), 130-144.
Bienkowski, M., Snow, E., Rutstein, D., & Grover, S. (2015). Assessment design patterns for computational thinking practices in secondary computer science: A first look (SRI technical report). Menlo Park, CA: SRI International.
최형신 (2014). 로봇활용교육의 효과성 검증을 위한 평가도구 개발: 사회.문화적 맥락 및 컴퓨팅 사고 연계, 한국정보교육학회 논문지, 18(4), 541-548.
Brennan, K. & Resnick, M. (2012). New frameworks for studying and assessing the development of computational thinking, Paper presented at annual American Educational Research Association meeting, Vancouver, BC, Canada.
최형신 (2014). Computational Thinking 역량 개발을 위한 수업 설계 및 평가 루브릭 개발, 한국정보교육학회 논문지, 18(1), 57-64.
Bort, H. & Brylow, D. (2013). CS4Impact: Measuring Computationl Thinking concepts present in CS4HS participants lesson plans, Proceedings in SIGCSE 2013, March 6-9, Denver, Colorado, USA.
Sherman, M. & Martin, F. (2015). The assessment of mobile computational thinking, Journal of Computing Sciences in Colleges, 30(6), 53-59.
Josson, A. & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences, Educational Research Review, 2(2007), 130-144.
Moskal, B. & Leydens, K. (2000). Scoring rubric development: Validity and reliability, Practical Assessment, Research & Education, 7(10), Retrieved September 19, 2016 from http://PAREonline.net/getvn.asp?v7&n10.
Reddy, Y. & Andrade, H. (2010). A review of rubric use in higher education, Assessment & Evaluation in Higher Education, 35(4), 435-448.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.