본 논문에서는 2016년부터 초 중학교에서 확대 강화되는 SW 교육에서 학생들이 개발한 SW 프로그램을 창의력, 논리력, 문제해결력 등과 같은 교육적 가치 측면과 효율성, 신뢰성, 완전성 등과 같은 SW 품질적 측면이 조화롭게 평가될 수 있는 평가지표를 개발하고자 하였다. 이를 위해서 먼저 SW교육의 단계별로 교육적 가치 측면과 SW 품질적 측면에서의 15개의 SW 프로그램 평가요소를 설정하고 각 평가요소별 총 36개의 평가기준을 개발하였다. 그리고 15개 평가요소와 36개의 평가기준에 대하여 SW교육 및 프로그래밍 전문가 39명에게 평가요소와 평가기준의 타당성을 검토 받았으며, 그 결과, 15개 평가요소와 36개 평가기준 모두 타당성이 양호한 것으로 나타났다. 본 논문에서 개발된 SW 프로그램 평가지표는 SW교육의 신뢰성을 높여주고 학생들에게 자신의 학습에 대한 자아성찰의 기회를 제공해 주며, 정보영재교육과 SW 프로그램 공모전 및 경시대회, SW 능력 인증 및 자격제도 등의 다양한 교육활동 활성화에 기여할 것으로 기대된다.
본 논문에서는 2016년부터 초 중학교에서 확대 강화되는 SW 교육에서 학생들이 개발한 SW 프로그램을 창의력, 논리력, 문제해결력 등과 같은 교육적 가치 측면과 효율성, 신뢰성, 완전성 등과 같은 SW 품질적 측면이 조화롭게 평가될 수 있는 평가지표를 개발하고자 하였다. 이를 위해서 먼저 SW교육의 단계별로 교육적 가치 측면과 SW 품질적 측면에서의 15개의 SW 프로그램 평가요소를 설정하고 각 평가요소별 총 36개의 평가기준을 개발하였다. 그리고 15개 평가요소와 36개의 평가기준에 대하여 SW교육 및 프로그래밍 전문가 39명에게 평가요소와 평가기준의 타당성을 검토 받았으며, 그 결과, 15개 평가요소와 36개 평가기준 모두 타당성이 양호한 것으로 나타났다. 본 논문에서 개발된 SW 프로그램 평가지표는 SW교육의 신뢰성을 높여주고 학생들에게 자신의 학습에 대한 자아성찰의 기회를 제공해 주며, 정보영재교육과 SW 프로그램 공모전 및 경시대회, SW 능력 인증 및 자격제도 등의 다양한 교육활동 활성화에 기여할 것으로 기대된다.
In this paper, I developed a assesment indicator to evaluate SW program developed by students in SW education. The SW education carry out in elementary school, middle school and high school from 2016. But the assesment indicator to evaluate SW program had not been developed until now. Therefore, I t...
In this paper, I developed a assesment indicator to evaluate SW program developed by students in SW education. The SW education carry out in elementary school, middle school and high school from 2016. But the assesment indicator to evaluate SW program had not been developed until now. Therefore, I tried to develop the assesment indicator that have harmoniously educational characteristic and SW qualitative characteristic. First of all, I had set the 15 attributes for assesment and developed the 36 criteria for 15 attributes. And the validity of 15 attributes and 36 criteria for assesment had been reviewed by 39 SW educational experts. As a result, the 15 attributes and 36 criteria for assesment were determined to which that have validity. I expect that the assesment indicator developed in this paper will raise the reliability of evaluation in SW education. And the assesment indicator may be used at SW competition conference for teenagers.
In this paper, I developed a assesment indicator to evaluate SW program developed by students in SW education. The SW education carry out in elementary school, middle school and high school from 2016. But the assesment indicator to evaluate SW program had not been developed until now. Therefore, I tried to develop the assesment indicator that have harmoniously educational characteristic and SW qualitative characteristic. First of all, I had set the 15 attributes for assesment and developed the 36 criteria for 15 attributes. And the validity of 15 attributes and 36 criteria for assesment had been reviewed by 39 SW educational experts. As a result, the 15 attributes and 36 criteria for assesment were determined to which that have validity. I expect that the assesment indicator developed in this paper will raise the reliability of evaluation in SW education. And the assesment indicator may be used at SW competition conference for teenagers.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 논문에서는 일선 초․중등학교의 SW 교육을 위해 교육학적 측면의 가치와 SW 공학적 측면의 가치가 조화롭게 평가될 수 있도록 구성된 평가지표를 개발하였다. 이를 위해서 먼저 컴퓨팅 사고력의 세부 요소 분석을 통해 교육학적 측면의 평가 요소를, SW 품질 요소를 정의한 국제표준 ISO/IEC 25010에서 SW 품질적 측면의 평가요소를 각각 추출하였다.
본 논문에서는 일선 초·중등학교의 SW교육에서 이루어지는 SW 프로그래밍 교육 평가에서 활용하기 적합한 평가지표를 개발하였다.
이에 따라 본 연구에서는 일선 초․중등학교의 SW교육에서 이루어지는 SW 프로그래밍 교육 평가에 적합하도록 창의력, 논리력, 문제해결력 등과 같은 교육학적 측면의 가치와 효율성, 신뢰성, 완전성 등과 같은 SW 공학적 측면의 가치가 조화롭게 평가될 수 있는 평가지표를 개발하고자 한다.
제안 방법
사용자들이 작성하여 프로그램 소스 코드를 온라인상으로 제출하면 Online Judge 시스템에서는 파일을 먼저 저장한 후 컴파일하여 실행 가능한 프로그램 형태로 가공한다. 가공된 실행 프로그램에 입력 데이터와 출력 데이터로 구성된 테스트 데이터 세트를 만들어 적용하여 프로그램의 신뢰성을 평가한다. 즉, 테스트 데이터 세트의 입력 데이터를 실행 프로그램에 입력하여 얻은 출력 값과 테스트 데이터 세트의 출력 데이터가 같고 시간 제한과 메모리 제한을 위반하지 않았다면 해당 데이터에 대해서는 프로그램이 제대로 동작한 것으로 평가되어진다[9].
개발된 평가지표의 타당성 확보를 위하여 SW 교육 및 SW 공학 전문가 39명에게 타당성 검토를 의뢰하였고 그 결과를 바탕으로 평가지표의 내용타당성과 확인적 요인분석을 실시하였다.
이를 위해서 먼저 컴퓨팅 사고력의 세부 요소 분석을 통해 교육학적 측면의 평가 요소를, SW 품질 요소를 정의한 국제표준 ISO/IEC 25010에서 SW 품질적 측면의 평가요소를 각각 추출하였다. 그리고 이를 교육부에서 개발한 초․중학교 SW교육 교재의 운영 단계(문제 인식 및 정의, 문제 해결 방법 탐색, 프로그램 설계, 프로그램 구현)에 맞춰 평가지표를 개발하였다.
본 논문에서는 위와 같은 SW 품질요소를 앞에서 설정한 SW 프로그램 평가영역 중 프로그램 구현에 맞추어 평가요소를 설정하고 각 평가요소에 해당하는 평가기준을 표와 같이 정의하였다.
본 논문에서는 위와 같은 컴퓨팅 사고력 세부 구성요소를 앞에서 설정한 SW 프로그램 평가영역 중 문제 인식 및 정의, 문제 해결 방법 탐색, 프로그램 설계에 맞추어 평가요소를 설정하고 각 평가요소에 해당하는 평가기준을 과 같이 정의하였다.
본 논문에서는 일선 초·중등학교의 SW교육에서 이루어지는 SW 프로그래밍 교육 평가에서 활용하기 적합한 평가지표를 개발하였다. 이를 위해서 먼저 기존의 SW 프로그램 평가지표들을 분석하였다. 그 결과, 기존의 SW 프로그램 평가지표들은 창의력, 논리력, 문제해결력 등과 같은 교육학적 측면에 치중하거나 효율성, 신뢰성, 완전성 등과 같은 SW 공학적 측면에 치중하고 있어 두 가지 측면이 모두 균형있게 평가되어야 하는 초․중등학교의 SW교육에는 다소 적합하지 않은 것으로 나타났다.
따라서 본 논문에서는 일선 초․중등학교의 SW 교육을 위해 교육학적 측면의 가치와 SW 공학적 측면의 가치가 조화롭게 평가될 수 있도록 구성된 평가지표를 개발하였다. 이를 위해서 먼저 컴퓨팅 사고력의 세부 요소 분석을 통해 교육학적 측면의 평가 요소를, SW 품질 요소를 정의한 국제표준 ISO/IEC 25010에서 SW 품질적 측면의 평가요소를 각각 추출하였다. 그리고 이를 교육부에서 개발한 초․중학교 SW교육 교재의 운영 단계(문제 인식 및 정의, 문제 해결 방법 탐색, 프로그램 설계, 프로그램 구현)에 맞춰 평가지표를 개발하였다.
이를 위해서 본 논문에서는 교육부에 2016년부터 전국의 SW교육 연구학교에 배포하여 사용할 초․ 중학교 SW교육 교재를 분석하여 SW 프로그램 개발 과정을 문제 인식 및 정의(1단계), 문제 해결 방법 탐색(2단계), 프로그램 설계(3단계), 프로그램 구현(4단계) 등의 4단계로 구분하고 1․2․3단계는 교육적 가치 측면에서 4단계는 SW 품질적 측면에서 평가하도록 영역을 설정하였다.
대상 데이터
본 논문에서 설정된 초․중등학생의 SW 프로그램 개발 과정 및 결과를 평가하기 위한 평가요소와 평가기준의 내용이 타당한지를 확인하기 위하여 2016년 1월부터 2월까지 SW교육 및 프로그래밍 전문가 39명에게 타당성을 5점 Likert 척도(1점 매우 부적합 ↔ 5점 매우 적합)로 검토하였다.
데이터처리
본 논문에서 설정된 초․중등학생의 SW 프로그램 개발 과정 및 결과를 평가하기 위한 평가요소와 평가기준의 내용이 타당한지를 확인하기 위하여 2016년 1월부터 2월까지 SW교육 및 프로그래밍 전문가 39명에게 타당성을 5점 Likert 척도(1점 매우 부적합 ↔ 5점 매우 적합)로 검토하였다. 그리고 그 결과를 이용하여 단계별 평가요소와 평가기준의 구성이 적절한지를 확인하기 위하여 확인적 요인분석을 실시하였다.
평가 요소에 대한 39명 전문가들의 타당도 검토 결과를 이용하여 단계별 평가요소의 구성이 적절한지를 확인하기 위하여 확인적 요인분석을 실시하였다. 확인적 요인분석은 사례수가 39명이므로 표본 수에 조건에 유연한 PLS의 방법을 이용한 SmartPLS 프로그램을 사용하였다.
평가 요소에 대한 39명 전문가들의 타당도 검토 결과를 이용하여 단계별 평가요소의 구성이 적절한지를 확인하기 위하여 확인적 요인분석을 실시하였다. 확인적 요인분석은 사례수가 39명이므로 표본 수에 조건에 유연한 PLS의 방법을 이용한 SmartPLS 프로그램을 사용하였다.
성능/효과
각 평가 요소별 평가 기준의 내용타당성을 검토한 결과, 표와 같이 나타났다. 4개 단계 15개 평가 요소 36개 평가 기준의 내용타당성 평균이 최소 4.1점에서 4.7점으로 모두 적합과 매우 적합 사이에 있는 것으로 나타났고, 표준편차도 최소 0.5점에서 최대 1.0점으로 36개 평가 기준 모두 내용타당성에 대한 의견 편차가 크지 않은 것으로 나타났다. 따라서 평가 요소별 평가 기준의 내용타당성은 적합한 것으로 판정되었다.
먼저 각 단계별 평가 요소의 내용타당성을 검토한 결과, 표와 같이 나타났다. 4개 단계 15개 평가 요소의 내용타당성 평균이 최소 4.1점에서 4.9점으로 모두 적합과 매우 적합 사이에 있는 것으로 나타났고, 표준편차도 최소 0.2점에서 최대 1.2점으로 15개 평가 요소 모두 내용타당성에 대한 의견 편차가 크지 않은 것으로 나타났다. 따라서 단계별 평가 요소의 내용타당성은 적합한 것으로 판정되었다.
SW 프로그램 수동 평가 사례로 한국정보올림피아드와 공개SW 개발자 대회 평가 기준과 최형신(2014)의 CT 평가 루브릭의 사례를 분석한 결과, 한국정보올림피아드의 평가 기준은 SW 프로그램 개발 과정에 대한 창의성, 과학적 사고/기술적 목적, 협동성과 개발 결과에 대한 완벽성, 기술성, 명확성을 을 평가하고 있어 교육적 가치 측면과 SW로서의 품질 측면이 모두 포괄된 것으로 분석된다. 그러나 각 평가 항목에 대한 평가 내용이 구체적이고 세부적이지 못하여 평가 결과에 대한 객관성을 담보하기는 어려울 것으로 판단된다.
결국 위와 같은 사례 분석의 내용을 종합해 볼 때, 초중학생의 프로그래밍 평가지표는 SW 프로그램 개발을 통하여 초중등 학생들이 궁극적으로 갖추어야 할 창의력, 논리력, 문제해결력 등의 교육학적 가치 측면과 개발된 프로그램이 SW로서 기본적으로 갖추어야 할 효율성, 신뢰성, 완전성, 기능성 등의 품질적 측면을 모두 균형있게 포괄하여야 한다.
그 결과 본 논문에서 개발한 초․중학교 학생들이 개발한 SW 프로그램에 대한 평가지표는 내용타당성과 요인구성은 모두 적합한 수준인 것으로 나타났다.
이를 위해서 먼저 기존의 SW 프로그램 평가지표들을 분석하였다. 그 결과, 기존의 SW 프로그램 평가지표들은 창의력, 논리력, 문제해결력 등과 같은 교육학적 측면에 치중하거나 효율성, 신뢰성, 완전성 등과 같은 SW 공학적 측면에 치중하고 있어 두 가지 측면이 모두 균형있게 평가되어야 하는 초․중등학교의 SW교육에는 다소 적합하지 않은 것으로 나타났다.
그 결과, 항목신뢰성(0.7이상)에서는 15개 평가 요소 중 문제 정의와 독창성을 제외한 13개 평가요소가 조건을 모두 만족하였고 내적일관성(0.7이상)과 집중타당성(0.5이상)에서는 15개 평가 요소 모두가 조건을 만족하는 것으로 나타났다.
2점으로 15개 평가 요소 모두 내용타당성에 대한 의견 편차가 크지 않은 것으로 나타났다. 따라서 단계별 평가 요소의 내용타당성은 적합한 것으로 판정되었다.
이상과 같이 본 논문에서 설정된 초․중등학생의 SW 프로그램 개발 과정 및 결과를 평가하기 위한 평가요소에 대한 확인적 요인분석 결과를 종합해보면, 평가요소 일부 요소를 제외한 대부분의 평가 요소들이 조건을 만족하는 것으로 나타났다.
이와 같은 내용에 비추어볼 때, 초중등 학생의 SW 프로그램 평가에 대해 현재 활용되고 있는 평가 사례들은 SW 프로그램 개발 과정에 대한 교육적 가치의 측면과 SW 프로그램 개발 결과에 대한 품질적 측면을 모두 충족하는 평가 기준이 부족한 것으로 나타났다.
조건을 만족하지 못하는 평가 요소에 대해 구체적으로 살펴보면 항목신뢰성에서는 문제 정의와 독창성 요소가, 판별타당성에서는 문제 해결 방법 탐색과 프로그램 구현 간, Cross loading analysis에서는 독창성 요소가 각각 조건을 만족하지 못하는 것으로 나타났다. 따라서 향후 세부적인 평가 기준을 개발 시에 이에 대한 고려가 필요한 것으로 나타났다.
판별타당성(집중타당성의 제곱근 이하)에서는 문제 해결 방법 탐색의 집중타당성 제곱근과 프로그램 구현 상관계수의 비교에서만 조건을 만족하지 않았고 교차요인은 존재하지 않는 것으로 나타났다.
후속연구
따라서 향후 SW교육에서는 올바른 평가를 위해서 수행형 평가도구의 개발이 절실히 필요하며, 특히 SW교육의 최종 산출물인 학생들이 개발한 SW 프로그램을 올바르게 평가하기 위해서는 창의력, 논리력, 문제해결력 등과 같은 교육학적 측면의 가치와 효율성, 신뢰성, 완전성 등과 같은 SW 공학적 측면의 가치를 종합적으로 측정할 수 있는 평가 도구의 개발이 필요하다.
이와 같이 본 논문에서 개발된 SW 프로그램 평가지표는 SW교육의 신뢰성을 높여주고 학생들에게 자신의 학습에 대한 자아성찰의 기회를 제공해 주며, 정보영재교육과 SW 프로그램 공모전 및 경시대회, SW 능력 인증 및 자격제도 등의 다양한 교육 활동 활성화에 기여할 것으로 기대된다.
초․중학생이 개발한 SW 프로그램에 대한 평가는 앞에서 살펴 본 SW 프로그램 평가 사례 분석에서 나타난 시사점과 같이 SW 프로그램 개발을 통하여 초․중 학생들이 궁극적으로 갖추어야 교육학적 가치 측면과 개발된 프로그램이 SW로서 기본적으로 갖추어야 할 품질적 측면을 균형있게 측정할 수 있는 평가가 필요하다.
질의응답
핵심어
질문
논문에서 추출한 답변
Online Judge의 가장 큰 특성은 무엇인가?
Online Judge의 가장 큰 특성은 온라인에서 학생들이 작성한 프로그램 소스 코드를 입력하고 입력된 프로그램을 자동으로 평가할 수 있다는 점이다. 사용자들이 작성하여 프로그램 소스 코드를 온라인상으로 제출하면 Online Judge 시스템에서는 파일을 먼저 저장한 후 컴파일하여 실행 가능한 프로그램 형태로 가공한다.
Online Judge 시스템을 사용하는 국가는 어디인가?
최근 Online Judge 시스템은 C, C++, Java, Pascal, Fortran 등의 언어로 개발된 프로그램을 자동으로 평가할 수 있어 우리나라를 비롯해, 미국, 중국, 러시아, 스페인, 폴란드 등 여러 국가에서 사용하고 있다.
Online Judge 시스템의 단점은 무엇인가?
그중 자동으로 평가하는 방식의 대표적인 사례로 Online Judge 시스템을 살펴볼 수 있는데 Online Judge 시스템은 C, C++, Java, Pascal, Fortran 등의 언어로 개발된 프로그램을 자동으로 평가할 수 있어 우리나라를 비롯해, 미국, 중국, 러시아, 스페인, 폴란드 등 여러 국가에서 사용하고 있다. 그러나 주로 SW 공학적 측면에서 SW 프로그램의 효율성, 신뢰성, 완전성 등을 중점적으로 평가하고 있어 창의력, 논리력, 문제해결력 등은 교육학적 가치는 평가하기 어렵고, 또한, 최근 초․중등학교에서 SW 프로그램 교육에 많이 사용하고 있는 스크래치, 앨리스, 엔트리 등으로 작성된 프로그램은 평가할 수 없다는 단점이 있다[4][5].
참고문헌 (15)
교육부(2014). 초?중등 SW교육 활성화 방안. 교육부 보도자료.
교육부(2014). 2015 문?이과 통합형 교육과정. 공청회 자료집.
교육부(2015). 소프트웨어 교육 운영 지침. 교육부.
위키백과. en.wikipedia.org.
정종광 (2010). 과학고 학생을 위한 OnlineJudge 기반 프로그래밍 평가 시스템의 설계 및 구현. 석사학위 논문, 한국교원대학교 교육대학원.
Yingwei L., Xiaolin W., & Zhengyi Z (2008). Programming grid: a computer-aided education system for programming course based on onlnie judge. ACM International Conference Proceeding Series 368.
최형신(2014). Computational Thinking역량 계발을 위한 수업 설계 및 평가 루브릭 개발. 정보교육학회논문지, 18(1), 57-64.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.