[논문]블록기반 프로그래밍 코드의 수준 및 취약수준 측정방안

손원성

doi:10.14352/jkaie.2016.20.3.293

블록기반 프로그래밍 코드의 수준 및 취약수준 측정방안
A Method for Measuring and Evaluating for Block-based Programming Code 원문보기

정보교육학회논문지 = Journal of the Korean Association of Information Education, v.20 no.3, 2016년, pp.293 - 302

초록
AI-Helper

최근 SW 교육의 관심이 증대되고 프로그래밍 교육이 대학 학부교육의 주요한 부분으로 인식되고 있다. 특히 프로그래밍 입문 도구로서 블록 기반 프로그래밍 도구가 널리 사용되고 있으며 프로그래밍 입문자에게 기존 프로그래밍 언어와 비교하여 매우 다양한 장점들을 제공하고 있다. 한편 블록기반 프로그래밍 도구로 작성된 코드가 스크립트 언어일 경우 스크립트의 품질과 수준을 정교하게 측정하기 위해서는 상당한 노력을 기울어야 한다. 따라서 블록기반 프로그래밍 코드의 품질측정과 관련된 대부분의 연구는 단순히 프로그래밍 개념과 연관된 블록의 사용개수를 정량화하여 스크립트의 수준을 평가하고 있다. 그 결과 기존연구의 기법으로는 취약수준을 측정하거나 스크립트에 명시되지 않는 프로그래밍 개념에 대한 평가가 어렵다. 본 연구는 블록기반 프로그래밍 스크립트의 품질측정 및 취약수준 분석이 가능한 프레임워크를 제안한다. 프레임워크에서는 블록기반 프로그래밍 언어들이 내포한 다양한 프로그래밍 개념을 구조화한 평가 매트릭스를 구축하고 동 지표를 기반으로 스크립트의 품질 측정과 항목별 취약점 개선에 따른 수준향상 모델을 제안함으로써 개인별 수준진단 및 향후 개선 가능한 목표수준을 예측할 수 있도록 하였다.

Abstract ▼ AI-Helper

It is the latest fashion of interesting with software education in public school environment and also consider as high priority issue of curriculum for college freshman with programming 101 courses. The block-based programming tool is used widely for the beginner and provides several positive features compare than text-based programming language tools. To measure quality of programming code elaborately which is based script language, it is need to very tough manual process. As a result the previously research related with evaluation of block-based script code has been focused very simple methods in which normalize the number of blocks used which is related with programming concept. In such cases in this, it is difficult to measure structural vulnerability of script code and implicit programming concept which does not expose. In this research, the framework is proposed which enable to measure and evaluate quality of code script of block-based programming tools and also provides method to find of vulnerability of script code. In this framework, the quality metrics is constructed to structuralize implicit programming concept and then developed the quality measure and vulnerability model of script to improve level of programming. Consequently, the proposed methods enable to check of level of programming and predict the heuristic target level.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 연구는 구현된 블록 개수와 같은 단순한 정량적 지표 보다는 블록의 중요도와 구현 난이도 그리고 코드 단순화 등과 같은 개념을 반영하여 기존 연구의 문제점을 개선한 소스코드(스크립트) 품질 측정방안을 제안하고자 한다.
본 연구에서 블록기반 프로그래밍 수준을 도출하는 목적은 각 개인 및 집단의 프로그래밍 수준에 대한 평가 및 부족한 취약점을 파악하고 이것을 개선하고자 함이다. 또한 거시적으로는 계산적 사고력 및 문제 해결과 같은 소프트웨어 교육의 근본적 목표를 지향하고 그 효과의 구체적 당위성을 구체화 할 수 있는 방법론을 제시하고자 한다.
본 연구는 블록기반 프로그래밍 스크립트의 품질측정 및 취약수준 분석이 가능한 프레임워크를 제안한다. 프레임워크에서는 블록기반 프로그래밍 언어들이 내포한 다양한 프로그래밍 개념을 구조화한 평가지표 (quality metric)[21][22]를 구축하고 동 지표를 기반으로 스크립트의 품질 측정과 항목별 취약점 개선에 따른 수준향상 모델을 제안함으로써 개인별 수준진단 및 향후 개선 가능한 목표수준을 예측할 수 있도록 하였다.
본 연구에서 블록기반 프로그래밍 수준을 도출하는 목적은 각 개인 및 집단의 프로그래밍 수준에 대한 평가 및 부족한 취약점을 파악하고 이것을 개선하고자 함이다. 또한 거시적으로는 계산적 사고력 및 문제 해결과 같은 소프트웨어 교육의 근본적 목표를 지향하고 그 효과의 구체적 당위성을 구체화 할 수 있는 방법론을 제시하고자 한다.
본 연구에서는 블록 스크립트의 수준측정을 통하여 프로그래밍 취약점을 도출하고 이것의 개선할 수 있는 방안을 제시한다.
본 연구에서는 블록기반 프로그래밍 수준 측정 및 취약수준 개선 방안을 제안하였다. 또한 제한 기법을 교육대학교의 스크래치 프로그래밍 교육과정에서 도출된 데이터에 적용함으로써 제안모델의 효용성을 검증하도록 한다.
이를 위하여 블록기반 프로그래밍 도구에 내포된 다양한 프로그래밍 개념들을 도출하고 이에 대한 가중치를 적용하여 코드에 대한 품질을 측정하고 동시에 취약점을 찾아 개선에 반영하고자 하였다.

제안 방법

본 연구에서는 평가항목에 대한 가중치 산정방식으로 AHP 기법을 적용하며, 국내 정보교육 및 정보/컴퓨터/IT 분야의 전문가를 대상으로 중요도에 대한 설문을 실시하고, 설문 결과를 기초로 상대적 가중치를 산정하였다. 가중치 산정을 위한 설문은 평가지표의 적정성 설문과 함께 진행되었다. 블록기반 프로그래밍 수준 판별을 위한 3가지 그룹에 대한 상대적 가중치는 [Table 5]와 같다.
다음으로는, 식별된 취약 항목에 대해서는 집단의 목표수준과 항목의 평가 값의 차이를 계산하여 프로그래밍의 취약수준을 제시한다. 도출된 취약수준은 취약 항목을 목표 수준으로 개선하였을 경우 예측되는 수준향상의 정도를 의미한다.
컴퓨터교육과 학생들의 스크래치 스크립팅 수준은 3단계로 산출되었음으로 목표 수준은 4단계로 정의하였다. 따라서 목표 수준에 미달되는 취약 항목을 도출하여 그 차이 값과 가중치를 이용하여 취약수준을 산출하였다. 전체 평가항목 104개 중 78개 항목이 목표수준 4단계에 미달되는 취약항목으로 판별되었으며, 19개 항목이 2단계이하로 평가되었으며 상세한 내용은 [Table 8]의 내용과 같다.
프레임워크에서는 블록기반 프로그래밍 언어들이 내포한 다양한 프로그래밍 개념을 구조화한 평가지표 (quality metric)[21][22]를 구축하고 동 지표를 기반으로 스크립트의 품질 측정과 항목별 취약점 개선에 따른 수준향상 모델을 제안함으로써 개인별 수준진단 및 향후 개선 가능한 목표수준을 예측할 수 있도록 하였다. 또한 제안모델의 평가지표 항목은 AHP기법[24]을 적용하여 평가항목의 중요도에 따른 가중치를 산출하고, 프로그래밍 수준 및 취약수준의 산출에 반영함으로써 평가의 정확성을 높이고자 하였다. 마지막으로 본 연구의 제안기법을 지난 7년 동안 교육대학교 스크래치 프로그래밍 수업에서 도출된 스크립트에 적용해봄으로써 기존 평가 모델 및 연구와의 차별성을 확인하고 제안 모델의 효용성과 우수성을 검증하였다.
본 연구에서는 블록기반 프로그래밍 수준 측정 및 취약수준 개선 방안을 제안하였다. 또한 제한 기법을 교육대학교의 스크래치 프로그래밍 교육과정에서 도출된 데이터에 적용함으로써 제안모델의 효용성을 검증하도록 한다.
먼저 블록 스크립트에 수준 측정 및 평가를 통하여 개인 및 집단의 프로그래밍 및 개념 이해수준을 파악하고, 이어서 개인이 획득한 프로그래밍 수준이 집단의 프로그래밍 목표 수준보다 낮은 평가를 받은 항목을 취약 항목으로 분류한다.
본 연구에서는 블록기반 프로그래밍 코드수준을 측정하기 위한 평가지표를 3가지 그룹으로 구분하였으며 소프트웨어 품질평가를 위한 ISO 9126 표준[11]의 절차를 참고 및 응용하였다. 먼저 스크래치의 블록을 통하여 명시적으로 인식할 수 있는 프로그래밍 관련의 11가지 항목들을 [Table 1]과 같이 도출하였다.
본 연구에서 적용하는 평가기준은 코드수준 5단계를 기준(5점 척도)으로 평가점수를 부여(1단계: 1점∼5단계: 5점)한다.
본 연구에서는 블록기반 프로그래밍 코드수준을 측정하기 위한 평가지표를 3가지 그룹으로 구분하였으며 소프트웨어 품질평가를 위한 ISO 9126 표준[11]의 절차를 참고 및 응용하였다. 먼저 스크래치의 블록을 통하여 명시적으로 인식할 수 있는 프로그래밍 관련의 11가지 항목들을 [Table 1]과 같이 도출하였다.
본 연구에서는 평가된 전체 평가항목의 평가 값에 가중치를 반영하여 산출한 점수를 평가지표의 만점에 대한 백분율로 환산하고 그 결과에 따라 프로그래밍 코드(스크립트)의 수준을 판단하는 방법을 구현하였다. 본 연구에서 적용하는 평가기준은 코드수준 5단계를 기준(5점 척도)으로 평가점수를 부여(1단계: 1점∼5단계: 5점)한다.
본 연구에서는 평가항목에 대한 가중치 산정방식으로 AHP 기법을 적용하며, 국내 정보교육 및 정보/컴퓨터/IT 분야의 전문가를 대상으로 중요도에 대한 설문을 실시하고, 설문 결과를 기초로 상대적 가중치를 산정하였다. 가중치 산정을 위한 설문은 평가지표의 적정성 설문과 함께 진행되었다.
한편 블록 스크립트 분석을 자동화하여 결과의 수준을 평가하기 위한 연구[2][12]에서는 추상화, 제어문, 데이터, 상호작용 등의 프로그래밍 개념을 자동으로 정량화하는 기법을 개발하였다. 제안 기법은 python 플러그인을 이용하여 스크래치 내부의 squeak 코드에서 사용된 블록의 개수를 정량화하여 총 점수를 산정하게 된다. 그러나 자동화 기법에서 판별 가능한 프로그래밍 개념의 수준은 매우 낮은 편이며, 블록에 명시된 개념 이외의 알고리즘 및 문제 해결 등과 같은 비명시적 프로그래밍 개념의 자동화는 불가능하다.
제안 기법은 대학 현장에서 수행된 312명의 스크래치 스크립트에 적용되어 그 효용성을 검증하였으며 향후 프로그래밍 교육에 반영할 수 있는 개선점들을 도출하였다.
측정집단의 프로그래밍 수준을 산출하기 위하여 전체 프로그래밍 수준 점수의 합을 구한 다음, 이를 전체 평가분야의 만점 합으로 나누어 측정집단의 프로그래밍 수준 전체의 백분율로 환산하여 집단의 프로그래밍 수준을 산출한다. 그 결과를 [Table 4]를 참고하여 전체 집단의 프로그래밍 수준단계를 도출한다.
한편 블록기반 프로그래밍 코드(스크립트)의 평가 지표에 대한 적정성을 확보하고자 컴퓨터 IT 그룹(21명)과 정보/컴퓨터교육 그룹(20명)을 대상으로 세부 평가 메트릭(104개)의 적정성에 대한 설문을 실시하였다.

대상 데이터

본 연구는 2008년부터 2015년까지 교육대학교 컴퓨터교육과 학부 3학년 대상의 ‘저작도구’ 및 ‘교육실기’ 수업을 수강한 312명의 수강생들이 제작한 스크래치 프로젝트 결과물을 대상으로 프로그래밍 수준측정 및 취약수준을 분석하였다.

성능/효과

제안 연구의 스크래치 프로그래밍 수준측정 모델을 적용하여 분석한 결과는 [Table 7]의 내용과 같다. 312명의 프로젝트 결과물의 최종 점수는 163점이며, 평가영역의 가중치를 적용한 점수 8.462를 가중 만점 값(16.158)에 대한 백분율로 환산하여 스크래치 프로그래밍 수준 54.46%를 산출하였다. [Table 7]의 내용을 살펴보면 기념개념 중 ‘데이터 타입’을 제외한 모든 항목이 3수준(양호)으로 평가되었으며, 특히 ‘프로시저’ 항목은 최저 2수준(미흡)을 산출하였다.
또한 제안모델의 평가지표 항목은 AHP기법[24]을 적용하여 평가항목의 중요도에 따른 가중치를 산출하고, 프로그래밍 수준 및 취약수준의 산출에 반영함으로써 평가의 정확성을 높이고자 하였다. 마지막으로 본 연구의 제안기법을 지난 7년 동안 교육대학교 스크래치 프로그래밍 수업에서 도출된 스크립트에 적용해봄으로써 기존 평가 모델 및 연구와의 차별성을 확인하고 제안 모델의 효용성과 우수성을 검증하였다.
제안 연구의 스크래치 프로그래밍 수준 평가지표로 구성된 항목들에 대한 신뢰도 분석은 내적일관성 방법을 적용하였으며, SPSS 19를 이용하여 평가지표의 적정성에 대한 신뢰도 분석을 수행한 결과 크론바흐 알파 값은 0.892의 신뢰도를 보였다.
Michal Armoni와 Moti Ben-Ari[16][17]는 스크래치가 내포한 컴퓨터과학 개념을 8개 항목으로 분석하고 각 영역별 개념 이해도를 평가하기 위한 테스트 문항과 정성평가를 위한 인터뷰 항목을 개발한 바 있다. 제안 연구의 평가도구는 지필 평가 및 프로젝트 모델을 포함하기 때문에 소규모 강의 환경에 적절하다.

후속연구

[Table 8]의 내용을 살펴보면 취약항목 104개에 대한 개선이 진행될 경우 최종적으로 4단계로의 프로그래밍 수준 향상을 기대할 수 있다. 따라서 본 연구자는 [Table 8]에서 산출된 결과를 통하여 2수준으로 판별된 항목 및 특히 스크래치 블록에 명시되지 않는 복합 개념을 가장 최우선의 개선 항목으로 지정하여 향후 커리큘럼 및 강의 개선 시 반영할 예정이다.
향후 연구로는 보다 심도 있는 평가항목에 대한 분석이 요구되며 특히 명시적으로 나타나지 않는 잠재적 요인들을 정교하게 분석하여 본 연구에서 간과되었던 부분들을 보완하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	최근 대중적으로 사용되는 블록 기반 프로그래밍 도구에는 무엇이 있는가?	한편 비전공 학부생 대상의 기초 프로그래밍 강좌에서는 블록 기반의 프로그래밍 도구[23]들이 효과적으로 활용되고 있다[9][10][19]. Alice[10]는 미국 학부 학생들의 프로그래밍 입문 강좌에 사용되었으며 최근에는 Scratch[14], Snap![8], Blockly[7]과 같은 블록 기반 프로그래밍 도구들이 대중적으로 사용되고 있다. 또한 블록 기반 프로그래밍 인터페이스는 앱 개발[20]과 같은 보다 복잡도가 높은 분야에 활용되는 등 프로그래밍의 대중화에 크게 기여하고 있다[1][3][5][13][16].
	블록기반의 프로그래밍 도구들이 소스코드 품질측정 기법을 적용하기 어려운 문제점에는 어떤 것들이 있는가?	첫째 블록기반 프로그래밍 도구는 캐릭터와 스토리 구현과 관련된 저작개념과 프로그래밍 개념을 동시에 내포하기에 정교한 스크립트의 레벨 또는 품질을 평가하는 작업은 상당한 수준의 인지적 부하를 수반한다[2]. 둘째 ‘tinkering’ 인터페이스는 누구나 쉽게 저작활동을 가능케 하지만 문제 해결 전략 차원에서는 상향식 (bottom-up) 기법[10]이다. 이 경우 블록 인스턴스를 모듈화하지 못한다면 최하위 단위의 블록 인스턴스만이 존재하는 환경이 초래될 수 있다.
	블록기반 프로그래밍 도구의 장점은 무엇인가?	블록기반 프로그래밍 도구는 ‘tinkering’[14][20] 또는 퍼즐 메타포[23]에 기반 한 시각적 단서(visual cues)를 제공하여 문법을 학습하지 않고서도 명령 스크립트를 쉽게 작성할 수 있도록 한다. 이러한 시각적 단서들은 블록의 형태가 동일한 경우에만 조합이 가능함으로 문법적 에러가 원천적으로 발생하지 않는다. 또한 컬러를 이용한 블록들의 기능적 분류, 블록의 내포 관계를 시각화한 스크립트 범위 및 논리관계의 명시화를 통하여 텍스트 기반 언어보다 월등히 높은 재인(recognition) 과정 및 어포던스(affordance) 효과를 제공함으로써 누구나 쉽게 스크립트를 작성할 수 있는 환경을 제공하고 있다[18].

참고문헌 (24)

An Educator's Guide to Scratch Programming (2016). http://www.scratch-programming.org.
Bryce Boe, Charlotte Hill, Michelle Len, Greg Dreschler, Phillip Conrad, and Diana Franklin (2013). "Hairball: lint-inspired static analysis of scratch projects." In Proceeding of the 44th ACM technical symposium on Computer science education (SIGCSE '13). ACM, New York, NY, USA, 215-220.
David J. Malan and Henry H. Leitner (2007). "Scratch for budding computer scientists." SIGCSE Bull., 39(1), 223-227.

상세보기
Demuth, Birgit, Sebastian Gotz, Harry M. Sneed, and Uwe Schmidt (2013). Evaluation of Students' Modeling and Programming Skills. In EduSymp@ MoDELS.
Fields, Deborah A., et al. (2014). Interactive storytelling for promoting creative expression in media and coding in youth online collaboratives in Scratch. Proceedings of constructionism. 19-23.
For all Software (2016). http://sw4all.kookmi-n.ac.kr/notice/1.
Fraser, N. (2013). Blockly. Google.
Harvey, B. and Monig, J. (2010). Bringing "no ceiling" to Scratch. Proc. of Constructionism 2010 (Paris, Fr.), 1-10.
Hundhausen, C., Farley, S., and Brown, J. (2009). Can direct manipulation lower the barriers to computer programming and promote transfer of training?: An experimental study. ACM Trans. Comput.-Hum. Interact., 16(3).

상세보기
Ian Utting, Stephen Cooper, Michael Kolling, John Maloney, and Mitchel Resnick (2010). Alice, Greenfoot, and Scratch - A Discussion. Trans. Comput. Educ., 10(4), Article 17.
ISO/IEC 9126-1 (2001). Information technology - Software product evaluation: Quality Characteristics and Guidelines for their use.
Jesus Moreno-Leon and Gregorio Robles (2015). Dr. Scratch: a Web Tool to Automatically Evaluate Scratch Projects. In Proceedings of the Workshop in Primary and Secondary Computing Education (WiPSCE '15). ACM, New York, NY, USA, 132-133.
John H. Maloney, Kylie Peppler, Yasmin Kafai, Mitchel Resnick, and Natalie Rusk (2008). Programming by choice: urban youth learning programming with scratch. In Proceedings of the 39th SIGCSE technical symposium on Computer science education (SIGCSE '08). ACM, New York, NY, USA, 367-371.
JOHN MALONEY, MITCHEL RESNICK, NATALIE RUSK, BRIAN SILVERMAN, and EVELYN EASTMOND (2010). The Scratch Programming Language and Environment. ACM Transactions on Computing Education, 10(4), Article 16.
Lee, Y. J. (2011). Scratch: Multimedia Programming Environment for Young Gifted Learners. Gifted Child Today Magazine, 34(2), 26-31.
O. Meerbaum-Salant, M. Armoni, M. Ben-Ari. (2013). Learning computer science concepts with Scratch. Computer Science Education, 23(3), 2013, 239-264.
Orni Meerbaum-Salant, Michal Armoni, and Mordechai (Moti) Ben-Ari. (2010). Learning computer science concepts with scratch. In Proceedings of the Sixth international workshop on Computing education research (ICER '10). ACM, New York, NY, USA, 69-76.
Raymond Lister (2011). COMPUTING EDUCATION RESEARCH: Programming, syntax and cognitive load. ACM Inroads, 2(2) (June 2011), 21-22.
Shitanshu Mishra, Sudeesh Balan, Sridhar Iyer, and Sahana Murthy (2014). Effect of a 2-week scratch intervention in CS1 on learners with varying prior knowledge. ITiCSE '14. ACM, NY, USA, 45-50.
Slany, W. (2014). Tinkering with Pocket Code, a Scratch-like programming app for your smartphone. Proc. of Constructionism 2014 (Vienna, Aus).
Washizaki, H., et al. (2003). A Metrics Suite for Measuring Reusability of Software Components. In: Proc. 9th IEEE International Software Metrics Symposium.
Washizaki, Hironori, et al. (2007). A framework for measuring and evaluating program source code quality. Product-Focused Software Process Improvement. Springer Berlin Heidelberg, 284-299.
Weintrop, David (2015). Minding the Gap Between Blocks-Based and Text-Based Programming. Proceedings of the 46th ACM Technical Symposium on Computer Science Education. ACM.
Young-Rai Park, Yoon-Chul Choy, Won-Sung Sohn (2014). International Journal of Security and Its Applications. Vol.8 No.6. 147-160.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증