[논문]Design and Implementation of a Data Visualization Assessment Module in Jupyter Notebook

HakNeung Go; Youngjun Lee

doi:10.9708/jksci.2023.28.09.167

Design and Implementation of a Data Visualization Assessment Module in Jupyter Notebook 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.28 no.9, 2023년, pp.167 - 176

HakNeung Go (Gadeuk Elementary School) , Youngjun Lee (Dept. of Computer Education, Korea National University of Education)

초록
AI-Helper

본 연구에서는 글자와 숫자를 기반으로 한 프로그래밍 자동 평가 시스템에서 그래프를 평가할 수 있는 그래프 평가 모듈을 설계 및 구현하였다. 그래프 평가 모듈의 평가 방법은 학습자가 제출한 코드와 모범 코드로 작성한 그래프, 평가 준거를 제시하는 자기 평가와 각각의 그래프 이미지를 배열로 변환하여 정답을 판정하고 오답일 경우 피드백을 제공하는 자동 평가이다. 그래프를 작성하는데 사용되는 데이터는 직접 입력하거나 외부 데이터를 불러올 수 있으며 평가할 수 있는 그래프 작성 방법은 matplotlib의 MATLAB 스타일이며 수학과 교육과정에서 제시된 그래프를 평가할 수 있다. 전문가 검토를 통해 평가 모듈의 내용 요소와 학습 가능성, 학습자의 요구에서 타당도를 갖춘 것으로 확인하였다. 본 연구에서 개발한 그래프 평가 모듈은 프로그래밍 자동 평가시스템 평가 영역을 확장하였고 학생들이 데이터 시각화를 익히는데 도움이 될 것으로 기대된다.

Abstract ▼ AI-Helper

In this paper, we designed and implemented a graph assessment module that can evaluate graphs in an programming assessment system based on text and numbers. The assessment method of the graph assessment module is self-evaluation that outputs two graphs generated by codes submitted by learners and by answers, automatic-evaluation that converts each graph image into an array, and gives feedback if it is wrong. The data used to generate the graph can be inputted directly or used from external data, and the method of generatng graph that can be evaluated is MATLAB style in matplotlib, and the graph shape that can be evaluated is presented in mathematics and curriculum. Through expert review, it was confirmed that the content elements of the assessment module, the possibility of learning, and the validity of the learner's needs were met. The graph assessment module developed in this study has expanded the evaluation area of the programming automatic asssessment system and is expected to help students learn data visualization.

주제어

표/그림 (17)

표 Table 1. Comparing programming automatic assessment system
그림 Fig. 1. Example of the code submitted
그림 Fig. 2. Example of the code converted
표 Table 2. Variables and functions included in the evaluation module
그림 Fig. 3. plot_check() operation process
그림 Fig. 4. Code to Initialize
그림 Fig. 5. Print out the problem
그림 Fig. 6. Generate code to evaluate
그림 Fig. 7. Output when the evaluation result is correct
그림 Fig. 8. Output when the evaluation result is incorrect
그림 Fig. 9. Output evaluation result using external data
표 Table 3. Questionnaire of content validity review
표 Table 4. Experts involoved in the review
표 Table 5. Result of I-CVI statics analysis
표 Table 6. Data extracted from the value returned by the command in matplotlib
그림 Fig. 10. plot_check() revised operation process
그림 Fig. 11. plot_check() revised operation process

AI 본문요약
AI-Helper

문제 정의

본 연구에서는 주피터 노트북 기반 프로그래밍 자동 평가 시스템에서 그래프를 자동 평가하고 피드백을 제공하는 모듈을 설계 및 구현하였다. 그래프 평가 모듈은 문제 모듈과 평가 모듈, 자동 평가를 위한 이미지 파일, 평가에 활용하기 위한 외부 데이터, 한글을 지원하는 글꼴로 구성하였다.
하지만 기존의 프로그래밍 자동 평가 시스템은 글자와 숫자만 평가를 할 수 있다. 이에 본 연구에서는 프로그래밍 자동 평가 시스템처럼 프로그래밍 언어로 데이터 시각화를 평가하는 도구를 설계하고 개발하고자 한다.

제안 방법

그래프 평가 모듈의 내용 타당도를 확인하기 위해 전문가 검토를 실시하였다. 전문가 검토 문항은 컴퓨터 교육 석사학위 소지자 2인과 협의하여 내용 요소, 학습 가능성, 학생의 요구와 관련된 문항으로 구성하였으며 문항의 상세 내용은 Table 3과 같다.
그래프 평가 모듈은 전문가에게 내용 타당도 검토를 받았으며 모든 영역에서 타당도를 갖춘 것으로 확인되었다. 다만 전문가 의견을 반영하여 평가할 그래프는 수학 교육 과정에서 제시되는 것으로 한정하고 오답 시 피드백을 제공할 수 있도록 문제 모듈과 평가 모듈을 수정하여 최종 완성하였다.
둘째, 학생이 작성한 코드를 자기평가 하기 위해 학생이 생성한 그래프와 모범 답안으로 생성한 그래프를 동시에 출력하고 평가 준거를 제시하도록 하였다.
초기 설정은 코드 셀에서 Git에 공개된 모듈을 다운로드 받고 이를 커널에서 실행하도록 하였다. 문제 제시는 문제 변수를 매개변수로 하여 문제 출력 함수를 실행시키며 문제는 코드 셀 output에 출력하도록 하였다. 평가 코드 작성은 코드 셀을 파일로 저장하는 매직 커멘드를 포함하여 코드를 작성하고 실행시키면 저장되도록 하였다.
셋째, 학생이 제출한 코드로 생성한 그래프와 모범 답안으로 생성한 그래프를 이미지 비교하여 자동 평가가 이루어지도록 하였다.
첫째, matplotlib의 명령어를 사용하는 경우 반환되는 값을 변수에 저장하도록 정답 데이터에서 matplotlib의 명령어를 사용하는 경우 ‘변수 = matplotlib 명령어’로 수정하였다
첫째, 기반이 되는 자동 평가 시스템에 데이터 시각화 영역을 추가하도록 모듈 형태로 개발하였다. 또한 기존 자동 평가 시스템의 특징을 유지할 수 있도록 하였다.
4 라이브러리로 개발하였다. 파일 경로는 구글에서 서비스하는 주피터 노트북인Colab을 기준으로 설정했으며 파이썬 언어로 matplotlib를 활용하여 작성한 코드를 평가한다.
코드 평가는 코드 셀에서 평가할 파일 이름을 매개변수로 하여 평가 함수를 실행시키며 평가 결과를 코드 셀 output에 출력하도록 하였다. 평가 결과는 학생이 작성한 그래프와 모범답안으로 작성한 그래프를 한 행에 출력하고 자기 평가 요소, 자동 평가 결과, 오답 시 피드백 내용을 출력하도록 하였다.
문제 모듈은 문제 출력 함수, 문제 변수, 정답 코드가 문자열로 저장된 정답 데이터, 자기평가 요소가 저장된 변수, 평가할 파일 이름·정답 데이터·자가 평가 변수를 딕셔너리로 종합한 메타 데이터로 구성하였다. 평가 모듈은 그래프에서 한글을 사용하기 위한 코드, 전처리하는 함수, 변환하는 함수, 그래프와 관련된 데이터를 추출하기 위한 함수, 추출한 데이터를 비교하여 피드백을 제공하는 함수, 평가 모듈에 포함된 함수를 하나의 함수로 통합하고 자기 평가와 자동 평가가 이루어지도록 구성하였다.
문제 제시는 문제 변수를 매개변수로 하여 문제 출력 함수를 실행시키며 문제는 코드 셀 output에 출력하도록 하였다. 평가 코드 작성은 코드 셀을 파일로 저장하는 매직 커멘드를 포함하여 코드를 작성하고 실행시키면 저장되도록 하였다. 코드 평가는 코드 셀에서 평가할 파일 이름을 매개변수로 하여 평가 함수를 실행시키며 평가 결과를 코드 셀 output에 출력하도록 하였다.

대상 데이터

본 연구에서는 주피터 노트북 기반 프로그래밍 자동 평가 시스템에서 그래프를 자동 평가하고 피드백을 제공하는 모듈을 설계 및 구현하였다. 그래프 평가 모듈은 문제 모듈과 평가 모듈, 자동 평가를 위한 이미지 파일, 평가에 활용하기 위한 외부 데이터, 한글을 지원하는 글꼴로 구성하였다. 문제 모듈은 문제 출력 함수, 문제 변수, 정답 코드가 문자열로 저장된 정답 데이터, 자기평가 요소가 저장된 변수, 평가할 파일 이름·정답 데이터·자가 평가 변수를 딕셔너리로 종합한 메타 데이터로 구성하였다.
그래프 평가를 위한 모듈은 문제 모듈과 평가 모듈, 그래프 이미지가 저장된 폴더, 그래프 작성에 필요한 데이터가 저장된 폴더, 한글을 지원하는 글꼴로 구성하였다.
문제 모듈은 문제 출력 함수, 문제 변수, 정답 코드가 문자열로 저장된 정답 데이터, 자기평가 요소가 저장된 변수, 평가할 파일 이름·정답 데이터·자가 평가 변수를 딕셔너리로 종합한 메타 데이터로 구성하였다

성능/효과

그래프 평가 모듈은 전문가에게 내용 타당도 검토를 받았으며 모든 영역에서 타당도를 갖춘 것으로 확인되었다. 다만 전문가 의견을 반영하여 평가할 그래프는 수학 교육 과정에서 제시되는 것으로 한정하고 오답 시 피드백을 제공할 수 있도록 문제 모듈과 평가 모듈을 수정하여 최종 완성하였다.
평가 모듈에 대한 전문가 검토 결과 내용 요소, 학습 가능성, 학생의 요구와 관련하여 모두 .80이상으로 나타났다. 영역별 전문가 의견은 학습에 활용하는 것과 평가 모듈을 사용할 대상으로 분류할 수 있다.

후속연구

개발한 그래프 평가 모듈은 프로그래밍 언어로 데이터를 시각화를 학습할 때 코드를 작성하고 즉각적인 평가 결과와 피드백을 제공받을 수 있어 학생들이 프로그래밍 언어로 데이터 시각화를 학습하는데 도움이 될 것으로 판단된다. 또한 프로그래밍 자동 평가 시스템에서 평가할 수 있는 영역이 글자, 숫자에서 그래프로 추가되어 다양한 영역의 문제를 평가할 수 있을 것으로 기대된다.
다만, 본 연구에서 개발한 그래프 평가 모듈은 내용 타당도를 확보하였지만 이를 활용하기 위한 문제가 개발과 효과성 검증이 이루어지지 않았다. 추후 연구에서는 그래프 평가 모듈을 활용할 수 있는 문항 개발과 이를 적용하여 컴퓨팅 사고력, 데이터 리터러시 등에 대한 효과성을 통계적으로 검증이 필요하다.
개발한 그래프 평가 모듈은 프로그래밍 언어로 데이터를 시각화를 학습할 때 코드를 작성하고 즉각적인 평가 결과와 피드백을 제공받을 수 있어 학생들이 프로그래밍 언어로 데이터 시각화를 학습하는데 도움이 될 것으로 판단된다. 또한 프로그래밍 자동 평가 시스템에서 평가할 수 있는 영역이 글자, 숫자에서 그래프로 추가되어 다양한 영역의 문제를 평가할 수 있을 것으로 기대된다.
다만, 본 연구에서 개발한 그래프 평가 모듈은 내용 타당도를 확보하였지만 이를 활용하기 위한 문제가 개발과 효과성 검증이 이루어지지 않았다. 추후 연구에서는 그래프 평가 모듈을 활용할 수 있는 문항 개발과 이를 적용하여 컴퓨팅 사고력, 데이터 리터러시 등에 대한 효과성을 통계적으로 검증이 필요하다.

참고문헌 (31)

Djkim, "Logical Computational thinking for problem solving,"？YoungJIn.com, 2019
Ministry of Education, "Informatics education comprehensive？plan", May 2020
Yjlee, Shpaik, Jhshin, HcYu, IgJeong, SjAn, Jwchoi and Skjeon,？"Research for Introducing Computational Thinking into Primary？and Secondary Education," Korea Foundcation for the？Advancement of Science & Creativity. April 2014
Jmkim, "Problem solve skills based on Computing thinking," Korea？Information Processing Society Review, Vol. 24, No. 2, pp. 13-21,？2017
Skjeon, and yjlee, "The Effect of CPS Programming Model on？promoting Elementary school students' divergent thinking," The？Journal of Korean Association of Computer Education, Vol. 15,？No. 2, pp. 1-8, 2012. DOI : 10.32431/kace.2012.15.2.001
L. Malmi, Utting, I, and Ko, A, "Tools and Environments. In S.？Fincher & A. Robins (Eds.)," The Cambridge Handbook of？Computing Education Research. Cambridge: Cambridge？University Press, 2019.
A. Kurnia, A. Lim, and B. Cheang, "Online judge," Computers？& Education, Vol. 36, No. 4, pp. 299-315, 2001. DOI : doi.org/10.1016/S0360-1315(01)00018-5

상세보기
Ministry of Education "Infomatics Science Curriculum," September？2015
GSHS Informatics Teachers, KOISTDY, http://koistudy.net/
Coding is fun, Coding is fun, http://codingfun.net/onlinejudge/index.
Bjchoi, Baekjoon Online Judge, https://www.acmicpc.net/
Hkkim, "New Information Strategy Using Big Data,"？Telecommunications Review, Vol. 22, No. 3, pp. 337-352, 2012.？UCI : G704-000446.2012.22.3.008
Bkgye, Yjpark, "Data Visualization Trends in Education:？Focusing on Cases and Issues," KERIS, 2017.
L. Lo, Y. H, Ming, Y, & H. Qu, "Learning vis tools: Teaching？data visualization tutorials," IEEE Visualization Conference？(VIS), pp. 11-15, October 2019. DOI: 10.48550/arXiv.1907.08796
Jakim, Mgkim, Ymkim, Hjyoo, and Jhkim. "Effect of data？visualization education with using Python on dcomputational？thinking of six grade in elementary," JOURNAL OF The Korean？Association of information Education, Vol. 23, No. 3,？pp.197-206, 2019. DOI : 10.14352/jkaie.2019.23.3.197

원문보기 상세보기
Team Monolith Inc, codle, https://codle.io
Groom, groomedu, https://edu.groom.io
/*elice*/, elice LXP, https://elice.io/products/lxp
F. S. Zamfir and E. Pricop, "On the design of an interactive？automatic Python programming skills assessment system," 2022？14th International Conference on Electronics, Computers and？Artificial Intelligence (ECAI), pp. 1-5, Ploiesti, Romania, 30？June-1 July 2022. DOI: 10.1109/ECAI54874.2022.9847414
Hkgo, Swkim, Yjlee, "Design and Implementation of a？Programming Automatic Assessment System in Jupyter？Notebook," International Journal on Advanced Science,？Engineering and Information Technology, Vol. 13, No. 3, pp.？1080-1086, 2023. DOI: http://dx.doi.org/10.18517/ijaseit.13.3.18457

상세보기
Jjkwang, "Design and Construct of Programming Assessment？System based on Online Judge for a Science High School？student," Master's Dissertation, Korea National University of？Education, February 2010.
Wychang and Sskim, "Development and application of algorithm？judging system : analysis of effects on programming learning,"？The Journal of Korean Association of Computer Education, Vol.？17, No. 4, pp. 45-57, 2014. DOI : 10.32431/kace.2014.17.4.005
Wychang, "The Effects of Online Judge System on Motivation？and Thinking in Programming Education : Structural？Relationships between Factors," The Journal of Korean？Association of Computer Education, Vol. 24, No. 5, pp. 1-16,？2021. DOI : 10.32431/kace.2021.24.5.001
Ssjeong, "The Effects of Programming Education Using an？Automatic Programming Assessment System on Learning Flow？of General High School Students," Master's Dissertation, Korea？National University of Education, 2019.
HakNeung Go, "Jupyter_judge," https://github.com/GoHakNeung/jupyter_judge.
Jylee, "Effects of Data Visualization Education Using Python on？Improvement of Computational Thinking Ability in Information？Gifted Students of Elementary school," Master's Dissertation,？Korea National University of Education, 2021
Hngo and Yjlee, "Exploring how to present the problem of？Automatic Assessment system in Jupyter Notebook," pp.？221-222, Daejeon, Korea, 9-11 January-1, 2023.
Matplotlib development team, Pyplot tutorial, https://matplotlib.org/stable/tutorials/introductory/pyplot.html
Tjseong, "Understanding and Application of Modern Basic？Statistics," Hakgisa, 2019.
Ministry of Education, "Mathematics Curriculum", December？2022
Matplotlib development team, matplotlib.pyplot, https://matplotlib.org/stable/api/pyplot_summary.html

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증