[논문]머신러닝 모델을 이용한 파이썬 자동채점 연습문제의 타당성 분석

허경

doi:10.14702/jpee.2023.193

머신러닝 모델을 이용한 파이썬 자동채점 연습문제의 타당성 분석
Validity Analysis of Python Automatic Scoring Exercise-Problems using Machine Learning Models 원문보기

JPEE : Journal of practical engineering education = 실천공학교육논문지, v.15 no.1, 2023년, pp.193 - 198

초록
AI-Helper

본 논문은 파이썬 프로그래밍 교육에서 단원별 연습문제의 타당성을 분석하였다. 단원별로 제시되는 연습문제는 온라인 학습 시스템을 통해 제시되고 학생 각자가 답안 코드를 업로드하여 자동으로 채점된다. 한학기 동안 진행되는 파이썬 교육을 통해, 학생들의 중간시험점수, 기말시험 점수 그리고 각 단원별 연습문제 점수 등 데이터가 수집된다. 수집된 데이터들을 통해, 자동채점 연습문제들의 타당도를 분석하여 단원별 연습문제들을 개선할 수 있다. 본 논문에서는 자동 채점 연습문제들의 타당도를 분석하기 위해, Orange 머신러닝 도구를 사용하였다. 파이썬 과목에서 수집된 데이터를 전체, 상위권 그리고 하위권 그룹별로 4가지 분석을 실시하고 종합적으로 비교한다. 파이썬 단원별 연습문제 점수들로부터 학생의 최종 성적을 예측하는 머신러닝 모델의 예측 정확도로부터 단원별 자동채점 연습문제의 출제 타당도를 분석하였다.

Abstract ▼ AI-Helper

This paper analyzed the validity of exercise problems for each unit in Python programming education. Practice questions presented for each unit are presented through an online learning system, and each student uploads an answer code and is automatically graded. Data such as students' mid-term exam scores, final exam scores, and practice questions scores for each unit are collected through Python lecture that lasts for one semester. Through the collected data, it is possible to improve the exercise problems for each unit by analyzing the validity of the automatic scoring exercise problems. In this paper, Orange machine learning tool was used to analyze the validity of automatic scoring exercises. The data collected in the Python subject are analyzed and compared comprehensively by total, top, and bottom groups. From the prediction accuracy of the machine learning model that predicts the student's final grade from the Python unit-by-unit practice problem scores, the validity of the automatic scoring exercises for each unit was analyzed.

주제어

표/그림 (14)

표 표 1. 파이썬 자동 채점 연습 문제 출처 단원 Table 1. Python auto-scoring exercise problems source unit
표 표 2. 단원1-단원4 자동 채점 연습 문제 예시 Table 2. Examples of unit 1-4 auto-scored practice questions
표 표 3. 단원5-단원8 자동 채점 연습 문제 예시 Table 3. Examples of unit 5-8 auto-scored practice questions
표 표 4. 수치 데이터 머신러닝 모델 학습 및 최종성적 예측에 사용 된 데이터 속성 Table 4. Data features used to train and predict numerical data machine learning models
그림 그림 1. 수치 데이터 머신러닝 모델 학습 및 최종성적 예측 워크플로우 Fig. 1. Numerical data machine learning model training and final grade prediction workflow.
표 표 5. 최종성적 예측 시나리오 Case 분류 Table 5. Final grade prediction scenario case classification
표 표 6. 전체그룹 최종성적 예측 머신러닝 모델 테스트 결과 Table 6. Prediction test results of final grade machine learning model for total group
표 표 7. 상위그룹 최종성적 예측 머신러닝 모델 테스트 결과 Table 7. Prediction test results of final grade machine learning model for top group
표 표 8. 하위그룹 최종성적 예측 머신러닝 모델 테스트 결과 Table 8. Prediction test results of final grade machine learning model for bottom group
표 표 9. C1 시나리오의 최종성적 예측에 대한 그룹별 결과 Table 9. Results by group for prediction of final grade in C1 scenario
표 표 10. C2 시나리오의 최종성적 예측에 대한 그룹별 결과 Table 10. Results by group for prediction of final grade in C2 scenario
표 표 11. C3 시나리오의 최종성적 예측에 대한 그룹별 결과 Table 11. Results by group for prediction of final grade in C3 scenario
표 표 12. C4 시나리오의 최종성적 예측에 대한 그룹별 결과 Table 12. Results by group for prediction of final grade in C4 scenario
표 표 13. 시나리오별 모델의 최종 성적 예측 정확도 Table 13. Final grade prediction accuracy of model by scenario

참고문헌 (8)

J. K. Jeong, "Design and construct of programming assessment system based on online judge for a science high school student," Korea National University of Education, 2010.？
Codle, Team Monolith, 2022, [Online]. Available: https://codle.io/.？
W. Y. Chang and S. S. Kim, "Development and application of algorithm judging system : analysis of effects on programming learning," The Journal of Korean Association of Computer Education, vol. 17, no. 4, pp. 45-57, 2014.？
Orange, University of Ljubljana, 2023, [Online]. Available: https://orangedatamining.com/.？
S. S. Kim, S. H. Oh, and S. S. Jeong, "Development and application of problem bank of problem solving programming using online judge system in data structure education," The Journal of Korean Association of Computer Education, vol. 21, no. 4, pp. 11-20, 2018.？
S. S. Jeong, "The effects of programming education using an automatic programming assessment system on learning flow of general high school students," Korea National University of Education, 2019.？
W. Y. Chang, "The effects of online judge system in programming education on learning motivation and thinking : structural relationships between factors," Korea National University of Education, 2020.？
K. Hur, "Python basic programming curriculum for non-majors and development analysis of evaluation problems," Journal of Practical Engineering Education, vol. 14, no. 1, pp. 75-83, 2022.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증