[논문]머신러닝을 활용한 프로그래밍언어 객관식 문제의 난이도 조정에 대한 연구

김은정

doi:10.9723/jksiis.2022.27.2.011

머신러닝을 활용한 프로그래밍언어 객관식 문제의 난이도 조정에 대한 연구
A study on the difficulty adjustment of programming language multiple-choice problems using machine learning 원문보기

한국산업정보학회논문지 = Journal of the Korea Industrial Information Systems Research, v.27 no.2, 2022년, pp.11 - 24

김은정 (부산대학교 교양교육원)

초록
AI-Helper

LMS 기반의 온라인 평가를 위해 출제되는 문제들은 교수자가 직접 출제하거나 또는 카테고리별로 나뉘어진 문제은행에서 난이도에 따른 자동 출제 방식을 주로 이용한다. 이중에서 난이도에 따른 자동출제 방식은 평가자들에게 출제되는 문제가 서로 다를수 있기 때문에 무엇보다 객관적이고 효율적인 방법으로 문제의 난이도를 관리하는 것이 중요하다. 본 논문에서는 문제의 정답률뿐만 아니라 해당 문제를 해결하는데 사용된 소요시간을 같이 고려한 난이도 재조정 알고리즘을 제시한다. 이를 위해 머신러닝의 로지스틱 회귀 분류 알고리즘을 이용하였으며, 학습모델의 예측 확률값을 기반으로 기준 임계값을 설정하여 각 문항별 난이도 재조정에 활용하였다. 그 결과 정답률에만 의존한 문항별 난이도에 많은 변화가 일어남을 확인할 수 있었다. 또한 조정된 난이도의 문제를 이용하여 그룹별 평가를 수행한 결과, 정답률 기반의 난이도 문제에 비해서 대부분의 그룹에서 평균 점수가 향상됨을 확인할 수 있었다.

Abstract ▼ AI-Helper

For the questions asked for LMS-based online evaluation the professor directly set exam questions, or use the automatic question-taking method according to the level of difficulty using the question bank divided by category. Among them, it is important to manage the difficulty of questions in an objective and efficient way, above all, in the automatic question-taking method according to difficulty. Because the questions presented to the evaluators may be different. In this paper, we propose an difficulty re-adjustment algorithm that considers not only the correct rate of a problem but also the time taken to solve the problem. For this, a logistic regression classification algorithm was used of machine learning, and a reference threshold was set based on the predicted probability value of the learning model and used to readjust the difficulty of each item. As a result, it was confirmed that there were many changes in the difficulty of each item that depended only on the existing correct rate. Also, as a result of performing group evaluation using the adjustment difficulty problem, it was confirmed that the average score improved in most groups compared to the difficulty problem based on the percentage of correct answers.

주제어

표/그림 (20)

그림 Fig. 1 Algorithm process
그림 Fig. 2 Quiz test screen
표 Table 1 Category-A (grammar)
그림 Fig. 3 Quiz report screen
그림 Fig. 4 supervised learning algorithm
그림 Fig. 5 Distribution of turnaround-time/correct answer rate
그림 Fig. 6 Logistic Regression
표 Table 2 Difficulty Prediction Probability Value(example)
표 Table 3 Exam question table for group exam
그림 Fig. 7 difficulty ratio
그림 Fig. 8 Difficulty Adjustment Algorithm
그림 Fig. 9 'low' predicted probability value
그림 Fig. 10 'middle' predicted probability value
그림 Fig. 11 'upper' predicted probability value
그림 Fig. 12 predicted probability value
표 Table 4 Number of Prediction Difficulties
그림 Fig. 13 Difficulty Prediction Probability Value
그림 Fig. 14 Adjusted number of difficultiese
그림 Fig. 15 Average analysis of each class
표 Table 5 Average of each class

참고문헌 (13)

C.SookYoung (2017), Design and Application of an Instructional Model for Flipped learning of Programming Class, The Journal of Korean association of computer education, Vol.20 No.4, 27-36.
D.E.Choi, H.J.Seo, K.S.Park, J.Y.Lee (2000), A Design and Implementation of Dynamic Test Generating System, Korean Institute of Information Scientists and Engineers, Proceedings of academic presentations, Vol.27 No.1B, 690-692.
R,HeeYeol, K,EunJung (2004), Degree of Difficulty Adjustment Algorithms of Selection Question using Education Ability in WBI, Journal of the Korea Industrial Information Systems Research, Vol.9 No.4, 47-55
K.KyungA, C.EunMan (2002), Autumated Selection System of Examination Questions in Web-Based Instruction, KIPS Transactions on Computer and Communication Systems, Vol.9 No.3, 301-310.
K.EunJung (2004), Examination Questions Selection Algorithm in Web-based Engineer Test Education System, Journal of the Korea Industrial Information Systems Research, v.9, no.3, 11-18
K.SeongKon, L.SangKwan, K.EunJung (2008), Dynamic Adjustment Policy of degrees of difficulty for E-learning Databank Based Selection System, Korean Institute Of Maritime information & Communication Science, Vol.12 No.12, 2232-2238.
K.EunJung (2019), A Study on Difficulty Equalization Algorithm for Multiple Choice Problem in Programming Language Learning System, The Journal of Korean association of computer education, Vol.22 No.3, 55-65.

원문보기 상세보기
L.HyeonJoo, L,MiSook, H.SeungMi, L.ChanHee,Jung, Soon-Ho, (2003), Web-based Autumatic Question-Issuing System Using Level Estimation for Learners, KIPS Transactions on Computer and Communication Systems, Vol.10 No.5, 579-588.
L.MinKyoung, K.SooYong (2006), a Web-Based Item pool system for the level-learning, Korean Institute of Information Scientists and Engineers, Proceedings of academic presentations, Vol.33 No.2A, 103-107.
L.ChoongKwon, Y.Sangjin, J,Sangmin (2012), A Study of the Measurement of the Perceived Distances among Programming Languages, Journal of the Korea Industrial Information Systems Research, v.17, no.1, 95-104

원문보기 상세보기
S.Chuandong, W.Haifeng, Y.Bin, Z.Wei (2020), Online and Offline Teaching Mode of C Language Programming, Proceedings of the 2020 The 2nd World Symposium on Software Engineering, 207-210
W.Yeomyeong, B.Jiwoong, S.Jaemin, Y.Jinyeong, L.Sangjun (2014), Design and Implementation of the Web-based Learning System for C Programming Language, KIISE Transactions on Computing Practices (KTCP), Vol.20 No.12, 640-645.

원문보기 상세보기
Y.Chen, Y.Wang, Kinshuk, & Chen, N.S. Ch (2014). Is FLIP enough? Or should we use the FLIPPED model instead?. Computers & Education, Vol 79, 16-27.

상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증