[논문]ChatGPT의 수학적 성능과 오류 분석: 다중양식적 접근을 통한 수학교육 활용 가능성 탐색

이기마; 김희정

doi:10.30807/ksms.2024.27.3.005

[국내논문] ChatGPT의 수학적 성능과 오류 분석: 다중양식적 접근을 통한 수학교육 활용 가능성 탐색
Exploring the potential of ChatGPT in mathematics education: Analyzing mathematical performance and errors through a multimodal approach

韓國學校數學會論文集 = Journal of the Korean School Mathematics Society, v.27 no.3, 2024년, pp.363 - 392

이기마 (고려대학교) , 김희정 (고려대학교)

초록
AI-Helper

본 연구는 OpenAI의 ChatGPT와 같은 대규모 언어 모델(Large Language Model, LLM)의 수학교육에서의 활용 가능성을 모색하기 위해, ChatGPT의 수학적 성능을 다중양식(multimodal) 접근(언어 및 이미지 처리 성능평가)으로 분석하였다. 중학교 수학 수준의 1,836개의 문제 이미지를 입력하여 정답률, 오류율, 오류의 특징·패턴·발생 맥락을 평가하였으며, 풀이 과정의 무결성은 정확성, 관련성, 투명성, 유창성, 안전성 측면에서 분석되었다. 분석 결과, ChatGPT는 문자와 식 영역에서 전반적으로 높은 정답률을 보였지만, 기하 영역에서는 상대적으로 낮은 정답률을 나타냈다. ChatGPT의 수학적 오류 패턴을 분석한 결과, 인식 오류는 빈도가 높고 연쇄적으로 다른 오류를 초래한다는 점에서 주목해야 할 사항으로 확인되었다. 이러한 오류를 완화하기 위한 전략으로는 문제에 언어적·기호적·수치적 설명을 추가하는 전략을 제안할 수 있다. 또한 ChatGPT의 수학 문제 풀이 과정에 대한 분석을 통해 수학 문제 해결 학습, 맞춤형 튜터, 문제 만들기, 문제 채점 및 오류 분석 등의 수학교육적 활용 가능성을 확인하였다. 본 연구는 ChatGPT의 수학교육적 활용 가능성을 다각적으로 확인하였고, 이를 신뢰할 수 있는 수준에서 안정적으로 활용하기 위한 방안과 후속 연구를 위한 제언을 도출하였다.

Abstract ▼ AI-Helper

This study explores the potential of utilizing Large Language Models (LLMs) like OpenAI's ChatGPT in mathematics education by analyzing its mathematical performance using a multimodal approach that includes language and image processing evaluations. A total of 1,836 middle school-level mathematical problem images were input to assess accuracy rates, error rates, and characteristics, patterns, and contexts of errors. The integrity of the solution processes was evaluated in terms of accuracy, relevance, transparency, fluency, and safety. The analysis revealed that ChatGPT generally maintained high accuracy rates in the algebra domain but showed relatively lower accuracy in the geometry domain. Notably, recognition errors were found to be frequent and often triggered a chain of subsequent errors, making them a key area of concern. Strategies to mitigate these errors included enhancing the linguistic, symbolic, and numerical explanations provided with the problems. Furthermore, through an analysis of ChatGPT's problem-solving processes, the study identified its potential for educational use in areas such as problem-solving, personalized tutoring, problem posing, and grading and error analysis. This study provides a comprehensive multimodal analysis and confirms the potential of ChatGPT in mathematics education, and offers insights and recommendations for future research to ensure its reliable application in educational settings.

Keyword

참고문헌 (37)

Kang,？Y. J. (2024). A study on the didactical application of ChatGPT for mathematical word problem solving.？Communications of Mathematical Education, 38(1), 49-67. https://doi.org/10.7468/jksmee.2024.38.1.49

원문보기 상세보기
교육부(2023.6.8.) AI 디지털교과서 추진방안 [보도자료]. Retrieved from https://eiec.kdi.re.kr/policy/materialView.do?num239513&pg&pp20&topicO (최종검색일: 2024.08.07.)
Kwon, O. N., Oh, S. J., Yoon, J. E.,？Lee, K. Y., Shin, B. C., & Jeong, W. (2023). Analyzing mathematical performances of ChatGPT: Focusing on the？solution of national assessment of educational achievement and the college scholastic ability test. Communications？of Mathematical Education, 37(2), 233-256. https://doi.org/10.7468/jksmee.2023.37.2.233

원문보기 상세보기
Kim, H. J.,？Kim, D. J., Kim, S. M., Kim, W., Moon, J. W., Lee, G. M., Oh, Y. S., Kwak, D. K., Kim, J. H., Choi, J. W.,？Kim, H. Y., So, B. R., Park, Y. H., Lee, J. Y., & Lee, C. H. (2023). Development of a service model and prototype？for AI digital textbooks in secondary mathematics. Korea Education and Research Information Service.
Kim, H. J., Cho, H. M., Ko, E. S., Lee, D.？H., Cho, J. W., Choi, J. S., Han, C. R., & Hwang, J. H. (2022). Development and application of assessment？items for the diagnosis of difficulties in learning elementary mathematics. Journal of the Korean School Mathematics？Society. 25(3), 261-278. https://doi.org/10.30807/ksms.2022.25.3.003

원문보기 상세보기
Ryu, H. C., Sun, H.？S., Shin, B. M., Jung, D. S., Seol, J. S., Jang, Y. H., & Park, S. H. (2018). Middle school mathematics 3. Chunjae？education.
Ryu, H. C., Sun, H. S.,？Shin, B. M., Jung, D. S., Seol, J. S., Jang, Y. H., & Park, S. H. (2018). Middle school mathematics 1. Chunjae？Education.
Ryu, H. C., Sun, H. S.,？Shin, B. M., Jung, D. S., Seol, J. S., Jang, Y. H., & Park, S. H. (2018). Middle school mathematics 2. Chunjae？education.
Son, T. K. (2023). Exploring the possibility of using ChatGPT in？mathematics education: Focusing on student product and pre-service teachers' discourse related to fraction？problems. Education of Primary School Mathematics, 26(2), 99-113. https://doi.org/10.7468/jksmec.2023.26.2.99

원문보기 상세보기
Ahn, D. Y., Son, T. K., & Lee, K. H. (2023). ChatGPT as？a scaffolding tool: Evaluating the impact on elementary students' mathematical logic problem-solving skills.？Brain, Digital, & Learning, 13(2), 183-196. https://doi.org/10.31216/BDL.20230011

상세보기
Oh, S. J. (2023). Effective ChatGPT prompts in mathematical problem solving: Focusing？on quadratic equations and quadratic functions. Communications of Mathematical Education, 37(3), 545-567.？https://doi.org/10.7468/jksmee.2023.37.3.545

원문보기 상세보기
Lee, G. M., Lee, Y. J., & Kim, H. J. (2023). Analysis of adaptive learning in Korea's AI mathematics？learning platforms. Journal of the Korean School Mathematics Society, 26(3), 245-268. https://doi.org/10.30807/ksms.2023.26.3.004

원문보기 상세보기
Lee, Y. J. (2023).？An Analysis of pre-service teachers' mathematics lesson design using chatGPT. Communications of Mathematical？Education, 37(3), 497-516. https://doi.org/10.7468/jksmee.2023.37.3.497

원문보기 상세보기
Alawida, M., Mejri, S., Mehmood, A., Chikhaoui, B., & Abiodun, O. I. (2023). A comprehensive study of ChatGPT:？Advancements, limitations, and ethical considerations in natural language processing and cybersecurity.？Information, 14(8), 462. https://doi.org/10.3390/info14080462

상세보기
Allganize Korea (2024). Evaluation strategies for financial AI. Allganize blog. Retrieved July 1, 2024, from https://blog-ko.allganize.ai/evaluation-strategies-financial-ai/
Bahrini, A., Khamoshifar, M., Abbasimehr, H., Riggs, R. J., Esmaeili, M., Majdabadkohne, R. M., & Pasehvar, M.？(2023). ChatGPT: Applications, opportunities, and threats. Preprint accepted in IEEE Systems and Information？Engineering Design Symposium (SIEDS) 2023. Institute of Electrical and Electronics Engineers (IEEE).
Bin-Hady, W. R. A., Al-Kadi, A., Hazaea, A., & Ali, J. K. M. (2023). Exploring the dimensions of ChatGPT in English？language learning: A global perspective. Library Hi Tech. https://doi.org/10.1108/LHT-05-2023-0200
Botana, F., & Recio, T. (2024). Geometric loci and ChatGPT: Caveat emptor! Computation, 12(2), 30. https://doi.org/10.3390/computation12020030

상세보기
Chen, W-Y. (2024). Intelligent tutor: Leveraging ChatGPT and Microsoft Copilot Studio to deliver a generative AI？student support and feedback system within teams. arXiv. https://doi.org/10.48550/arXiv.2405.13024
Cheng, V., & Yu, Z. (2023). Analyzing ChatGPT's mathematical deficiencies: Insights and contributions. Proceedings？of the 35th Conference on Computational Linguistics and Speech Processing (ROCLING 2023). The Association？for Computational Linguistics and Chinese Language Processing (ACLCLP).
Chang, Y., Wang, X., Wang, J., Wu, Y., Yang, L., Zhu, K., Chen, H., Yi, X., Wang, C., Wang, Y., Ye, W., Zhang,？Y., Chang, Y., Yu, P. S., Yang, Q., & Xie, X. (2023). A survey on evaluation of large language models. arXiv.？https://doi.org/10.48550/arXiv.2307.03109
Dao, X-Q., & Le, N-B. (2023). Investigating the effectiveness of ChatGPT in mathematical reasoning and problem？solving: Evidence from the Vietnamese national high school graduation examination. arXiv. https://arxiv.org/abs/2306.06331
Ding, L., Li, T., Jiang, S., & Gapud, A. (2023). Students' perceptions of using ChatGPT in a physics class as a virtual？tutor. International Journal of Educational Technology in Higher Education, 20(63). https://doi.org/10.1186/s41239-023-00434-1

상세보기
Drushlyak, M., Lukashova, T., Sabadosh, Y., Melnikov, I., & Semenikhina, O. (2024). Using ChatGPT for the？development of critical thinking in youth: Example of inequality proof. Proceedings of the 47th MIPRO International？Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO 2024), Opatija,？Croatia. IEEE. https://doi.org/10.1109/MIPRO60963.2024.10569759
Ellis, B. (2023, March 22). How ChatGPT can help with grading. TCEA TechNotes blog. Retrieved July 1, 2024, from？https://blog.tcea.org/chatgpt-grading/
Ellis, A. R., & Slade, E. (2023). A new era of learning: Considerations for ChatGPT as a tool to enhance statistics？and data science education. Journal of Statistics and Data Science Education, 31(2), 128-133. https://doi.org/10.1080/26939169.2023.2223609

상세보기
Ipek, Z. H., Gozum, A. I. C., Papadakis, S., & Kallogiannakis, M. (2023). Educational applications of the ChatGPT？AI system: A systematic review research. Educational Process: International Journal, 12(3), 26-55. https://doi.org/10.22521/edupij.2023.123.2
Frieder, S., Pinchetti, L., Chevalier, A., Griffiths, R.-R., Salvatori, T., Lukasiewicz, T., Petersen, P. C., & Berner, J.？(2023). Mathematical capabilities of ChatGPT. arXiv. https://arxiv.org/abs/2301.13867
Long, P. P. V., Vu, D. A., Hoang, N. M., Do, X. L., & Luu, A. T. (2023). ChatGPT as a math questioner? Evaluating？ChatGPT on generating pre-university math questions. arXiv. https://doi.org/10.48550/arXiv.2312.01661
OpenAI (2023a). GPT-4 technical report. arXiv. https://doi.org/10.48550/arXiv.2303.08774
OpenAI (2023b). GPT-4V(ision) system card. Retrieved July 2, 2024, from https://cdn.openai.com/papers/GPTV_System_Card.pdf
OpenAI (2023c). Vision. Retrieved July 2, 2024, from https://platform.openai.com/docs/guides/vision
Pardos, Z. A., & Bhandari, S. (2023). Learning gain differences between ChatGPT and human tutor generated algebra？hints. arXiv. https://doi.org/10.48550/arXiv.2302.06871
Ray, P. P. (2023). ChatGPT: A comprehensive review on background, applications, key challenges, bias, ethics, limitations,？and future scope. Internet of Things and Cyber-Physical Systems, 3, 121-154. https://doi.org/10.1016/j.iotcps.2023.04.003

상세보기
Shahriar, S., & Hayawi, K. (2023). Let's have a chat! A conversation with ChatGPT: Technology, applications, and？limitations. arXiv. https://doi.org/10.48550/arXiv.2302.13817
Shakarian, P., Koyyalamudi, A., Ngu, N., & Mareedu, L. (2023). An independent evaluation of ChatGPT on mathematical？word problems (MWP). arXiv. https://doi.org/10.48550/arXiv.2302.13814
Wardat, Y., Tashtoush, M. A., AlAli, R., & Jarrah, A. M. (2023). ChatGPT: A revolutionary tool for teaching and？learning mathematics. EURASIA Journal of Mathematics, Science and Technology Education, 19(7). https://doi.org/10.29333/ejmste/13272？

상세보기

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증