[논문]GPTs 기반 문제해결 맞춤형 챗봇 제작 및 수학적 성능 분석

권미선

doi:10.7468/jksmec.2024.27.3.303

[국내논문] GPTs 기반 문제해결 맞춤형 챗봇 제작 및 수학적 성능 분석
Development and mathematical performance analysis of custom GPTs-Based chatbots 원문보기

Journal of the Korean Society of Mathematical Education. Series C : Education of primary school mathematics, v.27 no.3, 2024년, pp.303 - 320

권미선 (신풍초등학교)

초록
AI-Helper

본 연구는 폴리아의 문제해결 단계에 따라 풀이를 제공하는 GPTs 기반 맞춤형 챗봇을 제작하여 수학적 성능을 검증하였다. 우선 맞춤형 챗봇 베타 버전을 제작하여 수학적 성능을 검증한 후 대표적인 오류를 수정하여 최종 맞춤형 챗봇을 완성하였다. 완성된 맞춤형 챗봇은 초등 수학 6학년 교과서에 제시된 이미지 형태의 65개 문제 중 평균 약 57.8개를 옳게 해결하여 약 89.0%의 정답률을 보였으며, 베타 버전에 비해 약 4%p 높은 정답률을 나타냈다. 또한 그림이 문제를 해결하는 데 핵심적인 역할을 하지 않는 50개 문제의 경우 평균 45.5개를 옳게 해결하여 약 91.0%의 정답률을 보였다. 완성된 맞춤형 챗봇의 답변 중 대표적인 오류는 문제 인식 오류이며, 문제에 인식하기 어려운 그림이 사용되었거나 문제 구성이 복잡한 경우에 해당 오류가 나타났다. 다음으로 개념 혼동 오류, 문제 이해 오류 등이 나타났다. 본 연구에서 개발한 문제해결 맞춤형 챗봇은 범용적인 챗봇인 ChatGPT보다 우수한 수학적 성능을 보였다. 또한 학년 수준에 적절하도록 풀이 과정의 조정이 가능하여 학생 개별화 맞춤형 지도에 활용할 수 있으며, 누구나 제작이 가능하여 교사 개인별 수업 보조 등 수학교육에서의 다양한 활용 가능성을 엿볼 수 있다.

Abstract ▼ AI-Helper

This study presents the development and performance evaluation of a custom GPT-based chatbot tailored to provide solutions following Polya's problem-solving stages. A beta version of the chatbot was initially deployed to assess its mathematical capabilities, followed by iterative error identification and correction, leading to the final version. The completed chatbot demonstrated an accuracy rate of approximately 89.0%, correctly solving an average of 57.8 out of 65 image-based problems from a 6th-grade elementary mathematics textbook, reflecting a 4 percentage point improvement over the beta version. For a subset of 50 problems, where images were not critical for problem resolution, the chatbot achieved an accuracy rate of approximately 91.0%, solving an average of 45.5 problems correctly. Predominant errors included problem recognition issues, particularly with complex or poorly recognizable images, along with concept confusion and comprehension errors. The custom chatbot exhibited superior mathematical performance compared to the general-purpose ChatGPT. Additionally, its solution process can be adapted to various grade levels, facilitating personalized student instruction. The ease of chatbot creation and customization underscores its potential for diverse applications in mathematics education, such as individualized teacher support and personalized student guidance.

Keyword

표/그림 (27)

표 [표 1] LLM을 활용하기 위한 3가지 기술의 비교 (파인튜닝, 검색 증강 생성, 퓨샷 러닝)
그림 [그림 1] 파인튜닝의 과정 (서지영, 2024, p. 45)
그림 [그림 2] 검색 증강 생성의 과정(서지영, 2024, p. 48)
그림 [그림 3] 데이터의 양에 따른 모델 훈련 기법
표 [표 2] 맞춤형 챗봇의 베타 버전과 최종 버전의 검증에 사용된 문제 수
그림 [그림 4] 텍스트만으로 해결이 가능한 문제의 예 (교육부, 2021, p. 88)
그림 [그림 5] 텍스트만으로 해결할 수 없는 문제의 예 (교육부, 2021, p. 89)
표 [표 3] 분석 기준
표 [표 4] 맞춤형 챗봇 베타 버전의 정답률 (N=65)
표 [표 5] 맞춤형 챗봇 베타 버전의 풀이 과정의 유형 (N=64, 기타는 제외)
그림 [그림 6] 맞춤형 챗봇 베타 버전의 수정 절차
그림 [그림 7] 맞춤형 챗봇 베타 버전의 수정 후 답변
그림 [그림 8] 완성된 맞춤형 챗봇의 시작 화면
표 [표 6] 맞춤형 챗봇의 정답률 (N=65)
그림 [그림 9] 문제를 옳게 해결한 예 (김성여 외, 2023, p. 99)
그림 [그림 10] 문제를 옳지 않게 해결한 예 (안병곤 외, 2023, p. 99)
그림 [그림 11] 비와 비율을 혼용하여 사용한 예 (신항균 외, 2023, p. 90)
표 [표 7] 학습 주제에 따른 정답률
표 [표 8] 텍스트로만 구성된 문제의 정답률 (N=37)
그림 [그림 12] 가로와 세로를 잘 이해한 예시 (안병곤 외, 2023, p. 99)
그림 [그림 13] 그림을 잘못 인식한 예 (박성선 외, 2023, p.96)
표 [표 9] 문제에서 그림의 역할에 따른 정답률
그림 [그림 14] 문제 인식 오류 중 그림 인식 오류의 예 (박성선 외, 2023, p. 96)
그림 [그림 15] 문제 인식 오류 중 수 인식 오류의 예 (한대희 외, 2023, p. 99)
표 [표 10] 맞춤형 챗봇의 답과 풀이 과정의 유형 분석 결과 (N=65)
그림 [그림 16] 문제 이해 오류의 예 (류희찬 외, 2023, p. 109)
그림 [그림 17] 출력 오류의 예 (안병곤 외, 2023, p. 99)

참고문헌 (28)

강윤지(2024). 수학 문장제 해결과 관련한 ChatGPT의 교수학적 활용 방안 모색. 수학교육 논문집,？38(1), 49-67.
교육부(2021). 수학 6-1. 비상교육.
교육부(2022). 수학과 교육과정. 교육부 고시 제2022-33호 [별책 8]. 교육부.
권오남, 오세준, 윤정은, 이경원, 신병철(2023).？ChatGPT의 수학적 성능 분석: 국가수준 학업성취도 평가 및 대학수학능력시험 수학 문제 풀이를？중심으로. 수학교육 논문집, 37(2), 233-256.
김귀훈, 고우영, 윤혜진, 이제현, 임준호, 류운하, 송석리, 이규호, 이도영, 한준구(2023). 생성형 AI 교육자료: ChatGPT 사례 중심으로. 서울특별시교육청.
김덕진(2023). AI 2024 트렌드 & 활용백과. 스마트북스.
김덕진, 서승완(2024). 챗봇 2025 트렌드 & 활용백과.？스마트북스.
김성여, 강언진, 강요한, 고창수, 김보현, 김아롱, 노시현, 박소연, 박용준, 박희정, 송정아, 안효은, 이대현, 정선혜, 정유화, 황윤정(2023). 수학 6-1. 아이스크림 미디어.
김진중(2024). 최고의 프롬프트 엔지니어링 강의. 리코멘드.
류희찬, 유현주, 이종영, 조영미, 탁병주, 최인숙, 정미진, 이환규, 전종호, 김광식, 이경선, 박순덕, 김경희, 원선희, 선종희, 김백균, 이영배, 김종욱, 김해동, 장연지, 나미연, 김은미, 박순희, 서우림, 윤현철, 김유리(2023). 수학 6-1. 금성출판사.
박성선, 류성림, 김상미, 권성룡, 김남균, 강호진, 김경탁, 김보경, 김영진, 김용성, 김용관, 성창근, 오해진, 이명희, 정인수, 최병훈, 최주영(2023). 수학 6-1. YBM.
선주오(2024). 대화형 수학 튜터링 시스템을 위한 데이터셋 설계 및 구축. 건국대학교 대학원 석사학위논문.
손태권(2024). 수학교육에서의 인공지능: 지능형 교수시스템에 대한 체계적 문헌 검토. 수학교육학연구,？34(2), 187-208.
서지영(2024). 랭체인으로 LLM기반의 AI 서비스 개발하기. 길벗.
신항균, 김태환, 김리나, 정나영, 최혜령, 황혜진, 서형주, 김숙현, 김현미, 남미선, 박재한, 조웅래, 최하철, 김승희, 문행운, 홍혜원, 임연주(2023). 수학？6-1. 비상교육.
안병곤, 나귀수, 김민경, 이광호, 류현아, 최지선, 조진우, 김남준, 정연숙, 박은정, 허지연, 황창훈, 문은혜, 손태권, 추성엽, 장송이, 정소영, 김주창, 윤재원, 정은희, 차은경(2023). 수학 6-1. 두산동아.
유호석(2024). 제가 만든 GPT는 당신이 만든 GPT와？전혀 다릅니다. 리코멘드.
이규남, 조우진, 김동민(2023). 프롬프트 엔지니어링으로 인공지능 제대로 일 시키기. 제이펍.
이지혜, 허난(2020). 인공지능을 활용한 맞춤형 수학학습 프로그램 개발. East Asian Mathematical？Journal, 36(2), 273-289.
한대희, 고은성, 조형미, 한상희, 이희석, 신희영, 이자미, 문석현, 서현진, 김나라, 김가영, 김태범, 임훈택, 박이서로, 황은지, 오민영(2023). 수학 6-2. 천재교과서.
허민(2023). 제가 쓰는 챗GPT는 당신이 쓰는 챗GPT와 전혀 다릅니다. 리코멘드.
Afzaal, M., Nouri, J., Zia, A., Papapetrou, P., Fors,？U., Wu, Y., Li, X., & Weegar, R. (2021).？Explainable AI for data-driven feedback and？intelligent action recommendations to support？students self-regulation. Frontiers in Artificial？Intelligence, 4, 1-20.
Almeida, D. R. (2024, April 10). CLIP embeddings？to improve multimodal RAG with GPT-4 Vision.？OpenAI Cookbook. https://cookbook.openai.com/examples/custom_image_embedding_search
Chelli, M., Descamps, J., Lavoue, V., Trojani, C.,？Azar, M., Deckert, M., Raynier, J., Clowez, G.,？Boileau, P., &　 Ruetsch-Chelli, C., (2024).？Hallucination rates and reference accuracy of？ChatGPT and bard for systematic reviews:？Comparative analysis. J ournal of Medical？Internet Research, 26, e53164. Retrieved from？https://www.jmir.org/2024/1/e53164.
Doc, N. V., Nam, N. T. H., Thanh, N. T., & Giam, N. M. (2023). Teaching mathematics with the？assistance of an AI chatbot to enhance？mathematical thinking skills for high school？students. International Journal of Current？Science Research and Review, 6(12), 8574-8580.
Holmes, W., Bialik, M., & Fadel, C. (2019).？Artificial intelligence in education: Promises and？implications for teaching & learning. 정제영, 이선복 역(2020). 인공지능 시대의 미래교육: 가르침？과 배움의 함의. 박영story.
Gallagher, M. A., Ellis, L., & Weiland, T. (2021).？Making word problems meaningful. Mathematics？Teaching: Learning & Teaching PK-12, 114(8),？580-590.
Yeh, C. Y. C., Cheng, H. N. H., Chen, Z. H., Liao,？C. C. Y., & Chan, T. W. (2019). Enhancing？achievement and interest in mathematics learning？through Math-Island. Research and Practice in？Technology Enhanced Learning, 14(5), 1-19.

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증