[논문]KoEPT 기반 한국어 수학 문장제 문제 데이터 분류 난도 분석

임상규; 기경서; 김부근; 권가진

doi:10.3745/ktsde.2022.11.8.315

KoEPT 기반 한국어 수학 문장제 문제 데이터 분류 난도 분석
Analyzing Korean Math Word Problem Data Classification Difficulty Level Using the KoEPT Model 원문보기

정보처리학회논문지. KIPS transactions on software and data engineering. 소프트웨어 및 데이터 공학, v.11 no.8, 2022년, pp.315 - 324

임상규 (서울대학교 지능정보융합학과) , 기경서 (서울대학교 지능정보융합학과) , 김부근 (서울대학교 인공지능혁신인재양성교육연구단) , 권가진 (서울대학교 지능정보융합학과)

초록
AI-Helper

이 논문에서는 자연어로 구성된 수학 문장제 문제 자동 풀이하기 위한 Transformer 기반의 생성 모델인 KoEPT를 제안한다. 수학 문장제 문제는 일상 상황을 수학적 형식으로 표현한 자연어 문제이다. 문장제 문제 풀이 기술은 함축된 논리를 인공지능이 파악해야 한다는 요구사항을 지녀 최근 인공지능의 언어 이해 능력을 증진하기 위해 국내외에서 다양하게 연구되고 있다. 한국어의 경우 문제를 유형으로 분류하여 풀이하는 기법들이 주로 시도되었으나, 이러한 기법은 다양한 수식을 포괄하여 분류 난도가 높은 데이터셋에 적용하기 어렵다는 한계가 있다. 본 논문은 이에 대해 '식' 토큰과 포인터 네트워크를 사용하는 KoEPT 모델을 사용했다. 이 모델의 성능을 측정하기 위해 현존하는 한국어 수학 문장제 문제 데이터셋인 IL, CC, ALG514의 분류 난도를 측정한 후 5겹 교차 검증 기법을 사용하여 KoEPT의 성능을 평가하였다. 평가에 사용된 한국어 데이터셋들에 대하여, KoEPT는 CC에서는 기존 최고 성능과 대등한 99.1%, IL과 ALG514에서 각각 89.3%, 80.5%로 새로운 최고 성능을 얻었다. 뿐만 아니라 평가 결과 KoEPT는 분류 난도가 높은 데이터셋에 대해 상대적으로 개선된 성능을 보였다. KoEPT가 분류 난도의 영향을 덜 받으며 좋은 성능을 얻게 된 이유를 '식' 토큰과 포인터 네트워크 때문이라는 것을 ablation study를 통해서 밝혔다.

Abstract ▼ AI-Helper

In this paper, we propose KoEPT, a Transformer-based generative model for automatic math word problems solving. A math word problem written in human language which describes everyday situations in a mathematical form. Math word problem solving requires an artificial intelligence model to understand the implied logic within the problem. Therefore, it is being studied variously across the world to improve the language understanding ability of artificial intelligence. In the case of the Korean language, studies so far have mainly attempted to solve problems by classifying them into templates, but there is a limitation in that these techniques are difficult to apply to datasets with high classification difficulty. To solve this problem, this paper used the KoEPT model which uses 'expression' tokens and pointer networks. To measure the performance of this model, the classification difficulty scores of IL, CC, and ALG514, which are existing Korean mathematical sentence problem datasets, were measured, and then the performance of KoEPT was evaluated using 5-fold cross-validation. For the Korean datasets used for evaluation, KoEPT obtained the state-of-the-art(SOTA) performance with 99.1% in CC, which is comparable to the existing SOTA performance, and 89.3% and 80.5% in IL and ALG514, respectively. In addition, as a result of evaluation, KoEPT showed a relatively improved performance for datasets with high classification difficulty. Through an ablation study, we uncovered that the use of the 'expression' tokens and pointer networks contributed to KoEPT's state of being less affected by classification difficulty while obtaining good performance.

주제어

표/그림 (9)

표 Table 1. Example of Math Word Problem
그림 Fig. 1. Model Diagram of KoEPT
표 Table 2. Difficulty of Korean Math Word Problem Datasets
표 Table 3. Experiment Results
표 Table 4. Ablation Experiment Results
표 Table 5. Example 1: Effect of Expression Token
표 Table 6. Example 2-1: Effect of Pointer Network
표 Table 7. Example 2-2: Effect of Pointer Network
표 Table 8. Details of Dataset Difficulty

참고문헌 (25)

C. Woo and G. Gweon, "solving automatically algebra math word problem in Korean," Annual Conference on Human and Language Technology, pp.310-315, 2018.
K. Ki, D. Lee, and G. Gweon, "KoTAB: Korean template-based arithmetic solver with BERT," 2020 IEEE International Conference on Big Data and Smart Computing (BigComp), pp.279-282, 2020.
J. Zhang, L. Wang, R. K. Lee, Y. Bin, Y. Wang, J. Shao, and E. Lim, "Graph-to-Tree learning for solving math word problems," Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp.3928-3937, 2020.
J. Zhang, R. K. Lee, E. Lim, W. Qin, L. Wang, J. Shao, and Q. Sun, "Teacher-Student networks with multiple decoders for solving math word problem," Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI-20, pp.4011-4017, 2020.
Y. Lan et al., "MWPToolkit: An open-source framework for deep learning-based math word problem solvers," [Internet], https://github.com/LYH-YF/MWPToolkit
D. Hendrycks et al., "Measuring mathematical problem solving with the MATH dataset," 35th Conference on Neural Information Processing Systems (NeurIPS 2021) Track on Datasets and Benchmarks. 2021.
N. Kushman, Y. Artzi, L. Zettlemoyer, and R. Barzilay, "Learning to automatically solve algebra word problems," Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, Vol. 1: Long Papers, pp.271-281, 2014.
D. Zhang, L. Wang, L. Zhang, B. T. Dai, and H. T. Shen, "The gap of semantic parsing: A survey on automatic math word problem solvers," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.42, No.9, pp.2287-2305, 2019.

상세보기
S. Roy and D. Roth, "Mapping to declarative knowledge for word problem solving," Transactions of the Association for Computational Linguistics, Vol.6, pp.159-172, 2018.

상세보기
L. Zhou, S. Dai, and L. Chen, "Learn to solve algebra word problems using quadratic programming," Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp.817-822, 2015.
J. D. Kenton, M. W. Chang, and L. K. Toutanova, "BERT: Pre-training of deep bidirectional transformers for language understanding," Proceedings of NAACL-HLT, pp.4171-4186. 2019.
B. Kim, K. Ki, D. Lee, and G. Gweon, "Point to the expression: Solving algebraic word problems using the expression-pointer transformer model," Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp.3768-3779, 2020.
A. Vaswani et al., "Attention is all you need," Advances in Neural Information Processing Systems, pp.5998-6008, 2017.
Z. Lan, M. Chen, S. Goodman, K. Gimpel, P. Sharma, and R. Soricut, "ALBERT: A lite BERT for self-supervised learning of language representations," International Conference on Learning Representations, 2019.
J. Lim, H. Kim, and Y. Kim, "Recent R&D trends for pretrained language model," Electronics and Telecommunications Trends, Vol.35, No.3, pp.9-19, 2020.

원문보기 상세보기
J. Park, Pretrained ELECTRA Model for Korean [Internet], https://github.com/monologg/KoELECTRA.
K. Clark, M. Luong, Q. V. Le, and C. D. Manning, "ELECTRA: Pre-training text encoders as discriminators rather than generators," International Conference on Learning Representations, 2019.
D. Lee, J. Park, and S. Oh, "KB-ALBERT" [Internet], https://github.com/KB-AI-Research/KB-ALBERT
O. Vinyals, M. Fortunato, and N. Jaitly, "Pointer networks," Advances in Neural Information Processing Systems, Vol.28, pp.2692-2700, 2015.
A. Meurer et al., "SymPy: Symbolic computing in Python," PeerJ Computer Science, Vol.3, 2017.
S. Roy, T. Vieira, and D. Roth, "Reasoning about quantities in natural language," Transactions of the Association for Computational Linguistics, Vol.3, pp.1-13, 2015.

상세보기
S. Roy and D. Roth, "Solving General Arithmetic Word Problems," In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp.1743-1752, 2015.
E. Collins, N. Rozanov, and B. Zhang, "Evolutionary data measures: Understanding the difficulty of text classification tasks," Proceedings of the 22nd Conference on Computational Natural Language Learning, pp.380-391, 2018.
C. E. Shannon, "A mathematical theory of communication," ACM SIGMOBILE Mobile Computing and Communications Review, Vol.5, No.1, pp.3-55, 2001.

상세보기
L. Le Cam and G. L. Yang, "Asymptotics in statistics: Some basic concepts," Springer Science and Business Media, 2012.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증