[논문]사전 학습된 한국어 BERT의 전이학습을 통한 한국어 기계독해 성능개선에 관한 연구

이치훈; 이연지; 이동희

doi:10.9716/kits.2020.19.5.083

사전 학습된 한국어 BERT의 전이학습을 통한 한국어 기계독해 성능개선에 관한 연구
A Study of Fine Tuning Pre-Trained Korean BERT for Question Answering Performance Development 원문보기

한국IT서비스학회지 = Journal of Information Technology Services, v.19 no.5, 2020년, pp.83 - 91

이치훈 (티쓰리큐(주) 인공지능연구소) , 이연지 (티쓰리큐(주) 인공지능연구소) , 이동희 (국민대학교 경영학부)

Abstract ▼ AI-Helper

Language Models such as BERT has been an important factor of deep learning-based natural language processing. Pre-training the transformer-based language models would be computationally expensive since they are consist of deep and broad architecture and layers using an attention mechanism and also require huge amount of data to train. Hence, it became mandatory to do fine-tuning large pre-trained language models which are trained by Google or some companies can afford the resources and cost. There are various techniques for fine tuning the language models and this paper examines three techniques, which are data augmentation, tuning the hyper paramters and partly re-constructing the neural networks. For data augmentation, we use no-answer augmentation and back-translation method. Also, some useful combinations of hyper parameters are observed by conducting a number of experiments. Finally, we have GRU, LSTM networks to boost our model performance with adding those networks to BERT pre-trained model. We do fine-tuning the pre-trained korean-based language model through the methods mentioned above and push the F1 score from baseline up to 89.66. Moreover, some failure attempts give us important lessons and tell us the further direction in a good way.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이렇게 전이학습의 중요성을 강조하며, 이 논문에서는 먼저 BERT 전이학습에 관한 내용을 전반 적으로 다루면서 성능 개선을 위한 파인튜닝 기법을 중점으로 소개한다. 후반부에는 이 기법들을 활용한 실험 및 결과를 비교하여 설명한다.

제안 방법

네트워크는 사전학습 모델에 Linear 레이어를 추가하여 Epoch과 Layer 개수에 변화를 주어 실험을 하였다. 이후에는 RNN 기반의 LSTM, GRU를 각각 기존 사전 모델과 앙상블 하여 파인 튜닝을 수행하였다.
데이터 증식 방법은 2가지를 사용하였다. 첫번째로 KorQuAD 1.
실제로, 이 방법을 사용했을 때 데이터가 260MB로, 기존 데이터셋에 비해 약 10배 정도 증가하였다. 두 번째로 Back Translation을 활용한 증식을 수행하였다. 이 증식법도 마찬가지로 질의 데이터에만 적용하였는데, 한글 데이터를 영어로 번역 후 다시 한글 데이터로 번역하는 방법이다.
구글 BERT의 경우 MLM기법으로 15% 랜덤 마스킹 또는 전체 Word 마스킹을 사용하지만, 해당 모델의 경우 n-gram 마스킹을 사용하였다. 또한, Next Sentence Prediction이 아닌 Sentence Order Prediction을 사용하여 좀 더 효율적으로 문맥을 해석하도록 구성하였다.
이후에는 RNN 기반의 LSTM, GRU를 각각 기존 사전 모델과 앙상블 하여 파인 튜닝을 수행하였다. 마찬가지로 Layer수와 Epoch 수, 양방향 여부를 변경하며 실험을 진행하였다.
이 논문에서 적용한 파인튜닝 방법을 3가지 종류로 나누자면, 데이터 증식, 하이퍼 파라미터 튜닝, 파인튜닝 네트워크 추가로 각 방법에 대한 자세한 설명은 다음과 같다.
BERT를 포함한 사전모델에서는 Epoch 수를 조정하거나, Batch Size, Random Seed, Learning Rate 값을 조정하는 것이 여러 연구에서 활용한 공통적인 방법이다. 이 논문에서도 마찬가지로 Epoch, Batch Size, Learning Rate, Random Seed, Max Sequence Length를 미세 조정하여 약 30개의 조합으로 실험을 수행하였다.
네트워크는 사전학습 모델에 Linear 레이어를 추가하여 Epoch과 Layer 개수에 변화를 주어 실험을 하였다. 이후에는 RNN 기반의 LSTM, GRU를 각각 기존 사전 모델과 앙상블 하여 파인 튜닝을 수행하였다. 마찬가지로 Layer수와 Epoch 수, 양방향 여부를 변경하며 실험을 진행하였다.
데이터 증식 방법은 2가지를 사용하였다. 첫번째로 KorQuAD 1.0 학습 데이터셋을 SQuAD 2.0 데이터셋처럼 답이 없는 (No-Answer) 질의를 증식시켰다. 예를 들어, 위키백과의 한 주제에 해당하는 아티클 페이지를 보면, 문단이 여러개로 이루어져 있다.
하이퍼 파라미터 튜닝은 Batch size, Learning rate, Maximum sequence length, Epoch, random seed, Maximum query length 7개의 항목을 중심으로 약 30개의 조합을 수행하였으며, 최상위 모델 5개만 도출하였다. 하이퍼 파라메터 튜닝으로 오히려 성능이 감소하는 것으로 나타나 Baseline모델이 이미 최적화된 것으로 판단된다.

대상 데이터

적용언어모델은 2020년 5월 인라이플과 LG CNS 가 NLP 챌린저용으로 공개한 한국어 BERT소형 모델을 채택하였다. 구글 BERT의 경우 MLM기법으로 15% 랜덤 마스킹 또는 전체 Word 마스킹을 사용하지만, 해당 모델의 경우 n-gram 마스킹을 사용하였다.
0는 LG CNS에서 한국어 위키백과 문서를 바탕으로 개발한 한국어 기계독해 데이터셋이다. 한국어 위키 백과 랜덤 탐색으로 총 1637건의 문서를 수집하고, 크라우드소싱을 통하여 수작업으로 70,000쌍 이상의 질문-답변 학습 데이터셋을 구축하였다. JSON 형식의 학습 데이터셋은 총 7 Depth로 구성되어 있으며, 한 개의 위키백과 타이틀에 해당하는 단문들이 여러 쌍의 질문-답변 리스트를 가진 형태이다(임승영 외, 2018).

이론/모형

적용언어모델은 2020년 5월 인라이플과 LG CNS 가 NLP 챌린저용으로 공개한 한국어 BERT소형 모델을 채택하였다. 구글 BERT의 경우 MLM기법으로 15% 랜덤 마스킹 또는 전체 Word 마스킹을 사용하지만, 해당 모델의 경우 n-gram 마스킹을 사용하였다. 또한, Next Sentence Prediction이 아닌 Sentence Order Prediction을 사용하여 좀 더 효율적으로 문맥을 해석하도록 구성하였다.

성능/효과

파인튜닝을 수행한 3가지 방법 중 네트워크를 수정하거나 추가한 방법으로 가장 좋은 결과를 도출할 수 있었다. 기존 모델의 Baseline F1 Score는 88.20로, 하이퍼 파라미터 미세조정과 데이터 증식 방법을 통한 모델은 모두 Baseline 안팎으로 적은 범위의 미세한 성능 차이를 보였다. 그렇지만 LSTM과 GRU 네트워크를 앙상블한 모델은 Baseline보다 1.
(2020)의 연구에서는 전반적인 파인튜닝 기법에 대해 소개하였는데, 적은 데이터셋일 경우 Random Seed의 영향이 크며, 더 많이 할당할수록 성능이 개선된다는 점을 발견하였다. 또한, Correlation을 구해 성능이 좋지 못한 모델을 학습 초기에 구분하여 학습을 중지하는 등의 알고리즘을 제시하고 Early Stopping으로 4개의 데이터셋의 성능 개선을 증명하였다.
6% 정도의 F1 Score가 대폭 증가 했다. 또한, 기계독해 태스크의 특성을 고려하여 양방향 학습을 수행한 결과 단방향일 때보다 크게는 3% 성능 개선의 효과가 있었다.
모델 결과에 사전학습 모델이 영향을 주는지 아니면 파인튜닝의 과정이더 영향을 주는지 파악하기가 쉽지 않았지만, 더욱 다양한 실험과 연구를 통해 앞으로 파악해야 할 과제라고 생각한다. 또한, 한국어 기계독해 및 질의응답 등 한국어 데이터셋으로 학습된 한국어 언어모델을 최적화 하는 것뿐만 아니라, 실험을 진행하면서 한국어 자연어처리에 대한 많은 발전 가능성을 보았다. 특히, 한국어 자연어처리에 대한 연구가 부족한 상황에서 한국어에 최적화된 모델은 한국 연구자들에 의해 나와야 한다고 생각하며, 그런 의미에서 이번 논문은 공동 발전의 의미가 있다.
특히, F1 Score 88.20%에서 89.66%로의 성능개선은 BERT의 사전모델을 보완하지 않고 순수한 파인튜닝만의 결과로 기계독해 분야 Task에 비용과 시간을 상당부분 줄일 수 있다고 생각한다.
파인튜닝을 수행한 3가지 방법 중 네트워크를 수정하거나 추가한 방법으로 가장 좋은 결과를 도출할 수 있었다. 기존 모델의 Baseline F1 Score는 88.

후속연구

이번 실험을 통해 여러 파인튜닝 기법을 적용해볼 수 있었으나, 모델의 결과를 볼 때 그 원인을 분석하는 데 어려움이 있었다. 모델 결과에 사전학습 모델이 영향을 주는지 아니면 파인튜닝의 과정이더 영향을 주는지 파악하기가 쉽지 않았지만, 더욱 다양한 실험과 연구를 통해 앞으로 파악해야 할 과제라고 생각한다. 또한, 한국어 기계독해 및 질의응답 등 한국어 데이터셋으로 학습된 한국어 언어모델을 최적화 하는 것뿐만 아니라, 실험을 진행하면서 한국어 자연어처리에 대한 많은 발전 가능성을 보았다.
이번 연구에서 네트워크를 추가한 앙상블 모델의 성능이 가장 좋았으나, 데이터 증식에 대한 정제가 제대로 수행되어 이 논문에서 실험한 모든 파인 튜닝 방법을 같이 적용한다면 더 획기적인 성능 개선의 효과를 볼 수 있을 것이라 기대한다.

참고문헌 (15)

임승영, 김명지, 이주열, "KorQuAD : 기계독해를 위한 한국어 질의응답 데이터셋", 한국정보과학회 학술발표논문집, 2018, 539-541.
Clark, K., U. Khandelwal, O. Levy, and C. Manning, "What Does BERT Look At? An Analysis of BERT's Attention", Stanford University, Facebook AI Research, 2019. Available at https://arxiv.org/abs/1906.04341 (Accessed June 11, 2019).
Devlin, J., M.W. Chang, K. Lee, and K. Toutanova, "BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding, Google AI Language", 2018. Available at https://arxiv.org/pdf/1810.04805.pdf (Accessed May 24, 2019).
Dodge, J., G. Ilharco, R. Schwartz, A. Farhad, H. Hajishirzi, and N. Smith, "Fine-Tuning Pretrained Language Models : Weight Initializations, Data Orders, and Early Stopping", Cornell University, 2020. Available at https://arxiv.org/pdf/2002.06305.pdf (Accessed February 15, 2020).
Ethayarajh, K., "How Contextual Are Contextualised Word Representations? Comparing The Geometry of Bert, Elmo, And Gpt2", Stanford University, 2019. Available at https://arxiv.org/abs/1909.00512 (Accessed September 2, 2019).
Kobayashi, S., Contextual Augmentation : Data Augmentation By Words With Paradigmatic Relations, Preferred Networks, Inc., 2018. Available at https://arxiv.org/abs/1805.06201 (Accessed May 16, 2018).
Lalande, K.M., "CS224n Final Project : SQuAD 2.0 with BERT", 2019. Available at http://web.stanford.edu/class/cs224n/reports/default/15791990.pdf (Accessed September 5, 2020).
Marivate, V. and T. Sefara, Improving short text classification through global augmentation methods, CD-MAKE 2020 : Machine Learning and Knowledge Extraction, 2019, 385-399.
Mohammadi, M., R. Mundra, R. Socher, L. Wang, and A. Kamat, "Natural Language Processing With Deep Learning", Stanford University, 2019. Available at http://web.stanford.edu/class/cs224n/readings/cs224n-2019-notes03-neuralnets.pdf (Accessed June 10, 2020).
Qin, Z., W. Mao, and Z. Zhu, "Diverse Ensembling with Bert and its variations for Question Answering on SQuAD 2.0", 2019. Available at pdfs.semanticscholar.org/728e/855946e2683dd34fe8eb165f223059cb2961.pdf (Accessed October 10, 2020).
Semnani, J.S., R.K. Sadagopan, and F. Tlili, "BERTA : Fine-tuning BERT with Adapters and Data Augmentation", Standford University, 2019. Available at https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1194/reports/default/15848417.pdf (Accessed June 10, 2020).
Sun, C., X. Qiu, Y. Xu, and X. Huang, How To Fine-Tune BERT For Text Classification?, Shanghai : Fudan University, 2020. Available at https://arxiv.org/pdf/1905.05583.pdf (Accessed June 10, 2020).
Wang, R., H. Su, C. Wang, K. Ji, and J. Ding, "To Tune or not tune? How about the best of both worlds?", Percent Group, AI Lab. 2019. Available at https://arxiv.org/pdf/1907.05338.pdf (Accessed Oct 10, 2020).
Yang, W., Y. Xie, L. Tan, K. Xiong, M. Li, and J. Lin, "Data Augmentation for BERT Fine-Tuning in Open-Domain Question Answering", 2019. Available at https://arxiv.org/pdf/1904.06652.pdf (Accessed April 14, 2019).
Ying, A., "Really Paying Attention : A BERT+BiDAF Ensemble Model for Question-Answering", Standford University, 2019. Available at https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1194/reports/default/15792214.pdf (Accessed June 10, 2020).

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증