[논문]KorPatELECTRA : A Pre-trained Language Model for Korean Patent Literature to improve performance in the field of natural language processing(Korean Patent ELECTRA)

Jang, Ji-Mo; Min, Jae-Ok; Noh, Han-Sung

doi:10.9708/jksci.2022.27.02.015

KorPatELECTRA : A Pre-trained Language Model for Korean Patent Literature to improve performance in the field of natural language processing(Korean Patent ELECTRA) 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.27 no.2, 2022년, pp.15 - 23

Jang, Ji-Mo (Korea Institute of Patent Information) , Min, Jae-Ok (Korea Institute of Patent Information) , Noh, Han-Sung (Korea Institute of Patent Information)

초록
AI-Helper

특허 분야에서 자연어처리(Natural Language Processing) 태스크는 특허문헌의 언어적 특이성으로 문제 해결의 난이도가 높은 과제임에 따라 한국 특허문헌에 최적화된 언어모델의 연구가 시급한 실정이다. 최근 자연어처리 분야에서는 특정 도메인에 특화되게 사전 학습(Pre-trained)한 언어모델을 구축하여 관련 분야의 다양한 태스크에서 성능을 향상시키려는 시도가 지속적으로 이루어지고 있다. 그 중, ELECTRA는 Google이 BERT 이후에 RTD(Replaced Token Detection)라는 새로운 방식을 제안하며 학습 효율성을 높인 사전학습 언어모델이다. 본 연구에서는 대량의 한국 특허문헌 데이터를 사전 학습한 KorPatELECTRA를 제안한다. 또한, 특허 문헌의 특성에 맞게 학습 코퍼스를 정제하고 특허 사용자 사전 및 전용 토크나이저를 적용하여 최적화된 사전 학습을 진행하였다. KorPatELECTRA의 성능 확인을 위해 실제 특허데이터를 활용한 NER(Named Entity Recognition), MRC(Machine Reading Comprehension), 특허문서 분류 태스크를 실험하였고 비교 대상인 범용 모델에 비해 3가지 태스크 모두에서 가장 우수한 성능을 확인하였다.

Abstract ▼ AI-Helper

In the field of patents, as NLP(Natural Language Processing) is a challenging task due to the linguistic specificity of patent literature, there is an urgent need to research a language model optimized for Korean patent literature. Recently, in the field of NLP, there have been continuous attempts to establish a pre-trained language model for specific domains to improve performance in various tasks of related fields. Among them, ELECTRA is a pre-trained language model by Google using a new method called RTD(Replaced Token Detection), after BERT, for increasing training efficiency. The purpose of this paper is to propose KorPatELECTRA pre-trained on a large amount of Korean patent literature data. In addition, optimal pre-training was conducted by preprocessing the training corpus according to the characteristics of the patent literature and applying patent vocabulary and tokenizer. In order to confirm the performance, KorPatELECTRA was tested for NER(Named Entity Recognition), MRC(Machine Reading Comprehension), and patent classification tasks using actual patent data, and the most excellent performance was verified in all the three tasks compared to comparative general-purpose language models.

주제어

표/그림 (7)

표 Table 1. Result on sentence classification
표 Table 2. Text fields in the patent
표 Table 3. The size of the vocabulary according to the to kenizer used in the pretrained models.
표 Table 4. Data list of patent and non-patent fields used for downstream tasks.
표 Table 5. Performance of tested model on the Non-Patent downstream tasks. Overall best scores are underlined and highlighted in bold. Document Classification Task is indicated by CLS.
표 Table 6. Performance of tested model on the Korean patent downstream tasks. Overall best scores are underlined and highlighted in bold. Document Classification Task is indicated by CLS.
표 Table 7. Performance of KorPatELECTRA model according to tokenizer on the various Korean patent downstream tasks. Overall best scores are underlined and highlighted in bold. Document Classification Task is indicated by CLS.

AI 본문요약
AI-Helper

제안 방법

KorPatELECTRA를 제안함에 있어 모델, 데이터, vocab 크기 및 토큰화 방식에 대한 3가지 관점으로 성능검증 실험을 하고 분석하였다.
이러한 이유로 효율적인 학습 및 서비스 측면에서 판단하여 사전학습 언어모델로 ELECTRA를 선정하였다. 대용량 한국어 특허문헌 텍스트를 학습하여 특허분야에 최적화된 KorPatELECTRA를 구축하고 NER, MRC 그리고 분류 태스크에서 KLUE(Korean Language Understanding Evaluation)5) 벤치마크, KorQuAD와 같은 일반적인 데이터 셋 뿐만 아니라 특허데이터 셋을 활용하여 성능 검증을 위한 실험을 진행하였다.
과학, 의학 등 특정 전문 분야에 특화된 BERT에 대한 연구 사례는 많은 반면 ELECTRA에 대한 연구 사례는 많지 않았고 특히 특허 데이터를 활용한 사전학습 모델은 찾아보기 어렵다. 따라서 본 연구에서는 BERT보다 우수한 ELECTRA 모델을 활용하고 단일 필드가 아닌 제목, 배경기술, 요약 등 다양한 필드로 구성된 대용량의 한국어 특허 데이터를 사전 학습하고자 한다.
본 연구에서는 특허분야에 특화된 사전학습 모델인 KorPatELECTRA를 학습하는 방법을 제안하고 성능을 검증하였다. 또한, 학습을 위해 대용량 한국어 특허 데이터 특성에 맞는 전처리 과정을 거치고 토크나이저에 따른 성능변화도 확인하였다.
본 연구에서는 특허분야에 특화된 사전학습 모델인 KorPatELECTRA를 학습하는 방법을 제안하고 성능을 검증하였다. 또한, 학습을 위해 대용량 한국어 특허 데이터 특성에 맞는 전처리 과정을 거치고 토크나이저에 따른 성능변화도 확인하였다.
사전학습 최적화를 위해 vocab과 토크나이저를 결정하는 과정과 사전학습 방법을 설명하고 NER, MRC, 문서분류 태스크를 수행하여 KorPatELECTRA의 성능을 분석해보고자 한다.
평가 결과를 바탕으로 3가지 관점에서 모델 성능을 비교하였다. 첫 번째는 동일한 토크나이저에서 BERT 및 KoELECTRA와 성능을 비교하였다, 두 번째는 다양한 분야의 일반적인 형태를 가진 비특허 데이터와 실제 특허 분야의 데이터를 활용하여 KoELECTRA와 우리 모델 간의 성능 변화를 비교하였다. 세 번째는 전용 토크나이저와 vocab이 언어모델의 성능과 각 태스크에서 어떠한 영향을 미치는지에 대해 분석하였다.

대상 데이터

국가 R&D보고서는 주제 범위가 33개의 대분류, 371개의 중분류, 2, 898개의 소분류로 이루어져 있고 해당 데이터에 대한 자동 분류 태스크는 연구자가 복잡한 분류체계를 모두 이해하지 않고 연구 문헌의 핵심 주제를 쉽게 파악할 수 있다는 점에서 의미가 크다고 할 수 있다. 2013 년부터 2018년까지의 데이터 중 학습 데이터 130, 515건, 평가 데이터 14, 502건을 샘플링 하였고, 중분류 86개의 분류 체계로 평가를 진행하였다. 특허문헌 데이터는 390, 540건을 샘플링 하였고, CPC코드의 subclass 기준으로 144개의 분류 체계로 평가를 진행하였다.
3.3에서 소개한 바와 같이 BERT, ELECTRA에서 사용한 word piece 토크나이저를 기반으로 한국어 특성에 맞춰 개선한 MWP 토크나이저와 특허문헌 데이터를 대상으로 사용자 사전이 적용된 MSP 토크나이저를 사용하였다. Table 3는 각 모델에서 사용한 토크나이저에 따른 vocab의 크기를 나타낸 표이다.
KLUE 데이터는 한국어 NLP 분야에서 사전 학습된 모델의 성능을 정량적으로 평가할 수 있는 벤치마크 데이터셋이며 사람, 위치, 기관 등 6개의 개체명으로 구성되어 있다. NAVER-CW Challenge 데이터는 NAVER가 창원대학교와 함께 개최한 한국어 자연어처리 기술 대회13) 에서창원대학교가 마련한 대량의 한국어 데이터로 인물명, 학문 분야, 지역명칭 등 14개의 개체명으로 구성되어 있다.
KLUE 데이터는 한국어 NLP 분야에서 사전 학습된 모델의 성능을 정량적으로 평가할 수 있는 벤치마크 데이터셋이며 사람, 위치, 기관 등 6개의 개체명으로 구성되어 있다. NAVER-CW Challenge 데이터는 NAVER가 창원대학교와 함께 개최한 한국어 자연어처리 기술 대회13) 에서창원대학교가 마련한 대량의 한국어 데이터로 인물명, 학문 분야, 지역명칭 등 14개의 개체명으로 구성되어 있다. Patent 데이터는 화학 특허 분야의 데이터 셋으로 고분자 복합수지 분야의 화학 전문가를 통해 수작업으로 화학 용어사전과 BIO(begin-inside-outside) 태깅으로 구축하였다.
NAVER-CW Challenge 데이터는 NAVER가 창원대학교와 함께 개최한 한국어 자연어처리 기술 대회13) 에서창원대학교가 마련한 대량의 한국어 데이터로 인물명, 학문 분야, 지역명칭 등 14개의 개체명으로 구성되어 있다. Patent 데이터는 화학 특허 분야의 데이터 셋으로 고분자 복합수지 분야의 화학 전문가를 통해 수작업으로 화학 용어사전과 BIO(begin-inside-outside) 태깅으로 구축하였다. 학습 데이터는 조성, 물성, 조성 단위, 물성 단위, 조성 값, 물성 값으로 총 6개의 개체명으로 구성되어 있다.
효율적인 선행기술조사를 위해 미국 특허청과 유럽 특허청의 주도로 2012년 개발되어, 2021년 현재 IP5를 포함한 주요국들이 특허문헌을 CPC 코드로 분류하고 있는 만큼 중요한 지표이다. 국내 출원된 특허문헌 중 2, 879, 585건을 수집하였고 CPC코드 섹션별 수집 결과는 Table 1과 같다.
Dialog-KoELECTRA는 대화체와 문어체 데이터의 비율 조합을 통해 대화체의 성능을향상시킨 언어모델이다. 국립국어원의 대화 말뭉치와 챗봇 데이터 등 약 22GB 데이터를 40, 000개의 vocab으로 학습하였다. Dialog-KoELECTRA는 대화체 기반의 데이터를 활용한 fine-tuning 실험에서 KoELECTRA보다 나은 성능을 보였다.
본 연구에서는 2종류의 데이터 셋을 이용하는데, 국가과학기술지식정보서비스(NTIS) 시스템에 제출되어 국가과학기술표준 분류체계 14)(K-NSCC)를 따르고 있는 국가 R&D보고서 데이터와 특허문헌 분류체계인 CPC 코드가 부여된 특허 데이터이다.
NER태스크는 미리 정의해 둔 개체명을 텍스트에서 인식하여 추출하고 분류하는 태스크이다. 본 연구에서는 3종류의 데이터 셋를 사용하여 fine-tuning 실험을 진행하였고 KLUE, 어절기반 NAVER-창원대 NLP Challenge에서 제공된 데이터(이하, NAVER-CW Challenge), 형태소 기반 특허 데이터를 사용하였다.
MRC태스크는 정답이 존재하는 문서에서 사용자 질의에 대해서 기계가 문서를 이해하여 정답의 위치를 스스로 찾아내는 태스크이다. 본 연구에서는 MRC 실험을 위해 KorQuAD와 PatQuAD 2종류의 데이터 셋을 사용하였다.
본 연구에서는 일반적인 한국어 텍스트를 학습한 KoELECTRA와 비교실험을 진행하였다.
ELECTRA는 RTD방식을 사용하여 BERT보다 효과적으로 학습할 수 있고 다른 모델들과 비교하였을 때 동일한 컴퓨팅 자원과 데이터 환경에서 적은 비용과 시간이 소요되는데에도 불구하고 성능이 우수하다. 이러한 이유로 효율적인 학습 및 서비스 측면에서 판단하여 사전학습 언어모델로 ELECTRA를 선정하였다. 대용량 한국어 특허문헌 텍스트를 학습하여 특허분야에 최적화된 KorPatELECTRA를 구축하고 NER, MRC 그리고 분류 태스크에서 KLUE(Korean Language Understanding Evaluation)5) 벤치마크, KorQuAD와 같은 일반적인 데이터 셋 뿐만 아니라 특허데이터 셋을 활용하여 성능 검증을 위한 실험을 진행하였다.
2013 년부터 2018년까지의 데이터 중 학습 데이터 130, 515건, 평가 데이터 14, 502건을 샘플링 하였고, 중분류 86개의 분류 체계로 평가를 진행하였다. 특허문헌 데이터는 390, 540건을 샘플링 하였고, CPC코드의 subclass 기준으로 144개의 분류 체계로 평가를 진행하였다.
Patent 데이터는 화학 특허 분야의 데이터 셋으로 고분자 복합수지 분야의 화학 전문가를 통해 수작업으로 화학 용어사전과 BIO(begin-inside-outside) 태깅으로 구축하였다. 학습 데이터는 조성, 물성, 조성 단위, 물성 단위, 조성 값, 물성 값으로 총 6개의 개체명으로 구성되어 있다.
한국어 데이터로 학습한 사례로는 KoELECTRA1)와 Dialog-KoELECTRA2)가 있으며, KoELECTRA는 크롤링한 뉴스 데이터로 국립국어원3)에서 제공하는 문어체 형태의 한국어 데이터 등을 사용하여 약 34GB 데이터를 35, 000 개의 vocab으로 학습하였다. Dialog-KoELECTRA는 대화체와 문어체 데이터의 비율 조합을 통해 대화체의 성능을향상시킨 언어모델이다.

데이터처리

자연어처리의 대표적인 3가지의 다운스트림 태스크를 KorPatELECTRA로 파인튜닝을 통해 모델 성능을 평가하였다.

이론/모형

한나눔7), Open Korean Text8), 코모란9)등 다양한 형태소 분석기에서 문장 분리기(sentence splitter)를 지원하지만 형태소 분석기마다 특징과 성능이 다르다. 본 연구에서는 KSS(Korean Sentence Splitter)10)문장 분리기를 사용하여 문장을 분리하였다. 특허문헌의 문장은 사전 학습에 불필요한 특수문자나 수식이 많은 특징에 따라 문장 분리 이후 예외 규칙을 더 추가하여 코퍼스의 학습 품질을 높였다.

성능/효과

4장에서의 실험결과들을 분석해 보았을 때, 대용량 특허데이터를 학습한 KorPatELECTRA가 결과적으로 특허데이터를 활용한 fine-tuning 실험에서 타 분야의 데이터 셋을 학습한 사전학습 언어모델보다 성능 향상이 있음을 확인하였다. 그 결과 각 분야별 데이터 특성에 대해 분석하고 그에 특화된 전처리와 토크나이저를 활용하여 vocab을 생성하는 과정이 언어모델의 성능에 영향을 미치고 특화된 언어모델의 필요성을 확인하였다.
73% 높은 점수를 보이고 있다. 결과적으로, KLUE, NAVER-CW Challenge, KorQuAD 데이터 셋을 활용한 태스크에서는 법적 요건에 맞춘 형식과 복잡한 기술적인 내용으로 구성되어 있는 특허와는 다른 일반적인 형태의 데이터를 사전 학습한 KoELECTRA가 좋은 성능을 보였다.
4장에서의 실험결과들을 분석해 보았을 때, 대용량 특허데이터를 학습한 KorPatELECTRA가 결과적으로 특허데이터를 활용한 fine-tuning 실험에서 타 분야의 데이터 셋을 학습한 사전학습 언어모델보다 성능 향상이 있음을 확인하였다. 그 결과 각 분야별 데이터 특성에 대해 분석하고 그에 특화된 전처리와 토크나이저를 활용하여 vocab을 생성하는 과정이 언어모델의 성능에 영향을 미치고 특화된 언어모델의 필요성을 확인하였다.

후속연구

첫째, 토크나이저와 vocab의 크기에 따른 언어모델의 성능이 NER, MRC 등 서로 다른 태스크에 어떤 영향을 끼치는가에 대해 상세히 분석하는 연구가 필요하다. 둘째, 대용량의 한국어 특허데이터를 가공하고 KorPatELECTRA를 구축한 경험을 바탕으로 향후 더 좋은 성능의 사전학습 언어모델 생성 연구를 지속하고자 한다. 셋째, 기존의 특허 데이터뿐만 아니라 논문, 연구보고서 등 과학기술 분야에 대한 데이터를 포함한 과학기술 분야에 특화된 고성능의 언어모델이 개발되어 과학기술 분야 전반에 활용되기를 기대해 본다.
둘째, 대용량의 한국어 특허데이터를 가공하고 KorPatELECTRA를 구축한 경험을 바탕으로 향후 더 좋은 성능의 사전학습 언어모델 생성 연구를 지속하고자 한다. 셋째, 기존의 특허 데이터뿐만 아니라 논문, 연구보고서 등 과학기술 분야에 대한 데이터를 포함한 과학기술 분야에 특화된 고성능의 언어모델이 개발되어 과학기술 분야 전반에 활용되기를 기대해 본다.
향후 연구 방향은 다음과 같다. 첫째, 토크나이저와 vocab의 크기에 따른 언어모델의 성능이 NER, MRC 등 서로 다른 태스크에 어떤 영향을 끼치는가에 대해 상세히 분석하는 연구가 필요하다. 둘째, 대용량의 한국어 특허데이터를 가공하고 KorPatELECTRA를 구축한 경험을 바탕으로 향후 더 좋은 성능의 사전학습 언어모델 생성 연구를 지속하고자 한다.

참고문헌 (21)

Jeong, Su-Jeong, "Zur Analyse von mehr oder weniger festen Wortverbindungen in Patentschriften im Deutschen und Koreanischen," German Literature, Vol. 26, No. 3, pp. 360-361. 2016.
DEVLIN, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding," arXiv preprint arXiv:1810.04805, 2018.
Yang, Zhilin, et al. "Xlnet: Generalized autoregressive pretraining for language understanding," Advances in neural information processing systems, 32 , 2019.
RADFORD, Alec, et al, "Improving language understanding by generative pre-training", 2018.
LAN, Zhenzhong, et al. "A Lite BERT for Self-supervised Learning of Language Representations," arXiv preprint arXiv:1909.11942, 2019.
LIU, Yinhan, et al. "Roberta: A robustly optimized bert pretraining approach," arXiv preprint arXiv:1907.11692, 2019.
LIM, J. H.; KIM, H. K.; KIM, Y. K. "Recent R&D Trends for Pretrained Language Model," Electronics and Telecommunications Trends, Vol. 35, No. 3, pp. 9-19, 2020.

원문보기 상세보기
CLARK, Kevin, et al. "Electra: Pre-training text encoders as discriminators rather than generators," arXiv preprint arXiv:2003.10555, 2020.
WANG, Alex, et al. "GLUE: A multi-task benchmark and analysis platform for natural language understanding," arXiv preprint arXiv:1804.07461, 2018.
LEE, Jinhyuk, et al. "BioBERT: a pre-trained biomedical language representation model for biomedical text mining," Bioinformatics, Vol. 36, No. 4, pp.1234-1240, 2020.

상세보기
BELTAGY, Iz; LO, Kyle; COHAN, Arman. "Scibert: A pretrained language model for scientific text," arXiv preprint arXiv:1903.10676, 2019.
LEWIS, Patrick, et al. "Pretrained Language Models for Biomedical and Clinical Tasks: Understanding and Extending the State-of-the-Art," Proceedings of the 3rd Clinical Natural Language Processing Workshop, pp. 146-157, 2020.
RAJ KANAKARAJAN, Kamal; KUNDUMANI, Bhuvana; SANKARASUBBU, Malaikannan. "BioELECTRA: Pretrained Biomedical text Encoder using Discriminators," Proceedings of the 20th Workshop on Biomedical Language Processing, pp. 143-154, 2021.
VASWANI, Ashish, et al. "Attention is all you need. In: Advances in neural information processing systems," pp. 5998-6008, 2017.
Min, Jae-Ok, et al, "Korean Machine Reading Comprehension for Patent Consultation Using BERT,/ Software and Data Engineering, Vol. 9, No. 4, pp. 145-152, 2020.
Park, Joo-Yeon, et al. "Improving Recognition of Patent's Claims with Deep Neural Networks," Collection of papers from Korea Information Processing Society, Vol. 27, No. 1, pp. 500-503, 2020.
LEE, Jieh-Sheng; HSIANG, Jieh. "Patent classification by fine-tuning BERT language model," World Patent Information, 61: 101965, 2020.

상세보기
RUST, Phillip, et al. "How good is your tokenizer? on the monolingual performance of multilingual language models," arXiv preprint arXiv:2012.15613, 2020.
SENNRICH, Rico; HADDOW, Barry; BIRCH, Alexandra. "Neural machine translation of rare words with subword units," arXiv preprint arXiv:1508.07909, 2015.
PARK, Sungjoon, et al. "KLUE: Korean Language Understanding Evaluation," arXiv preprint arXiv:2105.09680, 2021.
PARK, Jinwoo, et al. "Patent Tokenizer: a research on the optimization of tokenize for the Patent sentence using the Morphemes and SentencePiece," Annual Conference on Human and Language Technology. Human and Language Technology, pp. 441-445, 2020.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증