[논문]트랜스포머 기반 효율적인 자연어 처리 방안 연구

임승철; 윤성구

doi:10.7236/jiibc.2023.23.4.115

초록
AI-Helper

현재의 인공지능에서 사용되는 자연어 처리 모델은 거대하여 실시간으로 데이터를 처리하고 분석하는 것은 여러가지 어려움들을 야기하고 있다. 이런 어려움을 해결하기 위한 방법으로 메모리를 적게 사용해 처리의 효율성을 개선하는 방법을 제안하고 제안된 모델의 성능을 확인하였다. 본 논문에서 제안한 모델의 성능평가를 위해 적용한 기법은 BERT[1] 모델의 어텐션 헤드 개수와 임베딩 크기를 작게 조절해 큰 말뭉치를 나눠서 분할 처리 후 출력값의 평균을 통해 결과를 산출하였다. 이 과정에서 입력 데이터의 다양성을 주기위해 매 에폭마다 임의의 오프셋을 문장에 부여하였다. 그리고 모델을 분류가 가능하도록 미세 조정하였다. 말뭉치를 분할 처리한 모델은 그렇지 않은 모델 대비 정확도가 12% 정도 낮았으나, 모델의 파라미터 개수는 56% 정도 절감되는 것을 확인하였다.

Abstract ▼ AI-Helper

The natural language processing models used in current artificial intelligence are huge, causing various difficulties in processing and analyzing data in real time. In order to solve these difficulties, we proposed a method to improve the efficiency of processing by using less memory and checked the...

The natural language processing models used in current artificial intelligence are huge, causing various difficulties in processing and analyzing data in real time. In order to solve these difficulties, we proposed a method to improve the efficiency of processing by using less memory and checked the performance of the proposed model. The technique applied in this paper to evaluate the performance of the proposed model is to divide the large corpus by adjusting the number of attention heads and embedding size of the BERT[1] model to be small, and the results are calculated by averaging the output values of each forward. In this process, a random offset was assigned to the sentences at every epoch to provide diversity in the input data. The model was then fine-tuned for classification. We found that the split processing model was about 12% less accurate than the unsplit model, but the number of parameters in the model was reduced by 56%.

주제어

표/그림 (7)

표 표 1. 트랜스포머 기반 모델들의 구조요약[7][8] Table 1. Overview of transformer-based models
표 표 2. 실험 모델의 구조 Table 2. Structure of an experimental model
그림 그림 1. 사전 학습 데이터의 오프셋 설정 Fig. 1. Configuration the offset of the pre-training data
그림 그림 2. 모델 A의 사전학습 손실 Fig. 2. Pre-training loss of Model A
그림 그림 3. 모델 B의 사전학습 손실 Fig. 3. Pre-training loss of Model B
그림 그림 4. 모델 A의 미세조정 정확도 Fig. 4. Fine-tuning Accuracy of Model A
그림 그림 5. 모델 B의 미세조정 정확도 Fig. 5. Fine-tuning Accuracy of Model B

참고문헌 (8)

Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina？Toutanova, "BERT: Pre-training of Deep Bidirectional？Transformers for Language Understanding", n？Proceedings of the Conference of the North American？Chapter of the Association for Computational Linguistics:？Human Language Technologies, Volume 1 (Long and？Short Papers). Association for Computational？Linguistics, Minneapolis, Minnesota, 4171-4186.？DOI: https://doi.org/10.48550/arXiv.1810.04805
You-bin Lee, Sung-Joon Lee, Byung-Won On,？"Comparison of Q-learning and SARSA Reinforcement？LearningAlgorithms Performance in Pendlum Game",？The Proceedings of the 2021 KIIT Autumn？Conference, pp.431-434, Jun 2021.
Bae Kyungyeol, Cho Jungkeun, Yoo Byung Joo, "A？Study on Establishment of AI Development Strategy？for Ground Operations innovation Applying PEST - 7S？- SWOT" Journal of the Korea Academia-Industrial？cooperation Society, Vol.22 No.6, pp.67-74, Jun 2021.？DOI: https://doi.org/10.5762/KAIS.2021.22.6.67

원문보기 상세보기
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob？Uszkoreit, Llion Jones, Aidan N.Gomez, Lukasz Kaiser,？Illia Polosukhin, "Attention Is All You Need",？Advances in neural information processing systems,？Vol.30 pages 6000-6010.？DOI: https://doi.org/10.48550/arXiv.1706.03762
kakobrain (2022) "kogpt".？https://github.com/kakaobrain/kogpt.git
Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya？Sutskever, "Improving Language Understanding by？Generative Pre-Training", 2018
Alec Radford, Jeffrey Wu, Rewon Child, David Luan,？Dario Amodei, Ilya sutskever, "Language Models are？Unsupervised Multitask Learners", 2019
Tom Brown, Benjamin Mann, Nick Ryder, Melanie？Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind？Neelakantan, Pranav Shyam, Girish Sastry, Amanda？Askell, et al, "Language Models are Few-Shot？Learners", Advances in Neural Information Processing？Systems, Vol.34, No.159, pp.1877-1901, Dec 2020？

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

트랜스포머 기반 효율적인 자연어 처리 방안 연구
A Study on Efficient Natural Language Processing Method based on Transformer 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (7)

표/그림 (7)

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

트랜스포머 기반 효율적인 자연어 처리 방안 연구 A Study on Efficient Natural Language Processing Method based on Transformer 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (7) 모든 표/그림 보기

표/그림 (7) 슬라이드로 보기

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

임승철 (11)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

트랜스포머 기반 효율적인 자연어 처리 방안 연구
A Study on Efficient Natural Language Processing Method based on Transformer 원문보기

초록
AI-Helper

표/그림 (7)

표/그림 (7)