[논문]오픈 소스 기반의 거대 언어 모델 연구 동향: 서베이

주하영; 오현택; 양진홍

doi:10.17661/jkiiect.2023.16.4.193

[국내논문] 오픈 소스 기반의 거대 언어 모델 연구 동향: 서베이
A Survey on Open Source based Large Language Models 원문보기

한국정보전자통신기술학회논문지 = Journal of Korea institute of information, electronics, and communication technology, v.16 no.4, 2023년, pp.193 - 202

주하영 (KAIST-Megazone Cloud Research Center for Intelligent Cloud Computing Convergence Research) , 오현택 (KAIST Institute for Information Technology Convergence & KAIST-Megazone Cloud Research Center for Intelligent Cloud Computing Convergence Research) , 양진홍 (Department of Medical IT, INJE University)

초록
AI-Helper

최근 대규모 데이터 세트로 학습된 거대 언어 모델들의 뛰어난 성능이 공개되면서 큰 화제가 되고 있다. 하지만 거대 언어 모델을 학습하고 활용하기 위해서는 초대용량의 컴퓨팅 및 메모리 자원이 필요하므로, 대부분의 연구는 빅테크 기업들을 중심으로 폐쇄적인 환경에서 진행되고 있었다. 하지만, Meta의 거대 언어 모델 LLaMA가 공개되면서 거대 언어 모델 연구들은 기존의 폐쇄적인 환경에서 벗어나 오픈 소스화되었고, 관련 생태계가 급격히 확장되어 가고 있다. 이러한 배경하에 사전 학습된 거대 언어 모델을 추가 학습시켜 특정 작업에 특화되거나 가벼우면서도 성능이 뛰어난 모델들이 활발히 공유되고 있다. 한편, 사전 학습된 거대 언어 모델의 학습데이터는 영어가 큰 비중을 차지하기 때문에 한국어의 성능이 비교적 떨어지며, 이러한 한계를 극복하기 위해 한국어 데이터로 추가 학습을 시키는 한국어 특화 언어 모델 연구들이 이루어지고 있다. 본 논문에서는 오픈 소스 기반의 거대 언어 모델의 생태계 동향을 파악하고 영어 및 한국어 특화 거대 언어 모델에 관한 연구를 소개하며, 거대 언어 모델의 활용 방안과 한계점을 파악한다.

Abstract ▼ AI-Helper

In recent years, the outstanding performance of large language models (LLMs) trained on extensive datasets has become a hot topic. Since studies on LLMs are available on open-source approaches, the ecosystem is expanding rapidly. Models that are task-specific, lightweight, and high-performing are being actively disseminated using additional training techniques using pre-trained LLMs as foundation models. On the other hand, the performance of LLMs for Korean is subpar because English comprises a significant proportion of the training dataset of existing LLMs. Therefore, research is being carried out on Korean-specific LLMs that allow for further learning with Korean language data. This paper identifies trends of open source based LLMs and introduces research on Korean specific large language models; moreover, the applications and limitations of large language models are described.

주제어

표/그림 (4)

표 표 1. 오픈소스기반 거대 언어 모델의 상업적 이용 가능 여부 Table 1. Commercial Use of Open-source Large Language Models
표 표 1. 오픈소스기반 거대 언어 모델의 상업적 이용 가능 여부 Table 2. HuggingFace Open LLM Leaderboard as of 27 July 2023
표 표 3. 한국어 기반 거대 언어 모델 Table 3. List of Korean LLMs
표 표 4. HellaSwag (10-shot) 기반 영어 및 한국어 성능표 (2023년 7월 27일 기준) Table 4. English and Korean LLMs using HellaSwag benchmark (10-shot) as of 27 July 2023

AI 본문요약
AI-Helper

문제 정의

이러한 배경하에, 본 논문에서는 거대 언어 모델에 대한 개념과 생태계의 변화와 함께 오픈 소스 기반 거대 언어 모델의 동향을 중점적으로 살펴보고자 한다. 또한, 오픈 소스 기반의 한국어에 특화된 한국어 전용 거대 언어 모델과 관련 연구를 소개하고, 거대 언어 모델의 다양한 활용 방안 및 한계점에 관해 설명하고자 한다.
따라서, 한국어에 특화된 모델을 만들기 위해 BERT, GPT, LLaMA와 같은 대규모 언어로 학습된 모델을 기반 모델(Foundation model)로 두고 한국어 데이터 세트를 재학습 시키는 미세조정 모델(Finetuned model)들이 만들어지고 있다. 본 논문에서는 오픈 소스로 공개되어 연구가 활발히 진행되고 있는 LLaMA 모델과 Polyglot 모델을 기점으로 파생된 모델들을 소개한다.
본 논문에서는 오픈 소스를 중점으로 거대 언어 모델과 한국어 특화 언어 모델에 관한 연구 개발 동향을 살펴보았다. 대규모 데이터로 학습된 거대 언어 모델은 뛰어난 언어 생성 능력과 다양한 산업의 활용 가능성으로 최근 들어서 많은 주목을 받고 있다.
2023년은 거대 언어 모델 연구 개발의 오픈 소스가 활발해지는 중요한 해로 지난 6개월 남짓한 시간동안 다양한 오픈 소스 기반 프로젝트들이 공개되었다. 이러한 배경하에, 본 논문에서는 거대 언어 모델에 대한 개념과 생태계의 변화와 함께 오픈 소스 기반 거대 언어 모델의 동향을 중점적으로 살펴보고자 한다. 또한, 오픈 소스 기반의 한국어에 특화된 한국어 전용 거대 언어 모델과 관련 연구를 소개하고, 거대 언어 모델의 다양한 활용 방안 및 한계점에 관해 설명하고자 한다.

대상 데이터

Koalpaca-Ployglot 5.8B, 12.8B은 EleutherAI의 Polyglot-ko를 기반 모델(foundation model)로 한 미세조정 모델(finetuned model)이며 자체 수집한 v1.1 데이터 세트로 학습되었다. 이 데이터 세트는 네이버 지식인 서비스의 베스트 질문 전체를 크롤링한 데이터이다.
2023년 7월 27일을 기준으로 벤치마크 성능 상위 10개의 모델 중 사전학습 모델(Pretrained model)은 1개, 미세조정 모델(Finetuned model)은 9개이다. 학습 모델은 Meta의 LLaMA 2 모델이며, 9개의 미세조정 모델은 모두 LLaMA를 기반 모델(Foundation model)로 두고 미세조정한 모델이다. 잘 설계된 아키텍처와 고품질 데이터 세트로 학습된 LLaMA2 뿐만 아니라, 이를 활용하여 파생된 모델들도 우수한 성능을 보인다.

후속연구

특히, LLaMA2 모델이 공개된 지 오랜 시간이 지나지 않았음에도 다양한 미세조정 모델들이 업로드된 것으로 보았을 때, 거대 언어 모델에 관한 연구가 활발하게 진행되고 있음을 알 수 있다. LLaMA2 모델은 우수한 성능뿐만 아니라 상업적 이용할 수 있으므로 활용 가치가 높아 앞으로 더욱 다양한 파생 모델이 공개될 것으로 예상된다.
한편, 거대 언어 모델의 성능 향상과 비용 효율화를 동시에 추구하기 위해, 새로운 방식의 모델 연구뿐만 아니라 데이터 최적화 및 양자화 등 다양한 방식들이 연구되고 있다. 이러한 오픈 소스 기반의 거대 언어 모델은 상용 서비스 환경에서뿐만 아니라 자가구축(On-premise)형 환경에서도 실행할 수 있으므로, 데이터의 유출에 대한 걱정 없이 학습시킬 수 있어 다양한 서비스에 활용될 것으로 기대된다.

참고문헌 (44)

M. Shanahan, "Talking about large language？models," CoRR, vol. abs/2212.03551, 2022.？
J. Kaplan, S. McCandlish, T. Henighan, T. B.？Brown, B. Chess, R. Child, S. Gray, A.？Radford, J. Wu, and D. Amodei, "Scaling？laws for neural language models," CoRR,？vol. abs/2001.08361, 2020.？
J. Hoffmann, S. Borgeaud, A. Mensch, E.？Buchatskaya, T. Cai, E. Rutherford, D. de？Las Casas, L. A. Hendricks, J. Welbl, A.？Clark, T. Hennigan, E. Noland, K. Millican,？G. van den Driessche, B. Damoc, A. Guy, S.？Osindero, K. Simonyan, E. Elsen, J. W. Rae,？O. Vinyals, and L. Sifre, "Training？compute-optimal large language models,"？vol. abs/2203.15556, 2022.？
W. Fedus, B. Zoph, and N. Shazeer, "Switch？transformers: Scaling to trillion parameter？models with simple and efficient sparsity," J.？Mach. Learn. Res, pp. 1-40, 2021.？
Zhao, Wayne Xin, et al. "A survey of large？language models." arXiv preprint？arXiv:2303.18223, 2023.？
A. Vaswani, N. Shazeer, N. Parmar, J.？Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser,？and I. Polosukhin, "Attention is all you？need," in Advances in Neural Information？Processing Systems 30: Annual Conference on Neural Information Processing Systems,？pp. 5998-6008, 2017.？
J. Devlin, M. Chang, K. Lee, and K.？Toutanova, "BERT: pre-training of deep？bidirectional transformers for language？understanding," in Proceedings of the 2019？Conference of the North American Chapter？of the Association for Computational？Linguistics: Human Language Technologies,？NAACL-HLT 2019, Minneapolis, MN, USA,？June 2-7, 2019, Volume 1 (Long and Short？Papers), J. Burstein, C. Doran, and T.？Solorio, Eds. Association for Computational？Linguistics, p. 4171-4186, 2019.？
A. Radford, K. Narasimhan, T. Salimans, I.？Sutskever et al., "Improving language？understanding by generative pre-training,"？2018.？
A. Radford, J. Wu, R. Child, D. Luan, D.？Amodei, I. Sutskever et al., "Language？models are unsupervised multitask learners,"？OpenAI blog, p. 9, 2019.？
R. Nakano, J. Hilton, S. Balaji, J. Wu, L.？Ouyang, C. Kim, C. Hesse, S. Jain, V.？Kosaraju, W. Saunders, X. Jiang, K. Cobbe,？T. Eloundou, G. Krueger, K. Button, M.？Knight, B. Chess, and J. Schulman, "Webgpt:？Browser-assisted question-answering with？human feedback," CoRR, vol.？abs/2112.09332, 2021.？
T. B. Brown, B. Mann, N. Ryder, M.？Subbiah, J. Kaplan, P. Dhariwal, A.？Neelakantan, P. Shyam, G. Sastry, A. Askell,？S. Agarwal, A. Herbert-Voss, G. Krueger, T.？Henighan, R. Child, A. Ramesh, D. M.？Ziegler, J. Wu, C. Winter, C. Hesse, M.？Chen, E. Sigler, M. Litwin, S. Gray, B.？Chess, J. Clark, C. Berner, S. Mc- Candlish,？A. Radford, I. Sutskever, and D. Amodei,？"Language models are few-shot learners," in？Advances in Neural Information Processing Systems 33: Annual Conference on Neural？Information Processing Systems 2020,？NeurIPS 2020, December 6-12, 2020, virtual,？H. Larochelle, M. Ranzato, R. Hadsell, M.？Balcan, and H. Lin, Eds., 2020.？
R. Thoppilan, et al., "Lamda: Language？models for dialog applications," CoRR, vol.？abs/2201.08239, 2022.？
S. Black, L. Gao, P. Wang, C. Leahy, and？S. Biderman, "GPT-Neo: Large Scale？Autoregressive Language Modeling with？Mesh-Tensorflow," 2021.？
B. Wang and A. Komatsuzaki, "GPT-J-6B: A？6 Billion Parameter Autoregressive Language？Model,"https://github.com/kingoflolz/mesh-transformer-jax, 2021.？
"Introducing chatgpt," OpenAI Blog,？November 2022.？
J. Ye, X. Chen, N. Xu, C. Zu, Z. Shao, S.？Liu, Y. Cui, Z. Zhou, C. Gong, Y. Shen, J.？Zhou, S. Chen, T. Gui, Q. Zhang, and X.？Huang, "A comprehensive capability analysis？of gpt-3 and gpt-3.5 series models," arXiv？preprint arXiv:2303.10420, 2023.？
V. Korthikanti, J. Casper, S. Lym, L.？McAfee, M. Andersch, M. Shoeybi, and B.？Catanzaro, "Reducing activation？recomputation in large transformer models,"？CoRR, vol. abs/2205.05198, 2022.？
E. Nijkamp, B. Pang, H. Hayashi, L. Tu, H.？Wang, Y. Zhou, S. Savarese, and C. Xiong,？"Codegen: An open large language model？for code with mtulti-turn program？synthesis," arXiv preprint arXiv:2203.13474,？2022.？
S. Iyer, X. V. Lin, R. Pasunuru, T.？Mihaylov, D. Simig, P. Yu, K. Shuster, T.？Wang, Q. Liu, P. S. Koura, X. Li, B. O'Horo,？G. Pereyra, J.Wang, C. Dewan, A.？Celikyilmaz, L. Zettlemoyer, and V.？Stoyanov, "OPT-IML: scaling language model？instruction meta learning through the lens？of generalization," CoRR, vol.？abs/2212.12017, 2022.？
R. Taylor, M. Kardas, G. Cucurull, T.？Scialom, A. Hartshorn, E. Saravia, A.？Poulton, V. Kerkez, and R. Stojnic,？"Galactica: A large language model for？science," CoRR, vol. abs/2211.09085, 2022.？
A. Chowdhery, et al., "Palm: Scaling？language modeling with pathways," CoRR,？vol. abs/2204.02311, 2022.？
H. Touvron, T. Lavril, G. Izacard, X.？Martinet, M. Lachaux, T. Lacroix, B.？Rozi'ere, N. Goyal, E. Hambro, F. Azhar, A.？Rodriguez, A. Joulin, E. Grave, an G.？Lample, "Llama: Open and efficient？foundation language models," CoRR, 2023.？
H. Touvron, et al., "Llama 2: Open？Foundation and Fine-Tuned Chat Models",？arXiv:2307.09288, 2023？
OpenAI, "Gpt-4 technical report," OpenAI,？2023.？
S. Wang, Y. Sun, Y. Xiang, Z. Wu, S. Ding,？W. Gong, S. Feng, J. Shang, Y. Zhao, C.？Pang, J. Liu, X. Chen, Y. Lu, W. Liu, X.？Wang, Y. Bai, Q. Chen, L. Zhao, S. Li, P.？Sun, D. Yu, Y. Ma, H. Tian, H. Wu, T. Wu,？W. Zeng, G. Li, W. Gao, and H. Wang,？"ERNIE 3.0 titan: Exploring larger-scale？knowledge enhanced pretraining for？language understanding and generation,"？CoRR, vol. abs/2112.12731, 2021.？
James Manyika, "An overview of Bard: an early experiment with generative AI", 2023？
Google, "PaLM 2 Technical Report", 2023？
https://crfm.stanford.edu/2023/03/13/alpaca.html
https://www.mosaicml.com/blog/mpt-7b
https://huggingface.co/tiiuae/falcon-40b
https://www.databricks.com/blog/2023/03/24/hello-dolly-democratizing-magic-chatgpt-open-models.html
S. Biderman, H. Schoelkopf, Q. Anthony,？H. Bradley, K. O'Brien, E. Hallahan, M. A.？Khan, S. Purohit, U. S. Prashanth, E. Raff et？al., "Pythia: A suite for analyzing large？language models across training and？scaling," arXiv preprint arXiv:2304.01373,？2023.？
LMSYS The Vicuna Team, "Vicuna: An？open-source chatbot impressing gpt-4 with？90%** chatgpt quality," 2023.？
T. B. Brown, B. Mann, N. Ryder, M.？Subbiah, J. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell,？S. Agarwal, A. Herbert-Voss, G. Krueger, T.？Henighan, R. Child, A. Ramesh, D. M.？Ziegler, J. Wu, C. Winter, C. Hesse, M.？Chen, E. Sigler, M. Litwin, S. Gray, B.？Chess, J. Clark, C. Berner, S. Mc- Candlish,？A. Radford, I. Sutskever, and D. Amodei,？"Language models are few-shot learners," in？Advances in Neural Information Processing？Systems 33: Annual Conference on Neural？Information Processing Systems 2020,？NeurIPS 2020, December 6-12, 2020, virtual,？H. Larochelle, M. Ranzato, R. Hadsell, M.？Balcan, and H. Lin, Eds., 2020.？
E. J. Hu, Y. Shen, P.Wallis, Z. Allen-Zhu,？Y. Li, S.Wang, L.Wang, andW. Chen, "Lora:？Low-rank adaptation oflarge language？models," in The Tenth International？Conferenceon Learning Representations,？ICLR 2022, 2022.？
S. Mangrulkar, S. Gugger, L. Debut, Y.？Belkada, and S. Paul, "Peft: State-of-the-art？parameter-efficient fine tuning methods,",？2022.？
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard？
https://huggingface.co/EleutherAI/polyglot-ko-12.8b？
https://github.com/Beomi/KoAlpaca？
https://github.com/melodysdreamj/KoVicuna？
https://github.com/nlpai-lab/KULLM？
Srivastava, Aarohi, et al. "Beyond the？imitation game: Quantifying and？extrapolating the capabilities of language？models." arXiv preprint arXiv:2206.04615,？2022.？
S. Bubeck, V. Chandrasekaran, R. Eldan, J.？Gehrke, E. Horvitz, E. Kamar, P. Lee, Y. T.？Lee, Y. Li, S. Lundberg, H. Nori, H. Palangi,？M. T. Ribeiro, and Y. Zhang, "Sparks of？artificial general intelligence: Early？experiments with gpt-4," vol.？abs/2303.12712, 2023.？
J. Li, T. Tang, W. X. Zhao, and J. Wen,？"Pretrained language model for text？generation: A survey," in Proceedings of the？Thirtieth International Joint Conference on Artificial Intelligence, IJCAI 2021, Virtual？Event / Montreal, Canada, 19-27 August？2021, Z. Zhou, Ed. ijcai.org, 2021.？

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증