초록 ▼

□ 연구개요
본 연구 과제에서는 언어 모델 기반 문장 표현 학습에 대한 체계적인 선행 연구 조사 및 그들의 정량적 비교, 이를 바탕으로 한 보다 효율적인 언어 모델 이용을 통한 문장 표현 학습 적용 가능성 탐구를 목표로 한다. 이를 통해 기존 방법론의 장점을 포괄하는 새로운 향상된 문장 표현 학습 방법론을 개발하고자 하며, 또한 영어 중심의 문장 표현 학습 연구 일변도 탈피 및 한국어와 같은 다국어 환경에서의 방법론 적용을 모색한다.

□ 연구 목표대비 연구결과
먼저 1차년도에서는 언어 모델 기반 문장 표현 학

□ 연구개요
본 연구 과제에서는 언어 모델 기반 문장 표현 학습에 대한 체계적인 선행 연구 조사 및 그들의 정량적 비교, 이를 바탕으로 한 보다 효율적인 언어 모델 이용을 통한 문장 표현 학습 적용 가능성 탐구를 목표로 한다. 이를 통해 기존 방법론의 장점을 포괄하는 새로운 향상된 문장 표현 학습 방법론을 개발하고자 하며, 또한 영어 중심의 문장 표현 학습 연구 일변도 탈피 및 한국어와 같은 다국어 환경에서의 방법론 적용을 모색한다.

□ 연구 목표대비 연구결과
먼저 1차년도에서는 언어 모델 기반 문장 표현 학습법에 대한 선행 연구를 정리하고 이를 비교할 수 있는 프레임워크를 구축하고자 하였다. 또한 연구의 대상을 일반적으로 다루어지는 영어의 경우가 아니라 한국어의 경우를 다루어 보다 실용적이고 연구적으로 가치가 있는 방향을 모색하였다. 그 결과, 해당 내용에 근거하여 한글 및 한국어 정보처리학술대회(HCLT)에 ‘한국어 문장 표현을 위한 비지도 대조 학습 방법론의 비교 및 분석’이라는 이름의 논문을 발표하였으며 또한 프레임워크 구축에 활용된 코드를 다음의 링크에 오픈소스화하여 대중의 사용이 용이토록 하였다:
https://github.com/HYU-NLP/Korean-Sentence-Representations. 또한 근간이 되는 언어 모델의 근본적인 작동원리 분석을 위해 추가적인 연구를 진행하였으며 이는 ‘Revisiting the Practical Effectiveness of Constituency Parse Extraction from Pre-trained Language Models’라는 이름으로 국제 우수 학술대회인 COLING에서 발표되었다. 2차년도에서는 1차년도 연구를 더욱 확장시켜 다국어 환경에서 보다 효율적으로 적용할 수 있는 언어 모델 활용법 및 문장 표현 도출법에 대한 연구를 목표하고 수행하였다. 그 결과, 다국어 모델 활용시 언어 간 교차 전송을 효율적으로 가능케 하는 연구를 ‘X-SNS: Cross-Lingual Transfer Prediction through Sub-Network Similarity’라는 이름으로 최우수 NLP 국제학술대회 중 하나인 EMNLP에서 Findings 트랙으로 발표한 바 있으며, 또한 관련 연구로 2편을 각각 국내학술대회인 한국컴퓨터종합학술대회(KCC)와 HCLT에서 발표하였다. 마지막으로 언어 모델의 효율적 활용에 대한 연구로 ‘MAdapter: 효율적인 중간층 도입을 통한 Adapter 구조 개선’이라는 연구를 또한 HCLT에서 발표하였다. 이는 기존 과제 개시 당시 달성한 정량적 수치를 모두 상회하는 결과이며, 본 연구 과제가 성공적으로 수행되었음을 방증하는 것이라 볼 수 있다.

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
본 과제의 연구개발성과는 문장 표현 학습 그리고 더 나아가 다국어 환경에서의 언어모델의 효과적인 활용법 개발에 활용할 수 있을 것으로 기대된다. 구체적으로, 언어모델의 내부 동작을 탐사하는 방법을 통해 대중들에게까지 화두가 되고 있는 대형 언어모델(LLM)의 작동 원리에 대해 보다 명확히 규명할 수 있는 효과를 기대할 수 있으며, 또한 한국에서의 실정과 같이 다국어 모델을 적극적으로 활용해야 하는 경우 언어의 장벽을 넘어 언어 모델을 보다 효과적으로 활용하고 이를 통해 보다 고수준의 문장 표현을 획득할 수 있을 것으로 기대할 수 있다. 또한 문장 표현은 최근 언어 모델의 단점을 극복할 수 있는 기법 중 하나로 주목받고 있는 RAG(Retrieval-Augmented Generation)의 성공적 적용의 당락을 결정하는데도 큰 영향을 끼칠 수 있으므로 매우 중요한 연구 분야이며, 활용 가능성이 높다고 볼 수 있다. 그외에도 고수준의 문장 표현 학습은 information retrieval, knowledge graph 구축 등 다양한 분야에서 그 기능을 할 수 있을 것으로 예측된다.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 1) 연구 배경: 대규모 언어 모델과 문장 표현 학습 ... 4
• 2) 선행 연구의 한계 및 본 연구의 필요성 ... 4
• 3) 연구과제의 최종 목표 ... 5
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 6
• 1) 1차년도 연구 내용 ... 6
• 2) 2차년도 연구 내용 ... 6
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 7
• 1) 정성적 연구개발성과(연구개발결과) ... 7
• 2) 세부 정량적 연구개발성과 ... 8
• 3) 목표 달성 수준 ... 8
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 8
• 5. 연구개발성과의 관리 및 활용 계획 ... 9
• 6. 자체점검표 ... 9
• 7. 참고문헌 ... 10
• 끝페이지 ... 22