[논문]형식형태소가 한국어 단어 벡터 생성에 미치는 영향

윤준영; 김도원; 민태홍; 이재성

형식형태소가 한국어 단어 벡터 생성에 미치는 영향
Grammatical morphemes' effect on Korean word vector generation 원문보기

윤준영 (충북대학교 소프트웨어학과) , 김도원 (충북대학교 소프트웨어학과) , 민태홍 (충북대학교 소프트웨어학과) , 이재성 (충북대학교 소프트웨어학과)

단어 벡터는 단어 사이의 관계를 벡터 연산으로 가능하게 할 뿐 아니라, 상위의 신경망 프로그램의 사전학습 데이터로 많이 활용되고 있다. 한국어 어절은 생산적인 조사나 어미 때문에 효율적인 단어 벡터 생성이 어려워 대개 실질형태소만을 사용하여 한국어 단어 벡터를 생성한다. 본 논문에서는 실질형태소와 형식형태소를 모두 사용하되, 형식형태소를 적절하게 분류하여 단어 벡터의 성능을 높이는 방법을 제안한다. 자체 구축한 단어 관계 테스트 집합으로 추출 성능을 평가해 본 결과, 제안한 방법으로 형식형태소를 사용할 경우, 성능이 향상되었다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 이러한 형태소 벡터 특히 내용어에 해당되는 형태소 벡터들을 효율적으로 학습하기 위한 형식 형태소의 역할을 분석한다. 이를 위해 한국어 어절을 실질형태소와 형식형태소로 나눈 후, 다양한 형태로 변형하여 학습데이터로 만들었다.
한국어 단어 벡터 생성 시 주로 한국어 어절 중 실질 형태소만을 분리하여 단어 벡터 학습에 사용한다. 본 논문에서는 한국어 단어 벡터 학습시 형식형태소를 추가하여 그 효과를 분석하였다. 즉, “형식형태소 및 태그”, “형식형태소 태그”, “형식형태소의 클러스터”를 각각 추가하여 학습하였고, 형식형태소를 적절히 클러스터링하여 그 정보를 사용할 경우, 단어 벡터의 품질이 높아짐을 알 수 있었다.
하지만, 한국어에서 형식형태소는 단어의 의미를 명확히 해주는 역할을 하고 있어, 이를 반영하면, 더 정확한 실질형태소 기반의 단어 벡터를 생성할 것이다. 이 논문에서는 이를 검증하기 위해 형식형태소를 포함하여 단어 벡터를 생성하고, 그 효과를 측정한다. 한국어 어절을 형태소로 분리하고 띄어쓰기를 고려하여 다음과 같은 방법을 제안한다.

가설 설정

어절은 미리 형태소분석이 되어 있다고 가정하고, 형태소와 태그 정보를 이용하여 분리한다. 형태소는 실질 형태소(어휘형태소, Lexical morpheme: Lmor)와 형식형태소(문법형태소, Grammatical morpheme: Gmor)의 두 그룹으로 처리하고, 그 두 그룹의 형태소에 해당되는 태그를 각각의 태그에 대해 실질형태소 태그(Ltag), 형식형태소 태그(Gtag)로 표시한다.

제안 방법

Mcls에서는 형식형태소의 클러스터 번호를 이용하는 데, 이는 Mall의 “형식형태소 및 태그” 보다는 덜 세밀하고, Mtag의 “형식형태소 태그” 보다는 좀 더 세밀한 정보를 포함하기 위한 것이다. Mcls의 클러스터는 초기의 연구로서 비교적 간단한 사전 학습을 통해 구하였 다. 즉, Word2Vec의 학습데이터를 사전학습 모델인 다음과 같은 Mpre 모델 형식으로 구성한 후, 클러스터를 구하였다.
단어 벡터의 평가 방법은 주로 단어유사도 평가와 유추관계 평가가 사용되고 있다[10, 11]. 단어유사도 평가는 의미유사도, 단어관련도 등으로 세분화해서 평가하고, 유추관계는 의미유추와 문법유추의 두 가지로 세분화하여 평가한다. 본 논문에서는 평가 데이터를 새로 구축해야 하는 관계로 단어유추관계 평가만을 시행하였다¹⁾ .
본 논문에서는 평가 데이터를 새로 구축해야 하는 관계로 단어유추관계 평가만을 시행하였다¹⁾ . 또, 이 논문은 형태소분석을 수행한 후, 실질형태소만을 평가하는 것이므로 문법유추는 제외하고 의미유추만을 사용하여 평가하였다.
본 논문에서는 4가지 방법으로 어절을 표기하고 그 성능을 측정한다. 각 방법을 표 1의 표기법에 따라 예와 함께 표현하면 다음과 같다.
단어유사도 평가는 의미유사도, 단어관련도 등으로 세분화해서 평가하고, 유추관계는 의미유추와 문법유추의 두 가지로 세분화하여 평가한다. 본 논문에서는 평가 데이터를 새로 구축해야 하는 관계로 단어유추관계 평가만을 시행하였다¹⁾ . 또, 이 논문은 형태소분석을 수행한 후, 실질형태소만을 평가하는 것이므로 문법유추는 제외하고 의미유추만을 사용하여 평가하였다.
의미유추 평가를 위해, 평가 셋에 나타난 단어 관계식 (A-B+C=D)을 계산하고, 계산된 단어(D) 벡터와 가장 유사한 단어를 모든 단어 벡터와 비교하여 유사도 순으로 상위 10개를 나열하고, 정답이 나온 순위를 점수로 계산하였다. 즉, 각 단어 i에 대한 순위(0부터 9)를 rank_i라 하면 n개의 데이터에 대한 점수(score)는 다음 식(2) 와 같다.
이를 위해 한국어 어절을 실질형태소와 형식형태소로 나눈 후, 다양한 형태로 변형하여 학습데이터로 만들었다. 이를 Word2Vec[13]의 학습 데이터로 사용하여 단어 벡터를 생성하고, 평가는 유추 관계를 평가할 수 있는 100개의 단어 유추 관계 쌍(1쌍은 4개의 단어로 구성)을 새로 구축하여 수행하였다.
본 논문에서는 이러한 형태소 벡터 특히 내용어에 해당되는 형태소 벡터들을 효율적으로 학습하기 위한 형식 형태소의 역할을 분석한다. 이를 위해 한국어 어절을 실질형태소와 형식형태소로 나눈 후, 다양한 형태로 변형하여 학습데이터로 만들었다. 이를 Word2Vec[13]의 학습 데이터로 사용하여 단어 벡터를 생성하고, 평가는 유추 관계를 평가할 수 있는 100개의 단어 유추 관계 쌍(1쌍은 4개의 단어로 구성)을 새로 구축하여 수행하였다.
학습에 사용한 데이터는 세종 형태소 품사분석 말뭉치로 약 1000만 어절이다[15]. 전처리로 ETRI 형태소 분석기를 이용하여 미리 형태소 분석한 결과를 사용하였다. 평가를 위해 같은 유추 관계에 있는 단어 쌍 100개를 수집하여 평가 셋으로 사용하였다.
Mcls의 클러스터는 초기의 연구로서 비교적 간단한 사전 학습을 통해 구하였 다. 즉, Word2Vec의 학습데이터를 사전학습 모델인 다음과 같은 Mpre 모델 형식으로 구성한 후, 클러스터를 구하였다.

대상 데이터

전처리로 ETRI 형태소 분석기를 이용하여 미리 형태소 분석한 결과를 사용하였다. 평가를 위해 같은 유추 관계에 있는 단어 쌍 100개를 수집하여 평가 셋으로 사용하였다. 표2는 평가 데이터의 일부 예이다.
학습에 사용한 데이터는 세종 형태소 품사분석 말뭉치로 약 1000만 어절이다[15]. 전처리로 ETRI 형태소 분석기를 이용하여 미리 형태소 분석한 결과를 사용하였다.

이론/모형

실험을 위해 Word2Vec[13]의 하이퍼 파라미터를 조절하였으며, 윈도우 사이즈는 11, 최소 빈도 컷(cutoff)은 5에서 높은 성능을 보였으며, CBOW와 Skip-gram을 비교해 본 결과 Skip-gram이 우수하여 이 파라미터 값을 사용하였다. 또, 클러스터를 구하기 위한 사전 학습 모델인 Mpre 모델은 클러스터 크기를 200으로 하여 학습하였고, 이 결과를 Mcls 모델의 클러스터 번호 함수로 사용하였다.

성능/효과

각 모델을 최고 성능을 보인 차원(표3의 굵은 글씨)을 중심으로 비교해 보면, 일반적으로 많이 사용하는 Mbase 모델을 기준으로 보아 Mall모델은 매우 성능이 낮았다. 이 Mall모델은 특별한 고려 없이 형식형태소를 형식형태소 태그와 함께 사용한 경우로 형식형태소의 추가가 오히려 성능을 하락시켰다.
실험을 위해 Word2Vec[13]의 하이퍼 파라미터를 조절하였으며, 윈도우 사이즈는 11, 최소 빈도 컷(cutoff)은 5에서 높은 성능을 보였으며, CBOW와 Skip-gram을 비교해 본 결과 Skip-gram이 우수하여 이 파라미터 값을 사용하였다. 또, 클러스터를 구하기 위한 사전 학습 모델인 Mpre 모델은 클러스터 크기를 200으로 하여 학습하였고, 이 결과를 Mcls 모델의 클러스터 번호 함수로 사용하였다.
즉, “형식형태소 및 태그”, “형식형태소 태그”, “형식형태소의 클러스터”를 각각 추가하여 학습하였고, 형식형태소를 적절히 클러스터링하여 그 정보를 사용할 경우, 단어 벡터의 품질이 높아짐을 알 수 있었다.
형식형태소 태그만 추가한 Mtag모델은 Mbase와 거의 비슷한 성능을 보였다. 형식형태소를 적절히 클러스터링하여 추가한 Mcls 모델은 기준 모델 Mbase보다 성능이 향상되어 최고점에서 1.0점 더 좋은 성능을 보였다. 이는 적절하게 형식형태소를 분류하여 사용할 경우, 한국어 단어 벡터 생성에 효과적임을 보여준다.

후속연구

그 이유는 [10]은 약 6억7천여 단어, [11]는 약 5억7천여 단어를 사용하여 본 연구의 데이터보다 학습데이터가 더 크기 때문이며, 단어 벡터 생성 방법의 차이(GloVe[4], Skip-gram[1-3]), 유사도 계산 공식의 차이(cosine add, cosine multiply)[16] 등에서 기인한 것으로 판단된다. 하지만, 본 논문은 주로 실질형태소와 형식형태소의 역할을 상대적으로 비교하기 위한 것이므로, 다른 연구 결과와의 자세한 성능 비교 및 분석은 생략한다.
즉, “형식형태소 및 태그”, “형식형태소 태그”, “형식형태소의 클러스터”를 각각 추가하여 학습하였고, 형식형태소를 적절히 클러스터링하여 그 정보를 사용할 경우, 단어 벡터의 품질이 높아짐을 알 수 있었다. 향후에는 충분히 큰 학습데이터와 평가 데이터를 구축하여 실험하고, 더 다양한 계산 방식으로 이를 평가하여, 품질 좋은 한국어 단어 벡터를 생성하기 위한 방법을 연구할 계획이다.

핵심어

질문

논문에서 추출한 답변

단어를 벡터로 표현하는 가장 간단한 방법은무엇인가?

단어를 벡터로 표현하는 방법으로는 가장 간단한 방법은 one-hot 표기 방법이다. 이 방법은 단어 개수만큼의 차원을 두고, 그 단어에 해당되는 차원만을 1로 표현하고 나머지는 0으로 하는 방법이다.

단어 벡터 (word vector)는 무엇인가?

단어 벡터 (word vector)는 자연어의 단어를 다차원의 실수 벡터로 압축하여 표현한 것으로, 단어들의 특징을 잘 표현하여, 각 단어 사이의 여러 가지 관계를 벡터 연산으로도 찾아 낼 수 있다[1-4]. 예를 들어 의미적 관계인 - + = 이라든지 문법적 관계인 - + = 등의 관계를 계산할 수 있다.

형태소 발달 언어인 한국어가 가지는 복잡성 때문에 단어 벡터를 처리할 때 생기는 일은 무엇인가?

한국어는 형태소 발달 언어(morphological rich language)로서 띄어쓰기 단위가 어절이며, 영어 등에서의 띄어쓰기 단위인 단어와는 다르게 여러 형태소를 함께 포함하고 있어 비교적 복잡하다. 이런 복잡성 때문에 한국어 어절 벡터를 한 단위로 계산하려면 영어보다는 훨씬 더 많은 학습데이터가 필요하다[10]. 뿐만아니라, 한국어 언어처리 응용프로그램에서도 어절 단위가 아닌 형태소 단위로 처리하는 프로그램들이 많다. 이런 이유로 한국어에 대한 단어 벡터는 어절을 먼저 형태소 단위로 분리한 후, 이를 벡터로 표현한 형태소 벡터를 주로 사용해 왔다[11, 12].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

형식형태소가 한국어 단어 벡터 생성에 미치는 영향
Grammatical morphemes' effect on Korean word vector generation 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

형식형태소가 한국어 단어 벡터 생성에 미치는 영향 Grammatical morphemes' effect on Korean word vector generation 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

형식형태소가 한국어 단어 벡터 생성에 미치는 영향
Grammatical morphemes' effect on Korean word vector generation 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper