[논문]다양한 임베딩 모델들의 하이퍼 파라미터 변화에 따른 성능 분석

이상아; 박재성; 강상우; 이정엄; 김선아

다양한 임베딩 모델들의 하이퍼 파라미터 변화에 따른 성능 분석
Performance analysis of Various Embedding Models Based on Hyper Parameters 원문보기

이상아 (가천대학교 소프트웨어학과) , 박재성 (가천대학교 소프트웨어학과) , 강상우 (가천대학교 소프트웨어학과) , 이정엄 (현대자동차 로보틱스팀) , 김선아 (현대자동차 로보틱스팀)

본 논문은 다양한 워드 임베딩 모델(word embedding model)들과 하이퍼 파라미터(hyper parameter)들을 조합하였을 때 특정 영역에 어떠한 성능을 보여주는지에 대한 연구이다. 3 가지의 워드 임베딩 모델인 Word2Vec, FastText, Glove의 차원(dimension)과 윈도우 사이즈(window size), 최소 횟수(min count)를 각기 달리하여 총 36개의 임베딩 벡터(embedding vector)를 만들었다. 각 임베딩 벡터를 Fast and Accurate Dependency Parser 모델에 적용하여 각 모들의 성능을 측정하였다. 모든 모델에서 차원이 높을수록 성능이 개선되었으며, FastText가 대부분의 경우에서 높은 성능을 내는 것을 알 수 있었다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이 모델은 stack pointer[8] 와 같은 최신 모델과 비교하여 낮은 성능을 보이지만 훈련 속도가 매우 빠르므로 상대적이 성능을 증명하기에 효과적인 모델이다. 본 논문은 최신의 워드 임베딩 모델을 선택하고, 차원, 윈도우 사이즈, 최소 횟수의 변화에 따라 변화하는 벡터 값으로 성능의 차이를 비교 평가를 수행하고 그 결과를 제시한다.
의존 구문 분석을 위한 기계학습에는 단어 표현을 이용 하여 만든 임베딩 벡터 값이 사용되는데 하이퍼 파라미터인 차원, 윈도우 사이즈, 최소 횟수에 따라 벡터 값이 변화한다. 이 논문은 변화하는 벡터 값에 의해 성능의 차이를 분석하고 활용 가능성을 제시한다.

제안 방법

이 때 벡터간의 유사도는 문맥적 유사도를 나타내며, 나아가 의미적 유사도 또한 포함하고 있다고 볼 수 있다. 최신 워드 임베딩 기법은 학습 과정에서 신경망 모델(neural network model)에 기반하고 있으며, 이 논문에서는 대표적인 Word2Vec, FastText, Glove를 이용하여 의존구문분석 모델인 Fast and Accurate Dependency Parser[2]의 성능을 분석한다.
실험에 사용된 말뭉치는 의존 구조로 변환된 세종 데이터 셋을 사용했으며 데이터 셋은 총 59737 문장으로약 90%인 53920 문장을 학습에 사용하고 약 10%인 5817 문장을 평가에 사용했다. 한국어 의존 구문 분석으로 Fast and Accurate Dependency Parser 모델에 차원은 50, 100차원, 윈도우 사이즈는 2,3,4 최소 횟수는 2,3을 적용하여 성능 차이를 분석했다.

대상 데이터

실험에 사용된 말뭉치는 의존 구조로 변환된 세종 데이터 셋을 사용했으며 데이터 셋은 총 59737 문장으로약 90%인 53920 문장을 학습에 사용하고 약 10%인 5817 문장을 평가에 사용했다. 한국어 의존 구문 분석으로 Fast and Accurate Dependency Parser 모델에 차원은 50, 100차원, 윈도우 사이즈는 2,3,4 최소 횟수는 2,3을 적용하여 성능 차이를 분석했다.

이론/모형

본 논문에서는 다양한 워드 임베딩 모델을 이용하여 차원, 윈도우 사이즈, 최소 개수를 조절하여 각각 12가지의 임베딩 벡터 모델 Fast and Accurate Dependency Parser 모델에 적용했다. 모든 임베딩 모델에서 높은 차원인 경우에 높은 성능을 보였으며, FastText의 경우 윈도우 사이즈가 커짐에 따라 성능이 떨어지는 것을 알 수 있었다.
본 논문에서는 워드 임베딩의 성능을 분석하기 위하여그 대상으로 의존 구문 분석을 위한 Fast and Accurate Dependency Parser를 사용한다. 이 모델은 stack pointer[8] 와 같은 최신 모델과 비교하여 낮은 성능을 보이지만 훈련 속도가 매우 빠르므로 상대적이 성능을 증명하기에 효과적인 모델이다.
자연어 처리에는 단어 사이의 이해도가 필요하며, 이것을 모델에 적용하기 위해 윈도우 접근법을 사용한다. 이는 단어의 범주가 기본적으로 이웃 단어에 의존한다고 가정하는 것이다.

성능/효과

본 논문에서는 다양한 워드 임베딩 모델을 이용하여 차원, 윈도우 사이즈, 최소 개수를 조절하여 각각 12가지의 임베딩 벡터 모델 Fast and Accurate Dependency Parser 모델에 적용했다. 모든 임베딩 모델에서 높은 차원인 경우에 높은 성능을 보였으며, FastText의 경우 윈도우 사이즈가 커짐에 따라 성능이 떨어지는 것을 알 수 있었다. 또한 대부분의 경우에서 FastText가 우세한 성능을 내는 것을 알 수 있었다.

후속연구

향후 연구로는 다양한 전처리를 통한 훈련 데이터로부터 생성한 임베딩 벡터의 성능 평가를 진행할 계획이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

다양한 임베딩 모델들의 하이퍼 파라미터 변화에 따른 성능 분석
Performance analysis of Various Embedding Models Based on Hyper Parameters 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

다양한 임베딩 모델들의 하이퍼 파라미터 변화에 따른 성능 분석 Performance analysis of Various Embedding Models Based on Hyper Parameters 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

다양한 임베딩 모델들의 하이퍼 파라미터 변화에 따른 성능 분석
Performance analysis of Various Embedding Models Based on Hyper Parameters 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper