[논문]한국어 음소열 기반 워드 임베딩 기술

정의석; 송화전; 이성주; 박전규

한국어 음소열 기반 워드 임베딩 기술
Korean Phoneme Sequence based Word Embedding 원문보기

정의석 (한국전자통신연구원, 음성지능연구그룹) , 송화전 (한국전자통신연구원, 음성지능연구그룹) , 이성주 (한국전자통신연구원, 음성지능연구그룹) , 박전규 (한국전자통신연구원, 음성지능연구그룹)

본 논문은 한국어 서브워드 기반 워드 임베딩 기술을 다룬다. 미등록어 문제를 가진 기존 워드 임베딩 기술을 대체할 수 있는 새로운 워드 임베딩 기술을 한국어에 적용하기 위해, 음소열 기반 서브워드 자질 검증을 진행한다. 기존 서브워드 자질은 문자 n-gram을 사용한다. 한국어의 경우 특정 단음절 발음은 단어에 따라 달라진다. 여기서 음소열 n-gram은 특정 서브워드 자질의 변별력을 확보할 수 있다는 장점이 있다. 본 논문은 서브워드 임베딩 기술을 재구현하여, 영어 환경에서 기존 워드 임베딩 사례와 비교하여 성능 우위를 확보한다. 또한, 한국어 음소열 자질을 활용한 실험 결과에서 의미적으로 보다 유사한 어휘를 벡터 공간상에 근접시키는 결과를 보여 준다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 기존 FastText를 재현하여 다양한 자질들을 이용한 워드 임베딩 기술 개발을 위해, 우선 한국어 음소열 기반 워드 임베딩 기술을 검토한다.
본 논문은 한국어 서브워드 기반 워드 임베딩 기술 개발을 위해 음소열 기반 서브워드 접근 방법을 제시하였다. 이를 위해 FastText를 텐서플로우 환경으로 재현하였고, 영어 환경에서 성능 검증을 진행하였다.

제안 방법

실험은 우선 영어환경에서 진행하였다. 100메가 분량의 text8코퍼스를 이용하였고, 어휘셋 빈도수 5이상, 71,290단어, 서브워드 범위 3gram~6gram, 서브워드 총비율 90%를 이용하였다.
본 논문은 한국어 서브워드 기반 워드 임베딩 기술 개발을 위해 음소열 기반 서브워드 접근 방법을 제시하였다. 이를 위해 FastText를 텐서플로우 환경으로 재현하였고, 영어 환경에서 성능 검증을 진행하였다. 한국어의 경우 음소열 기반 워드 임베딩 도구를 개발하였고, 이를 이용하여 기존의 word2vec와 비교하였다.
음소 n-gram의 경우, g2p결과를 이용하므로, 다중 발음이라는 문제점을 갖고 있다. 즉 한 단어를 다양한 발음으로 표현할 수 있다는 점인데, 본 논문에서는 최소 길이의 발음열을 적용하였다. 향후 이 부분에 대하여도 검토해 볼 예정이다.
한국어 서브워드 워드 임베딩 실험을 위해 c++로 구현된 FastText를 텐서플로우 환경으로 재현하는 작업을 진행하였다. 텐서플로우 튜토리얼에서 제공되는 word2vec 코드를 이용하여, 문자 n-gram 자질을 반영하는 부분과 analogy 평가셋을 사용한 평가를 진행하는 부분을 추가 하였다.
한국어 서브워드 워드 임베딩 실험을 위해 c++로 구현된 FastText를 텐서플로우 환경으로 재현하는 작업을 진행하였다. 텐서플로우 튜토리얼에서 제공되는 word2vec 코드를 이용하여, 문자 n-gram 자질을 반영하는 부분과 analogy 평가셋을 사용한 평가를 진행하는 부분을 추가 하였다.
이를 위해 FastText를 텐서플로우 환경으로 재현하였고, 영어 환경에서 성능 검증을 진행하였다. 한국어의 경우 음소열 기반 워드 임베딩 도구를 개발하였고, 이를 이용하여 기존의 word2vec와 비교하였다. 정성 실험 결과 좀 더 의미적으로 유사한 어휘가 근접 어휘로 추출되는 결과를 보였다.
한국어의 경우 평가셋을 찾을 수 없어, 어휘 유사도, 문장 유사도, 어휘 analogy셋을 직접 구축하기로 시도하는 중이고, 본 논문의 경우 정성 평가와 [6]의 접근방 법에 따라 기존 WS353평가셋²을 한국어로 변환하여 테스 트해 보았다. 사용된 코퍼스는 [2]에서 실험용으로 사용된 82cook코퍼스 중 일부인 35M바이트 분량을 사용하였다.

대상 데이터

실험은 우선 영어환경에서 진행하였다. 100메가 분량의 text8코퍼스를 이용하였고, 어휘셋 빈도수 5이상, 71,290단어, 서브워드 범위 3gram~6gram, 서브워드 총비율 90%를 이용하였다. 7만여 어휘에 대하여 총 3만 수준의 서브워드 목록이 추출되었다.
[6]의 경우 학습 데이터도 어휘 3k 단어, 텍스트 427k 단어로 구성된 소량 뉴스 텍스트로 도출한 결과이다. 본 연구의 경우는 15k단어, 텍스트 8000k 단어를 이용한 결과이다. 두 실험의 WS353 평가셋이 다른 점과 본 연구의 텍스트 도메인이 인터넷 게시판 도메인이라는 차이점이 있다.
을 한국어로 변환하여 테스 트해 보았다. 사용된 코퍼스는 [2]에서 실험용으로 사용된 82cook코퍼스 중 일부인 35M바이트 분량을 사용하였다. 코퍼스는 word-segmentation 도구를 적용한 상태로 형태소 분석된 결과와 유사하나 어휘 변형이 없는 상태로 보면 된다.

이론/모형

따라서 번역 어휘의 선정은 단어 쌍의 할당 점수를 무의미 하게 한다. 그러나, 한국어에 대한 적절한 평가셋을 구할 수 없어, 본 논문은 [6]의 접근방법에 따라, 번역을 통하여 WS353 평가를 진행해 보았다.
한국어를 위한 서브워드 접근 방법으로는 문자 n-gram, 자소 n-gram, 음소 n-gram 접근 방법이 가능하다고 판단 된다. 본 논문은 문자 n-gram과 음소 n-gram만을 다룬다. 문자 n-gram은 한국어 단어를 구성하는 각 ‘음절’을 이용하는 반면, 음소 n-gram은 단어의 ‘발음열’을 이용한다.

성능/효과

다음표 2는 word analogy 평가셋을 사용한 평가 결과를 보여 준다. 성능 상으로는 기존 word2vec보다 우수한 결과를 보여 준다. 그러나 좀 더 대용량 텍스트에 대하여 검증해볼 필요가 있다고 본다.
음소 n-gram 실험 결과들의 차이점은 다양한 패러미터 최적화 작업의 필요성을 보여 준다. 실험의 epoch당 성능 개선 수준은 문자 n-gram이더 안정적인 결과를 보여 줬다. 음소 n-gram의 경우, g2p결과를 이용하므로, 다중 발음이라는 문제점을 갖고 있다.

후속연구

성능 상으로는 기존 word2vec보다 우수한 결과를 보여 준다. 그러나 좀 더 대용량 텍스트에 대하여 검증해볼 필요가 있다고 본다.
향후 한국어 어휘 유사도, 문장 유사도, 어휘 analogy 평가셋 구축을 진행 하여 정량 평가를 시도하여, 다양한 서브워드 자질에 대하여 연구를 진행할 계획이다. 또한, 영어 환경에 음소열 서브워드 자질 실험도 진행하여, 본 연구의 일반성 검증을 진행할 예정이다.
[6]의 경우 한국어 미등록어 워드 임베딩 처리를 위해 음절열 대상 CNN기반 워드 임베딩 기술을 제안하였다. 해당 연구는 응용 DNN 구조에 내재 되었을 경우와 분리되어 단어 단위 입력 레이어로 적용되었을 경우에 대한 비교 후속 연구가 필요하다고 판단된다.
두 실험의 WS353 평가셋이 다른 점과 본 연구의 텍스트 도메인이 인터넷 게시판 도메인이라는 차이점이 있다. 향후 다양한 경로로 검토와 보완을 진행할 예정이다.
반면 한국어 WS353평가에서는 기존 연구보다 좋지 않은 결과를 보였다. 향후 한국어 어휘 유사도, 문장 유사도, 어휘 analogy 평가셋 구축을 진행 하여 정량 평가를 시도하여, 다양한 서브워드 자질에 대하여 연구를 진행할 계획이다. 또한, 영어 환경에 음소열 서브워드 자질 실험도 진행하여, 본 연구의 일반성 검증을 진행할 예정이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

한국어 음소열 기반 워드 임베딩 기술
Korean Phoneme Sequence based Word Embedding 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

한국어 음소열 기반 워드 임베딩 기술 Korean Phoneme Sequence based Word Embedding 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

한국어 음소열 기반 워드 임베딩 기술
Korean Phoneme Sequence based Word Embedding 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper