[논문]Word2Vec를 이용한 한국어 단어 군집화 기법

허지욱

doi:10.7236/jiibc.2018.18.5.25

초록
AI-Helper

최근 인터넷의 발전과 함께 사용자들이 원하는 정보를 빠르게 획득하기 위해서는 효율적인 검색 결과를 제공해주는 정보검색이나 데이터 추출등과 같은 연구 분야에 대한 중요성이 점점 커지고 있다. 하지만 새롭게 생겨나는 한국어 단어나 유행어들은 의미파악하기가 어렵기 때문에 주어진 단어와 의미적으로 유사한 단어들을 찾아 분석하는 기법들에 대한 연구가 필요하다. 이를 해결하기 위한 방법 중 하나인 단어 군집화 기법은 문서에서 주어진 단어와 의미상 유사한 단어들을 찾아서 묶어주는 기법이다. 본 논문에서는 Word2Vec기법을 이용하여 주어진 한글 문서의 단어들을 임베딩하여 자동적으로 유사한 한국어 단어들을 군집화 하는 기법을 제안한다.

Abstract ▼ AI-Helper

Recently with the development of Internet technology, a lot of research area such as retrieval and extracting data have getting important for providing the information efficiently and quickly. Especially, the technique of analyzing and finding the semantic similar words for given korean word such as...

Recently with the development of Internet technology, a lot of research area such as retrieval and extracting data have getting important for providing the information efficiently and quickly. Especially, the technique of analyzing and finding the semantic similar words for given korean word such as compound words or generated newly is necessary because it is not easy to catch the meaning or semantic about them. To handle of this problem, word clustering is one of the technique which is grouping the similar words of given word. In this paper, we proposed the korean language clustering technique that clusters the similar words by embedding the words using Word2Vec from the given documents.

주제어

표/그림 (4)

그림 그림 1. 한국어 군집화 순서도 Fig. 1. The process of korean word clustering
그림 그림 2. 정확율, 재현율, F-Measure 비교 Fig. 2. Comparison of Precision, Recall. and F-Measure
표 표 1. 수집된 키워드와 블로그 데이터 Table 1. Collected Blog Key Words and Data
표 표 2. Word2Vec를 이용한 한국어 단어 군집화 결과 Table 2. The resault of Korean word Clustering by using Word2Vec

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 Word2Vec를 통하여 단어 임베딩을 하고 k-평균 군집화 알고리즘을 이용하여 주어진 한국어 문서들에 대한 한국어 단어 군집화를 구축하는 기법을 제안한다.
본 논문에서는 주어진 한글 문서들을 기반으로 생성된 한국어 말뭉치 구축을 위하여 Word2Vec기법을 이용한 군집화 기법을 제안하였다. 주어진 문서의 단어를 임베딩하기 위하여 단순히 통계적인 방법을 기반으로 한 BOW 기법은 단어들 간의 의미적인 부분을 고려하지 않기 때문에 단어들 간의 유사도 측정이 부정확하게 된다.

제안 방법

또한 기존의 군집화 알고리즘과의 우수성을 증명하기 위하여 K-평균 군집화 알고리즘 결과 값을 비교하였다. 군집화된 결과를 정량적인 수치로 평가하기 위하여 결과 값의 정확율(Precision), 재현율(Recall), F-Measure 값을 측정하였으며 그 식은 아래와 같다.
이를 위해서 주어진 데이터에 대한 군집화를 진행하기 위하여 우선 임의의 K개의 중심점(centroid)을 설정한다. 그 후 이를 기반으로 각 중심점과 각 데이터 들 간의 거리를 구하여 그 값이 최소가 되는 중심점에 해당 데이터를 할당하고 이를 반복한다. 이때 중심점과 각 데이터들 간의 거리를 구하기 위하여 코(Cosine similarity)사인 유사도나 유클리디언 유사도(Euclidean similarity)를 사용한다.
그렇기 때문에 보다 의미적인 군집화 결과를 제공해주기 위하여 각 군집화에 대한 대표 단어를 선정해주어야 한다. 본 논문에서 이를 위하여 각 군집화에 있는 단어들의 TF-IDF 값과 Word2Vec를 통하여 획득할 수 있는 각 단어들 간의 유사도 분석을 하여 획득한 단어들로 해당 군집화의 대표 단어들을 선정해준다. 그 계산은 아래의 식과 같이 진행 된다.
이때 중심점과 각 데이터들 간의 거리를 구하기 위하여 코(Cosine similarity)사인 유사도나 유클리디언 유사도(Euclidean similarity)를 사용한다. 본 논문에서는 거리 측정 시 코사인 유사도를 적용하여 군집화를 진행 하였다.
반면 Word2Vec는 단어임베딩 시 Skip-gram 모델을 이용하여 문맥상 유사한 의미의 단어들을 가깝게 하여 벡터공간을 구축하기 때문에 유사도 측정시 정확한 결과를 보여주게 된다. 뿐만 아니라 생성된 각 군집화내에 존재하는 각 단어의 TF-IDF와 단어들 간의 유사도를 통하여 각 군집화를 대표하는 단어들을 선정하였다. 제안하는 기법의 우수성을 확인하기 위하여 수집된 약 6천여 개의 블로그들을 대상으로 군집화를 하였으며 기존 K-평균 군집화 알고리즘과의 비교 실험을 하였다.
Word2Vec은 신경망^[15] 을 기반으로 하여 구축을 하며, 효율적인 계산을 위하여 subsampling, negative sampling 기법을 사용하였다. 이 연구에서는 Word2Vec를 구성하기 위하여 CBOW(Continue Bag of Words)와 Skip-gram의 두 가지 모델을 제안하고 있다. CBOW 모델은 주어진 문장의 연속된 단어들을 순서대로 입력받아 문장에서 한 단어에 앞뒤로 붙어 있는 단어들을 통해서 해당 단어의 유사도로를 유추하는 방법이다.
K-평균 군집화 알고리즘은 2차원 이상의 벡터공간으로 표현된 데이터들 입력 받아서 K개로 군집화로 묶어주는 알고리즘이다. 이를 위해서 주어진 데이터에 대한 군집화를 진행하기 위하여 우선 임의의 K개의 중심점(centroid)을 설정한다. 그 후 이를 기반으로 각 중심점과 각 데이터 들 간의 거리를 구하여 그 값이 최소가 되는 중심점에 해당 데이터를 할당하고 이를 반복한다.

대상 데이터

본 논문에서는 실험을 위하여 2018년 1월부터 2018년 7월까지 약 6개월간 생성된 6662개 네이버 블로그를 수집하였다. 블로그의 주제는 네이버 데이터 랩(https://datalap.
블로그의 주제는 네이버 데이터 랩(https://datalap.naver.com)을 참조 하였으며, 6개월간 ‘월드컵’, ‘정상회담’, ‘미세먼지’, ‘김정은’, ‘트럼프’와 같은 단어들을 비롯하여 그동안 화제가 되었거나 주목을 받았던 단어들을 선정하였다.

데이터처리

본 논문에서 제안하고 있는 Word2Vec를 활용한 군집화 기법의 평가를 위하여 수집된 데이터에 대하여 미리 선정해 놓은 정답 데이터와 비교 분석을 하였다. 또한 기존의 군집화 알고리즘과의 우수성을 증명하기 위하여 K-평균 군집화 알고리즘 결과 값을 비교하였다. 군집화된 결과를 정량적인 수치로 평가하기 위하여 결과 값의 정확율(Precision), 재현율(Recall), F-Measure 값을 측정하였으며 그 식은 아래와 같다.
본 논문에서 제안하고 있는 Word2Vec를 활용한 군집화 기법의 평가를 위하여 수집된 데이터에 대하여 미리 선정해 놓은 정답 데이터와 비교 분석을 하였다. 또한 기존의 군집화 알고리즘과의 우수성을 증명하기 위하여 K-평균 군집화 알고리즘 결과 값을 비교하였다.
뿐만 아니라 생성된 각 군집화내에 존재하는 각 단어의 TF-IDF와 단어들 간의 유사도를 통하여 각 군집화를 대표하는 단어들을 선정하였다. 제안하는 기법의 우수성을 확인하기 위하여 수집된 약 6천여 개의 블로그들을 대상으로 군집화를 하였으며 기존 K-평균 군집화 알고리즘과의 비교 실험을 하였다. 비교 실험 결과 Word2Vec를 이용한 단어 군집화가 우수한 정확율과 재현율 결과를 보여주었다.

이론/모형

Mikolov(2013)의 연구에서는 주어진 문서에 있는 각 단어들의 빈도와 위치 등을 파악하고 단어의 확률적인 출연 까지 고려하여 학습하는 Word2Vec 알고리즘을 제안하였다^[14]. Word2Vec은 신경망^[15] 을 기반으로 하여 구축을 하며, 효율적인 계산을 위하여 subsampling, negative sampling 기법을 사용하였다. 이 연구에서는 Word2Vec를 구성하기 위하여 CBOW(Continue Bag of Words)와 Skip-gram의 두 가지 모델을 제안하고 있다.
그 후 Word2Vec를 사용하여 전체 단어 대한 임베딩을 하여 벡터로 생성을 하고, K-means 알고리즘을 통하여 각 유사한 단어들 끼리 군집화를 한다. 마지막으로 각 군집화에 존재하는 단어들 중 빈도 및 유사도 값을 고려한 분석을 통하여 가장 의미 있는 단어를 해당 군집화의 대표 단어로 선정한다.
일반적으로 Skip-gram 모델이 속도나 정확도 면에서 어 우수한 성능을 보여준다^[14]. 따라서 본 논문에서는 skip-gram 기법을 사용하여 단어 임베딩을 진행한다.
2단계에서 Word2Vec에 의해서 임베딩 된 단어들의 벡터를 사용하여 유사한 단어들로 묶어주는 군집화 작업을 진행한다. 본 논문에서는 가장 대표적인 군집화 알고리즘인 K-평균 군집화 알고리즘을 사용하여 단어 군집화를 진행하였다.
본 연구에는 주어진 문서들을 분석하고 유사한 단어들로 이루어진 군집화를 생성하기 위하여 Word2Vec 기법을 사용한다. 그림[1] 은 본 논문에서 제안하는 기법 4단계의 순서를 도식화 한 것이다.
전처리 과정에서는 주어진 문장들의 의미 있는 정보만을 남기기 위하여 숫자, 조사, 기호등과 같은 분석에 불필요한 불용어들을 제거하고 Park, Eunjeong L(2014) 연구에서 배포한 형태소 분석기를 사용하여 2단계에서 군집화를 위한 작업을 한다^[16]. 형태소 분석기는 한국어 문장을 읽어 각 단어에 해당하는 명사, 동사, 조사 등과 같은 품사들로 분류 해주는 기능을 해주며, 본 논문에서는 형태소 분석기를 이용하여 명사, 형용사 위주로 추출을 하여 군집화를 진행하기 위한 과정에 사용한다.

성능/효과

제안하는 기법의 우수성을 확인하기 위하여 수집된 약 6천여 개의 블로그들을 대상으로 군집화를 하였으며 기존 K-평균 군집화 알고리즘과의 비교 실험을 하였다. 비교 실험 결과 Word2Vec를 이용한 단어 군집화가 우수한 정확율과 재현율 결과를 보여주었다.
65% 의 향상된 성능을 보여주고 있다. 이것은 주어진 문서를 단순 BOW 기반으로 구성된 벡터공간을 이용하여 단어들 간의 거리를 구하는 K-평균 군집화 알고리즘 보다 Skip-gram 모델을 이용하여 벡터공간을 표현한 Word2Vec기법 단어들간의 유사도를 측정하는 결과가 더 우수하다는 것을 보여주고 있다. Skip-gram은 문서내의 있는 단어들 간의 위치를 고려하여 벡터공간을 구성하기 때문에 문맥상 유사한 단어들이 벡터공간 내에서 거리가 가까워지게 된다.

후속연구

본 기법은 단어임베딩 시 명사만을 추출하기 때문에, 추후 형용사, 부사, 동사등과 같은 여러 개의 품사 들을 고려하여 한국어 군집화를 할 수 있는 기법들을 연구할 계획이며 특히 군집화시 무관한 단어들로 인한 노이즈들을 배제하기 위하여 Word2Vec기법을 개선하여 다양한 실험을 진행할 예정이다. 또한 한국어 말뭉치를 구축하기 위하여 블로그 뿐 만 아니라 신문기사, 트위터, 페이스북, 인스타그램과 같은 다양한 SNS에서의 데이터 수집을 통하여 방대한 양의 자료들을 기반으로 한 연구를 계속적으로 진행할 예정이다.
본 기법은 단어임베딩 시 명사만을 추출하기 때문에, 추후 형용사, 부사, 동사등과 같은 여러 개의 품사 들을 고려하여 한국어 군집화를 할 수 있는 기법들을 연구할 계획이며 특히 군집화시 무관한 단어들로 인한 노이즈들을 배제하기 위하여 Word2Vec기법을 개선하여 다양한 실험을 진행할 예정이다. 또한 한국어 말뭉치를 구축하기 위하여 블로그 뿐 만 아니라 신문기사, 트위터, 페이스북, 인스타그램과 같은 다양한 SNS에서의 데이터 수집을 통하여 방대한 양의 자료들을 기반으로 한 연구를 계속적으로 진행할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	단어 임베딩이란 무엇인가?	단어 임베딩은 단어들을 표현을 하기 위해서 수치화하여 벡터의 형태로 변경하는 방법이다. 대표적으로 사용되는 방법은 주어진 단어들을 리스트로 만들어서 해당 단어의 유무를 ‘1’ 또는 ‘0’으로 표현하는 BOW(Bag of Words)가 있다.
	전처리 과정에서는 어떤 작업을 하는가?	전처리 과정에서는 주어진 문장들의 의미 있는 정보만을 남기기 위하여 숫자, 조사, 기호등과 같은 분석에 불필요한 불용어들을 제거하고 Park, Eunjeong L(2014) 연구에서 배포한 형태소 분석기를 사용하여 2단계에서 군집화를 위한 작업을 한다[16]. 형태소 분석기는 한국어 문장을 읽어 각 단어에 해당하는 명사, 동사, 조사 등과 같은 품사들로 분류 해주는 기능을 해주며, 본 논문에서는 형태소 분석기를 이용하여 명사, 형용사 위주로 추출을 하여 군집화를 진행하기 위한 과정에 사용한다.
	단어 임베딩이 대표적으로 사용되는 방법은?	단어 임베딩은 단어들을 표현을 하기 위해서 수치화하여 벡터의 형태로 변경하는 방법이다. 대표적으로 사용되는 방법은 주어진 단어들을 리스트로 만들어서 해당 단어의 유무를 ‘1’ 또는 ‘0’으로 표현하는 BOW(Bag of Words)가 있다. 하지만 BOW는 단순한 단어의 유무를 수치적으로 표현한 방법으로 실제적으로 그 단어의 특징이나 의미적인 부분 까지는 표현을 하지 못한다.

참고문헌 (16)

M. Sun, H, Um, "The Study on Recent Research Trend in Korean Tourism Using Keyword Network Analysis," Journal of the Korea Academia- Industrial cooperation Society(JKAIS), Vol. 17, No. 9, pp. 68-73, 2016.
E. Bae, S. Yu, "Keyword-based Recommender System Dataset Construction and Analysis, "Journal of KIIT. Vol. 16, No. 6, pp. 91-99, 2018. DOI : 10.14801/jkiit.2018.16.6.91.
http://www.bloter.net/archives/260569
Jae-Young Chang, "A Study on Research Trends of Graph-Based Text Representations for Text Mining", The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 13, No. 5, pp. 37-47, Oct 2013. DOI: http://dx.doi.org/10.7236/JIIBC.2013.13.5.37
Shirai, Kiyoaki, and Makoto Nakamura. "JAIST: Clustering and classification based approaches for Japanese WSD." Proceedings of the 5th International Workshop on Semantic Evaluation. Association for Computational Linguistics, pp. 379-382, 2010.
Chen, Qian, Zengru Jiang, and Jinqiang Bian. "Chinese keyword extraction using semantically weighted network." In Intelligent Human-Machine Systems and Cybernetics (IHMSC), 2014 Sixth International Conference on, Vol. 2, pp. 83-86. IEEE, 2014.
Xu, G. X., W. Sun, and X. P. Peng. "Clustering Research across Tibetan and Chinese Texts." Journal of Digital Information Management Vol. 13, No. 3, pp. 163-168, 2015
Abuaiadah, Diab, Dileep Rajendran, and Mustafa Jarrar. "Clustering Arabic tweets for sentiment analysis." In Computer Systems and Applications (AICCSA), 2017 IEEE/ACS 14th International Conference on, pp. 449-456. IEEE, 2017.
Sahmoudi, Issam, and Abdelmonaime Lachkar. "Formal Concept Analysis for Arabic Web Search Results Clustering." Journal of King Saud University-Computer and Information Sciences 29, No. 2, pp 196-203. 2017
Copara, Jenny, Jose Ochoa, Camilo Thorne, and Goran Glavas. "Exploring unsupervised features in Conditional Random Fields for Spanish Named Entity Recognition." In Intelligent Systems (BRACIS), 2016 5th Brazilian Conference, pp. 283-288. IEEE, 2016.
https://ithub.korean.go.kr
https://ilis.yonsei.ac.kr
http://www.sejong21.org
T. Mikolov, K. Chen, G. Corrado, and J. Dean, "Efficient Estimation of Word Representations in Vector Space," In Proceedings of workshop at ICLR, pp. 1-12, 2013.
M. Kim, T. Kang,"Proposal and Analysis of Various Link Architectures in Multilayer Neural Network,"Journal of KIIT. Vol. 16, No. 4, pp. 11-19, 2018. DOI : 10.14801/jkiit.2018.16.4.11
Park, Eunjeong L., and Sungzoon Cho. "KoNLPy: Korean natural language processing in Python." Proceedings of the 26th Annual Conference on Human & Cognitive Language Technology. pp. 133-136, 2014.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Word2Vec를 이용한 한국어 단어 군집화 기법
Korean Language Clustering using Word2Vec 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (4)

표/그림 (4)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (16)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Word2Vec를 이용한 한국어 단어 군집화 기법 Korean Language Clustering using Word2Vec 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (4) 모든 표/그림 보기

표/그림 (4) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (16)

이 논문을 인용한 문헌

저자의 다른 논문 :

허지욱 (2)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Word2Vec를 이용한 한국어 단어 군집화 기법
Korean Language Clustering using Word2Vec 원문보기

초록
AI-Helper

표/그림 (4)

표/그림 (4)

AI 본문요약
AI-Helper