[논문]Word2Vec을 활용한 제품군별 시장규모 추정 방법에 관한 연구

정예림; 김지희; 유형선

doi:10.13088/jiis.2020.26.1.001

Word2Vec을 활용한 제품군별 시장규모 추정 방법에 관한 연구
A Study on Market Size Estimation Method by Product Group Using Word2Vec Algorithm 원문보기

지능정보연구 = Journal of intelligence and information systems, v.26 no.1, 2020년, pp.1 - 21

정예림 (한국과학기술정보연구원 데이터분석본부) , 김지희 (한국과학기술정보연구원 데이터분석본부) , 유형선 (한국과학기술정보연구원 데이터분석본부 과학기술연합대학원대학교 과학기술경영정책학과)

초록
AI-Helper

인공지능 기술의 급속한 발전과 함께 빅데이터의 상당 부분을 차지하는 비정형 텍스트 데이터로부터 의미있는 정보를 추출하기 위한 다양한 연구들이 활발히 진행되고 있다. 비즈니스 인텔리전스 분야에서도 새로운 시장기회를 발굴하거나 기술사업화 주체의 합리적 의사결정을 돕기 위한 많은 연구들이 이뤄져 왔다. 본 연구에서는 기업의 성공적인 사업 추진을 위해 핵심적인 정보 중의 하나인 시장규모 정보를 도출함에 있어 기존에 제공되던 범위보다 세부적인 수준의 제품군별 시장규모 추정이 가능하고 자동화된 방법론을 제안하고자 한다. 이를 위해 신경망 기반의 시멘틱 단어 임베딩 모델인 Word2Vec 알고리즘을 적용하여 개별 기업의 생산제품에 대한 텍스트 데이터를 벡터 공간으로 임베딩하고, 제품명 간 코사인 거리(유사도)를 계산함으로써 특정한 제품명과 유사한 제품들을 추출한 뒤, 이들의 매출액 정보를 연산하여 자동으로 해당 제품군의 시장규모를 산출하는 알고리즘을 구현하였다. 실험 데이터로서 통계청의 경제총조사 마이크로데이터(약 34만 5천 건)를 이용하여 제품명 텍스트 데이터를 벡터화 하고, 한국표준산업분류 해설서의 산업분류 색인어를 기준으로 활용하여 코사인 거리 기반으로 유사한 제품명을 추출하였다. 이후 개별 기업의 제품 데이터에 연결된 매출액 정보를 기초로 추출된 제품들의 매출액을 합산함으로써 11,654개의 상세한 제품군별 시장규모를 추정하였다. 성능 검증을 위해 실제 집계된 통계청의 품목별 시장규모 수치와 비교한 결과 피어슨 상관계수가 0.513 수준으로 나타났다. 본 연구에서 제시한 모형은 의미 기반 임베딩 모델의 정확성 향상 및 제품군 추출 방식의 개선이 필요하나, 표본조사 또는 다수의 가정을 기반으로 하는 전통적인 시장규모 추정 방법의 한계를 뛰어넘어 텍스트 마이닝 및 기계학습 기법을 최초로 적용하여 시장규모 추정 방식을 지능화하였다는 점, 시장규모 산출범위를 사용 목적에 따라 쉽고 빠르게 조절할 수 있다는 점, 이를 통해 다양한 분야에서 수요가 높은 세부적인 제품군별 시장정보 도출이 가능하여 실무적인 활용성이 높다는 점에서 의의가 있다.

Abstract ▼ AI-Helper

With the rapid development of artificial intelligence technology, various techniques have been developed to extract meaningful information from unstructured text data which constitutes a large portion of big data. Over the past decades, text mining technologies have been utilized in various industries for practical applications. In the field of business intelligence, it has been employed to discover new market and/or technology opportunities and support rational decision making of business participants. The market information such as market size, market growth rate, and market share is essential for setting companies' business strategies. There has been a continuous demand in various fields for specific product level-market information. However, the information has been generally provided at industry level or broad categories based on classification standards, making it difficult to obtain specific and proper information. In this regard, we propose a new methodology that can estimate the market sizes of product groups at more detailed levels than that of previously offered. We applied Word2Vec algorithm, a neural network based semantic word embedding model, to enable automatic market size estimation from individual companies' product information in a bottom-up manner. The overall process is as follows: First, the data related to product information is collected, refined, and restructured into suitable form for applying Word2Vec model. Next, the preprocessed data is embedded into vector space by Word2Vec and then the product groups are derived by extracting similar products names based on cosine similarity calculation. Finally, the sales data on the extracted products is summated to estimate the market size of the product groups. As an experimental data, text data of product names from Statistics Korea's microdata (345,103 cases) were mapped in multidimensional vector space by Word2Vec training. We performed parameters optimization for training and then applied vector dimension of 300 and window size of 15 as optimized parameters for further experiments. We employed index words of Korean Standard Industry Classification (KSIC) as a product name dataset to more efficiently cluster product groups. The product names which are similar to KSIC indexes were extracted based on cosine similarity. The market size of extracted products as one product category was calculated from individual companies' sales data. The market sizes of 11,654 specific product lines were automatically estimated by the proposed model. For the performance verification, the results were compared with actual market size of some items. The Pearson's correlation coefficient was 0.513. Our approach has several advantages differing from the previous studies. First, text mining and machine learning techniques were applied for the first time on market size estimation, overcoming the limitations of traditional sampling based- or multiple assumption required-methods. In addition, the level of market category can be easily and efficiently adjusted according to the purpose of information use by changing cosine similarity threshold. Furthermore, it has a high potential of practical applications since it can resolve unmet needs for detailed market size information in public and private sectors. Specifically, it can be utilized in technology evaluation and technology commercialization support program conducted by governmental institutions, as well as business strategies consulting and market analysis report publishing by private firms. The limitation of our study is that the presented model needs to be improved in terms of accuracy and reliability. The semantic-based word embedding module can be advanced by giving a proper order in the preprocessed dataset or by combining another algorithm such as Jaccard similarity with Word2Vec. Also, the methods of product group clustering can be changed to other types of unsupervised machine learning algorithm. Our group is currently work

주제어

표/그림 (8)

표 The summary of raw data (Economic Census Korea 2015 (9 or less workers)) (unit: number, million KRW)
표 Part of index words by KSIC sub-class
그림 Research model
그림 Visualization of Word2Vec training result using t-SNE
표 Part of extracted product names based on KSIC index words
그림 Optimization of parameters. (a) window size, (b) number of extracted words and cosine similarity.
표 Comparison with actual market size (Ratio=predicted value/actual value)
표 Examples of market size estimation using the proposed model

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 딥러닝 기반의 시멘틱 단어 임베딩 모델인 Word2Vec을 활용하여 자연어로 존 재하는 개별 기업의 제품 데이터로부터 bottom-up 방식으로 상세한 제품 수준의 시장규모 추정이 가능하고 제품군의 범주를 자유롭게 조절할 수 있는 기계학습 기반의 시장규모 추정 방법론을 제안하였다.
본 연구에서는 통계청 경제총조사를 기초 데 이터로 활용하여 상세한 제품군별 시장규모를 추정하는 방법론을 제안한다. 상세하게는 경제 총조사 조사항목 중 사업의 종류(주사업)에 대한 마이크로데이터를 활용하여 시장규모 산출 범위 와 기준 설정의 측면에서 세부적인 제품군에 대한 시장규모 추정이 가능하고, 제품군의 범주를 쉽게 조절할 수 있는 자동화된 모델을 구현하고자 한다.
본 연구에서는 통계청 경제총조사를 기초 데 이터로 활용하여 상세한 제품군별 시장규모를 추정하는 방법론을 제안한다. 상세하게는 경제 총조사 조사항목 중 사업의 종류(주사업)에 대한 마이크로데이터를 활용하여 시장규모 산출 범위 와 기준 설정의 측면에서 세부적인 제품군에 대한 시장규모 추정이 가능하고, 제품군의 범주를 쉽게 조절할 수 있는 자동화된 모델을 구현하고자 한다. 사업의 종류 조사항목에 포함되어 있는 최종생산제품(명칭)에 대한 텍스트 데이터를 텍스트 마이닝을 통해 수치화 또는 벡터화함으로 써 연산이 가능한 형태로 변환하여 분석하였다.
인과모형은 시장규모에 영향을 미치는 요인변수와의 인과관계를 규명하여 미래를 예측하는 방법으로, 회귀모형, 계량경제모형, 선도지표모형, 투입산출모형 등이 활용되고 있다. 이러한 연구의 흐름 속에서, 본 연구는 2차 자료를 활용하는 새로운 시장규모 추정 방법을 제 시하고 있다. 이와 관련된 대부분의 선행연구는 사전에 정해져 있는 분류체계를 기준으로 집계 된 통계데이터에 근거하여 시장규모를 추정하는 방식을 제안하였다.

제안 방법

방법론의 구현을 위해 먼저 제조업 분야 국내 기업별 생산제품 매출 데이터를 대상으로 제품 명에 대한 Word2Vec 학습을 통해 제품명칭들을 벡터 공간에 임베딩 하였다. 그 후 특정 제품명 (KSIC 색인어)에 대해 코사인 유사도를 기준으로 사한 제품명들을 추출하고, 이들의 개별 매 출액을 연산하여 해당 제품군의 시장규모를 추 정하는 모형을 구축하였다. 마지막으로 실제 조사 집계된 데이터와의 비교를 통해 모형의 성능 을 검증하였다.
본 연구에서 제안하는 방법을 이용하면, 어떠 한 용어의 분석 대상에 대해서도 시장규모를 산출할 수 있다. 그러나 결과를 보다 명확하게 설명하고 제품군 도출시 기준으로 활용하기 위해 통계청에서 제공하는 KSIC 해설서의 색인어를 기준 제품명으로 활용하였다. 통계청에서는 KSIC 각 산업분류코드별로 분류명과 분류내용 (정의, 예시 및 제외)을 설명하는 해설서를 제공 하고 있으며, 세세분류 단계에서는 색인어를 함께 제공한다.
이를 위해 단어 임베딩(Word Embedding) 모델의 하나인 워드투벡터(Word2Vec) 알고리즘을 적용 하여 제품명에 대한 텍스트 데이터를 벡터 공간에 맵핑하였다. 그리고 제품명간의 거리(유사도) 계산을 통해 특정한 제품명을 기준으로 제품군을 도출하고, 이들의 시장규모를 산출하는 모형을 구축하였다. 또한 일부 품목별 실제 출하규모 데이터와의 비교를 통해 본 방법론의 성능을 평가하였다.
먼저 실험에 사용할 제품정보 관련 데이터들을 수집한 뒤 이들을 정제, 가공 및 연계하는 데이터 전처리를 수행한다. 다음으 로 전처리한 데이터를 Word2Vec 알고리즘을 적 용하여 학습시킴으로써 벡터 공간에 임베딩하 고, 벡터 공간에서의 제품명간 거리(유사도)를 기준으로 특정 제품명과 유사한 제품명들을 추 출하여 제품군을 도출한다. 이어서 추출된 각각 의 제품명에 연결되어 있는 매출액 정보를 호출 및 연산하여 해당 제품군의 매출액 규모를 추정 한다.
다음으로 R의 WordVectors 라이브러리를 이용하여 Word2Vec 학습을 수행하였다. 정확한 시장규모를 산출하기 위해 모든 제품명이 학습되 어야 하는 본 방법론의 특성상, 단어의 최소출현 빈도(min_count)는 1로 설정하였다.
Figure 3(a)에서 볼 수 있듯이 학습 윈도우의 크기가 15인 경우에 가장 좋은 성능을 보이는 것으 로 나타났다. 다음으로 코사인 유사도와 추출 단어의 개수 변화에 따른 차이를 살펴보았다. 제품명 추출을 위해 WordVectors의 nearest_to 함수를 사용하였는데, 코사인 유사도를 기준으로 특정 단어와 유사한 단어들을 추출해 준다.
데이터 전처리 단계에서는 각 데이터셋으로 부터 제품명에 대한 텍스트 데이터를 모두 추출 하여 정제 작업을 수행하고, Word2Vec 학습을 위해 KSIC 세세분류에 따라 구분하여 하나의 문서로 만들었다.
제품명 추출을 위해 WordVectors의 nearest_to 함수를 사용하였는데, 코사인 유사도를 기준으로 특정 단어와 유사한 단어들을 추출해 준다. 따라서 nearest_to 함수를 이용하여 단어들을 추출하고 결과를 비교해보았다. Figure.
그러나 KSIC 색인어를 기준으로 유사한 제품 명들을 추출하고 매출규모를 산출할 경우 모든 색인어에 대해 알려진 시장규모 수치가 존재하 지 않기 때문에 추정된 값이 얼마나 정확한지 확인하기 어렵다. 따라서 본 방법론의 성능을 검증 하기 위해 광업 제조업조사 품목편 데이터와 본 방법론을 통해 도출된 결과값을 비교하였다.
따라서 통계청 마이크로데이터로부터 9인 이하 사업체의 2015년 품목별 출하액 데이터를 확보(RDC19021001)하여 각 품목에 대한 실제 시장규모 수치와 본 방법론을 통해 추정된 시장규모와의 비교 평가를 수행하였다
벡터 공간 내 거리는 코사인 거리(Cosine distance), 유클리드 거리(Euclidean distance), 맨하탄 거리(Manhattan distance), 마할라노비스 거 리(Mahalanobis distance) 등을 통해 구할 수 있는, 본 연구에서는 다음과 같이 코사인 거리(코 사인 유사도)를 기준으로 근접해있는 제품명들을 추출하였다. 또한 기준이 되는 코사인 유사도 수치를 조절함으로써 추출되는 제품군의 범위를 조절하였다.
그리고 제품명간의 거리(유사도) 계산을 통해 특정한 제품명을 기준으로 제품군을 도출하고, 이들의 시장규모를 산출하는 모형을 구축하였다. 또한 일부 품목별 실제 출하규모 데이터와의 비교를 통해 본 방법론의 성능을 평가하였다.
이어서 추출된 각각 의 제품명에 연결되어 있는 매출액 정보를 호출 및 연산하여 해당 제품군의 매출액 규모를 추정 한다. 마지막으로 특정 품목을 기준으로 실제 집계된 수치와 비교함으로써 본 방법론의 성능 을 평가한다. 전체 연구 모델은 오픈소스 기반 의 언어 프로그램인 R version 3.
비교에 앞서 실험 파라미터의 최적화를 수행 하였다. 먼저 학습 윈도우의 크기를 조절하면서 윈도우 크기에 따라 얼마나 성능 차이가 있는지를 살펴보았다. 성능은 품목편 데이터와 추정치 간의 Pearson 상관계수를 산출하여 비교하였다.
문장부호(쉼 표(,), 마침표(.), 가운뎃점( ) 등) 및 공백을 제거 하였고(전체 데이터의 20.3%에 포함), 일반명사 이면서 생산제품명칭에 다수 포함되어있는 “제조”, “제작”, “생산” 등의 단어를 제거하였다(전 체 데이터의 29.5%에 포함).
방법론의 구현을 위해 먼저 제조업 분야 국내 기업별 생산제품 매출 데이터를 대상으로 제품 명에 대한 Word2Vec 학습을 통해 제품명칭들을 벡터 공간에 임베딩 하였다. 그 후 특정 제품명 (KSIC 색인어)에 대해 코사인 유사도를 기준으로 사한 제품명들을 추출하고, 이들의 개별 매 출액을 연산하여 해당 제품군의 시장규모를 추 정하는 모형을 구축하였다.
Word2Vec 학습 단계에서는 구성된 데이터셋을 Skip-gram 방식을 사용하여 학습시켰다. 벡터 차원의 경우 일반적으로 한국어 임베딩에 적합 하다고 알려져 있는 300 차원을 적용하였으며 (Choi et al., 2016), 학습 윈도우의 크기(주변의 몇 개 단어를 학습할 것인지)는 최적화를 수행하였다. 제품군 도출 단계에서는 KSIC 세세분류별 색인어를 기준으로 가까운 벡터 공간에 위치하는 제품명칭들을 추출하는 알고리즘을 구현하였다.
벡터화된 제품명을 토대로 KSIC 색인어를 기준으로 각각의 색인어와 유사한 제품명들을 추출하여 하나의 제품군으로 그룹화 하였다. 코사인 거리를 기준으로 거리가 가까운 순으로 제품 명들을 추출하는 방식을 적용하였다.
본 연구에서 제안하는 방법을 이용하면, 어떠 한 용어의 분석 대상에 대해서도 시장규모를 산출할 수 있다. 그러나 결과를 보다 명확하게 설명하고 제품군 도출시 기준으로 활용하기 위해 통계청에서 제공하는 KSIC 해설서의 색인어를 기준 제품명으로 활용하였다.
비교에 앞서 실험 파라미터의 최적화를 수행 하였다. 먼저 학습 윈도우의 크기를 조절하면서 윈도우 크기에 따라 얼마나 성능 차이가 있는지를 살펴보았다.
상세하게는 경제 총조사 조사항목 중 사업의 종류(주사업)에 대한 마이크로데이터를 활용하여 시장규모 산출 범위 와 기준 설정의 측면에서 세부적인 제품군에 대한 시장규모 추정이 가능하고, 제품군의 범주를 쉽게 조절할 수 있는 자동화된 모델을 구현하고자 한다. 사업의 종류 조사항목에 포함되어 있는 최종생산제품(명칭)에 대한 텍스트 데이터를 텍스트 마이닝을 통해 수치화 또는 벡터화함으로 써 연산이 가능한 형태로 변환하여 분석하였다. 이를 위해 단어 임베딩(Word Embedding) 모델의 하나인 워드투벡터(Word2Vec) 알고리즘을 적용 하여 제품명에 대한 텍스트 데이터를 벡터 공간에 맵핑하였다.
둘째, 본 모형 평가 결과의 정확성을 향상시키 지 못한 또 다른 이유로 출하액과 매출액의 차이 에서 발생하는 오류를 꼽을 수 있다. 성능 평가 시 광업 제조업조사 품목별 출하액과 본 모형을 통해 추정한 매출액을 비교하였다. 그러나 출하 액은 전체 매출액에서 구입상품의 매출액을 제 외하고 공장 내부간 거래금액을 가산/감산한 수 치이기 때문에 일정 수준의 차이가 존재한다.
또한 본 방법론의 성능을 검증하기 위해서는 연구 모형을 통해 추정된 시장규모를 실제 집계 된 수치와 비교해 볼 필요가 있다. 이를 위해 통 계청의 광업 제조업조사 데이터와의 비교를 수행하였다. 광업 제조업조사 품목편에서는 약 2,100여개 품목별로 사업체수, 생산액, 출하액, 완제품 연말재고액 등의 정보를 매년 조사하여 발표하고 있다.
다음으 로 전처리한 데이터를 Word2Vec 알고리즘을 적 용하여 학습시킴으로써 벡터 공간에 임베딩하 고, 벡터 공간에서의 제품명간 거리(유사도)를 기준으로 특정 제품명과 유사한 제품명들을 추 출하여 제품군을 도출한다. 이어서 추출된 각각 의 제품명에 연결되어 있는 매출액 정보를 호출 및 연산하여 해당 제품군의 매출액 규모를 추정 한다. 마지막으로 특정 품목을 기준으로 실제 집계된 수치와 비교함으로써 본 방법론의 성능 을 평가한다.
5%에 포함). 전처리 수행 후 Word2Vec 학습을 위해 텍스트 데이터의 형태를 재구조화 하였다. 즉, 행렬 형태의 데이터로부터 KSIC 세세분류에 따라 동일한 KSIC 분류별로 제품명들이 하나의 문서에 포함되도록 형태를 변경하였다.
, 2016), 학습 윈도우의 크기(주변의 몇 개 단어를 학습할 것인지)는 최적화를 수행하였다. 제품군 도출 단계에서는 KSIC 세세분류별 색인어를 기준으로 가까운 벡터 공간에 위치하는 제품명칭들을 추출하는 알고리즘을 구현하였다. 벡터 공간 내 거리는 코사인 거리(Cosine distance), 유클리드 거리(Euclidean distance), 맨하탄 거리(Manhattan distance), 마할라노비스 거 리(Mahalanobis distance) 등을 통해 구할 수 있는, 본 연구에서는 다음과 같이 코사인 거리(코 사인 유사도)를 기준으로 근접해있는 제품명들을 추출하였다.
매출액 추정 단계에서는 앞의 제품군 도출 단계에서 결정된 제품군의 범주에 따라 시장규모 (매출규모)를 자동으로 산출하였다. 즉, KSIC 색 인어를 기준으로 추출된 각 제품명칭에 대해 앞에서 구축한 기본 데이터셋으로부터 개별 기업의 제품별 매출액 데이터를 호출하여 합산하였다. 따라서 제조업 분야 11,654개 색인어를 기준으로 상세한 제품 수준의 시장규모를 추정할 수 있었다.
전처리 수행 후 Word2Vec 학습을 위해 텍스트 데이터의 형태를 재구조화 하였다. 즉, 행렬 형태의 데이터로부터 KSIC 세세분류에 따라 동일한 KSIC 분류별로 제품명들이 하나의 문서에 포함되도록 형태를 변경하였다. 총 35만여 개 제품명 텍스트 데이터 (경제총조사 마이크로데이터(337,581개), KSIC 색인어(11,654개), 광업 제조업조사 품목편의 품목명(2,077개))를 제조업 세세분류에 따라 분류 하여 총 461개의 문서로 구조화하였다.
즉, 행렬 형태의 데이터로부터 KSIC 세세분류에 따라 동일한 KSIC 분류별로 제품명들이 하나의 문서에 포함되도록 형태를 변경하였다. 총 35만여 개 제품명 텍스트 데이터 (경제총조사 마이크로데이터(337,581개), KSIC 색인어(11,654개), 광업 제조업조사 품목편의 품목명(2,077개))를 제조업 세세분류에 따라 분류 하여 총 461개의 문서로 구조화하였다.
벡터화된 제품명을 토대로 KSIC 색인어를 기준으로 각각의 색인어와 유사한 제품명들을 추출하여 하나의 제품군으로 그룹화 하였다. 코사인 거리를 기준으로 거리가 가까운 순으로 제품 명들을 추출하는 방식을 적용하였다. Table 3은 KSIC 색인어 기준 추출된 제품명들의 일부를 나타낸다.
텍스트 데이터를 Word2Vec 학습에 사용하기에 앞서 전처리 작업을 수행하였다. 문장부호(쉼 표(,), 마침표(.
정확한 시장규모를 산출하기 위해 모든 제품명이 학습되 어야 하는 본 방법론의 특성상, 단어의 최소출현 빈도(min_count)는 1로 설정하였다. 학습이 끝난 후에는 t-SNE (t-distributed Stochastic Neighbor Embedding) 알고리즘을 적용하여 벡터 공간에 맵핑된 제품명을 2차원으로 축소시켜 학습된 결과를 시각적으로 확인하였다(Figure 2). t-SNE는 비선형 차원 축소 기법 중의 하나로, 고차원 데이터를 2차원 또는 3차원의 저차원으로 축소하 여가시화 하는데 유용하게 사용된다(Maaten and Hinton, 2008).

대상 데이터

각 단계를 구체적으로 살펴보면, 데이터 수집 단계에서는 앞에서 설명한 바와 같이 통계청 경제총조사 마이크로데이터, KSIC 해설서 색인어, 통계청 광업 제조업조사 품목편 마이크로데이터를 수집하여 활용하였다. 경제총조사 마이크로 데이터의 경우 추후 매출액 추정 단계에서 다시 호출하여 제품군별 매출규모 연산에 사용되었다.
국내 기업들이 생산하는 제품 및 이들의 매출액 정보에 대한 원시데이터로서 통계청의 2015 경제총조사 중 제조업(C) 부문의 마이크로데이터를 활용하였다(RDC19021001).
예를 들어, 본 연 구에서는 11,654개 KSIC 색인어와 2,100여개 품 목 각각에 대해 시장규모를 추정하여 활용할 수 있음을 보여주었고, 그 결과가 통계적으로 집계 된 데이터와 어느 정도 일치함을 확인하였다. 그 러나 본 연구에서 활용한 데이터는 2015년도 기 준 데이터로서, 추정된 시장규모 정보가 현재 시 점과는 차이가 존재한다. 따라서 실제 정보수요 자 제공을 위한 제품군별 시장규모를 추정할 경 우에는 가장 최신 시점의 데이터를 수집하여 모형에 적용함으로써 산출 정보의 시의성을 확보 할 수 있다.
제품군 도출 단계에서는 KSIC 세세분류별 색인어를 기준으로 가까운 벡터 공간에 위치하는 제품명칭들을 추출하는 알고리즘을 구현하였다. 벡터 공간 내 거리는 코사인 거리(Cosine distance), 유클리드 거리(Euclidean distance), 맨하탄 거리(Manhattan distance), 마할라노비스 거 리(Mahalanobis distance) 등을 통해 구할 수 있는, 본 연구에서는 다음과 같이 코사인 거리(코 사인 유사도)를 기준으로 근접해있는 제품명들을 추출하였다. 또한 기준이 되는 코사인 유사도 수치를 조절함으로써 추출되는 제품군의 범위를 조절하였다.
색인어의 경우 해당 산업에 포함되 는 비교적 상세한 수준의 품목 유형에 대한 정보 를 제공하기 때문에 이들을 제품 종류를 구분하는 기준으로 활용할 수 있다. 본 연구에서는 KSIC 9차 기준 제조업 분야 461개 세세분류에 대한 11,654개 색인어를 제품군을 도출하는 기준 제품명으로 활용하였다(Table 2).
국내 기업들이 생산하는 제품 및 이들의 매출액 정보에 대한 원시데이터로서 통계청의 2015 경제총조사 중 제조업(C) 부문의 마이크로데이터를 활용하였다(RDC19021001). 조사항목 중 사업체의 주사업 종류가 존재하는 종사자수 9인 이하 사업체에 대한 데이터(345,103건)를 추출하여 기본 데이터셋으로 활용하였다. 연구에 사용된 항목(필드)은 사업체고유번호, 매출액, 사업의 종류(주사업)이며, 사업의 종류(주사업)의 세부 항목에는 최종생산제품명칭, 매출액 비중(%), 산업분류부호(한국표준산업분류(KSIC; Korean Standard Industrial Classification) 세세분류코드) 가 포함되어 있다.
데이터 전처리 단계에서는 각 데이터셋으로 부터 제품명에 대한 텍스트 데이터를 모두 추출 하여 정제 작업을 수행하고, Word2Vec 학습을 위해 KSIC 세세분류에 따라 구분하여 하나의 문서로 만들었다. 즉, 동일한 KSIC 세세분류에 해당하는 제품명끼리 하나의 문서에 포함되도록 학습용 데이터셋을 구성하였다.
1%, 주사업 비중이 100%인 기업은 전체의 97%를 차지하였다. 즉, 해당 기업들의 사업 중 주사업의 비중이 매우 높은 것으로 나타나 본 연구에서는 주사업만을 대상으로 분석을 실시하였다. 분석 대상 기업들의 주사업 매출액 총합은153조원, 주사업 매출액 평균은 444백만 원인 것으로 파악되었다.

데이터처리

그러나 색인어를 기준으로 한 시장규모 는 현재 공표된 수치가 없으므로 추정된 시장규모가 얼마나 정확한 것인지 파악하기 어렵다. 따라서 마지막 평가 단계에서는 기조사 및 집계된 실제 데이터인 2015년 광업 제조업조사의 2,077 개 품목별 매출액 수치와 본 모형을 통해 동일한 품목명을 기준으로 산출된 시장규모가 얼마나 유사한 값을 가지는 지를 피어슨 상관계수 등을 통해 비교하였다.
그 후 특정 제품명 (KSIC 색인어)에 대해 코사인 유사도를 기준으로 사한 제품명들을 추출하고, 이들의 개별 매 출액을 연산하여 해당 제품군의 시장규모를 추 정하는 모형을 구축하였다. 마지막으로 실제 조사 집계된 데이터와의 비교를 통해 모형의 성능 을 검증하였다. 본 연구의 의의를 살펴보면, 먼저 본 연구는 학문적인 관점에서 최근 들어 활발해지고 있는 한국어 Word2Vec 모델을 구현함에 있어 새로운 사례연구로서 경험을 축적하고, 특히 문장이 아 닌 한국어 단어만으로 구성된 문서를 임베딩하 는데 적합한 학습 파라미터를 실험을 통해 최적 화함으로써 앞으로 이어질 한국어 기반 모델 연 구의 효율화와 가속화에 기여한다는 점에서 의의가 있다.
먼저 학습 윈도우의 크기를 조절하면서 윈도우 크기에 따라 얼마나 성능 차이가 있는지를 살펴보았다. 성능은 품목편 데이터와 추정치 간의 Pearson 상관계수를 산출하여 비교하였다. Figure 3(a)에서 볼 수 있듯이 학습 윈도우의 크기가 15인 경우에 가장 좋은 성능을 보이는 것으 로 나타났다.

이론/모형

벡터 공 간 내 제품명 데이터의 분포 밀도가 다양하므로 밀도 기반 클러스터링(DBSCAN; Density-Based Spatial Clustering of Applications with Noise) 기 법을 적용하거나, k-평균 클러스터링(k-means clustering) 또는 계층적 클러스터링(Hierarchical clustering) 알고리즘을 적용해 볼 수 있다. 이러한 과정을 통해 본 연구에서 제시한 기본 모형을 지속적으로 보완 및 개선해나감으로써 모델을 더욱 고도화하고 발전시킬 수 있을 것으 로 기대된다.
조사항목 중 사업체의 주사업 종류가 존재하는 종사자수 9인 이하 사업체에 대한 데이터(345,103건)를 추출하여 기본 데이터셋으로 활용하였다. 연구에 사용된 항목(필드)은 사업체고유번호, 매출액, 사업의 종류(주사업)이며, 사업의 종류(주사업)의 세부 항목에는 최종생산제품명칭, 매출액 비중(%), 산업분류부호(한국표준산업분류(KSIC; Korean Standard Industrial Classification) 세세분류코드) 가 포함되어 있다. Table 1은 데이터셋에 대한 기초통계량 분석 결과를 나타낸다.
사업의 종류 조사항목에 포함되어 있는 최종생산제품(명칭)에 대한 텍스트 데이터를 텍스트 마이닝을 통해 수치화 또는 벡터화함으로 써 연산이 가능한 형태로 변환하여 분석하였다. 이를 위해 단어 임베딩(Word Embedding) 모델의 하나인 워드투벡터(Word2Vec) 알고리즘을 적용 하여 제품명에 대한 텍스트 데이터를 벡터 공간에 맵핑하였다. 그리고 제품명간의 거리(유사도) 계산을 통해 특정한 제품명을 기준으로 제품군을 도출하고, 이들의 시장규모를 산출하는 모형을 구축하였다.
마지막으로 특정 품목을 기준으로 실제 집계된 수치와 비교함으로써 본 방법론의 성능 을 평가한다. 전체 연구 모델은 오픈소스 기반 의 언어 프로그램인 R version 3.5.3을 이용하여 구현하였다.

성능/효과

또한 기존의 연구에서 활용된 바 와 같이 Word2Vec 알고리즘과 더불어 단어간 형 태적 유사도를 계산하는 음절 단위의 자카드 (Jaccard) 유사도를 추가적으로 반영(Lee and Kim, 2018)함으로써 유사한 제품명 추출의 정확 성을 더욱 높일 수 있을 것으로 기대된다. 둘째, 본 모형 평가 결과의 정확성을 향상시키 지 못한 또 다른 이유로 출하액과 매출액의 차이 에서 발생하는 오류를 꼽을 수 있다. 성능 평가 시 광업 제조업조사 품목별 출하액과 본 모형을 통해 추정한 매출액을 비교하였다.
즉, KSIC 색 인어를 기준으로 추출된 각 제품명칭에 대해 앞에서 구축한 기본 데이터셋으로부터 개별 기업의 제품별 매출액 데이터를 호출하여 합산하였다. 따라서 제조업 분야 11,654개 색인어를 기준으로 상세한 제품 수준의 시장규모를 추정할 수 있었다. 그러나 색인어를 기준으로 한 시장규모 는 현재 공표된 수치가 없으므로 추정된 시장규모가 얼마나 정확한 것인지 파악하기 어렵다.
국내외 시장 진입 시 가장 일차적으로 동일 또는 유사한 제품 범주 내 에서 다른 기업의 제품들과 경쟁하기 때문이다. 본 연구에서 제안한 시장규모 추정모형을 이 용하면, 분류체계 등에 의해 사전에 정의되지 않 은 세부적인 수준의 품목이나 제품군에 대해서 도 시장규모를 추정할 수 있다. 예를 들어, 본 연 구에서는 11,654개 KSIC 색인어와 2,100여개 품 목 각각에 대해 시장규모를 추정하여 활용할 수 있음을 보여주었고, 그 결과가 통계적으로 집계 된 데이터와 어느 정도 일치함을 확인하였다.
즉, 해당 기업들의 사업 중 주사업의 비중이 매우 높은 것으로 나타나 본 연구에서는 주사업만을 대상으로 분석을 실시하였다. 분석 대상 기업들의 주사업 매출액 총합은153조원, 주사업 매출액 평균은 444백만 원인 것으로 파악되었다. 총 345,103개 사업체 데이터 중 결측치를 제외한 최종생산제품명칭 텍스트 데이터는 337,581건으로 나타났다.
Table 1은 데이터셋에 대한 기초통계량 분석 결과를 나타낸다. 사업의 종류는 주사업과 부사업으로 구분되는데, 개별 기업의 사업 중 주사업이 차지하는 비중의 평균은 99.1%, 주사업 비중이 100%인 기업은 전체의 97%를 차지하였다. 즉, 해당 기업들의 사업 중 주사업의 비중이 매우 높은 것으로 나타나 본 연구에서는 주사업만을 대상으로 분석을 실시하였다.
셋째, 광업 제조업조사의 품목별 출하액과의 비교 결과 과대 추정된 경우가 많았는데, 이는 품목편의 경우 품목의 집계 범위가 엄격하고 보 수적으로 산출되는 경향이 있는 반면, 본 연구모 형으로부터 추정된 매출액의 경우 일부 포함 관 계에 있는 제품까지 포괄하는 경우가 있기 때문 인 것으로 보인다. 예를 들어 Table 5(b)의 “이 불”을 키워드로 추출한 경우에서 볼 수 있듯이, “홈패션”, “침구및수예품”, “방석홈패션” 등 이 불제품을 포함하는 일부 확대된 범위의 제품들 이 추출되었고, 따라서 실제 출하액 규모보다 과 대 추정된 결과를 나타냈다.
첫째, Word2Vec 학습용 데이터셋 구성 시 단 어의 배열(순서)에 주의를 기울일 필요가 있다. 실험에 사용된 데이터는 제품명칭으로만 이루어 져 있기 때문에 일반적으로 문맥을 갖는 문장으 로 구성된 문서와는 차이가 있다.
분석 대상 기업들의 주사업 매출액 총합은153조원, 주사업 매출액 평균은 444백만 원인 것으로 파악되었다. 총 345,103개 사업체 데이터 중 결측치를 제외한 최종생산제품명칭 텍스트 데이터는 337,581건으로 나타났다.
최적화된 조건에서 “산업용저울”을 키워드로 제품명을 추출 한 결과, “산업용저울”, “전자저울”, “일반저울” 등 코사인유사도 순으로 연관성이 높은 생산제 품명들이 추출되었다(Table 5

후속연구

현재 모형에서 는 데이터의 수집 및 활용 가능한 항목(필드)의 제한으로 인해 적절한 순서 부여에 어려움이 있 었으나, 추가적으로 제품명 배열에 순서를 부여 할 수 있는 기준을 적용한다면 정확도/신뢰도를 포함한 모델의 성능을 더욱 향상시킬 수 있을 것 으로 예상된다. 또한 기존의 연구에서 활용된 바 와 같이 Word2Vec 알고리즘과 더불어 단어간 형 태적 유사도를 계산하는 음절 단위의 자카드 (Jaccard) 유사도를 추가적으로 반영(Lee and Kim, 2018)함으로써 유사한 제품명 추출의 정확 성을 더욱 높일 수 있을 것으로 기대된다. 둘째, 본 모형 평가 결과의 정확성을 향상시키 지 못한 또 다른 이유로 출하액과 매출액의 차이 에서 발생하는 오류를 꼽을 수 있다.
또한 본 방법론의 성능을 검증하기 위해서는 연구 모형을 통해 추정된 시장규모를 실제 집계 된 수치와 비교해 볼 필요가 있다. 이를 위해 통 계청의 광업 제조업조사 데이터와의 비교를 수행하였다.
또한 상세한 제품 수준의 시장정보에 대해 다 양한 분야에서 지속적인 수요가 있어왔으나, 그 동안 제공되던 정보는 일부 품목에 국한되거나 산업 분야별로 파편적으로 존재하여 정보 획득 에 어려움이 있었다. 본 방법론을 적용함으로써 세부적인 제품군별 시장규모 및 매출액 추정이 필요한 다양한 공공기관(기술사업화 지원기관, 산업분야별 협회 등) 또는 민간 부문(기술가치평 가 수행기관, 연구개발서비스 기업 등)에서 폭넓 게 활용되어 미충족 수요를 해결할 수 있을 것으 로 기대된다. 아직까지 정확도 및 신뢰성 등을 향상시켜야 하는 한계점이 존재하지만 한국어에 특화된 텍 스트 마이닝 및 기계학습에 대한 연구개발이 계 속적으로 이어지고 있는 만큼, 개선된 알고리즘 의 적용 및 알고리즘 간 결합을 통해 본 모형의 성능이 더욱 향상되고 발전할 수 있음은 자명한 사실이다.
본 연구 모형의 성능을 평가한 결과 정확성 향 상이 보다 필요한 것으로 나타났는데, 이는 다음 과 같은 몇 가지 한계점에서 기인한 것일 수 있 으며, 이들을 개선 및 보완함으로써 성능을 더욱 향상시킬 수 있을 것으로 기대된다.
벡터 공 간 내 제품명 데이터의 분포 밀도가 다양하므로 밀도 기반 클러스터링(DBSCAN; Density-Based Spatial Clustering of Applications with Noise) 기 법을 적용하거나, k-평균 클러스터링(k-means clustering) 또는 계층적 클러스터링(Hierarchical clustering) 알고리즘을 적용해 볼 수 있다. 이러한 과정을 통해 본 연구에서 제시한 기본 모형을 지속적으로 보완 및 개선해나감으로써 모델을 더욱 고도화하고 발전시킬 수 있을 것으 로 기대된다.
실험에 사용된 데이터는 제품명칭으로만 이루어 져 있기 때문에 일반적으로 문맥을 갖는 문장으 로 구성된 문서와는 차이가 있다. 현재 모형에서 는 데이터의 수집 및 활용 가능한 항목(필드)의 제한으로 인해 적절한 순서 부여에 어려움이 있 었으나, 추가적으로 제품명 배열에 순서를 부여 할 수 있는 기준을 적용한다면 정확도/신뢰도를 포함한 모델의 성능을 더욱 향상시킬 수 있을 것 으로 예상된다. 또한 기존의 연구에서 활용된 바 와 같이 Word2Vec 알고리즘과 더불어 단어간 형 태적 유사도를 계산하는 음절 단위의 자카드 (Jaccard) 유사도를 추가적으로 반영(Lee and Kim, 2018)함으로써 유사한 제품명 추출의 정확 성을 더욱 높일 수 있을 것으로 기대된다.
아직까지 정확도 및 신뢰성 등을 향상시켜야 하는 한계점이 존재하지만 한국어에 특화된 텍 스트 마이닝 및 기계학습에 대한 연구개발이 계 속적으로 이어지고 있는 만큼, 개선된 알고리즘 의 적용 및 알고리즘 간 결합을 통해 본 모형의 성능이 더욱 향상되고 발전할 수 있음은 자명한 사실이다. 후속 연구를 통해 문제점들을 보완해 나갈 계획이며, 제조업 외에 전 산업으로 적용 분야를 확대하는 한편, 연도별 데이터의 연계를 통해 시장의 성장률 및 미래 시장수요를 예측하 고, 제품 단위의 경쟁정보를 포함시켜 도출되는 시장정보의 범위를 확대하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Skip-gram이란?	Word2Vec의 학습 방식은 CBOW (Continuous Bag Of Words)와 Skip-gram 의 두 가지가 존재한다. CBOW는 주변 단어들을 입력받아 이로부터 중심(목표) 단어를 예측하는 방식이고, Skip-gram은 입력받은 단어를 중심으 로 주위에 같이 등장할 확률이 높은 단어들을 예 측하는 방식이다. 일반적으로 Skip-gram 학습 방 식이 정확성 등의 측면에서 더 우수한 성능을 보 이는 것으로 알려져 있다(Mikolov et al.
	전수 조사에 비교할때, 표본 조사 방법의 장점은?	표본 조사 방법은 샘플링한 기업의 매출액 정보나 설문 조사를 통한 예측을 바탕으로 전체 시장을 추정하는 방법으로(Jang et al., 2013), 전수 조사에 비해 조사가 수월하다 는 장점이 있지만 정확성을 향상시키기 위한 세심한 표본 설계와 추정 방법을 필요로 한다. Chun et al.
	Word2Vec 알고리즘이 활용된 다양한 연구에는 어떤 것이 있는가?	Word2Vec 알고리즘은 벡터 공간을 활용한 분 산 표현을 통해 단어의 의미와 단어 간 관계를 효율적으로 추정하는 방법으로서 자연어 처리 분야에서 비약적인 정밀도 향상을 가능하게 하 며 다양한 분야의 연구에서 활용되어 왔다(Kim and Lee, 2015). 대표적으로 의미있는 정보나 시사점을 보다 효율적으로 검색하고 추출하기 위해 활용되거나(Heu, 2018; Ngo et al., 2016; Park et al., 2017), 특정 주제에 따라 특허, 신문기사, SNS, 상품 리뷰 등 다양한 종류의 문서를 분류하는데 활용되었다(Kim and Koo, 2017; Kim and Park, 2019; Lilleberg et al., 2015; Stein et al., 2019; Yang et al., 2019). 또한 사용자의 특성과 구매 실적, 기호 등에 따라 구매가 예상되는 상품 및 서비스를 추천해주는 상품 추천 분야 (Grbovic et al., 2015; Kang, 2019; Vasile et al., 2016), 긍/부정 태도와 사용자 의견 등을 분석하는 감성 분석 및 오피니언 마이닝(Heo and Ohn, 2017; Lee et al., 2017; Liu, 2017; Park and Lee, 2018; Xue et al., 2014) 등에도 활용되었다. 다른 한 방향으로 Word2Vec 모델은 영어 단어의 임베딩에 최적화되어있기 때문에 한국어 데이터를 적용할 때 부딪히게 되는 여러 가지 문제점들을 해결하고, 한국어에 적합하도록 모델을 개선하고 성능을 향상시키기 위한 연구들도 활발하게 진행되고 있는 추세이다.

참고문헌 (49)

An, J., S.-H. Lee, E.-H. An and H.-W. Kim, "Fintech Trends and Mobile Payment Service Anlaysis in Korea: Application of Text Mining Techniques", Informatization Policy, Vol.23, No.3(2016), 26-42.

원문보기 상세보기
Balachandra, R. and J. H. Friar, "Factors for Success in R&D Projects and New Product Innovation: A Contextual Framework", IEEE Transactions on Engineering Management, Vol.44, No.3(1997), 276-287.

상세보기
Chakraborty, G. and M. Krishna, "Analysis of Unstructured Data: Applications of Text Analytics and Sentiment Mining", SAS global forum, (2014), 1288-2014.
Choi, B.-O. and B. S. Kim, "A Forecasting on the Market Size of Korean Solar Salt", Journal of Korea Academia-Industrial cooperation Society, Vol.14, No.10(2013), 4812-4818.

원문보기 상세보기
Choi, S., J. Seol and S.-g. Lee, "On Word Embedding Models and Parameters Optimized for Korean", Proceedings of the 28th Annual Conference on Human and Cognitive Language Technology, (2016), 252-256.
Chun, S.-Y. and S.-G. Kim, "Estimation for Market Size of the Purchasing Costs for the Textbooks and Reference Books", The Journal of Economics and Finance of Education, Vol.19, (2010), 95-124.
Grbovic, M., V. Radosavljevic, N. Djuric, N. Bhamidipati, J. Savla, V. Bhagwan and D. Sharp, "E-Commerce in Your Inbox: Product recommendations at scale", Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, (2015), 1809-1818.
Harris, Z. S., "Distributional Structure", Word, Vol.10, No.2-3(1954), 146-162.
Heo, C. and S.-Y. Ohn, "A Novel Method for Constructing Sentiment Dictionaries Using Word2vec and Label Propagation", Journal of Korean Institute of Next Generation Computing, Vol.13, No.2(2017), 93-101.
Heu, J.-U., "Korean Language Clustering Using Word2vec", The Journal of The Institute of Internet, Broadcasting and Communication, Vol.18, No.5(2018), 25-30.

원문보기 상세보기
Jang, E.-S., Y.-H. Baek and S.-W. Lee, "The Survey on the State and Scale of Constitutional Medical Service Market in Korea", Journal of Sasang Constitutional Medicine, Vol.25, No.1(2013), 43-50.

원문보기 상세보기
Jun, S.-P., T.-E. Sung and S. Choi, "A Data-Based Sales Forecasting Support System for New Businesses", Journal of Intelligence and Information Systems, Vol.23, No.1(2017), 1-22.

원문보기 상세보기
Jung, Y. L., H. S. Yoo, J. H. Kim, H. G. Kim and E. S. Kim, "Estimating Apparatus for Market Size, and Control Method Thereof", Patent Application Number 10-2019-0112446, Korean Intellectual Property Office, Republic of Korea, 2019.
Kang, B.-S., "A Study on the Accuracy Improvement of Movie Recommender System Using Word2vec and Ensemble Convolutional Neural Networks", Journal of digital convergence, Vol.17, No.1(2019), 123-130.

원문보기 상세보기
Kang, H. and J. Yang, "Optimization of Word2vec Models for Korean Word Embeddings", Journal of Digital Contents Society, Vol.20, No.4(2019), 825-833.

상세보기
Kang, H. and J. Yang, "The Analogy Test Set Suitable to Evaluate Word Embedding Models for Korean", Journal of Digital Contents Society, Vol.19, No.10(2018), 1999-2008.

상세보기
Kang, J. and J. Cho, "The Demographic Structure, Firm Age and Economic Performance: A Local Level Analysis", Economic Analysis, Vol.24, No.4(2018), 101-128.
Kim, D. and M.-W. Koo, "Categorization of Korean News Articles Based on Convolutional Neural Network Using Doc2vec and Word2vec", Journal of KIISE, Vol.44, No.7 (2017), 742-747.

원문보기 상세보기
Kim, D. J., D. I. Park and J. S. Park, "Study on the Change of Marketing Strategy through Data Mining Technique", Korea Business Review, Vol.22, No.2(2018), 177-194.

상세보기
Kim, K. and C. Park, "Automatic Ipc Classification of Patent Documents Using Word2vec and Two Layers Bidirectional Long Short Term Memory Network", The Journal of Korean Institute of Next Generation Computing, Vol.15, No.2(2019), 50-60.
Kim, S. and S. Lee, "Automatic Extraction of Alternative Word Candidates Using the Word2vec Model", Journal of Korean Institute of Information Scientists and Engineers, Vol.23, No.12(2015), 769-771.
Le, Q. and T. Mikolov, "Distributed Representations of Sentences and Documents", International conference on machine learning, (2014), 1188-1196.
Lee, D.-Y., J.-C. Jo and H.-S. Lim, "User Sentiment Analysis on Amazon Fashion Product Review Using Word Embedding", Journal of the Korea Convergence Society, Vol.8, No.4(2017), 1-8.

원문보기 상세보기
Lee, K., K.-Y. Kim and Z. Lee, "Factors Affecting Purchase Intention of Smart Mobility : Integrating Text Mining and Mental Accounting Theory", Korea Journal of Business Administration, Vol.31, No.11(2018), 2147-2168.
Lee, M. and H.-J. Kim, "Construction of Event Networks from Large News Data Using Text Mining Techniques", Journal of Intelligence and Information Systems, Vol.24, No.1(2018), 183-203.

원문보기 상세보기
Lee, Y.-J., J.-H. Seo and J.-T. Choi, "Fashion Trend Marketing Prediction Analysis Based on Opinion Mining Applying Sns Text Contents", Journal of Korean Institute of Information Technology, Vol.12, No.12(2014), 163-170.
Lee, Y., Y.-J. Lee and H. Kang, "A Study on Estimating the Size of the Fashion Market through Sample Survey", Journal of The Korean Data Analysis Society, Vol.14, No.3(2012), 1281-1290.
Lilleberg, J., Y. Zhu and Y. Zhang, "Support Vector Machines and Word2vec for Text Classification with Semantic Features", 2015 IEEE 14th International Conference on Cognitive Informatics & Cognitive Computing, (2015), 136-140.
Lim, J. and H. Oh, "A Study on the New Product Forecasting Methodology", Journal of the Korean Institute of Industrial Engineers, Vol.18, No.2(1992), 51-63.
Liu, H., "Sentiment Analysis of Citations Using Word2vec", arXiv preprint arXiv:1704.00177, (2017).
Maaten, L. v. d. and G. Hinton, "Visualizing Data Using t-SNE", Journal of machine learning research, Vol.9, No.Nov(2008), 2579-2605.
Mikolov, T., K. Chen, G. Corrado and J. Dean, "Efficient Estimation of Word Representations in Vector Space", arXiv preprint arXiv:1301.3781, (2013).
Nam, Y., "Analysis on the Determinants of Exit of Self-Employed Businesses in Korea", BOK working paper, Vol.5, (2017), 1-37.
Ngo, D. L., N. Yamamoto, V. A. Tran, N. G. Nguyen, D. Phan, F. R. Lumbanraja, M. Kubo and K. Satou, "Application of Word Embedding to Drug Repositioning", Journal of Biomedical Science and Engineering, Vol.9, No.01(2016), 7-16.

상세보기
Park, H. and J. Ahn, "Demand Forecasting for G2B E-Commerce Using Public Data : A Case Study of Public Procurement Service", The Journal of Korean Institute of Information Technology, Vol.12, No.10(2014), 113-121.
Park, S. S. and K. C. Lee, "Effective Korean Sentiment Classification Method Using Word2vec and Ensemble Classifier", Journal of Digital Contents Society, Vol.19, No.1 (2018), 133-140.

원문보기 상세보기
Park, Y.-J., Y.-B. Kim, S.-Y. Jeong, Y. J. Kim and S.-W. Son, "Network Analysis in Korean Presidential Speeches by Using Word2vec", New Physics: Sae Mulli, Vol.67, No.5(2017), 569-574.

상세보기
Shin, M. C., Basic Statistics for Business and Economics, Changmin, Seoul, 2010.
Son, N. S., Y. Lee and H. Chun, "Growth and Failure of Manufacturing Plants in Korea: Single-Unit Versus Multi-Unit Plants", Journal of Market Economy, Vol.47, No.1(2018), 1-27.
Statistics Korea, "Report on the Census on Establishments", 2015.
Statistics Korea, "Report on the Economic Census - Whole Country", 2017.
Stein, R. A., P. A. Jaques and J. F. Valiati, "An Analysis of Hierarchical Text Classification Using Word Embeddings", Information Sciences, Vol.471, (2019), 216-232.

상세보기
Vasile, F., E. Smirnova and A. Conneau, "Meta-Prod2vec - Product Embeddings Using Side-Information for Recommendation", Proceedings of the 10th ACM Conference on Recommender Systems, (2016), 225-232.
Weiss, S. M., N. Indurkhya and T. Zhang, Fundamentals of Predictive Text Mining, Springer, 2015.
Xue, B., C. Fu and Z. Shaobin, "A Study on Sentiment Computing and Classification of Sina Weibo with Word2vec", 2014 IEEE International Congress on Big Data, (2014), 358-363.
Yang, H., Y.-I. Lee, H.-j. Lee, S. W. Cho and M.-W. Koo, "A Study on Word Vector Models for Representing Korean Semantic Information", Phonetics and Speech Sciences, Vol.7, No.4(2015), 41-47.

원문보기 상세보기
Yang, Y.-J., B.-H. Lee, J.-S. Kim and K. Y. Lee, "Development of an Automatic Classification System for Game Reviews Based on Word Embedding and Vector Similarity", The Journal of Society for e-Business Studies, Vol.24, No.2(2019), 1-14.
Yoo, H. S., J. H. Seo, S.-P. Jun and J. Seo, "A Study on an Estimation Method of Domestic Market Size by Using the Standard Statistical Classifications", Journal of Korea Technology Innovation Society, Vol.18, No.3(2015), 387-415.
Yoon, Y. S., J.-C. Park, and S. S. Cho, "A Study on the Market Size Distribution of Artificial Information Industry", Journal of Industrial Economics and Business, Vol.29, No.6(2016), 2179-2198.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증