[논문]CNN을 적용한 한국어 상품평 감성분석: 형태소 임베딩을 중심으로

박현정; 송민채; 신경식

doi:10.13088/jiis.2018.24.2.059

CNN을 적용한 한국어 상품평 감성분석: 형태소 임베딩을 중심으로
Sentiment Analysis of Korean Reviews Using CNN: Focusing on Morpheme Embedding 원문보기

지능정보연구 = Journal of intelligence and information systems, v.24 no.2, 2018년, pp.59 - 83

박현정 (이화여자대학교 경영연구소) , 송민채 (이화여자대학교 빅데이터분석학) , 신경식 (이화여자대학교 경영대학)

초록
AI-Helper

고객과 대중의 니즈를 파악하기 위한 감성분석의 중요성이 커지면서 최근 영어 텍스트를 대상으로 다양한 딥러닝 모델들이 소개되고 있다. 본 연구는 영어와 한국어의 언어적인 차이에 주목하여 딥러닝 모델을 한국어 상품평 텍스트의 감성분석에 적용할 때 부딪히게 되는 기본적인 이슈들에 대하여 실증적으로 살펴본다. 즉, 딥러닝 모델의 입력으로 사용되는 단어 벡터(word vector)를 형태소 수준에서 도출하고, 여러 형태소 벡터(morpheme vector) 도출 대안에 따라 감성분석의 정확도가 어떻게 달라지는지를 비정태적(non-static) CNN(Convolutional Neural Network) 모델을 사용하여 검증한다. 형태소 벡터 도출 대안은 CBOW(Continuous Bag-Of-Words)를 기본적으로 적용하고, 입력 데이터의 종류, 문장 분리와 맞춤법 및 띄어쓰기 교정, 품사 선택, 품사 태그 부착, 고려 형태소의 최소 빈도수 등과 같은 기준에 따라 달라진다. 형태소 벡터 도출 시, 문법 준수도가 낮더라도 감성분석 대상과 같은 도메인의 텍스트를 사용하고, 문장 분리 외에 맞춤법 및 띄어쓰기 전처리를 하며, 분석불능 범주를 포함한 모든 품사를 고려할 때 감성분석의 분류 정확도가 향상되는 결과를 얻었다. 동음이의어 비율이 높은 한국어 특성 때문에 고려한 품사 태그 부착 방안과 포함할 형태소에 대한 최소 빈도수 기준은 뚜렷한 영향이 없는 것으로 나타났다.

Abstract ▼ AI-Helper

With the increasing importance of sentiment analysis to grasp the needs of customers and the public, various types of deep learning models have been actively applied to English texts. In the sentiment analysis of English texts by deep learning, natural language sentences included in training and test datasets are usually converted into sequences of word vectors before being entered into the deep learning models. In this case, word vectors generally refer to vector representations of words obtained through splitting a sentence by space characters. There are several ways to derive word vectors, one of which is Word2Vec used for producing the 300 dimensional Google word vectors from about 100 billion words of Google News data. They have been widely used in the studies of sentiment analysis of reviews from various fields such as restaurants, movies, laptops, cameras, etc. Unlike English, morpheme plays an essential role in sentiment analysis and sentence structure analysis in Korean, which is a typical agglutinative language with developed postpositions and endings. A morpheme can be defined as the smallest meaningful unit of a language, and a word consists of one or more morphemes. For example, for a word '예쁘고', the morphemes are '예쁘(= adjective)' and '고(=connective ending)'. Reflecting the significance of Korean morphemes, it seems reasonable to adopt the morphemes as a basic unit in Korean sentiment analysis. Therefore, in this study, we use 'morpheme vector' as an input to a deep learning model rather than 'word vector' which is mainly used in English text. The morpheme vector refers to a vector representation for the morpheme and can be derived by applying an existent word vector derivation mechanism to the sentences divided into constituent morphemes. By the way, here come some questions as follows. What is the desirable range of POS(Part-Of-Speech) tags when deriving morpheme vectors for improving the classification accuracy of a deep learning model? Is it proper to apply a typical word vector model which primarily relies on the form of words to Korean with a high homonym ratio? Will the text preprocessing such as correcting spelling or spacing errors affect the classification accuracy, especially when drawing morpheme vectors from Korean product reviews with a lot of grammatical mistakes and variations? We seek to find empirical answers to these fundamental issues, which may be encountered first when applying various deep learning models to Korean texts. As a starting point, we summarized these issues as three central research questions as follows. First, which is better effective, to use morpheme vectors from grammatically correct texts of other domain than the analysis target, or to use morpheme vectors from considerably ungrammatical texts of the same domain, as the initial input of a deep learning model? Second, what is an appropriate morpheme vector derivation method for Korean regarding the range of POS tags, homonym, text preprocessing, minimum frequency? Third, can we get a satisfactory level of classification accuracy when applying deep learning to Korean sentiment analysis? As an approach to these research questions, we generate various types of morpheme vectors reflecting the research questions and then compare the classification accuracy through a non-static CNN(Convolutional Neural Network) model taking in the morpheme vectors. As for training and test datasets, Naver Shopping's 17,260 cosmetics product reviews are used. To derive morpheme vectors, we use data from the same domain as the target one and data from other domain; Naver shopping's about 2 million cosmetics product reviews and 520,000 Naver News data arguably corresponding to Google's News data. The six primary sets of morpheme vectors constructed in this study differ in terms of the following three criteria. First, they come from two types of data source; Naver news of high grammatical correctness and Naver shopping's cosmetics product

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 한국어 감성분석에 딥러닝 모델을 적용하기 위한 기초 연구로서, 예비 분석을 통해 조율한 비정태적 CNN 모델을 기반으로 다양한 형태소 벡터 도출 대안의 효과성을 검증하였다. 그리고 전형적인 교착어이면서 동음이의어 비중이 높은 한국어인 경우에도 만족할만한 정확도를 얻을 수 있는 가능성을 확인하였다.
본 연구에서는 감성분석 딥러닝 모델에 한국어 형태소 벡터를 어떻게 도출하여 입력하는 것이 효과적인가에 대해 검증하기 위해 다양한 형태소 벡터 도출 대안들을 선정하였다. 이들은 입력 텍스트, 문장 분리 및 맞춤법 교정 등의 텍스트 전처리, 포함되는 품사의 범위, 품사 태그 부착 여부 등의 기준에 따라 달라진다.
품사 태그를 부착하지 않고 무조건 ‘~다’를 붙이게 되면, 예를 들어, ‘~을 보다’의‘보다’와 비교를 나타내는 부사격 조사 ‘보다’가 같은 형태를 갖게 되기 때문에 구별이 어려워진다. 이렇게 품사 태그를 부착하는 방법은 단어 형태를 기준으로 하는 기존 단어 벡터 모델의 동음이의어 문제를 완화하기 위한 대안으로 본 연구에서 고안한 것이다. 전체 한국어 어휘에서 동음이의어가 차지하는 비율은 꽤 높으며 한국어 어휘의 중의성은 영어에 비하여 훨씬 높다고 할 수 있다(Kang, 2005).
이와 같이 본 연구는 다양한 딥러닝 모델을 한국어 텍스트에 적용할 때 가장 먼저 부딪히게 되는 기본적인 이슈들에 대한 실증적인 해답을 찾고자 한다. 본 연구에서 이러한 이슈들을 정리하여 도출한 세 가지 주요 연구 질문은 다음과 같다.

제안 방법

둘째, 문장 분리만 하느냐, 문장 분리 후 맞춤법 및 띄어쓰기 교정까지 적용하고 사용하느냐 등 데이터 전처리의 정도에 따라 달라진다. Word2Vec 단어 벡터 모델은 기본적으로 한 문장 안에서 함께 출현하는 단어들에 대한 정보를 기반으로 하므로 모든 텍스트 데이터에 대해 문장 분리를 적용하였다. 뉴스 텍스트에서는 문법이 잘 지켜지기 때문에 문장 분리를 위해 마침표(.
감성분석을 위한 딥러닝 모델로는 Kim(2014)의 연구에서 소개된 모델 중 여러 데이터셋에 대해 전체적으로 성능이 우수한 비정태적(non-static) CNN 모델을 참고하여, 예비분석을 통해 세부 구조를 조율하였다. 먼저, 임베딩계층(embedding layer)에서는 훈련 및 테스트 데이터에 포함된 형태소들을 이에 해당하는 형태소 벡터로 변환한다.
좀 더 구체적으로 설명하면, 부정 상품평 셋 선정을 위해 2,053,883건의 상품평 중 상품평 별점이 40점 이하인 것들을 일차적으로 추출하였다. 그리고 하나의 상품평 안에 극성이 상반되는 문장들이 섞여있을 경우 별점과의 일관성이 떨어지므로 문장 분리를 통해 하나의 문장으로 이루어진 상품평을 선별하였다. 문장 분리는 기본적으로 마침표(.
다음으로 해당 도메인에 특화된 맞춤법 및 띄어쓰기 교정 프로그램이 있다면 좋고 없다면 범용의 교정 프로그램으로 텍스트 정제 과정을 거친다. 그리고 해당 텍스트의 문법 준수도에 적합한 문장분리 방법을 적용한다. 문장별 형태소 분석을 한 후 모든 품사의 형태소에 대한 품사 태그를 부착하여 형태소 벡터를 도출한다.
즉, [Appendix]의 네 가지 품사 셋별로 기본적인 형태소 벡터를 도출하였고, 훈련 및 테스트 데이터셋에 대해서도 네 가지 품사 셋별로 형태소 표현을 도출하여 품사 범위를 통일하였다. 뉴스 데이터로 형태소 벡터를 도출하는 경우에는 훈련 및 테스트 데이터로 문장 분리한 상품평을 사용하였다.
), 느낌표(!), 물음표(?) 다음에 공백 문자가 오는 조건을 사용하였다. 뉴스와 달리 상품평에서는 문법 준수도가 낮기 때문에 마침표, 느낌표, 물음표 및 공백 문자 조건 외에 이러한 문장 부호가 없어도 문장 분리가 되는 꼬꼬마(Kkma) 형태소 분석기의 문장 분리 기능을 적용하였다. 상품평의 경우에는 문법적인 오류 및 변형들을 교정하는 것이 실제적으로 도움이 되는지를 확인하기 위하여 문장 분리만 적용한 데이터 외에 파이썬 한글 맞춤법 및 띄어쓰기 교정 라이브러리인 파이-한스펠(Py-Hanspell)을 적용한 데이터도 도출하였다.
초기 입력으로 설정된 단어 벡터들은 비정태적(non-static) CNN 훈련 과정을 통해 좀 더 나은 값으로 업데이트된다. 다음으로, 합성곱계층(convolutional layer)에서는 (2, 3, 4, 5)사이즈의 필터를 각각 50개씩 밸리드(valid) 패딩(padding) 및 스트라이드(stride) 1 방식으로 합성 곱하고 활성화함수 렐루(relu)를 적용한다. 그리고 풀링계층(pooling layer)에서는 전역(global) 맥 스풀링(maxpooling) 대신에 사이즈(size) 2의 맥 스풀링을 적용한다.
단어 벡터 모델의 입력으로 사용되는 상품평 데이터와 훈련 및 테스트 용도로 사용되는 상품평 데이터에 대해 같은 정도의 텍스트 전처리를 적용하였다. 즉, 두 가지 데이터 모두 문장 분리만 하든지, 모두 문장 분리 후 띄어쓰기 및 맞춤법 교정까지 적용하든지, 또는 모두 품사 태그를 부착하였다.
문장별 형태소 분석을 한 후 모든 품사의 형태소에 대한 품사 태그를 부착하여 형태소 벡터를 도출한다. 도출된 형태소 벡터를 딥러닝 모델에 입력하여 문장별 극성을 산출한 후 합산하여 문서에 대한 최종 극성을 계산한다. 분석 대상 도메인에 속하는 대량의 텍스트를 구하기 어렵다면 앞에서와 비슷한 방법으로 동음이의어 문제를 고려하여 도출한 범용의 형태소 벡터를 사용하는 대안이나 랜덤으로 초기화하는 방법을 순차적으로 고려한다.
둘째, 단어 벡터 모델에서 고려할 단어의 최소 빈도수, 즉, 본 연구에서는 고려할 형태소의 최소 빈도수 기준을 1, 3, 5 또는 1, 3, 5, 7, 10으로 다르게 설정하였다. 최소 빈도수 기준을 높일수록 고려 형태소 수는 감소하므로 도출되는 전체 형태소 벡터 수도 감소한다.
손실(loss) 함수는 바이너리-크로스엔트로피(binary-crossentropy) 함수를, 옵티마이저(optimizer)로는 아담(adam)을 사용하였다. 모델하이퍼패러미터(hyperparameter) 및 훈련 관련 패러미터(parameter)를 정리하면 [Table 2]와 같고, 전체적인 모델 구현은 파이썬(Python) 및 케라스(Keras) 라이브러리를 활용하였다.
그리고 하나의 상품평 안에 극성이 상반되는 문장들이 섞여있을 경우 별점과의 일관성이 떨어지므로 문장 분리를 통해 하나의 문장으로 이루어진 상품평을 선별하였다. 문장 분리는 기본적으로 마침표(.), 느낌표(!), 물음표(?) 다음에 공백이 있으면 분리하였고, 상품평에서는 문법이 무시되는 경우가 많기 때문에 문장 부호가 없어도 되는 꼬꼬마(Kkoma) 형태소분석기의 문장 분리 기능을 추가적으로 적용하였다. 결과적으로 문장 분리가 되지 않은 11,915건 중에서 별점이 40점 이하임에도 불구하고 극명하게 긍정인 것들은 수작업을 통해 걸러내어 최종적으로 8,630건의 부정 상품평 셋을 선정하였다.
그리고 해당 텍스트의 문법 준수도에 적합한 문장분리 방법을 적용한다. 문장별 형태소 분석을 한 후 모든 품사의 형태소에 대한 품사 태그를 부착하여 형태소 벡터를 도출한다. 도출된 형태소 벡터를 딥러닝 모델에 입력하여 문장별 극성을 산출한 후 합산하여 문서에 대한 최종 극성을 계산한다.
첫째, 품사 태그의 고려 범위는 한국어의 의미 및 감성 전달을 위해 기초적인 정보를 제공하는 품사 셋으로부터 더욱 미묘한 의미 및 감성을 표현하거나 감성과의 관련도가 미미해보이는 품사 셋으로 단계적으로 확장하여 [Appendix]와 같은 네 가지 품사 셋을 도출하였다. 본 연구에서는 형태소분석을 위해 형태소 분절 정도가 적당하다고 판단되는 코모란(Komoran) 형태소분석기를 사용하였다. 코모란(Komoran)의 미등록어에 해당하는 품사를 포함하여 전체 45가지 품사 각각에 대해 포함 여부에 의한 분류 정확도의 변화를 측정할 수도 있겠지만, 비용대비 효익이 크지 않을 것으로 생각되어 이와 같이 그룹 단위로 접근하였다.
오버피팅(overfitting)을 완화하기 위해 임베딩계층 및 연결(concatenate) 후에는 각각 (0.5, 0.8)의 드롭아웃(dropout) 확률을 적용하였다. 손실(loss) 함수는 바이너리-크로스엔트로피(binary-crossentropy) 함수를, 옵티마이저(optimizer)로는 아담(adam)을 사용하였다.
먼저, 네이버 쇼핑몰 화장품 138개 카테고리에 해당하는 상품평 약 280만건을 크롤링하였다. 이 중 내용이 중복되거나 과도하게 띄어쓰기가 무시된 것, 한글/알파벳/숫자/마침표/느낌표/물음표 외의 부호를 제거한 후 글자 수가 2개 미만인 것 등을 정제하여 2,053,883건의 상품평을 추출하였다. 이러한 상품평 중 별점 40 이하의 부정(negative) 상품평은 대략 1% 미만이었다.
이러한 연구 질문들에 대한 접근 방법으로, 먼저 연구 질문을 반영한 형태소 벡터 도출 대안들을 선정하고, 이에 대해 비정태적(non-static) CNN(Convolutional Neural Network) 모델을 적용하여 분류 정확도를 비교분석한다. 훈련 및 테스트 데이터로는 네이버 쇼핑의 화장품 상품평 17,260건을 사용한다.
분류 정확도(accuracy)는 긍정과 부정 각각 8,630건으로 이루어진 데이터셋에 대해 5-fold CV(Cross Validation) 기법을 적용하여 각 라운드의 20 에퍽(epoch) 중 최대값들의 평균값으로 계산하였다. 좀 더 구체적으로 설명하면, 먼저 긍정과 부정 데이터셋을 각각 랜덤하게 5그룹으로 나누고 4그룹은 훈련 데이터, 1그룹은 테스트³⁾ 데이터로 사용하여 20 에퍽 중 테스트 데이터에 대한 최대 정확도를 구하였다. 그리고 이 과정을 테스트 데이터 그룹을 바꿔가면서 5번 반복한 후 5개의 최대 정확도 값에 대한 평균값을 구하였다.
품사의 범위도 두 가지 데이터셋에 대해 똑같이 설정하였다. 즉, [Appendix]의 네 가지 품사 셋별로 기본적인 형태소 벡터를 도출하였고, 훈련 및 테스트 데이터셋에 대해서도 네 가지 품사 셋별로 형태소 표현을 도출하여 품사 범위를 통일하였다. 뉴스 데이터로 형태소 벡터를 도출하는 경우에는 훈련 및 테스트 데이터로 문장 분리한 상품평을 사용하였다.
본 연구에서는 형태소분석을 위해 형태소 분절 정도가 적당하다고 판단되는 코모란(Komoran) 형태소분석기를 사용하였다. 코모란(Komoran)의 미등록어에 해당하는 품사를 포함하여 전체 45가지 품사 각각에 대해 포함 여부에 의한 분류 정확도의 변화를 측정할 수도 있겠지만, 비용대비 효익이 크지 않을 것으로 생각되어 이와 같이 그룹 단위로 접근하였다.

대상 데이터

), 느낌표(!), 물음표(?) 다음에 공백이 있으면 분리하였고, 상품평에서는 문법이 무시되는 경우가 많기 때문에 문장 부호가 없어도 되는 꼬꼬마(Kkoma) 형태소분석기의 문장 분리 기능을 추가적으로 적용하였다. 결과적으로 문장 분리가 되지 않은 11,915건 중에서 별점이 40점 이하임에도 불구하고 극명하게 긍정인 것들은 수작업을 통해 걸러내어 최종적으로 8,630건의 부정 상품평 셋을 선정하였다. 마찬가지로 긍정 상품평 셋은 별점이 80점 이상인 것들 중에서 문장 분리가 되지 않는 것들을 선별하고, 이 중 극성이 부정인 것들을 수작업으로 걸러내어 8,630건을 최종적으로 도출하였다.
훈련 및 테스트 데이터로는 네이버 쇼핑의 화장품 상품평 17,260건을 사용한다. 그리고 형태소 벡터 도출을 위해서는 분석 대상과 다른 도메인이면서 구글 뉴스 데이터와 대응된다고 할 수 있는 네이버 뉴스 데이터 약 52만건 및 같은 도메인의 네이버 쇼핑 화장품 상품평 약 2백만 건을 활용한다.
이러한 연구 질문들에 대한 접근 방법으로, 먼저 연구 질문을 반영한 형태소 벡터 도출 대안들을 선정하고, 이에 대해 비정태적(non-static) CNN(Convolutional Neural Network) 모델을 적용하여 분류 정확도를 비교분석한다. 훈련 및 테스트 데이터로는 네이버 쇼핑의 화장품 상품평 17,260건을 사용한다. 그리고 형태소 벡터 도출을 위해서는 분석 대상과 다른 도메인이면서 구글 뉴스 데이터와 대응된다고 할 수 있는 네이버 뉴스 데이터 약 52만건 및 같은 도메인의 네이버 쇼핑 화장품 상품평 약 2백만 건을 활용한다.

데이터처리

좀 더 구체적으로 설명하면, 먼저 긍정과 부정 데이터셋을 각각 랜덤하게 5그룹으로 나누고 4그룹은 훈련 데이터, 1그룹은 테스트³⁾ 데이터로 사용하여 20 에퍽 중 테스트 데이터에 대한 최대 정확도를 구하였다. 그리고 이 과정을 테스트 데이터 그룹을 바꿔가면서 5번 반복한 후 5개의 최대 정확도 값에 대한 평균값을 구하였다.

이론/모형

모든 형태소 벡터는 기본적으로 Mikolov et al.(2013b)에서 소개된 Word2Vec 모델 중 CBOW를 적용하여 도출하였다. 이를 위해 파이썬 Gensim 라이브러리를 사용하였으며, 컨텍스트 윈도우(window) 5, 벡터 차원 수(size) 300으로 설정하였다.
따라서, 본 연구에서는 딥러닝 감성분석 모델의 입력으로 영어 텍스트에서 주로 사용되는 ‘단어 벡터(word vector)’가 아닌, ‘형태소 벡터(morpheme vector)’를 사용한다.
”와 같은 형태소 단위의 문장 표현을 얻을 수 있고, 이것을 CBOW에 입력하면 형태소 단위의 형태소 벡터를 얻을 수 있게 된다. 본 연구에서는 이러한 형태소 벡터를 CNN 딥러닝 모델의 입력으로 사용한다.
분류 정확도(accuracy)는 긍정과 부정 각각 8,630건으로 이루어진 데이터셋에 대해 5-fold CV(Cross Validation) 기법을 적용하여 각 라운드의 20 에퍽(epoch) 중 최대값들의 평균값으로 계산하였다. 좀 더 구체적으로 설명하면, 먼저 긍정과 부정 데이터셋을 각각 랜덤하게 5그룹으로 나누고 4그룹은 훈련 데이터, 1그룹은 테스트³⁾ 데이터로 사용하여 20 에퍽 중 테스트 데이터에 대한 최대 정확도를 구하였다.
8)의 드롭아웃(dropout) 확률을 적용하였다. 손실(loss) 함수는 바이너리-크로스엔트로피(binary-crossentropy) 함수를, 옵티마이저(optimizer)로는 아담(adam)을 사용하였다. 모델하이퍼패러미터(hyperparameter) 및 훈련 관련 패러미터(parameter)를 정리하면 [Table 2]와 같고, 전체적인 모델 구현은 파이썬(Python) 및 케라스(Keras) 라이브러리를 활용하였다.

성능/효과

그리고 감성 표현과 비교적 관련도가 낮아 보이는 네 번째 품사 그룹인 ‘POS Tag Set 4’에 속하는 품사들도 전체 품사에서 차지하는 비율은 높지 않지만 정확도 측면에서는 유효한 것으로 보인다.
본 연구는 한국어 감성분석에 딥러닝 모델을 적용하기 위한 기초 연구로서, 예비 분석을 통해 조율한 비정태적 CNN 모델을 기반으로 다양한 형태소 벡터 도출 대안의 효과성을 검증하였다. 그리고 전형적인 교착어이면서 동음이의어 비중이 높은 한국어인 경우에도 만족할만한 정확도를 얻을 수 있는 가능성을 확인하였다. 최근에 활발하게 소개되고 있는 다양한 RNN 모델에서도 초기화한 단어 벡터를 훈련 과정에서 업데이트하는 비정태적 방식을 사용하는 경우가 많으므로, 본 연구의 비정태적 CNN 모델에 의한 결과를 적용 가능할 것으로 예상된다.
둘째, 문장 분리만 하느냐, 문장 분리 후 맞춤법 및 띄어쓰기 교정까지 적용하고 사용하느냐 등 데이터 전처리의 정도에 따라 달라진다. Word2Vec 단어 벡터 모델은 기본적으로 한 문장 안에서 함께 출현하는 단어들에 대한 정보를 기반으로 하므로 모든 텍스트 데이터에 대해 문장 분리를 적용하였다.
둘째, 분석 대상과 다른 도메인의 입력 데이터를 사용하더라도 미리 도출한 형태소 벡터를 사용하는 것이 훈련 및 테스트 데이터에 포함된 형태소에 대한 벡터를 모두 랜덤으로 초기화하는 것보다 나은 대안으로 보인다. 전체 랜덤 벡터에 비해 네이버 뉴스 텍스트로 도출한 형태소 벡터가 약간 더 나은 결과를 제공하고 있다.
본 연구에서 이러한 이슈들을 정리하여 도출한 세 가지 주요 연구 질문은 다음과 같다. 첫째, 한국어에서는 문법이 잘 지켜지지만 분석 대상과 다른 도메인의 텍스트로 훈련한 형태소 벡터와, 같은 도메인이지만 그리 문법적이지 않은 텍스트로 훈련한 형태소 벡터 중 어느 것을 딥러닝 모델의 초기 입력으로 사용하는 것이 더 효과적일까? 둘째, 품사의 범위, 동음이의어, 텍스트 전처리, 최소 빈도수 등의 측면에서 한국어에 적합한 형태소 벡터 도출 방법은 무엇이며, 어떤 방법이 딥러닝 감성분석의 정확도 향상을 위해 유리할까? 셋째, 딥러닝을 한국어 감성분석에 적용했을 때 어느 정도 만족할만한 정확도를 얻을 수 있을까?
맞춤법 및 띄어쓰기 교정을 한 상품평 데이터를 사용하고 모든 품사를 고려하여 도출한 형태소 벡터를 사용할 때 본 연구의 비정태적 CNN 모델은 최대 97.8%의 정확도를 보였다. 형태소 벡터 도출 시 10가지 품사만 고려하거나 모두 랜덤으로 초기화하는 경우, 또는 고려하는 형태소의 빈도수를 1이나 10으로 설정하는 경우에도 95% 이상의 정확도를 제공하고 있다.
그런데 여기에서 몇 가지 의문점이 생긴다. 먼저, 다양한 품사의 형태소 중 어느 범위의 품사까지 고려하는 것이 딥러닝 감성분석의 정확도 향상을 위해 효과적이냐는 것이다. 예를 들어, 한국어 텍스트의 사전기반 감성분석에서는 “~ 예쁘고 ~”, “~ 예쁜데 ~”, “~ 예쁘면 ~” 등에 대한 형태소분석을 통해 ‘형용사’ 형태소인 ‘예쁘-’를 추출하여, 이에 대한 감성점수를 미리 구축해놓은 감성어 사전에서 찾아 사용한다.
본 연구에서 이러한 이슈들을 정리하여 도출한 세 가지 주요 연구 질문은 다음과 같다. 첫째, 한국어에서는 문법이 잘 지켜지지만 분석 대상과 다른 도메인의 텍스트로 훈련한 형태소 벡터와, 같은 도메인이지만 그리 문법적이지 않은 텍스트로 훈련한 형태소 벡터 중 어느 것을 딥러닝 모델의 초기 입력으로 사용하는 것이 더 효과적일까? 둘째, 품사의 범위, 동음이의어, 텍스트 전처리, 최소 빈도수 등의 측면에서 한국어에 적합한 형태소 벡터 도출 방법은 무엇이며, 어떤 방법이 딥러닝 감성분석의 정확도 향상을 위해 유리할까? 셋째, 딥러닝을 한국어 감성분석에 적용했을 때 어느 정도 만족할만한 정확도를 얻을 수 있을까?
셋째, 랜덤 초기화 범위는 고려하는 품사 범위나 최소 빈도수 등의 조합에 따라 U(-0.25, 0.25)일 때의 정확도가 U(-0.5, 0.5)일 때 보다 약간 높은 경우와 낮은 경우가 혼합되어 나타난다. 이것은 랜덤 초기화 범위는 도출된 형태소 벡터나 딥러닝 모델의 특성에 따라 최적 범위가 달라질 것으로 예상하여, 초기화 범위를 두 가지 모두 적정값으로 설정했기 때문일 것이다.
셋째, 문장 분리나 맞춤법 및 띄어쓰기 교정을 마친 데이터에 대해 형태소분석을 하고 형태소만 단어 벡터 모델에 입력하느냐, 형태소에 해당 품사 태그를 부착한 형태로 입력하느냐에 따라 달라진다. 형태소 끝에 품사 태그를 부착하는 방법은 2.
셋째, 전체 랜덤 벡터로 초기화하는 대안도 상대적으로 크게 나쁘지 않다. 이것은 본 연구에서 랜덤 벡터 초기화 범위를 적절하게 설정하였고, 비정태적 CNN 모델이 초기 입력 형태소 벡터를 훈련 과정을 통해 효과적으로 업데이트하기 때문인 것으로 추측된다.
셋째, 형태소 벡터 도출 후 훈련 및 테스트 데이터에 포함된 형태소와 매핑시, 형태소 벡터 셋(set)에 존재하지 않는 형태소들은 균등분포(uniform distribution)에 의해 랜덤으로 초기화하는데, 이 때 균등분포의 범위를 다르게 설정할 수 있다. 균등분포의 범위는 도출된 기본 형태소 벡터들의 각 차원의 분산과 대략 비슷해지도록 U(-0.
[Table 3]에서와 같이, 훈련 및 테스트 데이터셋의 형태소 수는 띄어쓰기 및 맞춤법 교정을 한 경우에는 5,945개, 문장 분리만 한 경우에는 6,255개이다. 이중 미리 훈련된 형태소 벡터와의 매칭 비율은 상품평으로 형태소 벡터를 도출한 경우 최소 빈도수 기준을 10에서 1까지 낮춤에 따라 89%에서 100%까지, 뉴스를 사용한 경우 77%에서 85%까지 상승하였다. 매칭이 되지 않는 경우에는 랜덤으로 설정하더라도, 비율이 그리 높지 않고 훈련 과정을 통해 업데이트되기 때문에 부정적인 영향이 완화되는 면도 있는 것으로 보인다.
[Figure 2]와 [Figure 3]에서 관찰되는 입력 데이터 소스 관련 결과를 요약해보면 다음과 같다. 첫째, 문법 준수도가 높은 기사로 도출한 형태소 벡터 보다, 다양한 문법적 오류가 포함되어 있어도 훈련 데이터와 같은 도메인의 상품평 데이터로 도출한 형태소 벡터를 입력 데이터로 사용할 때 더욱 높은 정확도를 달성하는 것으로 보인다. 따라서, 분석 대상 도메인 내에서 대규모 데이터를 획득할 수 있다면, 해당 데이터를 활용하는 것이 범용 형태소 벡터를 사용하는 것 보다 효과적인 대안으로 보인다.
[Table 1]의 기본 형태소 벡터 셋(set)은 다시 품사 태그의 고려 범위, 포함 형태소의 최소 빈도수 기준, 랜덤 초기화 범위에 따라 달라진다. 첫째, 품사 태그의 고려 범위는 한국어의 의미 및 감성 전달을 위해 기초적인 정보를 제공하는 품사 셋으로부터 더욱 미묘한 의미 및 감성을 표현하거나 감성과의 관련도가 미미해보이는 품사 셋으로 단계적으로 확장하여 [Appendix]와 같은 네 가지 품사 셋을 도출하였다. 본 연구에서는 형태소분석을 위해 형태소 분절 정도가 적당하다고 판단되는 코모란(Komoran) 형태소분석기를 사용하였다.
본 연구에서 이러한 이슈들을 정리하여 도출한 세 가지 주요 연구 질문은 다음과 같다. 첫째, 한국어에서는 문법이 잘 지켜지지만 분석 대상과 다른 도메인의 텍스트로 훈련한 형태소 벡터와, 같은 도메인이지만 그리 문법적이지 않은 텍스트로 훈련한 형태소 벡터 중 어느 것을 딥러닝 모델의 초기 입력으로 사용하는 것이 더 효과적일까? 둘째, 품사의 범위, 동음이의어, 텍스트 전처리, 최소 빈도수 등의 측면에서 한국어에 적합한 형태소 벡터 도출 방법은 무엇이며, 어떤 방법이 딥러닝 감성분석의 정확도 향상을 위해 유리할까? 셋째, 딥러닝을 한국어 감성분석에 적용했을 때 어느 정도 만족할만한 정확도를 얻을 수 있을까?

후속연구

본 연구에서는 여러 형태소 도출 대안들을 비교하느라 뉴스와 화장품 상품평을 사용했지만 특성이 다른 언어나 도메인에 대해서도 확인해볼 필요가 있다. 그리고 본 연구에서는 충분하다고 판단되는 정도의 예비 분석을 통해 대안들을 선정하고 모델 구조를 조율하였지만, 딥러닝 모델 관련 변수의 종류가 많고 변화 범위도 넓기 때문에 더 나은 변수 조합을 발견할 가능성도 배제할 수 없다.
끝으로, 본 연구의 결과가 형태소 벡터를 입력으로 사용하는 다양한 딥러닝 모델을 활용한 한국어 감성분석 연구에 실질적인 도움이 되길 바란다.
둘째, 한국어 텍스트 극성과 관련이 있는 다양한 패턴들을 정리하고 이러한 패턴들을 충분히 포함하는 훈련 및 테스트 데이터셋을 효율적으로 구축하기 위한 연구가 필요하다. 기존의 사전이나 규칙 기반 감성분석에 비해 딥러닝을 활용한 방법은 힘겨운 수작업을 상당 부분 덜어주지만, 훈련 및 테스트 데이터셋의 구축 문제는 여전히 과제로 남아 있다.
셋째, 본 연구에서 제안한 방법을 다른 언어 및 도메인의 데이터셋에 대해 적용해보거나 본 연구에서 살펴보지 못한 딥러닝 모델 및 다양한 패러미터 조합에 대해 지속적으로 검증해보는 과정이 필요하다. 본 연구에서는 여러 형태소 도출 대안들을 비교하느라 뉴스와 화장품 상품평을 사용했지만 특성이 다른 언어나 도메인에 대해서도 확인해볼 필요가 있다. 그리고 본 연구에서는 충분하다고 판단되는 정도의 예비 분석을 통해 대안들을 선정하고 모델 구조를 조율하였지만, 딥러닝 모델 관련 변수의 종류가 많고 변화 범위도 넓기 때문에 더 나은 변수 조합을 발견할 가능성도 배제할 수 없다.
이러한 결과는 비정태적 CNN 모델 디자인의 적합성뿐만 아니라 문장 분리를 통해 별점의 의미가 분명한 상품평들로 구성한 훈련 및 테스트 데이터셋의 특성에도 기인할 것이다. 본 연구의 훈련 및 테스트 데이터셋 구성 방법은 별점과 상품평 극성과의 일관성을 유지하기 위한 것이며, 분석 대상 상품평 텍스트도 문장 분리를 한 후 감성분석을 하고 각 문장의 감성을 전체적으로 통합하는 방식으로 활용될 수 있다.
셋째, 본 연구에서 제안한 방법을 다른 언어 및 도메인의 데이터셋에 대해 적용해보거나 본 연구에서 살펴보지 못한 딥러닝 모델 및 다양한 패러미터 조합에 대해 지속적으로 검증해보는 과정이 필요하다. 본 연구에서는 여러 형태소 도출 대안들을 비교하느라 뉴스와 화장품 상품평을 사용했지만 특성이 다른 언어나 도메인에 대해서도 확인해볼 필요가 있다.
형태소 벡터 도출 시 10가지 품사만 고려하거나 모두 랜덤으로 초기화하는 경우, 또는 고려하는 형태소의 빈도수를 1이나 10으로 설정하는 경우에도 95% 이상의 정확도를 제공하고 있다. 이러한 결과는 비정태적 CNN 모델 디자인의 적합성뿐만 아니라 문장 분리를 통해 별점의 의미가 분명한 상품평들로 구성한 훈련 및 테스트 데이터셋의 특성에도 기인할 것이다. 본 연구의 훈련 및 테스트 데이터셋 구성 방법은 별점과 상품평 극성과의 일관성을 유지하기 위한 것이며, 분석 대상 상품평 텍스트도 문장 분리를 한 후 감성분석을 하고 각 문장의 감성을 전체적으로 통합하는 방식으로 활용될 수 있다.
연구 과정에서 느낀 본 연구의 한계점 및 향후 연구 주제는 다음과 같다. 첫째, 한국어의 경우 동음이의어 비중이 상대적으로 높기 때문에 고품질의 형태소 벡터를 도출하기 위해서는 이에 대한 추가적인 연구가 요구된다. 특정 도메인 내에서는 동음이의어 비율이 낮아 감성분석 정확도에 큰 영향을 미치지 않는다 해도 형태소 벡터 자체를 사용하여 속성(aspect)이나 개체(entity)를 추출하는 경우에는 좀 더 미세한 조정이 필요할 수 있다.
그리고 전형적인 교착어이면서 동음이의어 비중이 높은 한국어인 경우에도 만족할만한 정확도를 얻을 수 있는 가능성을 확인하였다. 최근에 활발하게 소개되고 있는 다양한 RNN 모델에서도 초기화한 단어 벡터를 훈련 과정에서 업데이트하는 비정태적 방식을 사용하는 경우가 많으므로, 본 연구의 비정태적 CNN 모델에 의한 결과를 적용 가능할 것으로 예상된다.
특정 도메인 내에서는 동음이의어 비율이 낮아 감성분석 정확도에 큰 영향을 미치지 않는다 해도 형태소 벡터 자체를 사용하여 속성(aspect)이나 개체(entity)를 추출하는 경우에는 좀 더 미세한 조정이 필요할 수 있다. 특히 여러 도메인을 아우르는 범용 한국어 형태소 벡터를 구축하는 경우에는 본 연구에서 제안한 방법과 같이 품사를 구별해도 해결되지 않는 부분이 있기 때문에, 품사가 같은 동음이의어에 대한 연구가 필요한 것 같다. 이를 위해서는 일차적으로 전체 형태소 벡터를 도출하고 동음이의어들을 컨텍스트 형태소들을 기준으로 클러스터링하여 형태를 다르게 조정한 후 최종 형태소 벡터를 도출하는 식의 접근이 이루어져할 것으로 보인다.
상품평의 경우 부정 극성을 가진 상품평이 훨씬 적을뿐더러 별점이 도움은 되지만 별점과의 일관성이 떨어지는 상품평도 다수 존재함을 발견하였다. 특히, 긍정이나 부정으로 분류하는 수준을 넘어 극성의 강도를 더욱 세분화하여 분류하는 연구로 확장해나가기 위해서는 이에 맞는 훈련 및 테스트 데이터셋의 구축이 요구될 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	단어 벡터란 무엇인가?	, 2016). 단어 벡터는 주로 문장을 공백문자(space)를 기준으로 분리한 어절에 해당하는 단어(word)에 대한 벡터(vector) 표현을 말한다. 단어 벡터를 도출하는 방식은 다양하지만, 한 가지만 예로 들면, 구글(Google)이 천억 개의 단어로 이루어진 구글 뉴스 데이터를 기반으로 도출한 300차원의 Word2Vec 단어 벡터가 있다(Mikolov et al.
	단어 벡터를 도출하는 방식의 예는 무엇이 있는가?	단어 벡터는 주로 문장을 공백문자(space)를 기준으로 분리한 어절에 해당하는 단어(word)에 대한 벡터(vector) 표현을 말한다. 단어 벡터를 도출하는 방식은 다양하지만, 한 가지만 예로 들면, 구글(Google)이 천억 개의 단어로 이루어진 구글 뉴스 데이터를 기반으로 도출한 300차원의 Word2Vec 단어 벡터가 있다(Mikolov et al., 2013a; Mikolov et al.
	CBOW의 예시는 무엇이 있는가?	CBOW는 컨텍스트 단어들로부터 타겟 단어를 예측한다. 예를 들어, “This lipstick is beautiful in ______ and has a good sustainability.”라는 문장에서 ______ 앞 뒤에 나오는 컨텍스트 단어들로부터 ______에 해당되는 ‘color’와 같은 타겟 단어를 예측하는 방식이다. Skip-Gram 구조는 타겟 단어로부터 컨텍스트 단어들을 역으로 예측한다.

참고문헌 (41)

An, J.-y., J.-w. Bae, N.-g. Han, and M. Song, "A Study of 'Emotion Trigger' by Text Mining Techniques," Journal of Intelligence and Information Systems, Vol.21, No.2(2015), 69-92.

원문보기 상세보기
Chen, P., Z. Sun, L. Bing, and W. Yang, "Recurrent Attention Network on Memory for Aspect Sentiment Analysis," Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, (2017).
Cho, K., van M. Bart, C. Gulcehre, D. Bahdanau, F. Bougares, H. Schwenk, and Y. Bengio, "Learning Phrase Representations Using RNN Encoder-Decoder for Statistical Machine Translation," arXiv preprint arXiv:1406.1078, (2014).
Collobert, R., J. Weston, L. Bottou, M. Karlen, K. Kavukcuglu, and P. Kuksa, "Natural Language Processing (Almost) from Scratch," Journal of Machine Learning Research, Vol.12, (2011), 2493-2537.
Cui, M.-n., Y.-s. Jin, and O.-b. Kwon, "A Method of Analyzing Sentiment Polarity of Multilingual Social Media: A Case of Korean-Chinese Languages," Journal of Intelligence and Information Systems, Vol.22, No.3(2016), 91-111.

원문보기 상세보기
Dhanush, D. and A. K. Thakur, "Aspect-based Sentiment Summarization with Deep Neural Networks," International Journal of Engineering Research and Technology, Vol.5, No.5(2016), 371-375.

상세보기
Guan, Z., L. Chen, W. Zhao, Y. Zheng, S. Tan, and D. Cai, "Weakly-supervised Deep Learning for Customer Review Sentiment Classification," Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence (IJCAI'16), (2016), 3719-3725.
Hochreiter, S. and J. Schmidhuber, "Long Short-Term Memory," Neural Computation, Vol.9, No.8(1997), 1735-1780.

상세보기
Hong, T.-h., T.-w. Lee, and J.-g. Li, "Development of Sentiment Analysis Model for the Hot Topic Detection of Online Stock Forums," Journal of Intelligence and Information Systems, Vol.22, No.1(2016), 187-204.

원문보기 상세보기
Jebbara, S. and P. Cimiano, "Aspect-Based Relational Sentiment Analysis Using a Stacked Neural Network Architecture," arXiv preprint arXiv:1709.06309, (2017).
Jebbara, S. and P. Cimiano, "Aspect-Based Sentiment Analysis Using a Two-Step Neural Network Architecture," arXiv preprint arXiv:1709.06311, (2017).
Jeong, J. S., D. S. Kim, and J. W. Kim, "Influence Analysis of Internet Buzz to Corporate Performance: Individual Stock Price Prediction Using Sentiment Analysis of Online News," Journal of Intelligence and Information Systems, Vol.21, No.4(2015), 37-51.
Joulin, A., E. Grave, P. Bojanowski, and T. Mikolov, "Bag of Tricks for Efficient Text Classification," arXiv preprint arXiv, (2016).
Kang, B.-m., "Aspects of the Use of Homonyms," Language Research, Vol.41, No.1(2005), 1-29.
Kim, B. G., "A Study on the Homonym in Korean," Our Language Study, Vol., No.45 (2013), 181-200.
Kim, J. H., Understanding Linguistics, Yeog-Lag, 2004.
Kim, S. I., D. S. Kim, and J. W. Kim, "Public Sentiment Analysis of Korean Top-10 Companies: Big Data Approach Using Multi-Categorical Sentiment Lexicon," Journal of Intelligence and Information Systems, Vol.22, No.3(2016), 45-69.
Kim, Y., "Convolutional Neural Networks for Sentence Classi？cation," Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing(EMNLP), (2014), 1746-1751.
Liu, B., Sentiment Analysis: Mining Opinions, Sentiments, and Emotions, The Cambridge University Press, 2015.
Ma, D., S. Li, X. Zhang, and H. Wang, "Interactive Attention Networks for Aspect-Level Sentiment Classification," Proceedings of the Internal Joint Conference on Artificial Intelligence(IJCAI 2017), (2017).
Mikolov, T., I. Sutskever, K. Chen, G. S. Corrado, and J. Dean, "Distributed Representations of Words and Phrases and their Compositionality," Advances in Neural Information Processing Systems, (2013a), 3111-3119.
Mikolov, T., K. Chen, G. Corrado, and J. Dean, "Efficient Estimation of Word Representations in Vector Space," arXiv preprint arXiv:1301.3781, (2013b).
Nam, G.-l. and E.-g. Jo., Korean Text Sentiment Analysis, Communication-Books, 2017.
Ouyang, X., P. Zhou, C. H. Li, and L. Liu, "Sentiment Analysis Using Convolutional Neural Network," 2015 IEEE International Conference on Computer and Information Technology; Ubiquitous Computing and Communications; Dependable, Autonomic and Secure Computing; Pervasive Intelligence and Computing, (2015), 2359-2364.
Pang, B. and L. Lee, "Opinion Mining and Sentiment Analysis," Foundations and Trends in Information Retrieval, Vol.2, No.1-2(2008), 11-35.
Pennington, J., R. Socher, and C. D. Manning, "GloVe: Global Vectors for Word Representation," Proceedings of the Conference on Empirical Methods on Natural Language Processing(EMNLP 2014), (2014).
Ruder, S., P. Ghaffari, and J. G. Breslin, "A Hierarchical Model of Reviews for Aspect-based Sentiment Analysis," Proceedings of the Conference on Empirical Methods on Natural Language Processing(EMNLP 2016), (2016a).
Ruder, S., P. Ghaffari, and J. G. Breslin, "INSIGHT-1 at SemEval-2016 Task 5: Deep Learning for Multilingual Aspect-based Sentiment Analysis," Proceedings of SemEval, (2016b), 330-336.
Schuster, M. and K. K. Paliwal, "Bidirectional Recurrent Neural Networks," IEEE Transactions on Signal Processing, Vol.45, No.11(1997), 2673-2681.

상세보기
Shin, B., T. Lee, and J. D. Choi, "Lexicon Integrated CNN Models with Attention for Sentiment Analysis," Proceedings of the EMNLP Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis of WASSA'17, (2017).
Shirani-Mehr, H., "Applications of Deep Learning to Sentiment Analysis of Movie Reviews," Technical Report, Stanford University, (2015).
Socher, R., C. Lin, A. Y. Ng, and C. D. Manning, "Parsing Natural Scenes and Natural Language with Recursive Neural Networks," Proceedings of the 28th International Conference on Machine Learning(ICML-11), (2011).
Stevenson, M., Word Sense Disambiguation: The Case for Combinations of Knowldedge Sources, Stanford: CSLI Publications, 2003.
Tang, D., B. Qin, X. Feng, and T. Liu, "Effective LSTMs for target-dependent sentiment classification," Proceedings of the International Conference on Computational Linguistics (COLING 2016), (2016).
Tay, Y., L. A. Tuan, and S. C. Hui, "Dyadic Memory Networks for Aspect-based Sentiment Analysis," Proceedings of the International Conference on Information and Knowledge Management(CIKM 2017), (2017).
Wang, B. and M. Liu, "Deep Learning for Aspect-Based Sentiment Analysis," Stanford University Report, 2015. Available at https://cs224d.stanford.edu/reports/WangBo (Downloaded 19 May, 2018).
Wang, Y., M. Huang, X. Zhu, and L. Zhao, "Attention-based LSTM for Aspect-level Sentiment Classification," Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, (2016), 606-615.
Wiebe, J., T. Wilson, R. Bruce, M. Bell, and M. Martin, "Learning Subjective Language," Computational Linguistics, Vol.30, No.3 (2004), 277-308.

상세보기
Wikibaeggwa, Available at https://ko.wikipedia.org/wiki/%EB%82%B1%EB%A7%90/ (Downloa ded 20 March, 2018).
Yang, Z., D. Yang, C. Dyer, X. He, A. J. Smola, and E. H. Hovy, "Hierarchical Attention Networks for Document Classification," HLT-NAACL(North American Chapter of the Association for Computational Linguistics: Human Language Technologies), (2016).
Zhang, L., S. Wang, and B. Liu, "Deep Learning for Sentiment Analysis: A Survey," arXiv preprint arXiv:1801.07883, (2018).

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증