SNS 등과 같은 소셜 미디어는 실시간으로 자발적인 고객의 의견들을 대거 포함하고 있어 최근 기업들은 효율적인 경영을 위해 소셜 미디어상의 빅 데이터를 분석하는 시스템을 이용하여 고객피드백에 관한 정보를 수집하고 분석하고 있다. 그러나 온라인 사이트에서 수집한 데이터는 띄어쓰기와 철자 오류가 많아 기존의 형태소 분석기로는 정확한 분석을 할 수 없다. 또한 온라인 상의 문장은 짧다는 특징이 있어 상호 정보량, 카이제곱 통계량 등과 같은 기존의 의미 선택 방법을 이용하게 되면 문장 내 선택 할 수 있는 의미의 부재로 인해 정확한 감성 분류를 할 수 없다는 문제점이 있다. 이러한 문제점들을 해결하기 위해서 본 논문에서는 초/중성 및 어절 패턴 사전을 이용해서 보정할 수 있는 모듈과 문장 내 품사의 우선순위를 이용한 의미 선택 방법을 제안한다. 이러한 방법으로 형태소 분석기에서 추출된 품사 정보를 기반으로 용언과 체언을 분리해서 분석 해당 품사에 종속적인 속성 DB 구축 한 후 학습에 의해 누적된 속성 DB를 사용하여 보다 정확한 긍/부정 감성을 추출한다.
SNS 등과 같은 소셜 미디어는 실시간으로 자발적인 고객의 의견들을 대거 포함하고 있어 최근 기업들은 효율적인 경영을 위해 소셜 미디어상의 빅 데이터를 분석하는 시스템을 이용하여 고객피드백에 관한 정보를 수집하고 분석하고 있다. 그러나 온라인 사이트에서 수집한 데이터는 띄어쓰기와 철자 오류가 많아 기존의 형태소 분석기로는 정확한 분석을 할 수 없다. 또한 온라인 상의 문장은 짧다는 특징이 있어 상호 정보량, 카이제곱 통계량 등과 같은 기존의 의미 선택 방법을 이용하게 되면 문장 내 선택 할 수 있는 의미의 부재로 인해 정확한 감성 분류를 할 수 없다는 문제점이 있다. 이러한 문제점들을 해결하기 위해서 본 논문에서는 초/중성 및 어절 패턴 사전을 이용해서 보정할 수 있는 모듈과 문장 내 품사의 우선순위를 이용한 의미 선택 방법을 제안한다. 이러한 방법으로 형태소 분석기에서 추출된 품사 정보를 기반으로 용언과 체언을 분리해서 분석 해당 품사에 종속적인 속성 DB 구축 한 후 학습에 의해 누적된 속성 DB를 사용하여 보다 정확한 긍/부정 감성을 추출한다.
Social media, such as Social Network Service include a lot of spontaneous opinions from customers, so recent companies collect and analyze information about customer feedback by using the system that analyzes Big Data on social media in order to efficiently operate businesses. However, it is difficu...
Social media, such as Social Network Service include a lot of spontaneous opinions from customers, so recent companies collect and analyze information about customer feedback by using the system that analyzes Big Data on social media in order to efficiently operate businesses. However, it is difficult to analyze data collected from online sites accurately with existing morpheme analyzer because those data have spacing errors and spelling errors. In addition, many online sentences are short and do not include enough meanings which will be selected, so established meaning selection methods, such as mutual information, chi-square statistic are not able to practice Emotional Classification. In order to solve such problems, this paper suggests a module that can revise the meanings by using initial consonants/vowels and phase pattern dictionary and meaning selection method that uses priority of word class in a sentence. On the basis of word class extracted by morpheme analyzer, these new mechanisms would separate and analyze predicate and substantive, establish properties Database which is subordinate to relevant word class, and extract positive/negative emotions by using accumulated properties Database.
Social media, such as Social Network Service include a lot of spontaneous opinions from customers, so recent companies collect and analyze information about customer feedback by using the system that analyzes Big Data on social media in order to efficiently operate businesses. However, it is difficult to analyze data collected from online sites accurately with existing morpheme analyzer because those data have spacing errors and spelling errors. In addition, many online sentences are short and do not include enough meanings which will be selected, so established meaning selection methods, such as mutual information, chi-square statistic are not able to practice Emotional Classification. In order to solve such problems, this paper suggests a module that can revise the meanings by using initial consonants/vowels and phase pattern dictionary and meaning selection method that uses priority of word class in a sentence. On the basis of word class extracted by morpheme analyzer, these new mechanisms would separate and analyze predicate and substantive, establish properties Database which is subordinate to relevant word class, and extract positive/negative emotions by using accumulated properties Database.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그러나 온라인 상의 문장은 철자와 띄어쓰기 오류가 많고 문장의 길이가 짧아 정확한 의미를 파악할 수 없는 경우가 많아 기존의 형태소 분석기로는 정확한 분석을 할 수가 없다. 본 논문에서는 그러한 문제점들을 해결하기 위해 어절패턴 및 초/중성 사전을 이용해서 보정하고 문장 내 품사의 수선순위를 이용한 의미 선택 방법을 사용하여 형태소 분석기에서 추출된 품사정보를 기반으로 용언과 체언을 분리해서 분석해당 품사에 종속적인 속성 DB를 구축하도록 하는 감성분석 모듈을 제안하였다. 감성분석 모듈구성에 있어 학습에 의해 누적된 속성DB를 사용하여 긍정과 부정의 글들을 분류하도록 하였고 이진 분류 시스템 중 가장 효율적이라고 알려진 SVM알고리즘을 사용하도록 하였다.
본 연구에서는 이러한 문제점을 해결하기 위해서 초/중성 및 어절 패턴 사전을 이용해서 보정할 수 있는 감성분석 모듈을 제안한다.
또한 온라인 상의 문장은 짧다는 특징이 있는데 상호정보량, 카이제곱 통계량, 토픽 시그니처 등과 같은 기존의 의미 선택 방법을 이용하게 되면 문장 내 선택 할 수 있는 의미가 부족하여 정확한 감성 분류를 할 수 없다는 문제점이 있다[7]. 이것을 해결하기 위해서 문장 내 품사의 우선순위를 이용한 의미 선택 방법을 제안한다. 제안한 방법에 의해 형태소 분석기에서 추출된 품사 정보를 기반으로 용언과 체언을 분리해서 분석 해당 품사에 종속적인 속성 DB 구축하고 학습에 의해 누적된 속성 DB를 사용하면 보다 정확한 긍정과 부정 분류 등 감성분석이 가능하다.
또한 온라인 상의 문장은 짧다는 특징으로 인한 의미 부재로 감성을 제대로 분류할 수 없다는 문제점을 해결하기 위해 문장 내 품사의 우선순위를 이용한 의미 선택 방법을 하였다. 이러한 방법으로 학습에 의해 누적된 속성 DB를 사용하여 보다 정확한 긍/부정 분류의 등 감성분석이 가능하도록 하였다. 긍/부정 분류는 이진 분류 시스템 중에서 가장 좋은 성능을 보이는 SVM(Support Vector Machine) 알고리즘을 이용하도록 하였다.
온라인 상의 데이터는 자의적인 철자 오류 및 띄어쓰기 오류를 다수 포함하고 있다. 이러한 철자 오류 및 띄어쓰기가 포함된 게시글의 의미를 추출하기 위해서 본 연구에서는 두 종류의 사전을 구축한다. 하나는 어절패턴 사전으로 형태소 말뭉치로부터 용언 또는 체언이 포함된 어절을 추출하여 구축하는 방식이고 또 하나는 사전은 용언이 포함된 어절의 초/중성 패턴 사전이다.
가설 설정
온라인 상의 데이터는 띄어쓰기 오류가 상당수 포함되어 있는데 대부분의 오류는 “어머님이마이조아하시네요”와 같이 띄어 쓸 것을 띄어 쓰지 않아서 생기는 오류이다. 띄어 쓰지 말아야 할 것을 띄어 써서 생기는 오류는 극히 드물며, 이러한 이유로 본 연구에서는 입력 문장 내 띄어쓰기가 있는 부분은 올바른 어절의 경계라고 가정하고 띄어쓰기 단위로 사전과 최장일치를 하였다. 최장일치 시에는 어절 패턴 사전, 초/중성 패턴 사전의 우선순위를 둔다.
제안 방법
본 논문에서는 그러한 문제점들을 해결하기 위해 어절패턴 및 초/중성 사전을 이용해서 보정하고 문장 내 품사의 수선순위를 이용한 의미 선택 방법을 사용하여 형태소 분석기에서 추출된 품사정보를 기반으로 용언과 체언을 분리해서 분석해당 품사에 종속적인 속성 DB를 구축하도록 하는 감성분석 모듈을 제안하였다. 감성분석 모듈구성에 있어 학습에 의해 누적된 속성DB를 사용하여 긍정과 부정의 글들을 분류하도록 하였고 이진 분류 시스템 중 가장 효율적이라고 알려진 SVM알고리즘을 사용하도록 하였다. 향후 본 연구의 과제는 실제 이 시스템을 서비스산업에 적용하여 긍/부정의 글들을 분류하고 감성영역의 출현빈도와 감성점수를 산출하는 것이다.
기본적으로 텍스트 기반의 형태소 분석엔진 개발하는데 실질 형태소 뿐 아니라 형식 형태소도 모두 사용하여 감성표현 술어 분석(감성 술어 사전 사용)을 한다. 감성표현 술어 동의어 처리 후 술어 분석 결과를 바탕으로 감성 영역(sentiment context) 선정한다. 또한 감성표현 영역에서 어휘 근접도와 문장 형식을 분석하여 주제 및 속성 탐지하며 감성 영역의 감성극성(sentimental polarity)에 따른 감성점수(sentimental scoring)화를 하도록 한다.
그림 4와 같이 형태소 분석기에서 추출된 품사 정보를 기반으로 용언과 체언을 분리해서 분석 해당 품사에 종속적인 속성 DB 구축하였다. 이때 품사에 종속적인 속성DB를 구축할 때 본연구에서 제안한 방법에 의한다.
감성표현 술어 동의어 처리 후 술어 분석 결과를 바탕으로 감성 영역(sentiment context) 선정한다. 또한 감성표현 영역에서 어휘 근접도와 문장 형식을 분석하여 주제 및 속성 탐지하며 감성 영역의 감성극성(sentimental polarity)에 따른 감성점수(sentimental scoring)화를 하도록 한다.
즉, 온라인 상의 데이터에서 철자와 띄어쓰기 오류의 문제점을 해결하기 위해서 초/중성 및 어절 패턴 사전을 이용해서 보정할 수 있도록 하였다. 또한 온라인 상의 문장은 짧다는 특징으로 인한 의미 부재로 감성을 제대로 분류할 수 없다는 문제점을 해결하기 위해 문장 내 품사의 우선순위를 이용한 의미 선택 방법을 하였다. 이러한 방법으로 학습에 의해 누적된 속성 DB를 사용하여 보다 정확한 긍/부정 분류의 등 감성분석이 가능하도록 하였다.
어절 패턴 사전은 그림 2의 철자 오류가 포함된 게시글의 두 번째 문장인 “어머님이 마이조아하시네영”과 같은 띄어쓰기 오류가 포함된 문장에서 체언과 용언의 의미를 추출하는데 사용한다. 온라인 상의 데이터 중 체언과 용언이 포함되어 있는 어절만을 대상으로 하여 어절패턴 사전을 구축하였다. 그림3과 같은 형태소 사전에서 체언이나 용언을 포함하는 어절인 “어머님이”와 “울었어”가 어절 패턴 사전의 엔트리 (entry) 후보가된다.
이때 “좋아요”, “좁아요”와 같이 초성과 중성이 모두 일치하는 어절의 경우에는 빈도수가 높은 어절만을 대상으로 사전을 구축하였다.
또한 “휴일에 주문했는데 배송이 빠르네요”와 같은 문장에서 용언과 체언을 동시에 추출하게 되면 “빠르”, “배송”과 같이 감성을 판단하는 데 중요한 자질에 비해서 상대적으로 감성을 판단하는 데 중요하지 않은 자질인 “휴일”, “주문”과 같은 자질도 함께 추출된다. 이러한 문제를 해결하기 위해서 본 연구에서는 품사별 우선순위를 부여한 자질 선택 방법을 사용하였다. 선택 방법은 두 단계로 나뉘며, 먼저 학습을 위한 자질 DB를 구축한다.
이때 품사에 종속적인 속성DB를 구축할 때 본연구에서 제안한 방법에 의한다. 즉, 온라인 상의 데이터에서 철자와 띄어쓰기 오류의 문제점을 해결하기 위해서 초/중성 및 어절 패턴 사전을 이용해서 보정할 수 있도록 하였다. 또한 온라인 상의 문장은 짧다는 특징으로 인한 의미 부재로 감성을 제대로 분류할 수 없다는 문제점을 해결하기 위해 문장 내 품사의 우선순위를 이용한 의미 선택 방법을 하였다.
그림3과 같은 형태소 사전에서 체언이나 용언을 포함하는 어절인 “어머님이”와 “울었어”가 어절 패턴 사전의 엔트리 (entry) 후보가된다. 후보 중 빈도수가 2 이상인 어절만을 대상으로 어절 패턴 사전을 구축하였다.
이론/모형
이러한 방법으로 학습에 의해 누적된 속성 DB를 사용하여 보다 정확한 긍/부정 분류의 등 감성분석이 가능하도록 하였다. 긍/부정 분류는 이진 분류 시스템 중에서 가장 좋은 성능을 보이는 SVM(Support Vector Machine) 알고리즘을 이용하도록 하였다.
제안한 방법에 의해 형태소 분석기에서 추출된 품사 정보를 기반으로 용언과 체언을 분리해서 분석 해당 품사에 종속적인 속성 DB 구축하고 학습에 의해 누적된 속성 DB를 사용하면 보다 정확한 긍정과 부정 분류 등 감성분석이 가능하다. 긍/부정 분류는 이진 분류 시스템 중에서 가장 좋은 성능을 보이는 SVM(Support Vector Machine) 알고리즘을 이용한다.
성능/효과
이것을 해결하기 위해서 문장 내 품사의 우선순위를 이용한 의미 선택 방법을 제안한다. 제안한 방법에 의해 형태소 분석기에서 추출된 품사 정보를 기반으로 용언과 체언을 분리해서 분석 해당 품사에 종속적인 속성 DB 구축하고 학습에 의해 누적된 속성 DB를 사용하면 보다 정확한 긍정과 부정 분류 등 감성분석이 가능하다. 긍/부정 분류는 이진 분류 시스템 중에서 가장 좋은 성능을 보이는 SVM(Support Vector Machine) 알고리즘을 이용한다.
후속연구
감성분석 모듈구성에 있어 학습에 의해 누적된 속성DB를 사용하여 긍정과 부정의 글들을 분류하도록 하였고 이진 분류 시스템 중 가장 효율적이라고 알려진 SVM알고리즘을 사용하도록 하였다. 향후 본 연구의 과제는 실제 이 시스템을 서비스산업에 적용하여 긍/부정의 글들을 분류하고 감성영역의 출현빈도와 감성점수를 산출하는 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
형태소 분석은 무엇인가?
이러한 감성분석 엔진에서 형태소의 분석의 역할이 매우 중요하다. 형태소 분석은 자연어 분석의 첫 단계로 단어(어절) 단위로 분리된 입력 문자열로부터 각각의 형태소를 분리하고 용언의 불규칙 활용이나 굴절 현상이 일어난 단어에 대해서는 원형을 복원하는 과정으로 기술된다. 그런데 형태소 분석 시스템이 어떠한 일을 수행해야 하고 어떤 기능들을 갖추어야 하는지, 형태소 분석기를 어떤 방법으로 설계하고 구현해야 할 것인지를 살펴보기 위해서는 먼저 형태소에 대한 명확한 정의가 필요하다.
온라인 사이트에서 수집한 데이터는 왜 기존의 형태소 분석기로는 정확한 분석을 할 수 없는가?
그러나 온라인 사이트에서 수집한 데이터는 정확하게 띄어쓰기를 하지 않고 잦은 철자 오류로 인해 기존의 형태소 분석기로는 정확한 분석을 할 수 없다.
온라인 상의 문장은 짧다는 특징에 따라 기존의 의미 선택 방법을 이용하게 되면 정확한 감성 분류를 할 수 없다. 이를 극복하기 위해 저자가 제안한 방법은?
또한 온라인 상의 문장은 짧다는 특징이 있는데 상호정보량, 카이제곱 통계량, 토픽 시그니처 등과 같은 기존의 의미 선택 방법을 이용하게 되면 문장 내 선택 할 수 있는 의미가 부족하여 정확한 감성 분류를 할 수 없다는 문제점이 있다[7]. 이것을 해결하기 위해서 문장내 품사의 우선순위를 이용한 의미 선택 방법을 제안한다. 제안한 방법에 의해 형태소 분석기에서 추출된 품사 정보를 기반으로 용언과 체언을 분리해서 분석 해당품사에 종속적인 속성 DB 구축하고 학습에 의해 누적된 속성 DB를 사용하면 보다 정확한 긍정과 부정 분류등 감성분석이 가능하다.
참고문헌 (11)
K.Cheong, H.Y. Seo and S.D. Cho," Classifications and Content Analyses of Social Networking Services Research", Journal of The Korean Knowledge Information Technology Society vol. 6, no.5, pp.82-98, 2011.
K.P. Nam, "System Implementation of the Customer Satisfaction Survey Using Internet", The Korean Journal of Applied Statistics vol.18 , no.3 , pp.713-727, 2005.
James Manyika, "Big Data: The next frontier for innovation, competition, and productivity", McKinsey Global Institute Report , May 2011.
S.J. Kim and Y.S. Kim, "Design and Implementation of Good Bibimbap Restaurant Recommendation System Using TCA based on BigData", International Journal of Software Engineering and Its Applications, vol. 8, no.7, pp. 95-106, 2014.
E. J. Choi and S. H. Kim, "The Study of the Impact of Perceived Quality and Value of Social Enterprises on Customer Satisfaction and Re-Purchase Intention", International Journal of Smart Home (IJSH), vol. 7, no.1, pp. 239-252, 2013.
S.Y. Park, J.O. Chang and T.S. Kihl, "Document Classification Model Using Web Documents for Balancing Training Corpus Size per Category" Journal of information and communication convergence engineering vol.11 n.4, pp.268-273, 2013.
J.M.Park, " Gene Algorithm of Crowd System of Data Mining", Journal of Information and Communication. Convergence Engineering (JICCE) vol. 10, no.1, pp.40-44, 2012.
K.S. Shim and J.H. Yang, "High Speed Korean Morphological Analysis based on Adjacency Condition Check" Journal of KIISE : Software and Applications, Vol. 31, No. 1, pp. 89-99, 2014.
E.J Song, "A Study on the Collection Site Profiling and Issue-detection Methodology for Analysis of Customer Feedback on Social Big Data", International Journal of Smart Home (IJSH) Vol. 8, No. 6 pp. 169-178,2014.
Y.J. Moon "The Effect of Individual Differences on Consumer satisfaction and Behavioral Intention in Online Shopping: The Role of Information Privacy Concerns", Journal of the Korea Institute of Information and Communication Engineering(KIICE), vol.17, no.11, 2717-2722, 2013.
S. Abduljalil and D.K. Kang "Legacy of Smart Device, Social Network and Ubiquitous E-class System" Journal of information and communication convergence engineering (JICCE), vol.9, no.1, pp.1-5, 2011.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.