[논문]강건한 한국어 상품평의 감정 분류를 위한 패턴 기반 자질 추출 방법

신준수; 김학수

강건한 한국어 상품평의 감정 분류를 위한 패턴 기반 자질 추출 방법
A Robust Pattern-based Feature Extraction Method for Sentiment Categorization of Korean Customer Reviews 원문보기

정보과학회논문지. Journal of KIISE. 소프트웨어 및 응용, v.37 no.12, 2010년, pp.946 - 950

신준수 (강원대학교 컴퓨터정보통신공학과) , 김학수 (강원대학교 컴퓨터정보통신공학과)

초록
AI-Helper

기계 학습 기반의 많은 감정 분류 시스템들은 문장으로부터 언어적 자질을 추출하기 위하여 형태소 분석기를 사용한다. 그러나 온라인 상품평에는 많은 띄어쓰기 오류 및 철자 오류가 포함되어 있어서 일반적으로 형태소 분석기가 좋은 성능을 내기 어려우며, 기반 시스템의 낮은 성능은 감정 분류 시스템의 성능하락을 초래한다. 이러한 문제를 해결하기 위하여 본 논문에서는 어절 패턴과 음운 패턴의 최장 일치 매칭(matching)에 기반한 자질 추출 방법을 제안한다. 두 종류의 패턴은 대용량의 품사 부착 말뭉치로부터 자동으로 구축된다. 어절 패턴은 영사, 동사와 같은 내용어를 포함하는 어절들로 구성되며, 음운 패턴은 동사나 형용사와 같은 용언의 초성과 중성의 쌍으로 구성된다. 음운 패턴에 초성과 중성만을 사용한 이유는 철자 오류에 영향을 덜 받기 때문이다. 제안 방법을 평가하기 위하여 SVM(Support Vector Machine)을 기계 학습기로 사용하는 감정 분류 시스템을 구현하였다. 한국어 상품평에 대한 실험에서 제안 방법을 자질 추출 모듈로 사용하는 감정 분류 시스템이 형태소 분석기를 사용하는 것보다 우수한 성능을 보였다.

Abstract ▼ AI-Helper

Many sentiment categorization systems based on machine learning methods use morphological analyzers in order to extract linguistic features from sentences. However, the morphological analyzers do not generally perform well in a customer review domain because online customer reviews include many spacing errors and spelling errors. These low performances of the underlying systems lead to performance decreases of the sentiment categorization systems. To resolve this problem, we propose a feature extraction method based on simple longest matching of Eojeol (a Korean spacing unit) and phoneme patterns. The two kinds of patterns are automatically constructed from a large amount of POS (part-of-speech) tagged corpus. Eojeol patterns consist of Eojeols including content words such as nouns and verbs. Phoneme patterns consist of leading consonant and vowel pairs of predicate words such as verbs and adjectives because spelling errors seldom occur in leading consonants and vowels. To evaluate the proposed method, we implemented a sentiment categorization system using a SVM (Support Vector Machine) as a machine learner. In the experiment with Korean customer reviews, the sentiment categorization system using the proposed method outperformed that using a morphological analyzer as a feature extractor.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 기계 학습 기반의 온라인 상품평에 대한 감정 분류 시에 형태소 분석기를 이용하여 자질을 추출하게 되면 띄어쓰기 및 철자 오류로 인하여 성능 저하가 일어난다는 것을 확인하였다. 이러한 문제를 해결하기 위하여 본 논문에서는 어절 패턴 사전과 초/중성 패턴 사전을 구축한 후, 단순 최장 일치법에 기반하여 자질을 추출하는 방법을 제안하였다.
일어난다는 것을 확인하였다. 이러한 문제를 해결하기 위하여 본 논문에서는 어절 패턴 사전과 초/중성 패턴 사전을 구축한 후, 단순 최장 일치법에 기반하여 자질을 추출하는 방법을 제안하였다. 실험 결과에 따르면 띄어쓰기 오류와 철자 오류가 많이 포함된 온라인상품평의 감정 분류에 제안한 자질 추출 방법이 더 적합함을 알 수 있었다.
및 철자 오류를 포함하고 있다. 이렇게 철자 오류가 포함된 문장으로부터 기계 학습에 필요한 자질을 추출하기 위하여 본 논문에서는 2가지 종류의 사전을 자동 구죽한다. 첫 번째 사전은 21세기 세종 계획[9] 형태소 말뭉치에서 체언과 용언을 포함하는 어절들을 추출하여 구축한 어절 패턴 사전이다.

가설 설정

상품평에는 띄어쓰기 오류가 다수포함되어 있는데 대부분이 '어머님이 마이조아하시네요' 와 같이 띄어 쓸 것을 붙여 쓰는 오류이며, '어 머님이마 이 조아하시 네요'와 같이 붙여 쓸 것을 불필요하게 띄어 쓰는 오류는 거의 존재하지 않는다. 그러므로 본 논문에서는 띄어 쓴 부분은 올바른 어절 경계라는 것을 가정하고 띄어쓰기 단위로 최장 일치를 수행한다. 최장일치 시에는 어절 패턴 사전의 용언, 어절 패턴 사전의 체언, 초!중4 패턴 사전 순으로 우선순위를 부여하여 매칭한다.

제안 방법

21세기 세종 계획 형태소 말뭉치에서 체언과 용언이 포함되어 있는 어절만을 대상으로 어절 패턴 사전을 구축한다. 예를 들어 그림 2와 같은 형태소 말뭉치에서 체언이나 용언을 포함하는 어절인 '어머님이'와 '울었어'가어절 패턴 사전의 엔트리(entry) 후보가 된다.
예를 들어 그림 2와 같은 형태소 말뭉치에서 체언이나 용언을 포함하는 어절인 '어머님이'와 '울었어'가어절 패턴 사전의 엔트리(entry) 후보가 된다. 모든 어절 패턴 사전 후보를 추출한 후, 빈도수가 2 이상인 어절만을 대상으로 어절 패턴 사전을 구축한다.
실험은 10배 교차검증(10-fold cross validation으로 진행되었으며, 평균 F1-척도(Fl-mea sure) 를 이용하여 성능을 측정하였다. 상대 평가를 위해서는 제안 방법과 형태소 분석기를 이용하여 체언과 용언을 자질로 추출하는 방법을 비교하였다.
그러나 온라인(online) 상품평에는 자의적이든 그렇지 않든 다수의 띄어쓰기 오류와 철자 오류가 포함되어 있으며, 이러한 오류들은 형태소 오분석에 따른 감정 분류 시스템의 성능 저하를 초래한다. 이러한 문제를 해결하기 위하여 형태소 분석기를 사용하지 않고 어절 및 초성 패턴의 최장 일치법을 기반으로 하는 자질 추출 방법을 제안한다.
또한 중성의 경우에도 '좋아여'를 제외하고 모두 일치하는 것을 알 수 있다. 이러한 특징을 이용하여 21세기 세종 계획형태소 말뭉치에 포함된 용언 어절들의 초성과 중성을 이용하여 초号성 패턴 사전을 구축한다.
초성과 중성을 키로하고 해당 어절의 형태소 분석 결과를 바탕으로 추출한 용언의 원형을 데이터로 한다. 만약 '좁아요', '좋아요처럼 초성과 중성이 모두 일치하는 어절의 경우에는 학습 데이터 내 원본의 빈도수가 높은 어절을 선택한다.

대상 데이터

장만을 실험 대상으로 삼았다. 결론적으로 긍정 4, 743 문장과 부정 1, 492 문장이 실험에 사용되었다’ 기계 학습은 이진 감정 분류 문제에서 높은 성능을 보인 SVM 을 이용하였다[H]. 실험은 10배 교차검증(10-fold cross validation으로 진행되었으며, 평균 F1-척도(Fl-mea sure) 를 이용하여 성능을 측정하였다.
실험을 위해서 가격 비교 사이트의 세탁기 카테고리에서 12, 291 문장을 수집하였다[10]. 수집된 문장의 감정은 4명의 자연어처리 전공 석사과정 학생들에 의해서 부착되었으며, 이 중 2명 이상이 같은 감정을 부착한 문
장만을 실험 대상으로 삼았다. 결론적으로 긍정 4, 743 문장과 부정 1, 492 문장이 실험에 사용되었다’ 기계 학습은 이진 감정 분류 문제에서 높은 성능을 보인 SVM 을 이용하였다[H].

데이터처리

결론적으로 긍정 4, 743 문장과 부정 1, 492 문장이 실험에 사용되었다’ 기계 학습은 이진 감정 분류 문제에서 높은 성능을 보인 SVM 을 이용하였다[H]. 실험은 10배 교차검증(10-fold cross validation으로 진행되었으며, 평균 F1-척도(Fl-mea sure) 를 이용하여 성능을 측정하였다. 상대 평가를 위해서는 제안 방법과 형태소 분석기를 이용하여 체언과 용언을 자질로 추출하는 방법을 비교하였다.
결론적으로 띄어쓰기 및 철자 오류를 많이 포함하는 온라인 상품평의 감정 분류에서는 형태소 분석기를 사용하는 것보다 패턴 기반의 최장 일치법을 사용하는 것이 보다 효과적임을 알 수 있었다. 추가 실험으로 기존 띄어쓰기 및 철자 오류에 대비한 김상도[6]의 연구와 비교하였다. 실험은 [6]과 같은 방법으로 진행되었으며 정확률을 평가 측도로 사용하였다.

이론/모형

추가 실험으로 기존 띄어쓰기 및 철자 오류에 대비한 김상도[6]의 연구와 비교하였다. 실험은 [6]과 같은 방법으로 진행되었으며 정확률을 평가 측도로 사용하였다. 표 2는 김상도의 방법 및 본 논문에서 제안한 방법의 정확률을 보여준다’

성능/효과

또한 자의적인 철자 오류는 초성과 중성이 크게 변하지 않는다는 특징을 이용하여 자질을 추출할 수 있었으며, 시스템의 성능 향상에 영향을 미친다는 것을 확인할 수 있었다. 결론적으로 띄어쓰기 및 철자 오류를 많이 포함하는 온라인 상품평의 감정 분류에서는 형태소 분석기를 사용하는 것보다 패턴 기반의 최장 일치법을 사용하는 것이 보다 효과적임을 알 수 있었다. 추가 실험으로 기존 띄어쓰기 및 철자 오류에 대비한 김상도[6]의 연구와 비교하였다.
이러한 실험 결과를 토대로 온라인상품평에는 다수의 철자 오류가 포함되어 있기 때문에 형태소 분석기를 이용하게 되면 형태소 오분석으로 인해 성능이 높게 나타나지 않는 것을 확인할 수 있었다. 또한 자의적인 철자 오류는 초성과 중성이 크게 변하지 않는다는 특징을 이용하여 자질을 추출할 수 있었으며, 시스템의 성능 향상에 영향을 미친다는 것을 확인할 수 있었다. 결론적으로 띄어쓰기 및 철자 오류를 많이 포함하는 온라인 상품평의 감정 분류에서는 형태소 분석기를 사용하는 것보다 패턴 기반의 최장 일치법을 사용하는 것이 보다 효과적임을 알 수 있었다.
성능을 보였다. 비교 실험을 통하여 본 논문에서 제안하는 방법이 상품평 뿐만 아니라 다른 도메인의 감정 분류에도 적용되어 좋은 성능을 보임을 알 수 있었다. 감정 분류 측정 실험에서 시스템의 성능을 저하시키
예를 들어 수집된 상풍평 데이터 내 '좋아요'의 빈도수가 '좁아요'의 빈도수보다 높다면 '좋아요'를 선택하여 사전을 구성한다. 사전 구성 시 초성과 중성이 모두 일치하는 어절의 경우는 11%였으며, 실제 실험에서 사용된 자질은 추출된 전체 자질 중 4%였다.
이러한 문제를 해결하기 위하여 본 논문에서는 어절 패턴 사전과 초/중성 패턴 사전을 구축한 후, 단순 최장 일치법에 기반하여 자질을 추출하는 방법을 제안하였다. 실험 결과에 따르면 띄어쓰기 오류와 철자 오류가 많이 포함된 온라인상품평의 감정 분류에 제안한 자질 추출 방법이 더 적합함을 알 수 있었다.
68%나 높은 F1-척도를 나타냈다. 이러한 실험 결과를 토대로 온라인상품평에는 다수의 철자 오류가 포함되어 있기 때문에 형태소 분석기를 이용하게 되면 형태소 오분석으로 인해 성능이 높게 나타나지 않는 것을 확인할 수 있었다. 또한 자의적인 철자 오류는 초성과 중성이 크게 변하지 않는다는 특징을 이용하여 자질을 추출할 수 있었으며, 시스템의 성능 향상에 영향을 미친다는 것을 확인할 수 있었다.
74% 높은 F1-척도를 나타냈다. 제안한 것과 같이 초/중성 패턴 사전까지 이용한 경우에는 2.68%나 높은 F1-척도를 나타냈다. 이러한 실험 결과를 토대로 온라인상품평에는 다수의 철자 오류가 포함되어 있기 때문에 형태소 분석기를 이용하게 되면 형태소 오분석으로 인해 성능이 높게 나타나지 않는 것을 확인할 수 있었다.
표 1에서 보듯이 형태소 분석기를 이용한 용언과 체언을 추출하는 방법보다 어절 패턴 사전만을 이용하여 단순 최장 일치하는 방법이 온라인 상품평의 감정 분류에서 1.74% 높은 F1-척도를 나타냈다. 제안한 것과 같이 초/중성 패턴 사전까지 이용한 경우에는 2.
표 2에서 볼 수 있둣이 본 논문에서 제안하는 어절 패턴 사전과 초/중성 패턴 사전을 이용하는 방법이 더 높은 성능을 보였다. 비교 실험을 통하여 본 논문에서 제안하는 방법이 상품평 뿐만 아니라 다른 도메인의 감정 분류에도 적용되어 좋은 성능을 보임을 알 수 있었다.

후속연구

제안 방법으로 추출된 자질 중에서 중요한 자질을 선택하는 통계적인 방법을 적용하여 감정 분류 시스템의 성능을 높이는 연구를 진행 할 예정이다. 또한 영화평과 같이 자의적인 철자 오류가 빈번히 발생하는 다른 영역에 대해서도 다양한 실험을 진행할 예정이다.
이 때 위의 예에서 "좁아 외가 실험 데이터로 사용되는 경우 "좋아요”의 자질을 추출함에 따라 오류가 발생한다. 이러한 문제를 해결하기 위해서는 패턴 추출 시 데이터 내 빈도수 뿐만 아니라 현재 패턴의 앞뒤 어절을 추가 자질로 이용하여 입력 문장에 따른 패턴 자질 추출 방법이 필요할 것으로 보인다.
향후 연구과제는 다음과 같다. 제안 방법으로 추출된 자질 중에서 중요한 자질을 선택하는 통계적인 방법을 적용하여 감정 분류 시스템의 성능을 높이는 연구를 진행 할 예정이다. 또한 영화평과 같이 자의적인 철자 오류가 빈번히 발생하는 다른 영역에 대해서도 다양한 실험을 진행할 예정이다.

참고문헌 (11)

J. Hwang and Y. Ko, "A Korean Document Sentiment Classification System based on Semantic Properties of Sentirnent Words," Journal of KIISE : Software and Applications, vol.37, no.4, pp.317-322, Apr. 2010. (in Korean)
H. Yune, H. Kim and J. Chang, "An Efficient Search Method of Product Reviews using Opinion Mining Techniques," Journal of KIISE : Computing Practices and Letter, vol.16, no.2, pp.222-226, Feb. 2010. (in Korean)
J. Myung, D. Lee and S. Lee, "A Korean Product Review Analysis System using a Semi-Automatically Constructed Semantic Dictionary," Journal of KIISE : Software and Applications, vol.35, no.6, pp.392-403, Jun. 2008. (in Korean)
J. Shin, J. Lee and H. Kim, "Sentiment Categorization of Korean Customer Reviews using CRFs," Proc. HCLT(Human & Cognitive Language Technology) vol.20, no. 1(C), pp.58-62, 2008. (in Korean)
M. Bae and J. Cha "Comments Classification System using Topic Signature," Journal of KIISE Sofrware and Applications, vol.35, no.12, pp.774- 779, Dec. 2008. (in Korean)
S. Kim, S. Park, S. Park, S. Lee and K. Kim, "A Syllable Kernel based Sentiment Classification for Movie Reviews," Journal of KIISS, vol.20, no.2, pp.202-207, Jun. 2010. (jn Korean)

원문보기 상세보기
A. Esuli, F. Sebastiani, "PageRanking WordNet Synsets: An Application to Opinion Mining," In Proceedings of the ACL, pp.424-431, 2007.
S.M. Kim and E. Hovy, "Determining the Sentiment of Opinions," In Proceedings of the COLING conference, pp.1367-1373, 2004.
http:νwww.sejong.or.kr
http://shopping.naver.com
B. Pang, L. Lee and S. Vaithyanathan, "Thumbs up? Sentirnent CIassification Using Machine Learning Techniques," In Proceedings od the EMNLP, pp.79-86, 2002.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증