[논문]종자 어휘를 이용한 자질 추출과 지지 벡터 기계(SVM)을 이용한 문서 감정 분류 시스템의 개발

황재원; 전태균; 고영중

종자 어휘를 이용한 자질 추출과 지지 벡터 기계(SVM)을 이용한 문서 감정 분류 시스템의 개발
A Sentiment Classification System Using Feature Extraction from Seed Words and Support Vector Machine 원문보기

황재원 (동아대학교 컴퓨터공학과) , 전태균 (동아대학교 컴퓨터공학과) , 고영중 (동아대학교 컴퓨터공학과)

신문 기사 및 상품 평은 특정 주제나 상품을 대상으로 하여 글쓴이의 감정과 의견이 잘 나타나 있는 대표적인 문서이다. 최근 여론 조사 및 상품 의견 조사 등 다양한 측면에서 대용량의 문서의 의미적 분류 및 분석이 요구되고 있다. 본 논문에서는 문서에 나타난 내용을 기준으로 문서가 나타내고 있는 감정을 긍정과 부정의 두 가지 범주로 분류하는 시스템을 구현한다. 문서 분류의 시작은 감정을 지닌 대표적인 종자 어휘(seed word)로부터 시작하며, 자질의 선정은 한국어 특징상 감정 및 감각을 표현하는 명사, 형용사, 부사, 동사를 대상으로 한다. 가중치 부여 방법은 한글 유의어 사전을 통해 종자 어휘의 의미를 확장하여 각각의 가중치를 책정한다. 단어 벡터로 표현된 입력 문서를 이진 분류기인 지지벡터 기계를 이용하여 문서에 나타난 감정을 판단하는 시스템을 구현하고 그 성능을 평가한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 신문 기사와 상품 및 영화 평가에 대해 감정을 분류하는 시스템을 제안하고 구현하였다. 문서 감정을 위해서 먼저 감정 분류를 위해 사용될 자질의 추출을 극히 제한적인 종자어휘를 사용해서 생성할 수 있는 방법을 제안했으며, 또한 추출된 자질들에 대해서 가중치를 추정하고, 이들 가중치를 이용해서 문서의 감정을 분류하였다.

제안 방법

)를 식(1)을 사용하여 추정한다. 각각의 긍정과 부정의 의미에 대하여 많이 등록이 된 단어가 의미가 더욱 강하므로 높은 가중치를 부여하며 전체에 비례하여 평준화한다. 아래는 긍정 일 때의 가중치 계산식이다.
본 논문에서는 신문 기사와 상품 및 영화 평가에 대해 감정을 분류하는 시스템을 제안하고 구현하였다. 문서 감정을 위해서 먼저 감정 분류를 위해 사용될 자질의 추출을 극히 제한적인 종자어휘를 사용해서 생성할 수 있는 방법을 제안했으며, 또한 추출된 자질들에 대해서 가중치를 추정하고, 이들 가중치를 이용해서 문서의 감정을 분류하였다. 제안된 시스템의 성능은 전체적으로 높은 성능이 나타나진 않았지만, 실험을 통해서 제안된 어휘 단어 목록의 확장 방법과 가중치 책정 방법에 따라 성능이 향상되는 것을 확인할 수 있었다.
이러한 감정 어휘 집합을 추출하기 위해서는 여러가지 어휘자원들이 필요한데 외국의 연구에서는 WordNet[12]과 같은 어휘 의미망이 많이 사용되고 있다. 본 논문에서는 한국어에서 긍정과 부정을 나타내는 종자 어휘(seed words)를 생성하였고, 이를 대상으로 한글 유의어 사전을 통해 의미를 확장하여 긍정/부정 자질(feature)을 추출하고 가중치를 책정한다. 각 자질의 가중치는 문서 벡터의 생성에 적용되어 사용된다.
본 논문은 문서의 감정을 분류하기 위한 자질을 추출하기 위한 방법과 가중치 계산 방법에 대해 제안하고, 이를 통해 문서를 표현하여 기계학습 기법 중 하나인 지지 벡터 기계(SVM)를 사용하여 문서의 감정을 분류하였다.
문서 분류에 쓰인 데이터는 총 2517개의 문서이며, 3개의 분야를 나누어 수집하여 신문기사 731개, 제품리뷰 407개, 영화리뷰 1379개의 문서로 실험하였다. 사이트 상에 나타난 {찬성/반대}, {추천/비추천}의 정보를 바탕으로 사람이 직접 문서의 감정을 판단하여 테스트 말뭉치를 구축하였다.
감정 분류의 초점이 되는 대상이 긍정과 부정이기 때문에 먼저 이를 가장 잘 표현하는 기본적인 단어인 종자 어휘를 생성한다. 종자 어휘로부터 문서 감정 분류를 위해서 사용될 충분한 양의 자질을 추출하기 위해 사전상의 유의어 및 반의어의 의미적 정보를 활용하여 단어의 의미를 확장시킨다. 확장된 자질을 이용하여 기존의 문서 분류 기법을 적용하여 문서에 대한 감정을 분류한다.
종자 어휘로부터 문서 감정 분류를 위해서 사용될 충분한 양의 자질을 추출하기 위해 사전상의 유의어 및 반의어의 의미적 정보를 활용하여 단어의 의미를 확장시킨다. 확장된 자질을 이용하여 기존의 문서 분류 기법을 적용하여 문서에 대한 감정을 분류한다.

대상 데이터

문서 분류에 쓰인 데이터는 총 2517개의 문서이며, 3개의 분야를 나누어 수집하여 신문기사 731개, 제품리뷰 407개, 영화리뷰 1379개의 문서로 실험하였다. 사이트 상에 나타난 {찬성/반대}, {추천/비추천}의 정보를 바탕으로 사람이 직접 문서의 감정을 판단하여 테스트 말뭉치를 구축하였다.
본 논문에서는 Weka[17]에 제공된 SVM toolkit을 사용 하였다.

이론/모형

본 논문에서는 다양한 자질 단어와 가중치 책정 방법을 사용하여 10-fold cross validation 방법으로 실험을 하였으며, 인터넷 사이트상에서 수집된 문서 집합의 평가 방법으로는 정보 검색 분야에서 일반적으로 사용되는 정확율(precision)과 재현율(recall)을 사용하였다.
정확율과 재현율을 하나의 값으로 표현해주기 위해서 다음 식 (7)와 같이 F₁-measure를 사용하였다.

성능/효과

실험 결과를 살펴보면 먼저 자질은 종자어휘를 사용하여 확장될 때 성능이 향상되고 있으며 식(1)의 자질 가중치 방법을 TFIDF 기법에 적용했을 때가 더 많은 성능 향상을 얻을 수 있었다. 결과적으로 종자 어휘로부터 한국어 유의어 사전을 이용한 확장 자질 뿐만 아니라 학습 데이타로부터 추출한 모든 자질을 사용하고 식(1)의 자질 가중치 방법을 적용했을 때 가장 좋은 성능을 나타내었다.
실험 결과는 [표 3]에 요약되어 있다. 실험 결과를 살펴보면 먼저 자질은 종자어휘를 사용하여 확장될 때 성능이 향상되고 있으며 식(1)의 자질 가중치 방법을 TFIDF 기법에 적용했을 때가 더 많은 성능 향상을 얻을 수 있었다. 결과적으로 종자 어휘로부터 한국어 유의어 사전을 이용한 확장 자질 뿐만 아니라 학습 데이타로부터 추출한 모든 자질을 사용하고 식(1)의 자질 가중치 방법을 적용했을 때 가장 좋은 성능을 나타내었다.
문서 감정을 위해서 먼저 감정 분류를 위해 사용될 자질의 추출을 극히 제한적인 종자어휘를 사용해서 생성할 수 있는 방법을 제안했으며, 또한 추출된 자질들에 대해서 가중치를 추정하고, 이들 가중치를 이용해서 문서의 감정을 분류하였다. 제안된 시스템의 성능은 전체적으로 높은 성능이 나타나진 않았지만, 실험을 통해서 제안된 어휘 단어 목록의 확장 방법과 가중치 책정 방법에 따라 성능이 향상되는 것을 확인할 수 있었다.
첫째, TFIDF 가중치 기법으로 계산된다.

후속연구

향후 연구로는 한국어 유의어 사전뿐만이 아니라 전자 사전의 용례 등을 이용해서 감정 자질을 자동으로 추출하는 방식에 대한 연구를 진행 할 것이며, 감정의 특징상 문서 전체가 아닌 특정 문장에 강하게 표현되는 성질에 대한 연구를 수행할 것이다.

핵심어

질문

논문에서 추출한 답변

지지 벡터 기계는 무엇인가?

지지 벡터 기계는 두개의 범주를 구분하는 문제를 해결하기 위해 1995년에 Vapnik에 의해 소개된 학습 기법으로 두 개의 클래스의 구성 데이터들을 가장 잘 분리해 낼 수 있는 초평면(optimal hyperplane)을 찾는 모델이다[15]. 지지 벡터 기계에서의 초평면은 식(2)와 같이 나타낼 수 있다.

의미적 문서 분류를 위한 긍정과 부정을 나타내는 어휘와 일반적인 정보검색에서 사용되는 어휘들 간의 가장 큰 차이점은 무엇인가?

하지만 의미적 문서 분류를 위해서는 먼저 긍정과 부정을 나타내는 어휘를 따로 추출하여야 한다. 이들 어휘들과 일반적인 정보검색에서 사용되는 어휘들과의 가장 큰 차이점은 정보검색에서 사용되는 어휘들의 품사는 명사, 동사가 중요하게 사용되는 반면 감정 분류에서는 형용사, 부사 등이 중요하게 사용된다는 점이다. 이러한 감정 어휘 집합을 추출하기 위해서는 여러가지 어휘자원들이 필요한데 외국의 연구에서는 WordNet[12]과 같은 어휘 의미망이 많이 사용되고 있다.

특정 주제나 상품을 대상으로 하여 글쓴이의 감정과 의견이 잘 나타나 있는 대표적인 문서는 무엇인가?

신문 기사 및 상품 평은 특정 주제나 상품을 대상으로 하여 글쓴이의 감정과 의견이 잘 나타나 있는 대표적인 문서이다. 최근 여론 조사 및 상품 의견 조사 등 다양한 측면에서 대용량의 문서의 의미적 분류 및 분석이 요구되고 있다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

종자 어휘를 이용한 자질 추출과 지지 벡터 기계(SVM)을 이용한 문서 감정 분류 시스템의 개발
A Sentiment Classification System Using Feature Extraction from Seed Words and Support Vector Machine 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

종자 어휘를 이용한 자질 추출과 지지 벡터 기계(SVM)을 이용한 문서 감정 분류 시스템의 개발 A Sentiment Classification System Using Feature Extraction from Seed Words and Support Vector Machine 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

종자 어휘를 이용한 자질 추출과 지지 벡터 기계(SVM)을 이용한 문서 감정 분류 시스템의 개발
A Sentiment Classification System Using Feature Extraction from Seed Words and Support Vector Machine 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper