[논문]영어 SentiWordNet을 이용하여 구축한 한국어 감성어휘사전의 성능 평가와 한계 연구

신동혁; 김새롬; 조동희; 뉘엔 민디오; 박순강; 어건주; 남지순

문제 정의

사전 및 감성주석 코퍼스 구축 프로젝트’의 일환으로 수행되었다. 그중에서 영어권의 가장 대표적인 감성사전으로 평가되는 SentiWordNet을 이용하여 한국어 감성어휘사전을 구축할 때 나타나는 성과와 그 한계를 고찰하는 것을 목표로 한다.
본 연구에서는 영어 SWN을 이용하여 한국어 감성사전을 구축하는 방법의 의의와 한계점을 검토하고자 한다. 이를 통해 향후 SWN을 사용하고자 하는 연구들과 각 개별 언어의 감성사전을 구축하는 연구들에 하나의 사례연구를 제공할 수 있다는 점에서 기여한다고 생각한다.
여기에서는 현재 구축된 SWN 기반 감성사전의 성능을 검증하기 위해서, 온라인상의 실제 사용자 리뷰 코퍼스를 대상으로 검증을 실시하였다. 사용된 코퍼스는 한국외국어대학교 DICORA 연구센터⁴⁾에서 구축된 사용자 IT 리뷰 {PECS-IT-100}와 맛집 리뷰 코퍼스 {PECS-RS-100}에서 각각 1200문장을 임의로 추출한 것으로, 여기서 관찰되는 실제 극성 어휘를 수작업으로 마크업해서 이를 평가셋으로 활용하였다.
이들 연구는 주로 영어권을 중심으로 이루어져 있고, 영어권에서 이루어진 대표적인 감성사전의 성과로는 SentiWordNet[4], SenticNet[5], WordNet-Affect[6] 등이 있다. 이 중에서 가장 대표적으로 인용되고 많이 사용되고 있는 SentiWordNet(이후 SWN)을 이용하여 본 연구의 논의를 진행하고자 한다.
이상에서 본 연구에서는 영어 SWN에 기반을 두어 한국어 감성사전을 구축하는 과정을 살펴보았다. 영어 SWN의 감성어휘 목록을 구글의 자동 번역 기능을 이용하여 한국어 감성어휘 3,665개를 획득할 수 있었고, 일반적으로 사전을 구축하는 데에 오랜 시간과 비용을 요구한다는 점을 감안할 때, 단기간에 1차적인 감성어휘 목록을 구축하는 유용한 방법이라고 판단할 수 있었다.

제안 방법

3.2에서 언급된 방법으로 추출된 9,187개의 어휘를 대상으로 세 사람의 언어학 전공자들의 중복 검토를 통해 작업의 신뢰도를 확보하였다. 번역된 한국어 대역어의 품사와 극성이 변하는 경우가 많았기 때문에, 이들의 극성과 품사를 다시 설정할 필요가 있었다.
SWN은 [4]에 의해 제안되었는데, 이 방법은 WordNet (Princeton WordNet, 이후 PWN)[10]의 어휘관계망을 이용하고 있다는 점에서 그 성능은 PWN에 상당부분 의존적이다. SWN은 14개의 기초 긍․부정 어휘를 이용하여, PWN의 관계망을 이용하여 자동적으로 극성의 스코어를 부착하는 방식을 이용하였다. 2016년 현재 3.
번역된 한국어 대역어의 품사와 극성이 변하는 경우가 많았기 때문에, 이들의 극성과 품사를 다시 설정할 필요가 있었다. 그래서 SWN의 극성과 품사 정보를 모두 배제하고 [15], [17]의 DECO 한국어전자사전 극성 클래스와 품사 정보를 적용하였다. <그림1>은 극성 분류 정보를, <그림2>는 품사 분류 정보를 보인다.
본 연구1)는 오피니언 마이닝(Opinion Mining) 시스템 개발을 위한 ‘MUSE2) 감성3)사전 및 감성주석 코퍼스 구축 프로젝트’의 일환으로 수행되었다.
이러한 사례들은 SWN에서 상당수 나타나고 있다. 이러한 이유로 이들 어휘에 대해서 극성을 수작업으로 검토할 필요가 제기되었으며, 본 연구에서는 다음과 같은 방법을 이용하여 사전 구축을 진행하였다.
여기에서는 형용사만을 대상으로 하여 검증을 실시하였는데, 실제적으로 형용사가 감성을 나타내는 어휘가 가장 많은 품사 부류이기 때문이다. 이렇게 코퍼스를 대상으로 SWN 기반으로 구축한 감성사전과 DECO 사전과의 비교를 통해서 정확률(precision)과 재현율(recall), 그리고 F-measure를 이용한 결과 다음과 같은 결과를 볼 수 있었다.

대상 데이터

사용된 코퍼스는 한국외국어대학교 DICORA 연구센터⁴⁾에서 구축된 사용자 IT 리뷰 {PECS-IT-100}와 맛집 리뷰 코퍼스 {PECS-RS-100}에서 각각 1200문장을 임의로 추출한 것으로, 여기서 관찰되는 실제 극성 어휘를 수작업으로 마크업해서 이를 평가셋으로 활용하였다. 대조군으로는 [17]의 한국어 DECO 사전을 이용하였다.
여기에서는 현재 구축된 SWN 기반 감성사전의 성능을 검증하기 위해서, 온라인상의 실제 사용자 리뷰 코퍼스를 대상으로 검증을 실시하였다. 사용된 코퍼스는 한국외국어대학교 DICORA 연구센터⁴⁾에서 구축된 사용자 IT 리뷰 {PECS-IT-100}와 맛집 리뷰 코퍼스 {PECS-RS-100}에서 각각 1200문장을 임의로 추출한 것으로, 여기서 관찰되는 실제 극성 어휘를 수작업으로 마크업해서 이를 평가셋으로 활용하였다. 대조군으로는 [17]의 한국어 DECO 사전을 이용하였다.
이상과 같은 방법으로 7가지 극성 클래스로 분류된 3,665개(명사 2,409개/동사 409개/형용사 727개/부사 120개)의 감성어휘 표제어를 획득하였다. 다음 <표3>과 같다.
최대한 신뢰할 수 있는 감성어휘 목록을 구축하기 위해 현재 SWN에 수록된 117,659개의 어휘에서 긍정 및 부정 수치를 각각 0.5를 기준으로 하여 그 이상인 단어들을 추출하였다. 그 뒤에 표제어 형태만 고려해서 중복 제거를 실시하였고, 이렇게 획득된 감성어휘는 13,896개로 나타났다.

이론/모형

검증을 위해 UNITEX 3.1[18] 프로그램을 사용하였고, 유한 트랜스듀서 방식의 LGG(Local-Grammar Graphs)⁵⁾ 모델을 이용하여 추출하였다. <그림3>은 IT 리뷰 코퍼스에서 긍정 극성 어휘를 추출한 예를 보여주고 있는데, 긍정 어휘에 대해서 [positive].
따라서 이러한 왜곡을 보완하기 위해 정확률과 재현율을 통합한 조화 평균(weighted harmonic mean)으로써 F-measure를 사용하였다. 그 결과 SWN 기반 사전은 DECO 기반 사전에 비교해볼 때, 맛집 코퍼스와 IT 코퍼스 긍․부정을 합한 모두에서 평균 52.

성능/효과

맛집 리뷰 코퍼스와 IT 리뷰 코퍼스를 대상으로 한 결과를 살펴보았을 때, SWN 기반 감성사전의 재현율은 전체적으로 DECO 사전보다 수치가 낮게 나타나는 것을 볼 수 있다. 가령 맛집 도메인의 경우, 긍정 어휘 재현율은 각각 47.4%와 69.1%로 차이를 보이며, IT 도메인의 경우는 긍정에서 55.2% vs. 82.3%의 차이를, 부정에서 32.4% vs. 67.7%의 보다 뚜렷한 차이를 보였다.
따라서 이러한 왜곡을 보완하기 위해 정확률과 재현율을 통합한 조화 평균(weighted harmonic mean)으로써 F-measure를 사용하였다. 그 결과 SWN 기반 사전은 DECO 기반 사전에 비교해볼 때, 맛집 코퍼스와 IT 코퍼스 긍․부정을 합한 모두에서 평균 52.7 vs. 72.0으로 나타나 전체적으로 SWN 기반 사전이 DECO 사전에 비해 제한된 성능을 보이고 있음을 확인할 수 있다.
이렇게 획득된 13,896개의 영어 감성어휘를 구글 번역기를 이용해 한국어로 번역된 결과에서 다시 중복 제거하였고, 여기에 미번역 어휘를 제외하여 9,187개의 한국어 감성어휘 후보 목록을 산출하였다. 그런데 실제 번역된 결과물을 보면, 구글 번역기의 한국어 번역 수준이 매우 저조하다는 것을 확인할 수 있었다. 다음 <표2>는 한국어로 번역된 예시를 보여주고 있다.
또한 이들의 성능도 충분한 신뢰도를 주기 어려운데, 앞서 논의한 바와 같이 맛집 코퍼스와 IT 코퍼스를 대상으로 재현율, 정확률, F-measure를 측정한 결과, 재현율이 현저하게 낮아, 궁극적으로 F-measure에서 낮은 수치의 성능을 보여주었다.
맛집 리뷰 코퍼스와 IT 리뷰 코퍼스를 대상으로 한 결과를 살펴보았을 때, SWN 기반 감성사전의 재현율은 전체적으로 DECO 사전보다 수치가 낮게 나타나는 것을 볼 수 있다. 가령 맛집 도메인의 경우, 긍정 어휘 재현율은 각각 47.
이상에서 본 연구에서는 영어 SWN에 기반을 두어 한국어 감성사전을 구축하는 과정을 살펴보았다. 영어 SWN의 감성어휘 목록을 구글의 자동 번역 기능을 이용하여 한국어 감성어휘 3,665개를 획득할 수 있었고, 일반적으로 사전을 구축하는 데에 오랜 시간과 비용을 요구한다는 점을 감안할 때, 단기간에 1차적인 감성어휘 목록을 구축하는 유용한 방법이라고 판단할 수 있었다.
2 하락한 것을 볼 수 있다. 이러한 결과는 SWN 기반 사전을 포함한 SELEX 사전이 실제 DECO 사전의 성능과 크게 다르지 않음을, 즉 SWN 기반 사전이 큰 영향을 미치지 않음을 보여준다.
지금까지의 논의를 통해서 볼 때, SWN을 그대로 번역하여 한국어 감성어휘 목록을 획득한다는 것은 사실상 불가능하며, 이러한 번역 오류의 노이즈를 수작업으로 일일이 제거해내는 경우에도 그 재현율의 성능이 현저하게 떨어지는 것을 확인할 수 있다. 본 연구의 논의를 위해 대조군으로 제시한 한국어전자사전 DECO의 성능과 비교하면 그 차이를 뚜렷하게 파악할 수 있다.

후속연구

이렇듯 SWN을 사용하여 다국어 감성사전을 구축하는 사례가 거의 확인되지 않음을 볼 수 있다. 이러한 상황에서 SWN을 한국어로 번역하여 감성사전을 구축하는 것은 향후 한국어 감성사전을 구축할 때, 어떠한 의의와 한계가 있을 것인지 이를 위한 사례연구로 참조할 수 있다는 점에서 본 연구의 의의를 찾을 수 있다.
본 연구에서는 영어 SWN을 이용하여 한국어 감성사전을 구축하는 방법의 의의와 한계점을 검토하고자 한다. 이를 통해 향후 SWN을 사용하고자 하는 연구들과 각 개별 언어의 감성사전을 구축하는 연구들에 하나의 사례연구를 제공할 수 있다는 점에서 기여한다고 생각한다.
현재 후속 연구로써 SWN과 DECO에 기반을 둔 한국어감성사전 SELEX의 표제어 및 관련 정보를 계속 확장 보완하고 있으며, 더 나아가서 다양한 실제 코퍼스에 나타난 미분석어 유형의 감성어휘도 지속적으로 추가하고 있다. 이와 더불어 여러 다양한 다국어에 대한 감성사전을 구축하는 방법론을 개발함으로써 다국어 온라인 문서들에 대한 보다 효율적인 오피니언 마이닝 시스템 구축을 위한 다국어 언어자원을 구축하는 연구를 진행할 예정이다.
현재 본 연구에서는 SWN 기반 사전과 DECO 기반 사전을 결합하여 한국어 감성사전 SELEX 1.0을 구성하였고, 향후 이를 지속적으로 보완 확장할 예정이다. 현 버전의 재현율, 정확률, F-measure를 측정한 결과가 <표6>에 제시되어 있다.
현재 후속 연구로써 SWN과 DECO에 기반을 둔 한국어감성사전 SELEX의 표제어 및 관련 정보를 계속 확장 보완하고 있으며, 더 나아가서 다양한 실제 코퍼스에 나타난 미분석어 유형의 감성어휘도 지속적으로 추가하고 있다. 이와 더불어 여러 다양한 다국어에 대한 감성사전을 구축하는 방법론을 개발함으로써 다국어 온라인 문서들에 대한 보다 효율적인 오피니언 마이닝 시스템 구축을 위한 다국어 언어자원을 구축하는 연구를 진행할 예정이다.

핵심어	질문	논문에서 추출한 답변
	MUSE 프로젝트란?	본 연구는 다국어 감성사전 및 감성주석 코퍼스 구축 프로젝트인 MUSE 프로젝트의 일환으로 한국어 감성사전을 구축하기 위해 대표적인 영어 감성사전인 SentiWordNet을 이용하여 한국어 감성사전을 구축하는 방법의 의의와 한계점을 검토하는 것을 목적으로 한다. 우선 영어 SentiWordNet의 117,659개의 어휘중에서 긍정/부정 0.
	대표적인 영어 감성사전은?	본 연구는 다국어 감성사전 및 감성주석 코퍼스 구축 프로젝트인 MUSE 프로젝트의 일환으로 한국어 감성사전을 구축하기 위해 대표적인 영어 감성사전인 SentiWordNet을 이용하여 한국어 감성사전을 구축하는 방법의 의의와 한계점을 검토하는 것을 목적으로 한다. 우선 영어 SentiWordNet의 117,659개의 어휘중에서 긍정/부정 0.
	한국어 감성사전은 무슨 제약을 가지고 있는가?	그러나 영어 SWN을 기반으로 구축된 한국어 감성사전은 몇 가지 제약을 가지고 있었다. 우선 구축된 3,665개의 단어 중 명사 2,409개가 상대적으로 많아 일반적으로 감성을 표현하는 부류로 알려진 용언(동사, 형용사) 부류가 상대적으로 적게 나타났다는 점이 중요한 한계이다. 그나마 구축된 명사도 대부분 병명이나 인명 등 감성 자체를 나타내는 어휘라고 보기 어려운 경우가 상당수 포함되어 있었다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

영어 SentiWordNet을 이용하여 구축한 한국어 감성어휘사전의 성능 평가와 한계 연구
Performance and Limitations of a Korean Sentiment Lexicon Built on the English SentiWordNet 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

영어 SentiWordNet을 이용하여 구축한 한국어 감성어휘사전의 성능 평가와 한계 연구 Performance and Limitations of a Korean Sentiment Lexicon Built on the English SentiWordNet 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

영어 SentiWordNet을 이용하여 구축한 한국어 감성어휘사전의 성능 평가와 한계 연구
Performance and Limitations of a Korean Sentiment Lexicon Built on the English SentiWordNet 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper