선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 근래 폭발적으로 증가하고 있는 상품평을 효과적으로 활용하기 위한 상품평 요약 시스템을 제안하였다. 웹 문서 검색을 통한 평가 항목 추출과 작은 크기의 시드 사전에 기반한 극성 사전 자동 확장을 통해 한국어 상품평 요약 연구가 가지는 지식 구축의 어려움을 해소하였다.
제안 방법
- ti의 상품평 내 출현 빈도 freview∈c(ti)를 상품평에서 등장한 후보 명사 빈도의 최고값 MAX (freview∈c)으로 나누어 내부 연관도를 산출한다. 검색 엔진에 후보 명사 ti를 단일 검색하여 얻어진 페이지수 fweb(ti)를 분류명 cname과 후보 명사 ti를 결합하여 검색한 결과 fweb(cname, ti)로 나누어 PMI 값, 즉 외부 연관도를 산출한다. 내부 연관도와 외부 연관도 두 값을 곱하여 얻어지는 PMI-RTF 값의 상위 단어를 평가 항목으로 추출한다.
- 검색 엔진에 후보 명사 ti를 단일 검색하여 얻어진 페이지수 fweb(ti)를 분류명 cname과 후보 명사 ti를 결합하여 검색한 결과 fweb(cname, ti)로 나누어 PMI 값, 즉 외부 연관도를 산출한다. 내부 연관도와 외부 연관도 두 값을 곱하여 얻어지는 PMI-RTF 값의 상위 단어를 평가 항목으로 추출한다.
- 다양한 형태의 평가 표현을 효율적으로 추출하고 처리하기 위하여 복합적인 형태소로 구성된 표현들을 한 단어로 묶는 정규화를 수행한다.
- 마지막으로 시스템에 의해 요약되어 그래프로 출력되는 결과가 사용자에게 얼마나 도움이 되는지를 알아보기 인터넷 쇼핑을 자주하는 피실험자 7명을 대상으로 만족도 평가를 수행하였다. 평가에서는 스커트 상품 분류에 속한 상품 중 다섯 개를 무작위 추출하여 해당 상품의 모든 상품평을 피실험자에게 보이고 8개 평가 항목에 대한 시스템의 요약 결과에 대해 0점부터 10점까지의 점수를 매기게 하였다.
- 문장 극성 판별에 대한 실험에서는 스커트 상품 분류의 2개 상품의 5개의 평가 항목에 대해 수동으로 정답 데이터를 구축하여 정확성을 평가하였다. 정답 데이터는 평가 항목을 포함하는 문장을 제시하고, 해당 문장과 문장의 각 평가 어휘가 긍정인지 부정인지 표시하게 하는 수동평가시스템을 통해 구축하였다.
- 이러한 단어의 최종 극성을 결정하기 위해 수식 (2)～(3)을 이용하여 평가 어휘의 극성 점수를 계산한다. 문장별 극성 판별 과정에서 더 많이 판단된 극성일수록 적합할 가능성이 높으며, 평가 항목과의 거리가 멀수록 해당 어휘는 평가 어휘로서의 기능이 떨어진다는 점에 착안하여, 극성 점수는 각 극성으로 판별된 빈도에 비례하고 평가 항목과의 거리값에 반비례하는 값을 가지게 한다.
- 이와 같이 평가 항목에 따라 극성이 달라지는 평가 어휘를 반영하기 위해서는 각 상품 분류의 평가 항목별로 독립적인 극성 사전이 필요하다. 본 논문에서는 평가 항목별 극성 사전의 필요성을 지적하고 (그림 2)와 같은 구조로 평가 항목 사전을 자동으로 구축한다.
- 본 장에서는 평가 항목에 기준한 한국어 상품평 요약 방법을 제안한다. 요약 과정은 크게 상품평 수집, 평가 항목 추출, 극성 판별의 세 부분으로 나뉜다.
- 해당 평가 항목이 포함된 모든 상품평을 대상으로 평가 어휘 추출과 각 어휘의 극성 판별을 수동으로 수행하여 정답 극성 사전을 구축하였다. 수동 구축된 정답 사전과 시스템에서 추출한 사전을 비교하여 정확율과 재현율을 얻었다. 24개의 평가 항목(분류 4개 x 평가 항목 6개)에 대한 극성 사전의 극성 분류 실험 결과 평균 정확율 69.
- (그림 3)은 제안된 방식으로 구축된 한국어 상품평 요약 시스템의 화면을 보인다. 시스템 구축에서는 자동띄어쓰기 모듈[15]과 형태소분석기[16], 네이버 웹문서 검색기를 활용하였다. 제안한 시스템의 성능을 평가하기 위해 극성 사전 생성, 문장 극성 판별, 요약 결과에 대한 사용자 만족도의 세 가지 측면에서 실험을 진행하였다.
- 시스템에서는 ‘마음에 들다’, ‘맘에 듭니다’ 등의 표현을 허위(pseudo) 형용사 ‘마음들’을 포함하는 표현으로, ‘별로다’, ‘별로이다’ 등의 표현을 허위 형용사 ‘별로’를 포함하는 표현으로 치환하여 평가 어휘로 추출한다.
- 문장 극성 판별에 대한 실험에서는 스커트 상품 분류의 2개 상품의 5개의 평가 항목에 대해 수동으로 정답 데이터를 구축하여 정확성을 평가하였다. 정답 데이터는 평가 항목을 포함하는 문장을 제시하고, 해당 문장과 문장의 각 평가 어휘가 긍정인지 부정인지 표시하게 하는 수동평가시스템을 통해 구축하였다. 문장 극성 판단 정확도 비교는 시스템의 극성 판단 결과가 사용자의 판단과 일치할 경우 1점, 사용자는 극성이 있다고 판단했으나 시스템은 중립으로 표시한 것은 0.
- 시스템 구축에서는 자동띄어쓰기 모듈[15]과 형태소분석기[16], 네이버 웹문서 검색기를 활용하였다. 제안한 시스템의 성능을 평가하기 위해 극성 사전 생성, 문장 극성 판별, 요약 결과에 대한 사용자 만족도의 세 가지 측면에서 실험을 진행하였다. 실험을 위한 데이터는 여러 온라인 쇼핑몰들의 상품과 상품평을 수집하여 제공하는 가격비교사이트[17]에서 수집되었으며, 실험 데이터에 대한 상세한 정보는 <표 2>와 같다.
- 극성 판별은 평가 항목이 포함된 문장 단위로 시행한다. 평가 항목 e에 대한 문장의 극성은 수식 (4)를 이용하여 문장에 포함된 평가 어휘의 우세한 극성을 계산하여 결정한다. 평가 항목 e를 포함하는 문장 s를 상품평에서 추출하고, 문장에 나타나는 평가 어휘 p의 극성을 극성 사전에서 얻는다.
- 극성 사전의 정확성에 대한 실험은 네 개의 상품 분류에서 무작위로 선택한 6개 평가 항목의 평가 어휘를 대상으로 수행하였다. 해당 평가 항목이 포함된 모든 상품평을 대상으로 평가 어휘 추출과 각 어휘의 극성 판별을 수동으로 수행하여 정답 극성 사전을 구축하였다. 수동 구축된 정답 사전과 시스템에서 추출한 사전을 비교하여 정확율과 재현율을 얻었다.
대상 데이터
- 극성 사전의 정확성에 대한 실험은 네 개의 상품 분류에서 무작위로 선택한 6개 평가 항목의 평가 어휘를 대상으로 수행하였다. 해당 평가 항목이 포함된 모든 상품평을 대상으로 평가 어휘 추출과 각 어휘의 극성 판별을 수동으로 수행하여 정답 극성 사전을 구축하였다.
- 실험을 위한 데이터는 여러 온라인 쇼핑몰들의 상품과 상품평을 수집하여 제공하는 가격비교사이트[17]에서 수집되었으며, 실험 데이터에 대한 상세한 정보는 와 같다.
이론/모형
- 수집과 보정 과정을 거친 상품평에서 평가 항목을 추출한다. 본 연구에서는 상품평 내의 명사의 빈도에 기반한 내부 연관도와 웹 검색 결과를 활용하는 PMI의 외부 연관도를 결합한 PMI-RTF 방식[14]으로 평가 항목을 추출한다. 상품을 평가할 수 있는 평가 항목은 대부분 명사이므로, 상품 분류 카테고리 c의 전체 상품평(review∈c)에 나타나는 명사 ti를 평가 항목 후보로 보고, ti의 평가 항목으로의 점수를 수식 (1)로 계산한다.
성능/효과
- 수동 구축된 정답 사전과 시스템에서 추출한 사전을 비교하여 정확율과 재현율을 얻었다. 24개의 평가 항목(분류 4개 x 평가 항목 6개)에 대한 극성 사전의 극성 분류 실험 결과 평균 정확율 69.8%, 평균 재현율 85.7%를 보였다. 각 분류별 실험 결과는 (그림 4)와 같다.
- 결과 분석에서는 평가 어휘의 극성 판별 오류에 의한 오류가 대부분이었으며 평가자에 따라 극성 판정이 달라질 수 있는 경우(예를 들어, “길이는 약간 짧은 스타일인데, 디자인이 괜찮으니깐 맘에 들면 구매하세요”에서 ‘길이’에 대한 극성)로 인한 오류도 다수 포함하는 것으로 나타났다.
- 평가에서는 스커트 상품 분류에 속한 상품 중 다섯 개를 무작위 추출하여 해당 상품의 모든 상품평을 피실험자에게 보이고 8개 평가 항목에 대한 시스템의 요약 결과에 대해 0점부터 10점까지의 점수를 매기게 하였다. 만족도 평가에서 평균 7.6점을 받아, 제안된 시스템을 통해 상품평을 자동으로 요약한 결과가 실제 사용자의 상품평 분석에 도움이 되는 것으로 나타났다.
- 정답 데이터는 평가 항목을 포함하는 문장을 제시하고, 해당 문장과 문장의 각 평가 어휘가 긍정인지 부정인지 표시하게 하는 수동평가시스템을 통해 구축하였다. 문장 극성 판단 정확도 비교는 시스템의 극성 판단 결과가 사용자의 판단과 일치할 경우 1점, 사용자는 극성이 있다고 판단했으나 시스템은 중립으로 표시한 것은 0.5점을 주었다. 실험 결과에서는 평균 정확율 81.
- 웹 문서 검색을 통한 평가 항목 추출과 작은 크기의 시드 사전에 기반한 극성 사전 자동 확장을 통해 한국어 상품평 요약 연구가 가지는 지식 구축의 어려움을 해소하였다. 시스템의 성능 측정을 위한 실험 결과는 평가 어휘 극성 사전 분류의 정확도 69.8%와 재현율 85.7%, 문장 극성 분류 정확도 81.8%, 사용자 만족도 7.6점을 얻어 본 시스템이 상품평 요약에 유용함을 보였다. 상품평 요약은 모바일기기를 이용한 온라인 쇼핑에서의 상품평 제공에 활용될 수 있으며, 각 기업에 자사 또는 경쟁사의 제품에 대한 평가 파악을 용이하게 할 것으로 기대된다.
- 마지막으로 시스템에 의해 요약되어 그래프로 출력되는 결과가 사용자에게 얼마나 도움이 되는지를 알아보기 인터넷 쇼핑을 자주하는 피실험자 7명을 대상으로 만족도 평가를 수행하였다. 평가에서는 스커트 상품 분류에 속한 상품 중 다섯 개를 무작위 추출하여 해당 상품의 모든 상품평을 피실험자에게 보이고 8개 평가 항목에 대한 시스템의 요약 결과에 대해 0점부터 10점까지의 점수를 매기게 하였다. 만족도 평가에서 평균 7.
후속연구
- 근래 국내 쇼핑몰의 경우 많은 상품평을 획득하기 위해 단기간에 상품평 작성을 요구하여 장기간 사용해야 품질을 검증할 수 있는 상품에 대한 유용한 상품평을 얻기 어려운 경우가 있다. 적절하지 않은 상품평을 제외시키고 쇼핑몰과 상품의 특성에 따라 각 상품평을 다른 중요도로 사용하기 위한 추가적인 모델 개발이 필요하다.
- 향후 연구로는 사전과 웹 문서와 같이 획득하기 쉬운 추가 지식원을 활용한 극성 사전 추출의 정확도 향상, 상품평의 다양한 비문법적 표현의 추가적인 보정 등이 필요하다. 근래 국내 쇼핑몰의 경우 많은 상품평을 획득하기 위해 단기간에 상품평 작성을 요구하여 장기간 사용해야 품질을 검증할 수 있는 상품에 대한 유용한 상품평을 얻기 어려운 경우가 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.