[논문]SVM을 이용한 한글문서 범주화 실험

최성환; 임혜영; 정영미

[국내논문] SVM을 이용한 한글문서 범주화 실험
Categorization of Korean documents using Support Vector Machines 원문보기

최성환 (연세대학교 대학원 문헌정보학과) , 임혜영 (연세대학교 대학원 문헌정보학과) , 정영미 (연세대학교 대학원 문헌정보학과)

자동문서 범주화에 이용되는 학습분류기 중에서 SVM은 자질 차원을 축소하지 않고도 좋은 성능을 보이고 있다. 본 실험에서는 KTSET 텍스트 컬렉션을 대상으로 두 개의 SVM 분류기를 이용하여 자질축소 및 자질표현에 따른 성능비교 실험을 하였다. 자질축소를 위하여 $\chi$$^2$통계량을 자질선정기준으로 사용하였으며, 자질값으로는 단어빈도 및 문헌빈도의 두 요소로 구성되는 다양한 가중치를 사용하였다. 실험결과 SVM은 자질축소에 큰 영향을 받지 않고 가중치 유형에 따라 성능의 차이를 보였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

또한 문서 범주화에서 문서는 용어들의 벡터로 표현되며, 이러한 문 서벡터는 수많은 용어 증에서 실제로 출현한 용어들만이 값을 갖는 밀도가 희박한 벡터 (sparse vector)가 되기 쉽다. 본 연구에서는 이런 특징을 갖는 문서들의 범주화에 적합한 SVM 분류기를 이용하여 문서 범주화 실험을 수행하였다.
(Joachims 1998; Dumais 1988). 본 연구에서는 SVM 분류기를 이용하여 자질축소 및 용어가 중치 유형에 따른 SVM의 범주화 성능을 실험 하였다.

제안 방법

자질축소 실험에서는 자질선정 기준으로 X2 통계 량을 사용하였으며 200개씩 자질수를 축소하여 실험하였다. 문헌 벡터의 자질값으로는 binary, 전통적인 TFIDF, 스파크 존스가 제시한 역문헌빈도에 TF를 곱 한 TFsparck, 정보이론에 근거한 신호량에 TF 를 곱한 IT를 용어가중치로 사용하였다.<그림 2>를 보면 자질수를 29% 축소했올 때 가장 좋은 성능을 보였으며, binary로 자질표현을 했을 때 가장 좋은 성능을 보이고 있다.
커널함수별 성능비교 실험에서는 문헌빈도 가 2 이하인 용어를 제거한 후 binary, TF, 스 파크존스의 역문헌빈도, TFsparck, IT로 문서 를 표현하였으며, 실험에 사용한 커널함수는 다음과 같다.
분류기 비교 실험에서는 가장 좋은 성능을 보였던 binary를 자질값으로 하여 Joachims의 SVM’18"와 Royal Holloway University of London에서 개발한 SVM 분류기의 성능을 비 교하였다.<표 3>을 보면 SVM*St가 RHU兀의 SVM 보다 약 10% 이상의 높은 분류정확도를 보이는 것을 알 수 있다.

대상 데이터

본 실험에서는 KTSET 테스트 컬렉션을 이용하여 각각 50건 이상의 문서를 포함하는 6개 범주를 대상으로 실험하였다. 전체 488건의 문 서를 7:3 비율로 학습집단 342건, 검증집단 146 건으로 나누었으며 구체적인 실험집단 구성은 <표 1>과 같다.

데이터처리

Visual Foxpro6.0 프로그램을 이용하여 사 전구축 및 자질표현을 한 후, UNIX(r) System 에서 Joachims(1998) 의 SVM岫' 소프트웨어를 사용하여 실험하였다. 일반적으로 문서범주화 에서는 다양한 자질선정기법을 통해 자질공간 을 축소시키는 동시에 성능올 향상시키는 실험 이 많이 이루어져왔다.
실험 결과에 대한 평가방법으로는 정확도 (accuracy)를 사용하였다. 자질축소 실험에서는 자질선정 기준으로 X2 통계 량을 사용하였으며 200개씩 자질수를 축소하여 실험하였다.

이론/모형

문서의 색인어 추출은 한성대학교에서 개발 한 형태소 분석기 HAM을 이용하였다. 전처리 단게를 거친 후 SVM1皿은 학습집단과 검증집 단의 문서를 다음과 같이 벡터로 표현한다.

성능/효과

문헌 벡터의 자질값으로는 binary, 전통적인 TFIDF, 스파크 존스가 제시한 역문헌빈도에 TF를 곱 한 TFsparck, 정보이론에 근거한 신호량에 TF 를 곱한 IT를 용어가중치로 사용하였다.<그림 2>를 보면 자질수를 29% 축소했올 때 가장 좋은 성능을 보였으며, binary로 자질표현을 했을 때 가장 좋은 성능을 보이고 있다. 전체적으로 SVM이 자질축소보다는 가중치 유형에 의해 영향을 많이 받고 있다는 것을 알 수 있다.
<그림 2>를 보면 자질수를 29% 축소했올 때 가장 좋은 성능을 보였으며, binary로 자질표현을 했을 때 가장 좋은 성능을 보이고 있다. 전체적으로 SVM이 자질축소보다는 가중치 유형에 의해 영향을 많이 받고 있다는 것을 알 수 있다. 이것은 SVM이 자질공간의 차원에 독립적이며 자질의 수가 아니라 데이터를 분리해내는 마진 에 기반하기 때문이다.
이것은 SVM이 자질공간의 차원에 독립적이며 자질의 수가 아니라 데이터를 분리해내는 마진 에 기반하기 때문이다. 즉 데이터가 자질공간 으로부터 함수를 이용하여 최대 마진으로 분리 해낼 수 있다면 방대한 자질공간에서조차 우수한 성능을 보일 수 있다는 것을 의미한다.
실험결괴. <표 2>에서 나타난 것처럼 binary로 자질값을 표현했을 때 RBF 함수의 분류정 확도가 86.76%( 7 =0.01)로 선형함수보다 좋은 성능올 보였다. 그러나 Polynomial 과 RBF함수는 에러를 최소로 하는 파라미터들이 국부적 해(local minimum)를 찾을 가능성이 크 며 모델의 복잡도가 선형함수보다.
분류기 비교 실험에서는 가장 좋은 성능을 보였던 binary를 자질값으로 하여 Joachims의 SVM’18"와 Royal Holloway University of London에서 개발한 SVM 분류기의 성능을 비 교하였다.<표 3>을 보면 SVM*St가 RHU兀의 SVM 보다 약 10% 이상의 높은 분류정확도를 보이는 것을 알 수 있다. 분류기의 또 다른 평 가척도인 학습시간과 새로운 문서의 분류시간 은 SVM岫의 경우 CPU 시간으로 평균 0.
46 초, RHUL SVMe 평균 101초 소요되었다. 즉, 분류의 정확도와 학습시간/분류속도의 측면에 서도 SVM®1'가 RHUL SVM 보다 문서범주화 에서 더 우수한 성능을 보여주었다.
SVM에서는 자질축소보다는 가중치에 따라 범주화 성능에서 큰 차이를 보였다. 실험결과 binary로 자질값을 주었을 때 가장 높은 성능을 보였으며 분류기 비교에서는 문서범주화를 위해 개발된 SV-Mem가 더 좋은 성능을 보였다. 정보검색시스템에서는 검색결과를 향상시 키기 위해 색인어나 질의어에 가중치를 부여하여 용어의 특정성을 반영한다.
정보검색시스템에서는 검색결과를 향상시 키기 위해 색인어나 질의어에 가중치를 부여하여 용어의 특정성을 반영한다. 본 연구에서는 SVM분류기를 이용하여 실험한 결과 정보검색 의 하위개념인 문서 범주화에서도 용어에 대한 가중치 유형에 따라 성능의 차이를 보인다는 것을 확인하였다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] SVM을 이용한 한글문서 범주화 실험
Categorization of Korean documents using Support Vector Machines 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] SVM을 이용한 한글문서 범주화 실험 Categorization of Korean documents using Support Vector Machines 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] SVM을 이용한 한글문서 범주화 실험
Categorization of Korean documents using Support Vector Machines 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper