선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
제안 방법
- 그 이 유는 대부분의 웹 문서는 문서 내 대표하는 자질 외 클러스 터링에 불필요한 단어들을 포함하고 있기 때문이다. 그래서 기존 자질선택방법으로는 제거하지 못한 불필요한 자질들을 자질들의 문서군별 출현여부와 문헌빈도 등의 분포와 정도 를 기준치로 정해 필터링 해 보았다.
- 또 단어 자질 뿐만 아니라 웹 문서간 동시-링크 정보도 문서간 관련성이 아주 높기 때문에 자질로서 확장할 수 있다[16]. 그래서 자 질이 부족한 문서에는 하이퍼링크 정보를 이용해 자질을 확 장하였다. 또 일부 데이터셋에는 실험을 위해 동시-링크 정 보를 결합하여 확장하였다.
- 따라서 본 논문에서는 클러스터링 전단계인 자질선택 단 계에서 기존 자질선택방법에 의한 실험과 문서간 동시-링크 정보를 추가한 자질확장으로 클러스터링 실험을 했다. 그리 고 위 방법으로 제거하지 못한 문서 내 불필요한 자질들을 제거하기 위해 기존 자질선택 방법으로 추출된 자질과 자질 값을 이용호8, (1)단위 문서 내 자질 필터링 알고리즘(FFID)과(2)전체 데이터셋 내 자질 필터링 알고리즘(FFIM), (3)HFF 등을 이용해 클러스터링 실험을 했다.
- 같은 방법으로 데이터셋 내 모든 문서의 대표 문서군을 정할 수 있다. 그리고 각 문서는 대표 문서군에 속한 자질 만 남기고 다른 자질을 제거한 문서들을 문서*자질 매트릭스 파일로 만들어 클러스터링 한다. 또 MI, IG, OR 에 의해 추출된 자질과 자질값에 대해서도 같은 방법으로 자질을 필 터링 하여 클러스터링 실험을 한다.
- 그리고 실험을 위해 웹 문서 내 하이퍼링크 정보와 동시 -링크 정보를 이용했다. 하이퍼링크 정보는 문서간에 연결 시켜 주므로 한 단계 정도는 자질로 확장시킬 수 있다.
- 먼저 자질의 단어빈도를 이용한 클러스터링 결과와 기존 자질선택방법으로 추출한 자질과 자질값을 이용한 클러스터 링 결과를 비교하고, 또 문서간 동시-링크 정보를 자질로 확장한 클러스터링 실험 결과를 비교하겠다. 그리고 이 결 과와 본 논문에서 제시한 3가지 방법(FFID, FFIM, HFF)에 의한 클러스터 링 결과를 비교하겠다.
- 성능을 비교했다[15]. 그리고 추출된 자질을 Filtering 과 Wrapper 기법을 이용해 자질을 축소하고 여분의 자질을 제거해 줌으로써 클러스터링 성능을 향상시켰고[9], Filter기 법과 Wrapper 기법의 장점을 이용한 Tow-phase 자질선택 방법으로 부적절한 자질을 제거하는 방법을 개선했다[6]. 그 리고 대량의 데이터베이스에 대한 실험에서 Filter가 Wrapper 보다 처리 속도가 빠른 반면 이산 분류에 문제가 있는데, 이런 이산과 연속 분류에 대한 문제점을 correlation-based 자질 선택 방법으로 해결하는 연구가 있었다[8].
- 단어빈도로 구성된 문서*단어 매트릭스를 기존 자질선택 알고리즘 X2, Mutual Information(MI), Information Gain(IG), Odd Ratio(OR) 등을 이용해 자질과 문서군별 자질값을 추 출하였다. 자질 선택 알고리즘 수식은 다음과 같다[3, 7],
- 따라서 본 논문에서는 클러스터링 전단계인 자질선택 단 계에서 기존 자질선택방법에 의한 실험과 문서간 동시-링크 정보를 추가한 자질확장으로 클러스터링 실험을 했다. 그리 고 위 방법으로 제거하지 못한 문서 내 불필요한 자질들을 제거하기 위해 기존 자질선택 방법으로 추출된 자질과 자질 값을 이용호8, (1)단위 문서 내 자질 필터링 알고리즘(FFID)과(2)전체 데이터셋 내 자질 필터링 알고리즘(FFIM), (3)HFF 등을 이용해 클러스터링 실험을 했다.
- 그리고 각 문서는 대표 문서군에 속한 자질 만 남기고 다른 자질을 제거한 문서들을 문서*자질 매트릭스 파일로 만들어 클러스터링 한다. 또 MI, IG, OR 에 의해 추출된 자질과 자질값에 대해서도 같은 방법으로 자질을 필 터링 하여 클러스터링 실험을 한다.
- 클러스터링 성능 평가는 Entropy와 Purity] 사용했다[11]. 먼저 단어빈도 매트릭스 파일의 클러스터링 결과 Org(tf)와 기존 자질선택 방법(X: MI, IG, OR)에 의한 클러스터링 결 과 0电区2), Org(MI), Org(IG), Org(OR), 동시-링크 정보를 이용한 클러스터링 결과 CL0, 단위 문서 내 자질 필터링 방법으로 만든 매트릭스 파일의 클러스터링 결과 Max(X2), MaxCMI), Max(IG), Max(OR))를 비교하겠다.
- 본 논문에서는 웹문서의 특성상 기존의 자질선택 방법으 로는 제거하지 못한 불용어들을 제거하고 대표 자질은 더욱 두드러지게 하기 위한 자질 필터링 방법으로, (1)단위 문서 내 자질 필터 링 알고리즘 (FFID : feature filtering algorithm in a document)과 (2)전체 데이터셋 내 자질 필터링 알고리즘 (FFIM: feature filtering algorithm in a document matrix) 5가지, 또 (3)FFID와 FFIM을 결합한 방법 (HFF:a hybrid method combining both FFID and FFIM) 5가지를 제시한다. 먼저 자질의 단어빈도를 이용한 클러스터링 결과와 기존 자질선택방법으로 추출한 자질과 자질값을 이용한 클러스터 링 결과를 비교하고, 또 문서간 동시-링크 정보를 자질로 확장한 클러스터링 실험 결과를 비교하겠다. 그리고 이 결 과와 본 논문에서 제시한 3가지 방법(FFID, FFIM, HFF)에 의한 클러스터 링 결과를 비교하겠다.
- 본 논문에서는 웹문서의 특성상 기존의 자질선택 방법으 로는 제거하지 못한 불용어들을 제거하고 대표 자질은 더욱 두드러지게 하기 위한 자질 필터링 방법으로, (1)단위 문서 내 자질 필터 링 알고리즘 (FFID : feature filtering algorithm in a document)과 (2)전체 데이터셋 내 자질 필터링 알고리즘 (FFIM: feature filtering algorithm in a document matrix) 5가지, 또 (3)FFID와 FFIM을 결합한 방법 (HFF:a hybrid method combining both FFID and FFIM) 5가지를 제시한다. 먼저 자질의 단어빈도를 이용한 클러스터링 결과와 기존 자질선택방법으로 추출한 자질과 자질값을 이용한 클러스터 링 결과를 비교하고, 또 문서간 동시-링크 정보를 자질로 확장한 클러스터링 실험 결과를 비교하겠다.
- 실험에 사용된 데이터셋과 실험 도구에 대해 간략하게 설 명하고, 실험방법에 따른 클러스터링 결과를 비교 분석하겠다.
- 이렇게 선택된 자질로만 구성된 매트릭스 파일로 클러스 터링 한다. 이 실험을 F3(X2), F3(MI), F3(IG), F3(OR) 등이라 하고, 3.3단위 문서 내 자질 필터링 방법을 사용하여 만든 매트릭스 파일을 다시 이 방법을 이용해 자질을 필터링 한 실험을 F3(Max(X2)), F3(Max(MI)), F3((Max(IG)), F3(Max(OR)) 등으로 부르겠다.
- 이렇게 선택된 자질로만 구성된 매트릭스 파일을 클러스 터링 한다. 이 실험을 F5(X2), F5(MD, F5(IG), F5(OR) 등이라 하고, 3.3단위 문서 내 자질 필터링 방법을 사용하여 만든 매트릭스 파일을 다시 이 방법을 이용해 자질을 필터링 한 실험을 F5(Max(X2)), F5(Max(MD), F5((Max(IG)), F5(Max(OR)) 등으로 부르겠다.
- 이번 웹 문서 자질선택과 클러스터링 실험을 위해 색인전 문가에 의해 수작업으로 분류하여 디렉토리 서비스를 하고 있는 국내 포털 사이트 3곳의 웹 문서를 수집하여 자질 선 택과 선택된 자질로 클러스터링 해 보았다.
대상 데이터
- 2개의 문서가 동시에 링크 한 문서 수를 구해 문서*문서매트릭스를 만들었다. 동시-링크 문서 수는 Alltheweb(http: //www.alltheweb.co.kr)의“AdvancedSearch” 옵션에서 검색 식 "LINK: url_A AND LINK: url_B”를 사용했다[5].
- 실험 데이터는 포탈사이트Yahoo, Naver, Empas의 디렉 토리 서비스 중 자연과학 분류 중 '물리학', 생물학', '지구과학', '화학', '수학', 천문학' 등 6개 분야에서 추출했다. 이 데이터 들은 색인 전문가에 의해 수작업으로 분류된 문서들이다.
이론/모형
- 웹사이트로부터 문서 수집은 부산대학교 한국어정보처리 연구실에서 개발한 로봇을 이용했고, 수집된 문서에서 색인 어를 추출하는 프로그램 역시 부산대학교 한국어정보처리연 구실에서 개발한 문서색인시스템을 사용했다. 그리고 클러 스터링 실험과 평가는 미국 미네소타대학교에서 개발한 clustering toolkit Cluto2.1 을 사용했다[12].
- 그 리고 대량의 데이터베이스에 대한 실험에서 Filter가 Wrapper 보다 처리 속도가 빠른 반면 이산 분류에 문제가 있는데, 이런 이산과 연속 분류에 대한 문제점을 correlation-based 자질 선택 방법으로 해결하는 연구가 있었다[8]. 또 자질 선 택에 사용된 데이터셋에 따라 성능이 달라지는 문제점을 보 완해, 문서 내 자질의 문서군에 따라 문서의 대표 문서군을 정해 주어 클러스터링 이전에 문서의 특징을 미리 정해 자 질을 축소하는 Max Feature Selection 기법을 사용하여 클 러스터링 성능을 향상시켰다[7]. 또 문서 내 대표자질을 선정하는 방법으로 자질값투표 기법을 사용한 연구도 있었다[1], 웹 문서의 링크를 확장해 문서를 문서의 자질로 포함시키거나, 웹 문서간 동시-링크 빈도를 계산해 문서의 자질을확장해 단어 자질로만 사용했을 때와 클러스터링 성능을 비 교하였다[7, 16], 자질 선택 방법에 의해 얻은 자질을 SVM (support vector machine)기법으로 training시켜 성능을 비교 하는 연구도 있었다[14].
- 웹사이트로부터 문서 수집은 부산대학교 한국어정보처리 연구실에서 개발한 로봇을 이용했고, 수집된 문서에서 색인 어를 추출하는 프로그램 역시 부산대학교 한국어정보처리연 구실에서 개발한 문서색인시스템을 사용했다. 그리고 클러 스터링 실험과 평가는 미국 미네소타대학교에서 개발한 clustering toolkit Cluto2.
- 클러스터링 성능 평가는 Entropy와 Purity] 사용했다[11]. 먼저 단어빈도 매트릭스 파일의 클러스터링 결과 Org(tf)와 기존 자질선택 방법(X: MI, IG, OR)에 의한 클러스터링 결 과 0电区2), Org(MI), Org(IG), Org(OR), 동시-링크 정보를 이용한 클러스터링 결과 CL0, 단위 문서 내 자질 필터링 방법으로 만든 매트릭스 파일의 클러스터링 결과 Max(X2), MaxCMI), Max(IG), Max(OR))를 비교하겠다.
- 클러스터링은 k-means clustering 방법을 사용하였고, 클 러스터링 수는 12개로 했다. 그리고 criterion function은 다 음 2개의 식을 사용했다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.