선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 문서 클러스터링은 정보검색의 효율성과 유효성을 증대 시 키기 위한 목적으로 사용한다. 대표적인 문서 클러스터링의 방법론은 클러스터링의 결과로 생성되는 그룹의 구조에 따라서 계층적 클러스터 링(hierarchical clustering method)과 비계 층적 클러스터 링 (non-hierarchical clustering method)으 로 나눌 수 있는데, 각각의 방법론에 따라 여러.
- 본 논문에서는 문서 클러스터링 기법을 소개하고 재배치 기법의 일종인 K-Means 알고리즘의 초기 클러스터 선택과 새로운 클러스터 중심 결정을 변경한 변형 K-Means 알고리즘을 제안하였다. 제안한 변형 알고리즘은 초기 클러스터를 3개의 임의의 문서로 선택하여 색인어를 병합하였으며, 새로운 클러스터의 중심은 각 클러스터에 속하는 문서의 색인어 가중치를 평균한 것이다.
제안 방법
- ANC, ATN, ATC, LNN, LNC, LTN, LTC 등 총 16가지 가중치 적용 방법에 대하여 평균 정확률과 평균 재현률을 정의한다. 전체적인 시스템의 성능을 평가하기 위하여 각 클러스터별 정확률과 재현률을 결합하고 평균을 취한 평균 정 확률과 평균 재현률을 정의하였다.
- K 번째 클러스터 중심을 결정하는 방법을 색인어와 가중치로 표현하는 임의의 한 개의 문서를 선택하는 K-Means 알고리즘과는 다르게 제안한 변형 K-Means 알고리즘에서는 초기 클러스터 중심을 결정할 때 문서를 3개(m = 3)로선 택하여 중복된 색인어를 제외하고 병합한 후 초기 클러스터 중심 벡터로 설정하였다. 변형한 초기 클러스터 중심은 다음의 식 (2) 와 같다.
- 전체적인 시스템의 성능을 평가하기 위하여 각 클러스터별 정확률과 재현률을 결합하고 평균을 취한 평균 정 확률과 평균 재현률을 정의하였다. 또한 평균 재현률과 평균 정확률을 결합한 조화 평균 F-measure를 정의하여 재현 률과 정확률을 하나의 척도로 나타내어 두 알고리즘의 성능을 그래프로 나타내어 본다.
- 본 논문은 정보검색 시스템 Condor Project의 결과물이며, 실험은 자동문서 요약기를 통해 실험 문서 원문을 요약한 후, 요약문의 출력인 패시지(passage)(문장내에서 출현한 명 사의 수)수를 각각 5, 10, 15 패시지로 변화 시켜 가면서 K- Means 알고리즘과 변형 K-Means 알고리즘을 이용하는 클러스터링 모듈의 입력으로 하였다. 실험을 위하여 요약문의 색인어에 대하여 SMART 시스템에서 제안한 가중치를 계산하는 방법 16가지 (BNN, BNC, BTN, BTC, NNN, NNC, NTN, NTC, ANN, ANC, ATN, ATC, LNN, LNC, LTN, LTC 등)를 적용하여 클러스터링하였다.
- 각 문서의 특성 정보를 가지고 있는 자질 정보들은 자질 데이터 저장소에 저장된다. 실험문서의 전체집합과 자질 데이터 저장소에 저장된 문서 정보들은 자동문서 요약기 (Automatic Document SummarizerX 통하여 문서 내에서 가장 중요한 문장을 선택하여 요약문을 생성한다.
- 본 논문은 정보검색 시스템 Condor Project의 결과물이며, 실험은 자동문서 요약기를 통해 실험 문서 원문을 요약한 후, 요약문의 출력인 패시지(passage)(문장내에서 출현한 명 사의 수)수를 각각 5, 10, 15 패시지로 변화 시켜 가면서 K- Means 알고리즘과 변형 K-Means 알고리즘을 이용하는 클러스터링 모듈의 입력으로 하였다. 실험을 위하여 요약문의 색인어에 대하여 SMART 시스템에서 제안한 가중치를 계산하는 방법 16가지 (BNN, BNC, BTN, BTC, NNN, NNC, NTN, NTC, ANN, ANC, ATN, ATC, LNN, LNC, LTN, LTC 등)를 적용하여 클러스터링하였다.
- ANC, ATN, ATC, LNN, LNC, LTN, LTC 등 총 16가지 가중치 적용 방법에 대하여 평균 정확률과 평균 재현률을 정의한다. 전체적인 시스템의 성능을 평가하기 위하여 각 클러스터별 정확률과 재현률을 결합하고 평균을 취한 평균 정 확률과 평균 재현률을 정의하였다. 또한 평균 재현률과 평균 정확률을 결합한 조화 평균 F-measure를 정의하여 재현 률과 정확률을 하나의 척도로 나타내어 두 알고리즘의 성능을 그래프로 나타내어 본다.
- 실험문서는 Reuter21578 news wire에서 고빈도 TOPIC에 해당하는 100개의 문서를 선택하였으며, 문서의 내용을 유지하면서 문서 크기를 줄이기 위하여 자동문서 요약기를 사용하여 요약문을 생성하였다. 제안한 변형 K-Means 알고리즘의 성능을 평가하기 위하여 각 문서의 색인 어에 대해 총 16개의 가중치 기법을 적용하여 두 알고리즘을 갖춘 클러스터링 시스템에서 실험하였다. 실험 결과 요약 문의 크기에 상관없이 평균 정확률 측면에서는 K-Means알고리즘이 높게 나타났지만 평균 재현률과 F- measure측면에서는 변형 K-Means 알고리즘이 20% 이상 좋은 성능을 보이고 있고 초기 클러스터의 수를 변경하는 경우에는 정확률과 재현률에서 더 좋은 성능을 보이고 있음을 입증하였다.
- 본 논문에서는 문서 클러스터링 기법을 소개하고 재배치 기법의 일종인 K-Means 알고리즘의 초기 클러스터 선택과 새로운 클러스터 중심 결정을 변경한 변형 K-Means 알고리즘을 제안하였다. 제안한 변형 알고리즘은 초기 클러스터를 3개의 임의의 문서로 선택하여 색인어를 병합하였으며, 새로운 클러스터의 중심은 각 클러스터에 속하는 문서의 색인어 가중치를 평균한 것이다. 실험문서는 Reuter21578 news wire에서 고빈도 TOPIC에 해당하는 100개의 문서를 선택하였으며, 문서의 내용을 유지하면서 문서 크기를 줄이기 위하여 자동문서 요약기를 사용하여 요약문을 생성하였다.
- 본 장에서는 K-Means 알고리즘과 제안하는 변형 K- eans 알고리즘의 성능을 비교 분석한다. 클러스터링 성능평가 척도는 클러스터링의 경우에는 생성된 클러스터가 어느 범주에 해당하는지, 또는 특정 문헌이 어느 범주로 자동 분류되었는지를 판정하기가 어렵지만 클러스터의 수인 K를 10개로 고정시켜, 동일한 환경에서 K-Means 알고리즘과 제안한 변형 K-Means 알고리즘의 성능을 상대적으로 평가하였다.
대상 데이터
- 본 논문에서 사용한 실험문서는 Reuter21578 Newswire0] 14(http://www.research.att.com/~lewis/reuters21578)[15]. Reuter21578 Newswire 문서는 총 21578개의 문서로 구성되어 있으며, 정보 검색 시스템의 성능을 평가하기 위한 표준 문서 집합 중의 하나이다.
- Reuter21578 문서 컬렉션은 거의 모든 문서가 TOPIC 태그를 가지고 있으며, 이 태그는 문서의 내용을 파악하여 해당 주제에 속하는 문서임을 나타낸다. 선택한 실험 문서는 Reuter21578문서에서 가장 많이 존재하는 TOPIC 10개를 선정하였으며, 각 TOPIC 당 문서 10개씩, 총 100개의 문서를 실험 문서로 선택하였다.[표 3]은 선택된 10개의 고빈도 TOPIC을 보여주고 있다.
- 제안한 변형 알고리즘은 초기 클러스터를 3개의 임의의 문서로 선택하여 색인어를 병합하였으며, 새로운 클러스터의 중심은 각 클러스터에 속하는 문서의 색인어 가중치를 평균한 것이다. 실험문서는 Reuter21578 news wire에서 고빈도 TOPIC에 해당하는 100개의 문서를 선택하였으며, 문서의 내용을 유지하면서 문서 크기를 줄이기 위하여 자동문서 요약기를 사용하여 요약문을 생성하였다. 제안한 변형 K-Means 알고리즘의 성능을 평가하기 위하여 각 문서의 색인 어에 대해 총 16개의 가중치 기법을 적용하여 두 알고리즘을 갖춘 클러스터링 시스템에서 실험하였다.
- 요약 모듈은 HTML 태 그 제거기, 자질 추출 모듈로 구성되어 있다. 실험에 사용한 문서 집합인 Reuter21578 Newswire는 HTML 태그로 구성되어 있기 때문에 HTML 태그 제거기를 사용하여 각 문서 들을 구분하는 시작 태그만을 제외하고 HTML 태그를 제거한다. 자질 추출 모듈은 각 문서의 특징을 나타낼 수 있는 자질을 문서로부터 추출하는 부분으로써, 여기에서 자질은 문서 '번호, 문서 길이(불용어를 제외한 문서 길이), 전체 문서 수, 평균 문서 길이 등 문서 정보(Document Information)와 문서 내 색인어 위치 (Term location), 색인어 번호(Term id), 문서 내 색인어의 빈도수(Term Frequency)로 구성되어 있다.
데이터처리
- 본 장에서는 K-Means 알고리즘과 제안하는 변형 K- eans 알고리즘의 성능을 비교 분석한다. 클러스터링 성능평가 척도는 클러스터링의 경우에는 생성된 클러스터가 어느 범주에 해당하는지, 또는 특정 문헌이 어느 범주로 자동 분류되었는지를 판정하기가 어렵지만 클러스터의 수인 K를 10개로 고정시켜, 동일한 환경에서 K-Means 알고리즘과 제안한 변형 K-Means 알고리즘의 성능을 상대적으로 평가하였다.
이론/모형
- 대규모 웹 문서를 처리하기 위해 정보검색 시스템에서는 처리속도가 빠르며, 구현과 계산 복잡도를 요구하는 알고리즘을 사용하여 사용자의 검색 요구에 빠르게 응답해야 할 필요성이 있다. 본 논문에서 선택한 K-Means 알고리즘은 비계층적이며 재배치 기법을 사용하는 방법으로서 다양한 어플리케이션에서 사용하는 표준기술이며, 클러스터링 속도 측면에서 계층적 클러스터링 알고리즘보다 처리 시간이 적게 걸리기 때문에 K-Means 알고리즘을 클러스터링 기법으로 사용하였다.
성능/효과
- 웹 문서의 양이 급격히 넘쳐나는 오늘날에는 기존의 정보 검색 시스템에서 사용자의 질의에 대한 긴 검색 결과 목록으로는 정보를 선별하고 유용한 지식을 획득하기에는 많은 시 간과 노력을 필요로 한다. 따라서 사용자의 요구에 적합한 검색 결과를 가공한 후 결과들 사이의 관계 및 생각지도 못한 유용한 지식을 획득하는 문서 클러스터링 기법이 문제 해결 방법의 한 방법으로 등장하였다. 문서 클러스터링은 다량의 문서를 유사한 문서들끼리 그룹화하여 특정 주제 아래 자동 분류하는 것으로써 사용자가 특정 정보에 대한 검색 요구를 하였을 때 모든 문서를 검색하는 대신 사용자의 요구와 가장 가까운 주제의 클러스터 내의 문서만을 검색함으로써 정보 탐색 시간을 절약할 수 있고, 검색의 효율을 향 상시 킬 수 있다[3, 4].
- 제안한 변형 K-Means 알고리즘의 성능을 평가하기 위하여 각 문서의 색인 어에 대해 총 16개의 가중치 기법을 적용하여 두 알고리즘을 갖춘 클러스터링 시스템에서 실험하였다. 실험 결과 요약 문의 크기에 상관없이 평균 정확률 측면에서는 K-Means알고리즘이 높게 나타났지만 평균 재현률과 F- measure측면에서는 변형 K-Means 알고리즘이 20% 이상 좋은 성능을 보이고 있고 초기 클러스터의 수를 변경하는 경우에는 정확률과 재현률에서 더 좋은 성능을 보이고 있음을 입증하였다.
- 실험 결과 평균 정확률 측면에서는 K-Means 알고리즘이 보다 높게 나타났지만, 이것은 정확률을 계산할 때 클러스터에 할당된 문서가 매우 적고 하나의 클러스터에 편중되어 할당되었기 때문에 좋은 평가 척도라고 볼 수 없다. 평균 재 현률과 F-Measure에서는 변형 K-Means 알고리즘이 20% 이상 좋은 성능을 보이고 僉 다.
- 실험 데이터인 영문에서는 불용어 처리가 필수적이기 때문에 실험 결과로부터 요약문의 길이가 15 패시지인 경우 클러스터링 결과에 크게 영향을 미치지 않았으며, 요약 문의 길이가 10 패시지인 경우보다는 5 패시지인 경우 원문의 내용을 크게 변형시키지 않으면서도 원문을 압축한 결과를 얻을 수 있어 더 나은 클러스터링 결과를 얻을 수 있었다.
- 실험 결과 평균 정확률 측면에서는 K-Means 알고리즘이 보다 높게 나타났지만, 이것은 정확률을 계산할 때 클러스터에 할당된 문서가 매우 적고 하나의 클러스터에 편중되어 할당되었기 때문에 좋은 평가 척도라고 볼 수 없다. 평균 재 현률과 F-Measure에서는 변형 K-Means 알고리즘이 20% 이상 좋은 성능을 보이고 僉 다. 재현률이 높다는 것은 특정한 주제 아래에 해당하는 문서가 제대로 할당된다는 것을 의미하며, 제안하는 기법이 특정한 주제 아래 문서가 할당되는 클러스터링 성능이 우수함을 알 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.