초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

인터넷의 급속한 성장과 더불어 많은 정보와 데이터들을 인터넷을 통하여 얻을 수 있게 되었으며 많은 단체들이 문서들을 웹을 통하여 이용 가능하게 만들고 있다. 이에 따라 다양한 정보와 데이터를 효과적으로 분류하고 검색하는 문서 분류 (Document Classification)에 대한 알고리즘이 다양한 분야에서 널리 연구되어 왔으며 본 논문에서 초점을 두고 있는 전자 도서관 (Digital Library) 분야에서도 활발히 연구되어지고 있다. 하지만 기존의 전자 도서관의 문서 분류 알고리즘들은 문서들의 각 단락의 비중을 고려하지 않은 채 단어들의 발생 빈도에 초점을 두어 많은 잡음 단어 (Noise Term)를 포함하고 그로 인하여 분류 성능이 떨어졌다. 본 논문에서는 문서 단락의 중요도에 따라 다른 .가중치를 부여하여 단어 지지도 (Term Support)가 높은 단어들을 추출하고 그 단어들로 연관 규칙 (Association Rules)을 이용하여 분류 규칙을 생성하는 방법을 제안한다. 제안된 방법의 성능평가를 위해 문서 분류에 널리 쓰이는 나이브 베이지안 분류자 (Na$\square$ve Bayesian Classifier) 및 기존의 단순 연관 규칙 분류자 (Associative Classifier)와 비교 평가하였다. 그 결과, 각 가중치가 부여된 연관 규칙 분류 방법이 나이브 베이지안 분류 방법과 단순 연관 규칙 분류 방법보다 높은 성능을 보였다.

인터넷의 급속한 성장과 더불어 많은 정보와 데이터들을 인터넷을 통하여 얻을 수 있게 되었으며 많은 단체들이 문서들을 웹을 통하여 이용 가능하게 만들고 있다. 이에 따라 다양한 정보와 데이터를 효과적으로 분류하고 검색하는 문서 분류 (Document Classification)에 대한 알고리즘이 다양한 분야에서 널리 연구되어 왔으며 본 논문에서 초점을 두고 있는 전자 도서관 (Digital Library) 분야에서도 활발히 연구되어지고 있다. 하지만 기존의 전자 도서관의 문서 분류 알고리즘들은 문서들의 각 단락의 비중을 고려하지 않은 채 단어들의 발생 빈도에 초점을 두어 많은 잡음 단어 (Noise Term)를 포함하고 그로 인하여 분류 성능이 떨어졌다. 본 논문에서는 문서 단락의 중요도에 따라 다른 .가중치를 부여하여 단어 지지도 (Term Support)가 높은 단어들을 추출하고 그 단어들로 연관 규칙 (Association Rules)을 이용하여 분류 규칙을 생성하는 방법을 제안한다. 제안된 방법의 성능평가를 위해 문서 분류에 널리 쓰이는 나이브 베이지안 분류자 (Na$\square$ve Bayesian Classifier) 및 기존의 단순 연관 규칙 분류자 (Associative Classifier)와 비교 평가하였다. 그 결과, 각 가중치가 부여된 연관 규칙 분류 방법이 나이브 베이지안 분류 방법과 단순 연관 규칙 분류 방법보다 높은 성능을 보였다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 본 논문에서는 전자도서관에서 연구논문의 효과적인 분류를 위해 가중치가 부여된 연관 규칙 분류자를 제안하였다. 본 논문에서 제안한 가중치가 부연된 연관 규칙 분류자의 성능을 평가하기 위해서 가중치를 주지 않은 연관 규칙 분류자와 기존의 널리 사용되고 있는 나이브베이지안 분류자와 비교 실험하여 높은 분류성눙을 보였다.
• 그러나 기존의 문서 분류 알고리즘은 이런 연구 논문의 특성을 반영하고 있지 않기 때문에 문서의 특징을 정확히 추출하기 어렵고, 많은 잡음 단어들이 발생하게 된다. 이를 개선하기 위해 본 논문에서는 각각의 단락에서 발생하는 단어들에 대해서 다른 가중치 값을 설정함으로써 n 문서에 대한 단어들의 중요도가 높은 단어들을 특징으로 추출한다. 그리고 그 추출된 단어들로 연관 규칙을 이용하여 분류 규칙을 생성하고 문서를 분류에 이용한다.

제안 방법

• 이를 개선하기 위해 본 논문에서는 각각의 단락에서 발생하는 단어들에 대해서 다른 가중치 값을 설정함으로써 n 문서에 대한 단어들의 중요도가 높은 단어들을 특징으로 추출한다. 그리고 그 추출된 단어들로 연관 규칙을 이용하여 분류 규칙을 생성하고 문서를 분류에 이용한다.
• 단어 지지도 임계값이 높으면 많은 중요한 단어들을 걸러내어 문서의 데이터 표현에 충분하지 않으며, 반대로 단어 지지도 임계값이 낮으면 많은 잡음 단어 (Noise Term)들을 포함하게 되어 분류 성능을 저 하시 킨다. 본 논문에서는 트레이닝 데이터의 실험을 통한 Heuristic 방법에 의해 단어 지지도 임계값을 설정한다. 가중치가 부여된 단어들의 특징 추출 과정 후 각 연구 논문들은 아래와 같은 벡터 집합으로 표현된다.
• 연관 규칙을 이용한 분류에서 첫번째로 중요한 일은 빈번히 발생하는 아이템 집합 (Frequent Itemsets)을 만드는 것이다, 본 논문에서는 빈발'항목 집합올 빈발 단어 집합 (Frequent Termsets)이라 하겠다. 본 논문에서는 빈발 단어 집합을 생성하고 분류 计칙을 생성하는데 FP-tree 방법 ⑺을 변형한 확장된 FP-tree 방법 (Extended FP~tree Method)을 이용한다.

대상 데이터

• 본 논문의 실험을 위해서 Apache 1.3, PHP4와 MYSQL 4.0 을 사용해서 구현하였으며, 실험 환경은 펜티엄IV 1.7GHz, 256MBRAM의 시스템이었다.
• 트레이닝 및 테스트에 사용된 데이터들은 ACM 전자 도서관에서 수집하였으며, ACM 컴퓨터 분류 시스템 (Computing Classification System) [9]중 카테고리 1.2 인공 지능 (Artificial intelligence) 분야에 속하는 연구 논문을 선택하였다. 데이터 구성은 [표 1〕과 같다.

이론/모형

• 가중치가 부여된 연관 규칙 분류자를 이용하여 문서가 얼마나 정확하게 분류되었는지 성능을 평가하기 위해서 정확도 (Precision), 재현율 (Recall)과 Fl-measure 측정식을 이용하였으며 가각의 정의는 다음과 같다 [8].
• [6]. 가중치가 부여된 지지도로 구성된 단어들의 데이터 집합은 확장된 FP-tree 알고리즘을 적용하여 EFP- tree를 생성하고 생성된 EFP-tree< 이용하여 분류 규칙을 마이닝한다. [71.
• 일반적으로 "제목" 이나 "키워드"의 단락에서 추출된 단어는 "서론" 이나 "감사의 글"의 단락에서 추출된 단어보다 더 중요도를 가지고 있다. 본 논문에서는 단어의 빈도수 (Term Frequency) 와 각각의 단락에 부여된 가중치 (Wei융ht)로 문서에 대한 단어의 지지도 (Term Support)를 측정하여 문서에 대한 단어들의 중요도가 높은 단어들로 연관 규칙을 적용한다. [그림 1]은 본 논문에서 제안하는 가중치가 부여된 연관 규칙 분류자 구성도를 나타낸다.
• 연관 규칙을 이용한 분류에서 첫번째로 중요한 일은 빈번히 발생하는 아이템 집합 (Frequent Itemsets)을 만드는 것이다, 본 논문에서는 빈발'항목 집합올 빈발 단어 집합 (Frequent Termsets)이라 하겠다. 본 논문에서는 빈발 단어 집합을 생성하고 분류 计칙을 생성하는데 FP-tree 방법 ⑺을 변형한 확장된 FP-tree 방법 (Extended FP~tree Method)을 이용한다. [6].
• CBA (Classification Based on Associations) [4]와 같이 이전에 연구된 연관규칙 분류자 대부분은 Apriori 알고리즘을 이용하여 빈발 항목 집합을 생성하고 분류 규칙을 만들었지만 이 방법은 큰 데이터에는 많은 비용이 드는 단점이 있으며 다양한 패턴에는 적합하지 않았다. 이를 보안하기 위해 CMAR (Classification based on Multi이e Association Rules) 은 빈발 단어 집합을 생성하고 분류 규칙을 생성하는데 FP-tree 방법 [기올 변형한 확장된 FP- tree 방법 (Extended FP너:ree Method)을 이용하였다 [6].

성능/효과

• 6% 높은 분류 성능을 보였다. 또 단어 지지도 임계값이 0.5일 때와 단어 지지도 값 상위 10개의 단어로 비교 실험 했을 때 평균 정확도와 평균 재현율은 다소 차이가 있었으나 Fl-measure 값을 비교했을 때 분류 성능이 거의 비숫함을 알 수 았었다.
• 본 논문에서 제안한 가중치가 부연된 연관 규칙 분류자의 성능을 평가하기 위해서 가중치를 주지 않은 연관 규칙 분류자와 기존의 널리 사용되고 있는 나이브베이지안 분류자와 비교 실험하여 높은 분류성눙을 보였다. 또 단어지지도 임계치의 변화에 따른 정확도, 재현율 및 Fl-measured 변화를 알아보았으며 Fl-measure 값이 최대값을 가지는 단어지지도 임계값과 상위 10개의 단어로 분류 규칙을 생성했을 때와 분류성눙을 비교하여 비슷한 분류 성능을 보였다. 하지만 본 논문에서 제안된 방법은 모든 텍스트로부터 중요한 단어를 추출하는데 복잡도와 시간 비용이 다소 높았다.
• 5로 실험한 것이고 WAR(TIO)은 단어 지지도 값 상위 10개의 단어로 실험을 했을 때를 나타낸다. 본 논문에서 제안하는 WAR 방법이 NB 방법보다 9.1%, 단순한 AR 방법보다는 5.6% 높은 분류 성능을 보였다. 또 단어 지지도 임계값이 0.
• 본 논문에서는 전자도서관에서 연구논문의 효과적인 분류를 위해 가중치가 부여된 연관 규칙 분류자를 제안하였다. 본 논문에서 제안한 가중치가 부연된 연관 규칙 분류자의 성능을 평가하기 위해서 가중치를 주지 않은 연관 규칙 분류자와 기존의 널리 사용되고 있는 나이브베이지안 분류자와 비교 실험하여 높은 분류성눙을 보였다. 또 단어지지도 임계치의 변화에 따른 정확도, 재현율 및 Fl-measured 변화를 알아보았으며 Fl-measure 값이 최대값을 가지는 단어지지도 임계값과 상위 10개의 단어로 분류 규칙을 생성했을 때와 분류성눙을 비교하여 비슷한 분류 성능을 보였다.
• 즉, 단어 지지도 임계값이 높으면 적은 수의 단어들로 분류 규칙을 생성했기 때문에 충분한 분류 규칙이 생성되지 않았으며 반대로 단어 지지도 임계값이 낮으면 잡음 단어까지 포함하여 분류 규칙을 생성하였기에 분류 규칙 정확성이 떨어졌다. 실험 결과 단어 지지도 임계값이 0.5일 때 분류 성능이 가장 우수하였다.
• [그림 2]는 단어 지지도 임계 값 변화에 따른 평균 정확도 (Avg_P), 평균 재현율 (Avg_R) 그리고 평균 Fl-measured 값 (Avg_Fl)의 변화를 나타낸 것이다. 임계값이 높아질수록 평균 정확도는 올라갔으나 재현율은 낮아졌다. 즉, 단어 지지도 임계값이 높으면 적은 수의 단어들로 분류 규칙을 생성했기 때문에 충분한 분류 규칙이 생성되지 않았으며 반대로 단어 지지도 임계값이 낮으면 잡음 단어까지 포함하여 분류 규칙을 생성하였기에 분류 규칙 정확성이 떨어졌다.
• 임계값이 높아질수록 평균 정확도는 올라갔으나 재현율은 낮아졌다. 즉, 단어 지지도 임계값이 높으면 적은 수의 단어들로 분류 규칙을 생성했기 때문에 충분한 분류 규칙이 생성되지 않았으며 반대로 단어 지지도 임계값이 낮으면 잡음 단어까지 포함하여 분류 규칙을 생성하였기에 분류 규칙 정확성이 떨어졌다. 실험 결과 단어 지지도 임계값이 0.
• 또 단어지지도 임계치의 변화에 따른 정확도, 재현율 및 Fl-measured 변화를 알아보았으며 Fl-measure 값이 최대값을 가지는 단어지지도 임계값과 상위 10개의 단어로 분류 규칙을 생성했을 때와 분류성눙을 비교하여 비슷한 분류 성능을 보였다. 하지만 본 논문에서 제안된 방법은 모든 텍스트로부터 중요한 단어를 추출하는데 복잡도와 시간 비용이 다소 높았다. 그러므로 향후에는 모든 단락이 아닌 중요한 단락에서만 단어를 추출하여 분류비용을 축소하는 연구가 필요하겠다.

후속연구

• 하지만 본 논문에서 제안된 방법은 모든 텍스트로부터 중요한 단어를 추출하는데 복잡도와 시간 비용이 다소 높았다. 그러므로 향후에는 모든 단락이 아닌 중요한 단락에서만 단어를 추출하여 분류비용을 축소하는 연구가 필요하겠다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기