초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

문서 범주화에서 이진분류를 다중 분류에 적용할 때, 일반적으로 One-Against-All 방법을 사용한다. 하지만, 이 One-Against-All 방법은 한가지 문제점을 가진다. 즉, positive 집합의 문서들은 사람이 직접 범주를 할당한 것이지만, negative 집합의 문서들은 사람이 직접 범주를 할당한 것이 아니기 때문에 오류 문서들이 포함될 수 있다는 것이다. 본 논문에서는 이러한 문제점을 해결하기 위해 Sliding Window기법과 EM 알고리즘을 이진 분류 기반의 문서 범주화에 적용할 것을 제안한다. 먼저 Sliding Window 기법을 이용하여 학습 데이터로부터 오류 문서들을 추출하고 이 문서들을 EM 알고리즘을 사용해서 다시 범주를 할당함으로써 이진 분류 기반의 문서 범주화 기법의 성능을 향상시킨다.

문서 범주화에서 이진분류를 다중 분류에 적용할 때, 일반적으로 One-Against-All 방법을 사용한다. 하지만, 이 One-Against-All 방법은 한가지 문제점을 가진다. 즉, positive 집합의 문서들은 사람이 직접 범주를 할당한 것이지만, negative 집합의 문서들은 사람이 직접 범주를 할당한 것이 아니기 때문에 오류 문서들이 포함될 수 있다는 것이다. 본 논문에서는 이러한 문제점을 해결하기 위해 Sliding Window기법과 EM 알고리즘을 이진 분류 기반의 문서 범주화에 적용할 것을 제안한다. 먼저 Sliding Window 기법을 이용하여 학습 데이터로부터 오류 문서들을 추출하고 이 문서들을 EM 알고리즘을 사용해서 다시 범주를 할당함으로써 이진 분류 기반의 문서 범주화 기법의 성능을 향상시킨다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 의미한다. 본 논문에서는 가장 높은 혼잡도 값을 갖눈 두 개의 window를 뽐는다. 먼저 처음으로 가장 높은 혼잡도 값을 갖는 window를 뽑고 두 번째로 마지막으로 가장 높은 혼잡도 값을 갖는 window를 뽑는다.
• 본 논문에서는 베이지언(NB: Naive Bayesian), Rocchio, 지지 벡터 기계 (SVM: Support Vector Machine) 분류기에 대한 각 분류기의 성능을 평가 하기 위한 실험을 하였다. 표 2에서 알 수 있듯이 두 가지 다른종류의 데이터(Reuter, WebKB)에 대해 제안한 시스템이 OneMgainst-AH 방법만을 사용한 기본시스템보다 훨씬 월등한 성능을 보인다.

제안 방법

• 이를 위해 먼저 One-Against-All 방법을 사용하여 posititve 문서 집합과 negative 문서 집합을 생성한다. 그 후 생성돤 이진 분류학습 데이터(binary training data)로 베이지언(NB) 분류기를 학습하고 다음 공식을 사용하여 각 문서에 대한 예견 점수를 얻어낸다.
• 이 시스템은 범주가 할당되지 않은 문서 집합으로부터 확살한 negative 문서들을 식별하기 위해 처음으로 스파이(Spy) 기술을 사용한다. 그리고, 최종분류기를 생성해 내기 위해서 EM알고리즘을 수행한다.
• 본 논문에서는 가장 높은 혼잡도 값을 갖눈 두 개의 window를 뽐는다. 먼저 처음으로 가장 높은 혼잡도 값을 갖는 window를 뽑고 두 번째로 마지막으로 가장 높은 혼잡도 값을 갖는 window를 뽑는다. 그 후 춰대 경계값(max threshold value)은 처음으로 가창 높은 혼잡도 값을 갖는 window 속에서 가장 높은 예견 점수를 갖는 negative문서의 예견점수를 최대 경계값으로 정하고, 최소 경계값(min threshold value)은 마지막으로 가장 높은 혼잡도 값을 갖는 window 속에서 가장 낮은 예견점수를 갖는 positive문서의 예견 점수를 최소 경계값으로 정한다.
• negative documents). 본 논문에서는 이 3개의 데이터 집합을 EM 알고리즘을 적용하여 각 범주별로 범주가 할당되지 않는 문서들에게 다시 범주를 할당한다.
• 본 논문에서는 최대, 최소 경계값 사이에 있는 모든 문서들을 범주가 할당되지 않는 문서 (U끼abeled document)들로 간주하며, 오류 문서(noise document)제거를 위해 이 문서들은 두 개의 범주(positive and negative) 중 하나의 범주를 다시 할당 받게 된다.
• set)을 사용하고 베이지언 분류기만을 사용하였다. 본 논문은 33절에서 새로운 기대 단계인 E'-step(E‘)을 제안하였고, 제안한 방법을 검증하기 위해 기존의 E-stR과 제안한 E'-step을 비교 하였다. 표 1는 제안한 EM(E‘)이 기존의 EM(E)보다 더 높은 성능올 보여줌을 알 수 있다.
• 이 절에서는 기본 시스템(OnoAgainst-AU방법만 사용한 시스템)과의 비교를 통해 제안된 기법과의 성능을 평가 하였다. Window 크기는 실험값에 의해 5로 하여 모든 실험들을 하였다.

대상 데이터

• WebKB 데이터에 대해서는 일관성 있는 평가를 위해 five-fbld cross-validation 방법을 사용하였다. Reutere21578 Distribution 1.0 데이터는 12, 902개의 기사와 90개의 범주로 구성되어 있으며, 본 논문에서는 다른 연구들에서 가장 많이 사용하는 10개의 범주만을 사용하였다[8], 그리고 Reuters 데이터의 학습데이터 중 약 20%를 검증 문서 집합(validation set)으로 사용하였다. 두 번째 데이터 집합인 WebKB 데이터는 카네기멜론(CMU)에서 제공하는 데이터로쎄9], 이 데이터 집합은 여러 대학의 컴퓨터학과 홈페이지에서 수집된 웹 페이지들이다.
• 0 데이터는 12, 902개의 기사와 90개의 범주로 구성되어 있으며, 본 논문에서는 다른 연구들에서 가장 많이 사용하는 10개의 범주만을 사용하였다[8], 그리고 Reuters 데이터의 학습데이터 중 약 20%를 검증 문서 집합(validation set)으로 사용하였다. 두 번째 데이터 집합인 WebKB 데이터는 카네기멜론(CMU)에서 제공하는 데이터로쎄9], 이 데이터 집합은 여러 대학의 컴퓨터학과 홈페이지에서 수집된 웹 페이지들이다.
• 본 논문에서는 제안한 방법을 평가하기 위해 다른 두 종류의 데이터(신문 기사(Reuters21578), 웹 페이지(WebKB))를 사용한다. WebKB 데이터에 대해서는 일관성 있는 평가를 위해 five-fbld cross-validation 방법을 사용하였다.

이론/모형

• 웹 페이지(WebKB))를 사용한다. WebKB 데이터에 대해서는 일관성 있는 평가를 위해 five-fbld cross-validation 방법을 사용하였다. Reutere21578 Distribution 1.
• 문서가 가장 많이 섞이는 경계 구간을 찾는 것이다. 경계 구간을 찾기 위해, 본 논문에서는 먼저 Sliding 기법을 사용한다. 일정한 크기를 갖는 window들은 정렬된 예견 점수를 갖는 문서 목록에서 첫 번째 문서에서부터 마지막 문서까지 한 단계 한 단계 내려간다, 혼잡도 값은 각 window 내의 혼찹 정도(positive와 negative가 섞이는 정도)를 추정하기 위해 계산된다.
• 본 논문에서 EM 알고리즘은 범주가 할당되지 않는 문서(Unlabeled document) 집함을 잘 정리하고 그 속에 있는 오류 문서(noise document)들을 제거하기 위해 사용된다. EM 알고리즘은 기대 단계(Expectation step)와 최대화 단계(Maximizationst叩)의 두 단계로 구성되어 있다[3]
• 본 논문에서의 성능 평가 방법은 정보 검색 분야에서 일반적으로 쓰이는 이진 분류(binary classification) 에 대한 평가 방법인 precision-recall BEP(breakeven point) 값을 사용하여 나타냈다[1 이[11].
• 본 실험은 Reuter 데이터에서 추출한 검증 문서 집합(v이idation document set)을 사용하고 베이지언 분류기만을 사용하였다. 본 논문은 33절에서 새로운 기대 단계인 E'-step(E‘)을 제안하였고, 제안한 방법을 검증하기 위해 기존의 E-stR과 제안한 E'-step을 비교 하였다.
• EM (Expectation Maximization)알고리즘[3]에 기반한다. 이 시스템은 범주가 할당되지 않은 문서 집합으로부터 확살한 negative 문서들을 식별하기 위해 처음으로 스파이(Spy) 기술을 사용한다. 그리고, 최종분류기를 생성해 내기 위해서 EM알고리즘을 수행한다.
• 이 오류 문서들을 제거하기 위해서 다음과 같은 두 가지 문제를 해결해야만 한다; “오류 문서를 포함하는 경계 부분을 어떻게 찾을 것인가?”, “찾은 오류 문서들을 어떻게 처리할 것인가끼 본 논문에서는 첫 번째와 두 번째 문제를 해결하기 위해 Sliding Window 기법과 EM 알고리즘을 각각 사용한다.
• 2절의 목적은 많은 오류 문서를 갖는 영역의 경계 부분을 찾는 것이다. 이를 위해 먼저 One-Against-All 방법을 사용하여 posititve 문서 집합과 negative 문서 집합을 생성한다. 그 후 생성돤 이진 분류학습 데이터(binary training data)로 베이지언(NB) 분류기를 학습하고 다음 공식을 사용하여 각 문서에 대한 예견 점수를 얻어낸다.

성능/효과

• 본 논문에서는 One-Against-All 의 문제를 해결하기 위해 Sliding Window와 EM 알고리즘을 사용하여 새로운 이진 분류 문서 범주화 기법을 제안하였으며, 결과적으로 제안한 방법이 세가지 분류기 모두에서 상당한 성능 향상을 보임을 확인했다. 향후 과제는 다음과 같다.
• 제안한 방법을 통해 하나의 경계면을 찾는 것은 positive 문서와 negative 문서가 가장 많이 섞이는 경계 구간을 찾는 것이다. 경계 구간을 찾기 위해, 본 논문에서는 먼저 Sliding 기법을 사용한다.
• 표 2에서 알 수 있듯이 두 가지 다른종류의 데이터(Reuter, WebKB)에 대해 제안한 시스템이 OneMgainst-AH 방법만을 사용한 기본시스템보다 훨씬 월등한 성능을 보인다. 특총], 베이지언 확률 모델과 Rocchio에서는 뚜렷한 성능 차이를 확인할 수 있다.
• 하기 위한 실험을 하였다. 표 2에서 알 수 있듯이 두 가지 다른종류의 데이터(Reuter, WebKB)에 대해 제안한 시스템이 OneMgainst-AH 방법만을 사용한 기본시스템보다 훨씬 월등한 성능을 보인다. 특총], 베이지언 확률 모델과 Rocchio에서는 뚜렷한 성능 차이를 확인할 수 있다.

후속연구

• 향후 과제는 다음과 같다. 먼저, 오류 문서(noise document) 제거를 위해 EM 알고리즘 대신 효과적인 다른 알고리즘을 사용하는 것에 의해 더 좋은 성능을 기대할 수 있겠다. 또한 좀더 정확한 경계면을 찾을 필요가 있다고 생각된다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기