선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이 연구에서는 계층적인 분류체계에 적합한 자동분류 알고리즘으로 DDC 지식베이스의 주제어와 학습정보를 동시에 이용하는 Hi Cat을 제안하였다. 특정 문서와 주제범주들간의 주제 적합성 가중치를 이용해 최종 주제범주를 결정하는 HiCat 알고리즘의 성능을 평가하고 최적의 성능 조건을 알아보기 위해 수행한 실험 및 실험 결과는 다음과 같다.
제안 방법
- DDC 지식베이스는 DDC 분류표로부터 수집한 여러 정보들을 프레임형식으로 표현하여 구축하였다. 또한 학습테이블은 카이제곱 통계량을 이용한 주제범주별 자질선정 과정을 거친후, 베이즈확률 공식을 이용해 학습한 정보로 구성하였다.
- 이용된다. 계층적 자동분류를 위한 최적 조건을 알아보기 위해 DDC 지식베이스의 탐색 방법과 학습 테이블의 구축방법을 변수로 실험을 수행하였으며, HiCat 알고리즘 자체도 수작업 분류를 모방한 세가지 방식으로 변형하여 평가해 보았다. 그리고 범주화 연구에서 일반적으로 사용되는 분류기의 성능과 비교 실험을 수행하였다.
- 계층적 자동분류를 위한 최적 조건을 알아보기 위해 DDC 지식베이스의 탐색 방법과 학습 테이블의 구축방법을 변수로 실험을 수행하였으며, HiCat 알고리즘 자체도 수작업 분류를 모방한 세가지 방식으로 변형하여 평가해 보았다. 그리고 범주화 연구에서 일반적으로 사용되는 분류기의 성능과 비교 실험을 수행하였다. 성능을 평가하기 위한 평가척도는 정보검색과 범주화 연구에서 주로 사용되는 재현율, 정확률, 정확도, F 척도를 이용하였다.
- 나누는 방법을 제시하였다. 기대 상호 엔트로피로 소수 자질을 선정하였으며, 계층적 자동분류를 위해 자질변수간의 한정된 상호관계를 가진 확장된 나이브 베이즈 분류기를 고안하였다.
- 두 번째 실험에서 HiCat 알고리즘을 계층별 주제 결정 방식에 따라 하향식_1, 하향식_2, 상향식으로 변형하여 평가해보았다. 세 변형 알고리즘 모두 기본 HiCat 알고리즘에 비해 성능이 낮게 나타났다.
- Dolin(1998)과 Larson(1992)은 LCC 분류체계를 이용해 자동분류를 수행하였다. 두 연구 모두 MARC 레코드를 학습집단으로 구성해각 주제범주를 나타내고 유사도를 이용해 계층적인 자동분류를 수행하였다.
- 또한 학습테이블은 카이제곱 통계량을 이용한 주제범주별 자질선정 과정을 거친후, 베이즈확률 공식을 이용해 학습한 정보로 구성하였다.
- 또한나이브 베이즈 분류기와 kNN 분류기를 변형한 NB_hier, kNN_hier의 성능도 함께 평가하였다.
- 모든 주제범주들을 대상으로 주제적합성 가중치를 구한 후, 계층별 비교과정을 거쳐 최종 주제범주를 결정한다.
- 이러한 DDC 분류표의 분류번호 체계와 수작업 분류방식을 모방하여 HiCat 알고리즘도단계적으로 주제범주를 정하도록 세 가지 방식의 변형된 알고리즘으로 실험을 수행하였다. 변형된 분류 알고리즘들은 하향식-1, 하향식-2, 상향식 분류 알고리즘이다.
- HiCat 알고리즘은 DDC 지식베이스와 학습 정보로 구성된 학습 테이블을 동시에 이용하고, 각 계층의 주제범주들과 분류대상 문서와의 주제적합성 가중치를 구하여 최종 주제범주를 결정하는 과정을 거친다. 이러한 과정에서 HiCat 알고리즘이 최적의 성능을 보이는 조건을 알아보고, 기존의 범주화 연구에서 일반적으로 사용되는 분류기와 비교 실험을 통해 성능을 평가해 보았다.
- 지식베이스의 탐색방법과 학습테이블의 구축 방법에 따른 HiCat 알고리즘의 성능변화를 측정하여 최적의 성능을 보이는 조건을 알아보았다. 지식베이스의 탐색방법은 주제어 슬롯의 계층구조에 따른 탐색 유무에 따라 '계층적 탐색', '비계층적 탐색'으로 나뉘어진다.
- 첫 번째 실험에서는 지식베이스 탐색 및 학습 테이블 구축방법을 변수로 하여, 어떤 경우에 HiCat 알고리즘이 최적의 성능을 나타내는지 알아보았다. 실험결과, 지식베이스의 주 제어슬롯을 계층적으로 탐색하고 각 주제범주에 속하는 학습문서만으로 학습테이블을 구축한 경우가 최적의 성능을 보여주었다.
- 특정 문서와 주제범주들간의 주제 적합성 가중치를 이용해 최종 주제범주를 결정하는 HiCat 알고리즘의 성능을 평가하고 최적의 성능 조건을 알아보기 위해 수행한 실험 및 실험 결과는 다음과 같다.
대상 데이터
- 기본 분류체계는 DDC 분류표를 이용하였으며, DDC 분류번호 300인 사회과학내 39개의 주제 범주만을 이용하였다. 실험 문서 집단은 계층적 분류체계에 따라 문서를 분류하고 있는 인터넷 사이트들을 중심으로 1, 110건을 수집하였고, 학습문서 777건, 실험문서 333건으로 분리하였다.
- 범주만을 이용하였다. 실험 문서 집단은 계층적 분류체계에 따라 문서를 분류하고 있는 인터넷 사이트들을 중심으로 1, 110건을 수집하였고, 학습문서 777건, 실험문서 333건으로 분리하였다.
데이터처리
- 기계학습 분야의 범주화 연구에서 일반적으로 사용되는 나이브 베이즈(naive bayes) 분류기, kNN(k-Nearest Neighbor : kNN) 분류기를 HiCat 알고리즘과 비교, 평가하였다. 또한나이브 베이즈 분류기와 kNN 분류기를 변형한 NB_hier, kNN_hier의 성능도 함께 평가하였다.
- 세 번째 실험에서는 기계학습을 이용한 범주화 연구에서 일반적으로 사용되는 분류기와 HiCat 알고리즘의 성능을 비교하였다. 실험 결과 HiCat 알고리즘이 가장 성능이 좋았고, 그다음이 kNN과 kNN_hier, NB_hier순이었으며, 나이브 베이즈 분류기가 가장 낮은 성능을 보여주었다.
이론/모형
- 그리고 범주화 연구에서 일반적으로 사용되는 분류기의 성능과 비교 실험을 수행하였다. 성능을 평가하기 위한 평가척도는 정보검색과 범주화 연구에서 주로 사용되는 재현율, 정확률, 정확도, F 척도를 이용하였다.
- 그리고 학습 테이블의 구축방법은 각 주제범주에 속한 학습문서로 학습과정을 거치는 '일반적 구축'과계층적으로 학습문서를 재구성하여 학습 과정을 거치는 '계층적 구축'으로 나뉘어진다. 이러한 지식베이스의 탐색방법과 학습테이블의 구축 방법을 네 가지 경우로 조합하고 각 경우에 HiCat 알고리즘을 적용하였다.
- 이렇게 구성된 DDC 지식베이스와 학습 테이블은 HiCat 알고리즘을 통해 계층적 자동분류 과정에 이용된다. 계층적 자동분류를 위한 최적 조건을 알아보기 위해 DDC 지식베이스의 탐색 방법과 학습 테이블의 구축방법을 변수로 실험을 수행하였으며, HiCat 알고리즘 자체도 수작업 분류를 모방한 세가지 방식으로 변형하여 평가해 보았다.
성능/효과
- 계층적 분류체계의 특성을 고려한 HiCat 알고리즘은 DDC 분류표로부터 추출한 주제어와 학습정보를 동시에 이용함으로써 다양한 주제범주를 대표하는 적절한 용어를 확보할 수 있었다. 또한, 주제범주별 상이한 자질리스트 선정 및 소규모 자질 사용, 주제적합성 가중치를 통해 보다 정확한 분류작업을 할 수 있었다.
- HiCat 알고리즘이 전 주제범주를 대상으로 최종 주제범주를 결정하는 방식인 반면, 변형 알고리즘들은 이전 단계의 주제범주 결정이 다음 단계에 영향을 미친다. 따라서 이전 단계의 분류 오류가 최종 주제범주 결정에 영향을 미치게 되어, 세 가지 변형 알고리즘 모두 HiCat 알고리즘보다 낮은 성능을 나타냈다.
- 또한, 주제범주별 상이한 자질리스트 선정 및 소규모 자질 사용, 주제적합성 가중치를 통해 보다 정확한 분류작업을 할 수 있었다.
- 성능순위는 HiCat 알고리즘이 가장 우수하고 그 다음이 kNN 분류기, kNN_hier, NB_hier순이며 나이브베이즈 분류기의 성능이 가장 낮았다. 주제범주별 상이한 자질리스트로 학습과정을 거치는 NB_hier가 단일 자질리스트로 학습과정을 거치는 나이브 베이즈 분류기보다 F 척도의 성능이 10% 이상 향상되었다.
- 변형하여 평가해보았다. 세 변형 알고리즘 모두 기본 HiCat 알고리즘에 비해 성능이 낮게 나타났다.
- 실험 결과 HiCat 알고리즘이 가장 성능이 좋았고, 그다음이 kNN과 kNN_hier, NB_hier순이었으며, 나이브 베이즈 분류기가 가장 낮은 성능을 보여주었다.
- 실험 결과, 지식베이스의 계층적 탐색과 학습 테이블의 일반적 구축을 동시에 이용한 경우에 가장 나은 성능을 보여주었다. 특히, 지식베이스 탐색방법보다는 학습테이블 구축방법에 따른 성능차가 더 뚜렷하며 원래의 학습문서로 학습 테이블을 구축하는 경우가 계층적으로 학습 테이블을 구축하는 경우보다 F 척도 10% 이상 우수한 성능을 보였다.
- 알아보았다. 실험결과, 지식베이스의 주 제어슬롯을 계층적으로 탐색하고 각 주제범주에 속하는 학습문서만으로 학습테이블을 구축한 경우가 최적의 성능을 보여주었다.
- 일련의 실험을 통해 계층적 분류체계를 위한 HiCat 알고리즘의 성능이 일반 분류 기보다 우수함이 증명되었으며, DDC 지식베이스의 통제된 주제어와 학습정보를 동시에 이용하는 것이 다양한 주제범주로 이루어진 웹문서를 분류하는데 좋은 도구가 됨을 알 수 있었다. 따라서 특정한 분류체계의 구조와 특성을 고려한 분류 알고리즘을 통해 자동분류의 성능을 향상시킬 수 있을 것이다.
- 전체적으로, HiCat 알고리즘은 나이브 베이즈 분류기나 NB_hier에 비해서 F 척도 61% 이상 나은 성능을 보였으며, kNN 분류기와 kNN_hier 보다도 17% 이상 높은 성능을 나타냈다.
- 성능순위는 HiCat 알고리즘이 가장 우수하고 그 다음이 kNN 분류기, kNN_hier, NB_hier순이며 나이브베이즈 분류기의 성능이 가장 낮았다. 주제범주별 상이한 자질리스트로 학습과정을 거치는 NB_hier가 단일 자질리스트로 학습과정을 거치는 나이브 베이즈 분류기보다 F 척도의 성능이 10% 이상 향상되었다. kNN 분류기와 kNN_hier는 거의 동일한 성능을 보여주었다.
- 가장 나은 성능을 보여주었다. 특히, 지식베이스 탐색방법보다는 학습테이블 구축방법에 따른 성능차가 더 뚜렷하며 원래의 학습문서로 학습 테이블을 구축하는 경우가 계층적으로 학습 테이블을 구축하는 경우보다 F 척도 10% 이상 우수한 성능을 보였다.
후속연구
- 따라서 특정한 분류체계의 구조와 특성을 고려한 분류 알고리즘을 통해 자동분류의 성능을 향상시킬 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.