[논문]선택적 자질 차원 축소를 이용한 최적의 지도적 LSA 방법

김정호; 김명규; 차명훈; 인주호; 채수환

선택적 자질 차원 축소를 이용한 최적의 지도적 LSA 방법
Optimal supervised LSA method using selective feature dimension reduction 원문보기

감성과학 = Science of emotion & sensibility, v.13 no.1, 2010년, pp.47 - 60

김정호 (한국항공대학교 컴퓨터공학과) , 김명규 (한국항공대학교 컴퓨터공학과) , 차명훈 (한국항공대학교 컴퓨터공학과) , 인주호 ((주)이엠넷) , 채수환 (한국항공대학교 항공전자정보통신공학부)

초록
AI-Helper

기존 웹 페이지 자동분류 연구는 일반적으로 학습 기반인 kNN(k-Nearest Neighbor), SVM(Support Vector Machine)과 통계 기반인 Bayesian classifier, NNA(Neural Network Algorithm)등 여러 종류의 분류작업에서 입증된 분류 기법을 사용하여 웹 페이지를 분류하였다. 하지만 인터넷 상의 방대한 양의 웹 페이지와 각 페이지로부터 나오는 많은 양의 자질들을 처리하기에는 공간적, 시간적 문제에 직면하게 된다. 그리고 분류 대상을 표현하기 위해 흔히 사용하는 단일(uni-gram) 자질 기반에서는 자질들 간의 관계 분석을 통해 자질에 정확한 의미를 부여하기 힘들다. 특히 본 논문의 분류 대상인 한글 웹 페이지의 자질인 한글 단어는 중의적인 의미를 가지는 경우가 많기 때문에 이러한 중의성이 분류 작업에 많은 영향을 미칠 수 있다. 잠재적 의미 분석 LSA(Latent Semantic Analysis) 분류기법은 선형 기법인 특이치 분해 SVD(Singular Value Decomposition)을 통해 행렬의 분해 및 차원 축소(dimension reduction)를 수행하여 대용량 데이터 집합의 분류를 효율적으로 수행하고, 또한 차원 축소를 통해 새로운 의미공간을 생성하여 자질들의 중의적 의미를 분석할 수 있으며 이 새로운 의미공간상에 분류 대상을 표현함으로써 분류 대상의 잠재적 의미를 분석할 수 있다. 하지만 LSA의 차원 축소는 전체 데이터의 표현 정도만을 고려할 뿐 분류하고자 하는 범주를 고려하지 않으며 또한 서로 다른 범주 간의 차별성을 고려하지 않기 때문에 축소된 차원 상에서 분류 시 서로 다른 범주 데이터간의 모호한 경계로 인해 안정된 분류 성능을 나타내지 못한다. 이에 본 논문은 새로운 의미공간(semantic space) 상에서 서로 다른 범주사이의 명확한 구분을 위한 특별한 차원 선택을 수행하여 최적의 차원 선택과 안정된 분류성능을 보이는 최적의 지도적 LSA을 소개한다. 제안한 지도적 LSA 방법은 기본 LSA 및 다른 지도적 LSA 방법들에 비해 저 차원 상에서 안정되고 더 높은 성능을 보였다. 또한 추가로 자질 생성 및 선택 시 불용어의 제거와 자질에 대한 가중치를 통계적인 학습을 통해 얻음으로써 더 높은 학습효과를 유도하였다.

Abstract ▼ AI-Helper

Most of the researches about classification usually have used kNN(k-Nearest Neighbor), SVM(Support Vector Machine), which are known as learn-based model, and Bayesian classifier, NNA(Neural Network Algorithm), which are known as statistics-based methods. However, there are some limitations of space and time when classifying so many web pages in recent internet. Moreover, most studies of classification are using uni-gram feature representation which is not good to represent real meaning of words. In case of Korean web page classification, there are some problems because of korean words property that the words have multiple meanings(polysemy). For these reasons, LSA(Latent Semantic Analysis) is proposed to classify well in these environment(large data set and words' polysemy). LSA uses SVD(Singular Value Decomposition) which decomposes the original term-document matrix to three different matrices and reduces their dimension. From this SVD's work, it is possible to create new low-level semantic space for representing vectors, which can make classification efficient and analyze latent meaning of words or document(or web pages). Although LSA is good at classification, it has some drawbacks in classification. As SVD reduces dimensions of matrix and creates new semantic space, it doesn't consider which dimensions discriminate vectors well but it does consider which dimensions represent vectors well. It is a reason why LSA doesn't improve performance of classification as expectation. In this paper, we propose new LSA which selects optimal dimensions to discriminate and represent vectors well as minimizing drawbacks and improving performance. This method that we propose shows better and more stable performance than other LSAs' in low-dimension space. In addition, we derive more improvement in classification as creating and selecting features by reducing stopwords and weighting specific values to them statistically.

주제어

질의응답

핵심어	질문	논문에서 추출한 답변
	기존 웹 페이지 자동분류는 어떤 기법을 사용하여 웹 페이지를 분류했는가?	기존 웹 페이지 자동분류 연구는 일반적으로 학습 기반인 kNN(k-Nearest Neighbor), SVM(Support Vector Machine)과 통계 기반인 Bayesian classifier, NNA(Neural Network Algorithm)등 여러 종류의 분류작업에서 입증된 분류 기법을 사용하여 웹 페이지를 분류하였다. 하지만 인터넷 상의 방대한 양의 웹 페이지와 각 페이지로부터 나오는 많은 양의 자질들을 처리하기에는 공간적, 시간적 문제에 직면하게 된다.
	LSA가 문서 또는 웹 페이지 분류에서 성능 향상의 한계를 보인 이유는?	하지만 LSA는 문서 또는 웹 페이지 분류에서 성능 향상의 한계를 보였다. 이러한 이유는 SVD를 통한 새로운 의미공간 생성 및 차원의 축소 과정에서 선택되는 저차원 공간은 오직 새로운 의미공간 상 분류 데이터를 표현하는 정도만을 고려할 뿐 분류하고자 하는 서로 다른 범주간의 구분을 고려하지 않기 때문이다(Sun et al., 2004)(Chakraborti et al.
	LSA 분류 기법은 어떤 문제를 완화시킬 수 있는가?	잠재적 의미 분석인 LSA 분류 기법은 벡터모델 분류 기법으로써, 선형 기법인 SVD을 이용해 행렬로부터 새로운 의미공간을 생성하고 그 중 큰 의미가 없는 즉, 분류 대상에 대한 표현력이 약한 차원을 제거한 최적의 차원만으로 분류 대상을 표현하여 분류함으로써 앞의 시간적, 공간적 제약 문제를 완화시킬 수 있다. 그리고 새로운 의미공간으로부터 문서 혹은 자질의 중의적인 의미를 고려하여 잠재된 의미분석을 가능하게 한다.

참고문헌 (20)

고영중, 서정연 (2002). 문서관리를 위한 자동문서범주화에 대한 이론 및 기법. 정보관리연구, 33(2), 19-32.

원문보기 상세보기
김도겸, 엄재홍, 장병탁 (2009). Latent Semantic Analysis를 이용한 Naive Bayes 텍스트 분류. 한국컴퓨터종합학술대회 논문집, 36(1), 149-150
신동호 (1999). LSA를 이용한 정보검색용 시소러스 구축. 지식표현 및 추론 기말 보고서, 서울: 서울대학교 인지과학 협동과정
신동호 (2000). LSA를 이용한 내용기반 정보검색 시스템. 서울대학교 공학석사 학위논문.
이경찬, 강승식 (2002). 범주 대표어의 가중치 계산 방식에 의한 자동 문서 분류 시스템. 한국정보과학회 2002년도 봄 학술발표논문집, 29(1), 475-477
이태헌, 김청택 (2004). LSA 모형에서 다의어 의미의 표상. 인지과학, 15(2), 23-31.
이지혜, 정영미 (2009). 지도적 잠재의미색인(LSI)기법을 이용한 의견 문서 자동 분류에 관한 실험적 연구. 정보관리학회지, 26(3), 2009, 451-462.

원문보기 상세보기
조태호 (1998). 신경망 또는 k-NN에 의한 신문기사 분류와 그의 성능 비교. 한국정보과학학회 가을 학술발표논문집, 25(2), 363-365.
Chakraborti, S., Lothian, R., Wiratunga, N. & Watt, S. (2006). Sprinkling: Supervised Latent Semantic Indexing. Lecture Notes in Computer Science, 3936, 510-514.
Chen R. C. & Hsieh C. H. (2006). Web page classification based on a support vector machine using a weighted vote schema. Expert Systems with Applications 31, 427-435.

상세보기
Kontostathis A. & Pottenger W. M. (2006). A framework for understanding Latent Semantic Indexing (LSI) performance. Information Processing and Management, 42(1), 56-73.

상세보기
Landauer, T. K, Foltz, P. W., & Laham, D. (1998). An Introduction to Latent Semantic Analysis. Discourse Processes, 25, 259-284.

상세보기
Li, S., Zong, C., & Wangm, X. (2007). Sentiment Classification through Combining Classifiers with Multiple Feature Sets. Natural Language Processing and Knowledge Engineering International Conference, 135-140.
Praks, P., Dvorsky, J., & Snasel, V. (2003). Latent Semantic Indexing for Image Retrieval Systems. In Proccessing SIAM Conference on Applied Linear Algebra.
Qi, X., & Davison, B. D. (2009). Web Page Classification : Features and Algorithms. Association for Computing Machinery, 41(2), 1-31.
Rosario B. (2000). Latent Semantic Indexing: An overview. INFOSYS, Spring Final Paper.
Selamat A. & igeru Omatu S. (2004). Web page feature selection and classification using neural networks. Information sciences, 158, 69-88.

상세보기
Sun, J. J., Chen, Z., Zeng, H. J., Lu, Y. C., Shi, C. Y. & Ma, W. Y. (2004). Supervised Latent Semantic Indexing for Document Categorization. Fourth IEEE International Conference on Data Mining, 535-538.
Wan, Y. & Tong, H. (2008). Categorization and Monitoring of Internet Public Opinion Based on Latent Semantic Analysis. International Seminar on Business and Information Management, 2, 121-124.
Zhang, Y., Fan, B. & Xiao, L. B. (2008). Web Page Classification Based-on A Least Square Support Vector Machine with Latent Semantic Analysis. Proceedings of the 2008 Fifth International Conference on Fuzzy Systems and Knowledge Discovery, 2, 528-532.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증