[논문]폭소노미 기반 개인화 웹 검색 시스템

김동욱; 강수용; 김한준; 이병정

폭소노미 기반 개인화 웹 검색 시스템
Folksonomy-based Personalized Web Search System 원문보기

디지털콘텐츠학회 논문지 = Journal of Digital Contents Society, v.11 no.1, 2010년, pp.105 - 115

김동욱 (한양대학교 전자컴퓨터통신공학과) , 강수용 (한양대학교 컴퓨터공학부) , 김한준 (서울시립대학교 전자전기컴퓨터공학부) , 이병정 (서울시립대학교 컴퓨터과학부)

초록
AI-Helper

검색엔진들은 사용자로부터 질의어를 전송받아 질의어와 관련이 가장 높은 웹 문서들을 보여주게 된다. 하지만 검색엔진이 사용자의 질의어만 가지고 사용자의 의도를 파악하여 정확한 웹 문서를 제공하기는 어렵다. 따라서 검식 엔진 시스템은 다양한 개인화 방법을 사용하여 각 사용자가 원하는 검색 결과를 보여주기 위해 노력한다. 본 논문에서는 개인화 검색을 위해 '폭소노미'를 기반으로 사용자에게 적합한 질의어를 추천해 주는 방법을 제안한다. 또한 이러한 개인화된 검색 결과를 제공하는 시스템이 가질 수 있는 프라이버시 침해 위험성을 제거하면서도 검색 서비스 제공자 입장에서는 사용자 정보를 활용한 다양한 서비스(개인화 광고등) 제공이 가능하도록 하는 개인화 검색 서비스 구조를 제안한다.

Abstract ▼ AI-Helper

Search engines provide web documents that are related to user's query. However, using only the query terms that user provided, it is hard for search engines to know user's exact intention and provide the very matching web documents. To remedy this problem, search systems are needed to exploit personalized search technologies. In this paper, we propose not only a novel personalized query recommendation scheme based on folksonomy but also a new personalized search service architecture which reduces the risk of privacy violation while enabling search service providers to provide other various personalized services such as personalized advertisement.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

폭소노미를 분석하여 사용자 프로파일을 생성할 수 있다면, 개인화 검색 시스템에서 사용자 모델 컴포넌트가 사용자 프로파일을 활용하여 개인화된 검색 결과를 보여 줄 수 있게 된다. 따라서 우리는 이 장을 통해 개인화 검색에 활용하기 위한 사용자 프로파일 생성 방법과 사용자 프로파일을 이용한 개인화 검색 방법을 제안한다.
본 논문에서는 다수의 유저에 의해 만들어진 딜리셔스의 태그 데이터를 이용하여 사용자 프로파일을 생성하고, 생성된 사용자 프로파일 정보를 활용하여 개인화된 연관 검색어를 보여주는 기법을 제안하였다. 또한, 사용자 프로파일 정보가 서버나 클라이언트 어느 한 쪽에만 저장될 경우 발생되는 문제를 해결하기 위해, 본 연구에서는 사용자의 프라이버시 위협을 줄이면서도, 서버가 사용자의 프로파일 정보를 활용하여 개인화된 서비스를 제공할 수 있는 시스템 아키텍처를 제안하였다.
본 논문에서는 다수의 유저에 의해 만들어진 딜리셔스의 태그 데이터를 이용하여 사용자 프로파일을 생성하고, 생성된 사용자 프로파일 정보를 활용하여 개인화된 연관 검색어를 보여주는 기법을 제안하였다. 또한, 사용자 프로파일 정보가 서버나 클라이언트 어느 한 쪽에만 저장될 경우 발생되는 문제를 해결하기 위해, 본 연구에서는 사용자의 프라이버시 위협을 줄이면서도, 서버가 사용자의 프로파일 정보를 활용하여 개인화된 서비스를 제공할 수 있는 시스템 아키텍처를 제안하였다.
우리는 본 논문을 통해 폭소노미를 이용하여 사용자 프로파일을 생성하는 방법과 사용자 프로파일을 통한 개인화 검색 시스템에서 발생하는 추가적인 오버헤드와 프라이버시의 위협을 줄이며 서비스 업체에서도 사용자의 프로파일 정보를 활용할 수 있는 시스템 아키텍처를 제안하고자 한다.

가설 설정

앞의 가정과 같이 사용자가 관심을 가지는 클러스터가 1만개이고 하나의 클러스터당 평균 10개의 URL을 북마킹했다면, 클러스터번호 크기가 4 byte, URL번호 크기를 4 byte로 가정해서 약 800 KB 정도의 저장 공간을 사용하게 된다. 따라서 전체 사용자 프로파일(10만개의 북마킹 URL의 정보와 약 백만 단어의 정보를 가정할 경우)을 저장하기 위해 약 15 MB의 용량이 필요하게 된다.
평균 단어의 크기를 10 byte, 클러스터 번호의 크기는 4 byte, 클러스터내의 태그 개수를 평균 100개 정도로 가정한다면, 하나의 클러스터 정보를 저장하는데, 약 1.4 KB 의 크기가 필요하다. 만약 사용자가 1만개의 클러스터에 관심이 있을 경우, 약 14 MB의 저장 공간을 사용하게 된다.

제안 방법

이를 기반으로 <표 1>, <표 2> 와 같이 URL들의 클러스터링 정보와 해당 클러스터에 포함된 태그 정보를 구성한 데이터를 생성하였다. 데이터의 저장은 검색 속도를 위해서 역파일(inverted file) 형식으로 저장하였으며, URL 번호는 클러스터에 포함된 URL 중 몇 번째 URL 인지를 나타낸다.
의미 없는 기호 등이 사용된 태그도 다수가 존재하였고, 이러한 태그들은 질의어 확장이나 추천, 재순위화에 이용될 경우 검색 시스템에큰 오류를 야기 할 수 있다. 따라서 해당 URL과 크게 관계없는 태그가 북마킹한 사용자의 수가 작은 URL에서 높은 연관도를 가지는 경우를 해결을 위해 우리는 개인화된 연관 검색어 추천 과정에서 연관도 값(M_ij)에 대한 정규화를 적용하였다. (3.
또한 IDF 값을 구하기 위해 태그가 포함된 URL의 수와 전체 URL의 수를 구해야 하는데, URL을 수집하는 방법과 수집한 전체 URL 데이터의 양에 따라 큰 차이를 보일 수 있으므로, 딜리셔스 사이트에서 정확히 제공하는 태그의 북마킹 횟수를 통하여 가중치를 계산할 수 있게 IDF 값을 전체 URL의 중에 해당 URL이 포함된 URL의 값으로 계산하지 않고, 모든 태그로 북마킹된 횟수와 특정 태그가 해당 URL을 북마킹하기 위해 사용된 횟수로 변형하여 다음과 같이 M_ij값을 계산하였다.
유사도의 정확도를 높이기 위해, 본 논문에서는 각 URL의 상위 20개의 태그만을 사용하였다. 또한, 대부분의 URL들은 북마킹 횟수가 적기 때문에 URL에 포함된 태그의 수도 적으므로(그림 2), 이러한 URL들의 유사도 보정을 위해서 각 URL에서 연관도가 높은 상위의 태그가 두 URL 모두에 3개 이상 존재하는 경우에는 두 URL간의 유사도 값을 증가시켜 주었으며 유사도가 낮은 경우에도 클러스터링 되는 것을 막기 위하여 한계점(threshold) 미만의 값은 클러스터링 되는 것을 제한하였다.
본 논문에서 제안된 연관 검색어 추천 방법은 검색 엔진에서 다수의 사용자에 의해 이슈가 되는 질의어를 모두 반영하지는 못한다. 따라서 전송되는 사용자 프로파일을 통해 질의어 기록(log)을 분석하여 사용자가 원하는 질의어만을 추가적으로 추천해 준다면 보다 좋은 연관 검색어 추천 결과를 보여주게 될 것이다.
본 논문은 개인화된 검색이 가능하고 프라이버시 문제를 해결하며, 검색엔진 서비스 업체에서는 사용자의 프로파일 정보를 활용 가능한 효율적인 시스템 아키텍처를 제안하며, 개인화된 검색을 위해 폭소노미 서비스를 제공하는 딜리셔스 사이트[13]의 데이터를 활용하여 질의어를 추천해주는 시스템을 구현하였다. 우리가 제안하는 시스템 아키텍처는 개인화된 검색을 위하여 재순위화나 질의어의 확장에도 적용할 수 있을 뿐 아니라 개인화된 태그를 추천해 주는 시스템에도 적용될 수 있을 것이다.
본 연구에서는 이 데이터들을 DB에 저장하였고, 데이터들을 생성하기 위한 진행 과정은와 같다.
이를 기반으로 , 와 같이 URL들의 클러스터링 정보와 해당 클러스터에 포함된 태그 정보를 구성한 데이터를 생성하였다.
위의 절차에 따르면, 사용자 프로파일 정보를 질의어와 같이 전송해 주어야 하기 때문에 클라이언트에 사용자 프로파일을 저장해야 한다. 이를 위해 먼저 사용자 프로파일을 저장하기위한 필요 공간과 사용자 프로파일을 생성하는 방법에 대해 기술하고, 사용자 프로파일을 질의어와같이 전송하는 방법과 전송으로 인한 오버헤드에 대해 기술한다.
최종적으로 앞에서 제안한 방법들을 통하여, 패션 블로그와 음악 블로그에 관련된 10개의 페이지을 북마크한 가상의 사용자를 설정하여 ‘blog' 질의어에 대한 연관된 검색어 추천 결과를 구글과 야후의 연관 검색어와 비교해 보았다.

대상 데이터

따라서, 코사인 유사도 계산을 위해 전체 태그 벡터를 이용한다면 실제로 유사한 URL이지만 유사도 값이 낮은 경우가 나타날 수 있다. 유사도의 정확도를 높이기 위해, 본 논문에서는 각 URL의 상위 20개의 태그만을 사용하였다. 또한, 대부분의 URL들은 북마킹 횟수가 적기 때문에 URL에 포함된 태그의 수도 적으므로(그림 2), 이러한 URL들의 유사도 보정을 위해서 각 URL에서 연관도가 높은 상위의 태그가 두 URL 모두에 3개 이상 존재하는 경우에는 두 URL간의 유사도 값을 증가시켜 주었으며 유사도가 낮은 경우에도 클러스터링 되는 것을 막기 위하여 한계점(threshold) 미만의 값은 클러스터링 되는 것을 제한하였다.

이론/모형

여기서 m은 모든 태그의 수이며, n은 모든 URL의 수이다. URL과 태그의 연관된 정도를 나타내는 연관도 값(M_ij)은 간단하게 URL j에 대해 태그 i로 북마킹한 사용자들의 수로도 표현할 수 있지만, 본 연구에서도 2.1절에서 살펴보았던 것처럼 URL과 태그의 연관도 값의 정확성을 높이기 위해 TF-IDF (Term Frequency - Inverse Document Frequency) 가중치[7,8,15]를 활용하여 다음과 같이 계산하였다.
여기서 가중치 w_{i, d}는 간단히 문서에 색인 단어가 포함되었는지의 유무로도 판단할 수 있지만, 좀 더 정확한 유사도 판단을 위해 문서에 포함된 어떤 단어가 문서 내에서 얼마나 중요한 정도를 나타내는 TF-IDF 가중치를 사용하였다.
이러한 연관 검색어를 추천해 주기 위해서 먼저 연관성이 높은 URL들을 구분하여 클러스터링하는 과정이 필요하다. 우리는 연관성이 높은 URL들을 클러스터링 하기위하여, 2.1절에서 보았던 코사인 유사도 공식[7,8,15]을 이용하여 URL간의 유사도를 계산하였다.
이러한 유사도를 기반으로 계층적 군집 클러스터링(Hierarchical agglomerative clustering) 알고리즘[15]을 사용하여 URL들을 클러스터링하였다. 그림 3에서 볼 수 있듯이, 일반적으로 다수의 사용자에 의해 사용된 중요한 태그의 수는 소수의 사용자가 사용한 덜 중요하거나 무의미한 태그의 수보다 훨씬 적다.

성능/효과

사용자가 전송한 질의어가 포함된 클러스터의 태그들 중에서 식(3)의 값이 높은 태그들을 추천해 준다면, 사용자가 북마킹한 URL에 따라 개인화된 검색어 추천 결과를 보여줄 것이다. 본 연구에서는 사용자가 전송한 질의어와의 연관성이 식(3)에 따라 가장 높은 상위 5개의 태그를 추천해주었고, 한계점(threshold) 값을 정해 너무 낮은 값의 태그가 추천되는 것을 방지하였다.
임의의 사용자가 패션(상위의 5개 URL)과 음식(하위의 5개 URL) 관련 블로그를 북마킹했다는 가정 하에 연관 검색어를 추천해 주었다. 제안된 방법은 사용자 프로파일을 통해 사용자가 선호하는 정보를 알 수 있으므로 사용자에게 특화된 연관 검색어를 추천해 준다는 것을 표 8을 통해 확인할 수 있다.

후속연구

본 논문에서 제안된 연관 검색어 추천 방법은 검색 엔진에서 다수의 사용자에 의해 이슈가 되는 질의어를 모두 반영하지는 못한다. 따라서 전송되는 사용자 프로파일을 통해 질의어 기록(log)을 분석하여 사용자가 원하는 질의어만을 추가적으로 추천해 준다면 보다 좋은 연관 검색어 추천 결과를 보여주게 될 것이다.
본 논문에서는 간단하고 명확한 결과를 볼 수 있도록 연관 검색어 추천에 초점을 맞추어 개인화 시스템을 구현하였지만, 검색어 확장, 검색 결과의 재순위화, 개인화 맞춤 광고 등의 서비스에도 활용이 가능하며, 태그 추천 분야의 시스템 아키텍처로도 활용할 수 있을 것이다. 따라서 추후 연구를 통해 기존의 다양한 정보검색 분야의 기법들을 적용한 시스템 아키텍처를 구현하며, 개선점을 발견하여 보완하는 연구를 진행하고자 한다.
또한 사용자들에 의해 해당 URL의 문서를 분류하는 기준으로 삼은 단어는 검색 엔진에서 해당 문서를 검색하기 위한 질의어로 사용되는 경우가 많았다. 따라서 해당질의어와 연관성이 높은 URL의 태그들 중 앞절에서 구한 연관도 값(M_ij)이 높은 태그를 연관 질의어로 추천해준다면 효과적인 추천이 될 것이다. 이러한 연관 검색어를 추천해 주기 위해서 먼저 연관성이 높은 URL들을 구분하여 클러스터링하는 과정이 필요하다.
본 논문에서는 간단하고 명확한 결과를 볼 수 있도록 연관 검색어 추천에 초점을 맞추어 개인화 시스템을 구현하였지만, 검색어 확장, 검색 결과의 재순위화, 개인화 맞춤 광고 등의 서비스에도 활용이 가능하며, 태그 추천 분야의 시스템 아키텍처로도 활용할 수 있을 것이다. 따라서 추후 연구를 통해 기존의 다양한 정보검색 분야의 기법들을 적용한 시스템 아키텍처를 구현하며, 개선점을 발견하여 보완하는 연구를 진행하고자 한다.
본 논문은 개인화된 검색이 가능하고 프라이버시 문제를 해결하며, 검색엔진 서비스 업체에서는 사용자의 프로파일 정보를 활용 가능한 효율적인 시스템 아키텍처를 제안하며, 개인화된 검색을 위해 폭소노미 서비스를 제공하는 딜리셔스 사이트[13]의 데이터를 활용하여 질의어를 추천해주는 시스템을 구현하였다. 우리가 제안하는 시스템 아키텍처는 개인화된 검색을 위하여 재순위화나 질의어의 확장에도 적용할 수 있을 뿐 아니라 개인화된 태그를 추천해 주는 시스템에도 적용될 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	검색엔진 시스템은 불분명한 의미의 질의어에 대해 정확히 사용자가 원하는 정보가 포함된 문서만 보여주기 어려운 경우의 예는?	또한 검색엔진 시스템은 불분명한 의미의 질의어에 대해 정확히 사용자가 원하는 정보가 포함된 문서만을 선택하여 보여주기 어렵다. 예를 들어, 생물학에 관심이 많은 사용자가 생물학적 바이러스의 의미를 가진 문서를 검색하기 위해“Virus” 키워드를 질의어로 전송할 때, 검색 엔진 시스템은 해당 질의어가 생물학적 바이러스인지, 컴퓨터 바이러스인지 짧은 질의어만을 가지고 정확히 알기가 어렵다. 이러한 문제는 사용자가 직접 연관된 키워드를 추가적으로 선택하고 처음 선정했던 키워드를 포함하여 질의어를 재전송하는 방법과 검색엔진 시스템에서 자동으로 사용자 프로파일의 정보를 바탕으로 개인화된 검색 결과를 보여주는 방법으로 해결할 수 있다.
	폭소노미란 무엇인가?	폭소노미란 전통적인 분류 기준인 디렉토리 대신 태그에 따라 나누는 새로운 분류 체계로서“사람들에 의한 분류법”이란 의미이다. 폭소노미가 기존의 분류체계와 다른 점은 구성원들이 자발적으로 개별정보에 의미를 부여함으로써 단위 정보를 체계화한다는 것이다.
	벡터 공간 모델은?	벡터 공간 모델은 텍스트 문서를 색인 단어(index term)들의 벡터로 나타내는 대수적(algebraic) 모델이다[8]. 벡터 공간 모델을 잘 활용하기 위하여 다양한 방법론들의 활용과 실제 적용 결과에 대한 연구들이 진행되어 왔으며[7,8,15], 다양한 방법들 중 본 연구에서도 활용한 방법은 다음과 같다.

참고문헌 (15)

Dou, Z., Song, R., and Wen, J.R. (2007). A large-scale evaluation and analysis of personalized search strat egies. In Proceedings of WWW ''07, 581-590.
S. Wedig and O. Madani. A large-scale analysis of query logs for assessing personalization opportuniti es. In Proceedings of KDD ''06, pages 742-747, 2006.
E. Volokh. Personalization and privacy. Communicati ons of the ACM, 43(8):84-88, 2000.

상세보기
X. Shen, B. Tan, and C. Zhai. Implicit user modeling for personalized search. In Proceedings of CIKM '05, pages 824-831, 2005.
Micarelli, A., Gasparetti, F., Sciarrone, F., and Gauch S.: Personalized Search on the World Wide Web. In Brusilovsky, P., Kobsa, A., Nejdl, W. (eds.): The Adaptive Web: Methods and Strategies of Web Personalization, Lecture Notes in Computer Science, Vol. 4321. Springer-Verlag, Berlin Heidelberg New York (2007) this volume
S. Xu, S. Bao, B. Fei, Z. Su, and Y. Yu. Exploring Folksonomy for Personalized Search. In Proc. of SIGIR' 08, 2008, 155-162.
BAEZA-YATES, R. AND RIBIERO-NETO, B. 1999. Modern Information Retrieval. Addison-Wesley Longman, Boston, Mass.
SALTON, G., WONG, A., AND YANG, C. 1975. A vector space model for automatic indexing. Commun. ACM 18, 11, 613-620.

상세보기
R. Li, S. Bao, B. Fei, Z. Su, and Y. Yu. Towards Effective Browsing of Large Scale Social Annotations. In WWW '07: Proceedings of the 16th international conference on World Wide Web, 2007. Track: Web Engineering, Session: End-User Perspectives and measurement in Web Engineering.
P.A. Chirita, W. Nejdl, R. Paaju, and C. Kohlschutter. Personalized Query Expansion for the web. In Proceeding SIGIR '07
R. Baeza-Yates, C. Hurtado, and M. Mendoza. Query recommendation using query logs in search engines. In International Workshop on Clustering Information over the Web (ClustWeb, in conjunction with EDBT), Creete, Greece, March, Springer, LNCS, 2004, 588-596.
Z. Zhiyong, N. Olfa. Mining Search Engine Query Logs for Query Recommendation. In Proceeding WWW 2006.
http://flickr.com/
http://delicious.org/
Manning, C., Raghavan, P. and Schutze, H. (2008) Introduction to Information Retrieval, Cambridge University Press, Cambridge, MA.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증