[논문]부정적 피드백과 강화학습을 이용한 사용자 프로파일 학습

손기준; 임수연; 이상조

doi:10.5391/jkiis.2007.17.6.754

부정적 피드백과 강화학습을 이용한 사용자 프로파일 학습
Learning for User Profile Based on Negative Feedback and Reinforcement Learning 원문보기

퍼지 및 지능시스템학회 논문지 = Journal of fuzzy logic and intelligent systems, v.17 no.6, 2007년, pp.754 - 759

손기준 (경북대학교 컴퓨터공학과) , 임수연 (경북대학교 컴퓨터공학과) , 이상조 (경북대학교 컴퓨터공학과)

초록
AI-Helper

정보추천은 동적인 사용자의 정보요구를 기준으로 문서들을 선별하여 제시한다. 사용자의 정보요구는 하나 이상의 단어들로 구성된 프로파일로 표현이 되며, 문서의 추천 과정 동안에 발생하는 사용자의 관련성 평가를 통해 구체적인 내용으로 변할 수 있다. 기존 연구의 경우 사용자는 자신이 직접 관련성 평가에 참여하여 평가 정보를 입력하고, 사용자가 평가한 긍정적 피드백 정보를 이용하여 사용자 프로파일을 학습한다. 본 연구는 사용자가 평가한 긍정적 피드백, 부정적 피드백 정보와 강화학습을 이용한 사용자 프로파일의 학습 방법을 제안한다. 제안된 방법과 기존의 긍정적 평가 정보만을 이용한 방법의 성능을 측정하기 위해 동일한 토픽에 대한 추천 성능을 비교 실험하였다. 실험한 결과 제안된 방식에 의한 추천성능이 긍정적 평가 정보만을 이용한 피드백 방법보다 나은 성능을 보였다.

Abstract ▼ AI-Helper

The information recommendation system offers selected documents according to information needs of dynamic users. User's needs are expressed as profiles consisting of one or more words and may be changed into some specifics through relevance feedback made by users during the recommendation process. In previous research, users have entered relevance information by taking part in explicit relevance feedbacks and learned user profiles using the positive relevance feedbacks. In this paper, we learn user profiles using not only positive relevance feedback but negative relevance feedback and reinforcement learning. To compare the proposed with previous method, we performed experiments to evaluate recommendation performance of the same topic. As a result, the former shows the improved performance than the latter does.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 사용자의 긍정적, 부정적 평가 정보를 이용하여 사용자의 선호도를 학습하고, 이를 통하여 개인 사용자의 선호도에 적합한 문서를 여과하는 방법을 제시하였다. 기존의 수동적인 문서 여과 시스템은 많은 양의 문서들 중 사용자의 선호도에 맞는 문서를 선택해 주지만 동적인 환경에서 새로운 정보를 능동적으로 여과하지는 못한다.
실험의 목적은 사용자의 명시적 평가 정보에서 긍정적 평가 정보만을 이용한 경우와 부정적 평가 정보를 함께 이용한 경우에 대하여 결과를 비교 한다. 실험은 다음 세 가지 경우에 대하여 수행하였다.

가설 설정

그러나 실제적으로 사용자의 프로파일은 사용자의 관심도의 변화와 시간의 경과에 따라서 달라질 수 있다. 본 연구에서는 사용자의 관심도 변화는 없다는 가정 하에 실험을 수행한다.
실험에 사용한 네 가지 토픽은 올림픽, 유가(油價) 기사, 연예계 기사, 문화 기사로 구성되어진다. 실험 조건상 사용자 관심도 변화는 없는 것으로 가정 하였다.

제안 방법

본 논문은 사용자의 선호도 학습을 위해 사용자가 평가한 긍적적 평가 정보와 부정적(negative) 평가 정보를 함께 이용하여 선호도로 부여하고, 사용자 선호도 학습에는 강화학습을 이용한다. 이렇게 학습된 프로파일을 이용하여 사용자의 선호도에 적합한 문서를 여과하는 방법을 제안한다.
본 연구에서 제안한 방법은 사용자의 긍정적, 부정적 평가정보와 강화학습을 이용하여 사용자의 프로파일을 학습한 뒤그 프로파일을 사용하여 사용자의 관심에 맞는 문서를 여과해주는 여과 시스템으로 동적인 환경에서도 능동적으로 사용자의 정보 요구에 응할 수 있는 장점을 가진다.
주어진 상태 집합에서 행동을 선택하는 방법은 세 가지 탐욕적 행동 선택 정책(greedy action selection), e-탐욕 행동 선택 정책(e-greedy action selection), 소프트맥스 행동선택 정책(softmax action selection)으로 나눌 수 있다⑹. 본 연구에서는 탐욕적 행동 선택 정책을 사용한다. 탐욕적행동 선택 정책은 주어진 시간 t에 추정된 행동의 값들이 가장 높은 값을 갖는 행동을 선택하는 방법으로 행위자는 현재의 지식만을 이용하게 된다.
실험은 각 토픽별로 강화학습을 이용한 경우, 긍정적 평가정보를 이용한 경우, 긍정적 평가 정보와 부정적 평가 정보를 함께 이용한 경우에 대하여 여과 시스템에 성능을 평가하였다. 여과 시스템의 성능 평가 척도로는 정확률과 재현율을 이용하여 평가 하였다.
이러한 역할을 수행하기 위해서 사용자로부터 명시적 평가를 받고 이를 이용하여 사용자의 프로파일을 생성한 후 사용자의 관심에 해당하는 신문기사를 여과한다.
이용한다. 이렇게 학습된 프로파일을 이용하여 사용자의 선호도에 적합한 문서를 여과하는 방법을 제안한다. 본 논문의 구성은 다음과 같다.
실험은 다음 세 가지 경우에 대하여 수행하였다. 첫째, 강화학습을 이용한 경우, 둘째, 긍정적 평가 정보를 이용한 경우, 셋째, 긍정적 평가 정보와 부정적 평가 정보도 함께 이용한 경우에 대하여 실험을 수행한다.

대상 데이터

실험에 사용된 데이터는 중앙일보 신문기사를 대상으로 수집된 총 400개의 문서를 사용한다. 이 문서의 구성은 중앙일보 웹 사이트에서 제공되는 10개의 카테고리에서 각각 40 개의 문서를 수집 사용하였고, 문서의 내용은 정치, 경제, 스포츠, 문화 등으로 구성되어 있다.
여과 성능을 평가한다. 실험에 사용한 네 가지 토픽은 올림픽, 유가(油價) 기사, 연예계 기사, 문화 기사로 구성되어진다. 실험 조건상 사용자 관심도 변화는 없는 것으로 가정 하였다.
총 400개의 문서를 사용한다. 이 문서의 구성은 중앙일보 웹 사이트에서 제공되는 10개의 카테고리에서 각각 40 개의 문서를 수집 사용하였고, 문서의 내용은 정치, 경제, 스포츠, 문화 등으로 구성되어 있다.
평가 대상 문서로는 여과 시스템에서 여과되는 문서 중상위에 랭크 된 10, 20, 30 개의 문서를 대상으로 한다. 제안한 방법을 여과 시스템에 적용한 실험결과는 그림 4와 같다.

데이터처리

여과 시스템의 성능 평가 척도로는 정확률과 재현율을 이용하여 평가 하였다.

이론/모형

문서들을 전처리 과정을 통하여 TF(term frequency)벡터로 표현하고, 이 문서들에 나오는 단어들과 사용자의 프로파일에 나오는 단어들을 이용하여 보상함수 R(s) 를 구하고, 사용자 프로파일과 문서간의 유사도를 측정하기 위해 코사인유사도 측정법을 사용한다.
사용자의 선호도를 학습하기 위해 사용자의 평가를 이용한 피드백 방법을 이용한다. 이러한 피드백 방법(relevance feedback)은 사용자로부터 주어진 명시적(explicit)인 평가값을 이용하여 프로파일을 학습하며, 사용자 프로파일이 생성되면 이 프로파일을 이용하여 정보를 여과한다.
학습과정에서 프로파일의 용어 재구성은 E-greedy 정책을 사용하여 선택한다. 프로파일의 n개의 용어들은 사용자가 관심을 보인 문서의 용어벡터와 프로파일 벡터를 병합한 용어들에서 가중치가 높은 n개로 구성한다.

성능/효과

그림 4에서 RLe 기준 시스템으로서 강화학습을 이용하여 여과한 결과이다. RL+Pose 강화학습과 긍정적 평가 정보만을 이용한 결과이며, RL+Pos+Nege 강화학습과 긍정적, 부정적 평가정보도 함께 이용한 결과이다.
그림 4에서 볼 수 있듯이 사용자로부터 받은 긍정적 평가정보만을 이용하여 프로파일을 학습 한 경우보다 부정적 평가 정보도 함께 이용한 방법이 상위 10개의 문서를 대상으로 하였을 경우 정확률에서 각각 5%, 8%, 4%, 2%까지 향상 되었으며, 재현율은 각각 17%, 11%, 11.5%, 12%까지 향상 되었다.
실험한 결과, 제시된 방법이 특정 주제에 대한 관심에 보다 적절한 문서들을 제시하는 것을 보았다. 즉 사용자가 제시한 긍정적, 부정적 평가 정보를 이용하여 사용자 프로파일을 학습하였을 경우 일반적인 긍정적 평가 정보만을 이용한 방법 보다 나은 성능을 보였다.
것을 알 수 있다. 여과 대상 문서를 상위 30개로 하였을 경우 정확률은 각각 82%, 90%, 89%, 85%로 나타났고, 재현율은 78%, 83%, 72%, 70%로 나타났다. 이 결과는 상위 20 개의 문서를 대상으로 하였을 경우보다 정확률은 15%, 재현율은 9% 향상됨을 볼 수 있었다.
여과 대상 문서를 상위 30개로 하였을 경우 정확률은 각각 82%, 90%, 89%, 85%로 나타났고, 재현율은 78%, 83%, 72%, 70%로 나타났다. 이 결과는 상위 20 개의 문서를 대상으로 하였을 경우보다 정확률은 15%, 재현율은 9% 향상됨을 볼 수 있었다. 하지만 일반적인 주제를 다루는 Topic 3과 Topic 4는 큰 성능의 향상을 보이지 않았다.
적절한 문서들을 제시하는 것을 보았다. 즉 사용자가 제시한 긍정적, 부정적 평가 정보를 이용하여 사용자 프로파일을 학습하였을 경우 일반적인 긍정적 평가 정보만을 이용한 방법 보다 나은 성능을 보였다. 사용자들이 많은 양의 기사를모두 읽고 자신의 관심 주제를 오류 없이 모두 명시하는 것이 쉽지 않은 일이므로, 어느 정도의 오류 및 누락과 관계없이 동작할 수 있는 이러한 특징은, 신문기사 여과 서비스와 같은 실용적인 용도의 여과를 위해 바람직한 것으로 보인다.

후속연구

사용자들이 많은 양의 기사를모두 읽고 자신의 관심 주제를 오류 없이 모두 명시하는 것이 쉽지 않은 일이므로, 어느 정도의 오류 및 누락과 관계없이 동작할 수 있는 이러한 특징은, 신문기사 여과 서비스와 같은 실용적인 용도의 여과를 위해 바람직한 것으로 보인다. 향후 과제로는 동적인 사용자의 관심변화 정보를 반영한 사용자 프로파일의 학습 방법에 대한 연구가 필요하다. 이와더불어 문서에 대한 사용자의 선호도를 학습하는데 문서의 구조 정보를 이용한 방법과 문서의 연관성 평가 시 문서간의 구조적인 관계를 이용하는 방법에 대한 연구가 필요하다.

참고문헌 (10)

Seo, Y, Zang, B., 'Personalized Web Document Filtering Using Reinforcement Learning,' Applied Artificial Intelligence, Vol. 15(7), pp. 665-685, 2001

상세보기
Tak W. Yan, Hector Garcia-Molina, 'SIFT-A Tool for Wide-Area Information Dissemination,' Proceeding of the 1995 USENEX Techical Conference, pp. 177-186, 1995
M. Balabanovic, Y. Shoham, 'Learning Information Retrieval Agent: Experiments with Automated Web Browsing,' In Proceeding of the AAAI Spring Symposium on Information Gathering, Stanford, CA, March 1995
Shardanand. U., and Maes 'Social Information Filtering: Algorithmic for Automating Word of Mouth,' In Conference on Human Factors In Computing System(CHI'95), pp. 210-217, 1995
M. Pazzani, J. Muramatsu, D. Billsus 'Syskill & Webert: Identifying interesting web sites,' National Conference on Artificial Intelligence, vol. 1, pp. 54-61, 1996
R. S. Sutton, A. G. Barto, Reinforcement Learning: An Introduction, MIT Press, 1998
L. P. Kaelbling, M. L. L. Littman and A. W. Moore, 'Reinforcement Learning: A Survey,' Journal of AI Research, vol. 4, pp. 237-285, 1996
G. Salton, M. J. McGill, Introduction to modern information retrieval, McGraw Hill, 1983
강승식, 'HAM v.470c: 한국어 형태소 분석기와 한국어 분석 모듈,' http://nlp.kookmin.ac.kr/ham/ham.html
T. M. Mitchell, Machine Learning, McGraw Hill, 1997

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증