[논문]강화학습 기반 사용자 프로파일 학습

김영란; 한현구

강화학습 기반 사용자 프로파일 학습
Learning User Profile with Reinforcement Learning 원문보기

김영란 (한국외국어대학교 컴퓨터 및 정보통신공학과) , 한현구 (한국외국어대학교 컴퓨터 및 정보통신공학과)

정보검색 태스크에서 사용자 모델링의 목적은 관련정보 검색을 용이하게 해주기 위하여 사용자의 관심도 또는 필요정보의 모델을 학습하는 것으로 시간적인 속성(temporal characteristics)을 가지며 관심 이동을 적절하게 반영하여야 한다. 강화학습은 정답이 주어지지 않고 사용자의 평가만이 수치적으로 주어지는 환경에서 평가를 최대화 한다는 목표를 가지므로 사용자 프로파일 학습에 적용할 수 있다. 본 논문에서는 사용자가 문서에 대해 행하는 일련의 행위를 평가값으로 하여 사용자가 선호하는 용어를 추출한 후, 사용자 프로파일을 강화학습 알고리즘으로 학습하는 방법을 제안한다. 사용자의 선호도에 적응하는 능력을 유지하기 위하여 지역 최대값들을 피할 수 있고, 가장 좋은 장기간 최적정책에 수렴하는 R-Learning을 적용한다. R-learning은 할인된 보상값의 최적화보다 평균 보상값을 최적화하기 때문에 장기적인 사용자 모델링에 적합하다는 것을 제시한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

Letizia[기는 사용자가 다양한 action을 수행한 것을 가지고 (예: 프린트 또는 북마크에 저장) 사용자가 웹 페이지에 관심이 있는지 추론한다. 사용자 행위를 추적하는 것으로 검색된 문서의 현재 위치에서 링크에 공존하거나 또는 자율적으로 탐색하여 관 심도가 있는 사항올 예상하도록 한다. 에이전트는 Best-First Search로 구성된 브라우징 전략을 자동으로 조작할 수 있게 한다.

제안 방법

본 논문에서는 사용자의 문서에 대한 관심도에서 사용자가 선호하는 용어를 추출하여, 이를 강화학습 알고리즘으로 사용자 프로파일을 학습하는 방법을 제안한다. 사용자의 선호도에 대한 적 응력을 유지하기 위하여 R-Learning올 적용함으로써 할인된 보 상값을 최적화하는 것보다 평균 보상값을 최적화하는 R- learning이 장기적인 사용자모델링에 적합하다는 것올 제시한다.
본 논문에서는 사용자의 문서에 대한 관심도에서 사용자가 선호하는 용어를 추출하여, 이를 할인된 보상값을 최적화하는 것보다 평균 보상값을 최적화하는 R-learning 강화학 습 알고리즘으로 사용자 프로파일을 학습하는 방법을 제안 하였다.
Syskill & Webert[3]는 웹을 브라우징하는 동안 사용자가 아이콘(thumbs up 또는 thumbs down)을 클릭 하게 하여 관심도를 명시적으로 식별한다. 사용자 평가가 세션마다 따로 유지되고 MDL(minimum description length)원리를 이용하여 사 용자 프로파일을 학습한다. 이에 적합한 문서를 분류하기 위해 나이브 베이스 분류기를 사용한다.
학습 에이전트의 목표는 사용자가 관심을 보인 문서에서 가중치를 부여하여 용어를 선별한 후 최적의 프로파일을 유지하는 것이다. 사용자가 관심을 보인 문서에서 행동-가치 함수(action-value function)가 용어추출정책에 얼마나 유 응한가를 평가한다.
사용자의 프로파일과 문서간의 유사도를 측정하기 위해 웹 문서를 TF 벡터로 변환하고, 용어 빈도 순위가 높은 n개로 특징 벡터를 구성한다. 유사도 정량화는 두 벡터간의 cosine 유사도 측정법 을 사용한다.
이와 같은 사항을 만족시 키기 위하여, 사용자 프로파일을 주제별로 동적으로 생성하며 사용자의 관심도가 일정 기간 내에 정기적인 출현인가 아닌가를 구별하고 단계마다 평균 보상값을 최대화하여 학습한다.

이론/모형

BiHsus와 Pazzani[5]는 사용자의 흥미 변화에 적응할 수 있도록 관찰 시간별로 적웅 속도의 차이를 두는 단기 모델과 장기 모델을 적용한 NewsDude라는 지능 에이전트를 기술 하였다. Nearest-Neighbor 분류 알고리즘을 사용하여 뉴스에서의 최근 관측을 사용자 관심에 대한 단기간 모델로 만든다. 만약에 단기간 모델이 충분한 확신이 있는 예측을 만들 수 없으면, 분류는 장기간 동안에 수집된 관측을 기반으로 하는 나이브 베이스 분류기에게 위임된다.
강화학습은 마코프 의사결정 문제(MDP: Markov decision Problem) 프레임 워크를 기반으로 한다. MDP는 상태집합 S, 행 동집합 A, 그리고 상태(또는 행동)에 사상되는 보상함수로 구성 된다.
사용자의 프로파일과 문서간의 유사도를 측정하기 위해 웹 문서를 TF 벡터로 변환하고, 용어 빈도 순위가 높은 n개로 특징 벡터를 구성한다. 유사도 정량화는 두 벡터간의 cosine 유사도 측정법 을 사용한다.

성능/효과

본 논문에서는 사용자의 문서에 대한 관심도에서 사용자가 선호하는 용어를 추출하여, 이를 강화학습 알고리즘으로 사용자 프로파일을 학습하는 방법을 제안한다. 사용자의 선호도에 대한 적 응력을 유지하기 위하여 R-Learning올 적용함으로써 할인된 보 상값을 최적화하는 것보다 평균 보상값을 최적화하는 R- learning이 장기적인 사용자모델링에 적합하다는 것올 제시한다.
사용자 모델링을 실세계에 적용하는데 제약이 되는 중대한 쟁점은 현재 4가지이다[1]. 첫째, 실세계의 사용자 모델 링작업에서 정밀도를 갖기 위해 학습 알고리즘은 대량의 데 이터 집합을 필요로 한다. 둘째, 관심도를 표현한 레이블된 데이터를 필요로 한다.

후속연구

현재까지의 연구결과에 성능향상을 위해 보완해야 할 점은 사용자의 행위 관련 메시지에서 노이즈를 필터링하는 것과 현재상태에서 과거를 얼마나 추정하여 용어를 선택할 것인가를 결정하는 연구가 진행되어야 한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

강화학습 기반 사용자 프로파일 학습
Learning User Profile with Reinforcement Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

강화학습 기반 사용자 프로파일 학습 Learning User Profile with Reinforcement Learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

강화학습 기반 사용자 프로파일 학습
Learning User Profile with Reinforcement Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper