[논문]강화 학습 알고리즘을 통한 하이브리드 필터링 이미지 추천 시스템

심연; 신학철; 김대기; 홍요훈; 이필규

doi:10.7236/jiwit.2012.12.3.75

강화 학습 알고리즘을 통한 하이브리드 필터링 이미지 추천 시스템
Reinforcement Learning Algorithm Based Hybrid Filtering Image Recommender System 원문보기

한국인터넷방송통신학회 논문지 = The journal of the Institute of Internet Broadcasting and Communication, v.12 no.3, 2012년, pp.75 - 81

심연 (인하대학교 컴퓨터정보공학과) , 신학철 (인하대학교 컴퓨터정보공학과) , 김대기 (인하대학교 컴퓨터정보공학과) , 홍요훈 ((주) 세창인스트루먼트) , 이필규 (인하대학교 컴퓨터정보공학과)

초록
AI-Helper

인터넷이 발달하고 접할 수 있는 데이터가 폭증하면서 데이터들에서 사용자는 자신의 기호에 맞는 정보를 찾기가 점점 힘들어 진다. 추천 시스템은 사용자의 기호에 맞는 정보들을 추출하는데 큰 도움을 줄 수 있다. 본 연구는 강화 학습 알고리즘을 기반으로 한 하이브리드 추천 시스템을 사용하여 사용자의 선호도 예측에 대한 정확도를 향상 시켰다. 본 연구는 2000장의 이미지로 테스트를 진행하였다. 테스트 할 때 평균 절대 오차를 구하여 분석한 결과 제안하는 시스템이 협업적 필터링, 내용 기반 필터링, 단순 하이브리드 필터링의 성능보다 더 우수한 것으로 나타났다.

Abstract ▼ AI-Helper

With the advance of internet technology and fast growing of data volume, it become very hard to find a demanding information from the huge amount of data. Recommender system can solve the delema by helping a user to find required information. This paper proposes a reinforcement learning based hybrid recommendation system to predict user's preference. The hybrid recommendation system combines the content based filtering and collaborate filtering, and the system was tested using 2000 images. We used mean abstract error(MAE) to compare the performance of the collaborative filtering, the content based filtering, the naive hybrid filtering, and the reinforcement learning algorithm based hybrid filtering methods. The experiment result shows that the performance of the proposed hybrid filtering performance based on reinforcement learning is superior to other methods.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

하이브리드 추천 시스템이라도 사용자가 바뀔 때 마다 성능이 불안전한 경우가 발생한다. 본 논문에서는 이러한 문제를 해결하기 위하 하이브리드 추천 시스템에 강화 학습 알고리즘을 적용하여 단점을 보완하였다.
본 논문에서는 하이브리드 추천시스템의 성능을 향상시키기 위하여 강화학습을 통한 추천 시스템을 제안하여 구현하였으며, 이를 실제 이미지 추천 시스템에 적용하여 그 효율성을 평가함으로서 시스템의 유효성을 검증하였다.
본 논문에서 제안하는 방식은 사용자의 상황에 따른 하이브리드 추천 방식으로 협력적 필터링 기반의 추천 엔진과 내용 기반 추천 엔진으로부터 추천을 받아 사용자의 상황에 맞는 가중치를 적용하여 추천의 정확성을 향상시키는 방법을 적용하였다. 본 논문은 내용 기반의 추천엔진과 협력적 필터링 추천 엔진을 결합한 하이브리드 추천시스템을 구축하여 이미지 조회 사이트를 구현하여 추천 시스템을 테스트하였다. 하이브리드 추천 시스템은 협력적 기반 추천 시스템과 내용 기반의 추천 시스템의 단점을 보완함으로써 추천 시스템의 성능을 높일 수 있다.

제안 방법

본 논문은 10명의 사용자로부터 2000개의 이미지 데이터를 사용하여 테스트를 진행하였다. MAE(Mean Abstract Error) 을 계산하여 각각 협력적 필터링(CF)만 적용한 추천 시스템, 내용 기반 필터링(CB)만 적용한 추천시스템 그리고 협력적 필터링과 내용기반 필터링을 단순 결합한 하이브리드 추천 시스템(Hybrid) 마지막에 강화학습을 적용하여 파라미터를 조정한 하이브리드 추천 시스템의 순서로 실험을 진행하였다.
본 논문에서 제안하는 방식은 사용자의 상황에 따른 하이브리드 추천 방식으로 협력적 필터링 기반의 추천 엔진과 내용 기반 추천 엔진으로부터 추천을 받아 사용자의 상황에 맞는 가중치를 적용하여 추천의 정확성을 향상시키는 방법을 적용하였다. 본 논문은 내용 기반의 추천엔진과 협력적 필터링 추천 엔진을 결합한 하이브리드 추천시스템을 구축하여 이미지 조회 사이트를 구현하여 추천 시스템을 테스트하였다.
협력적 필터링은 아이템 기반의 협력적 필터링과 사용자 기반의 협력적 필터링으로 나뉜다. 본 논문은 사용자 기반의 협력적 필터링을 사용하였다. 사용자 기반의 협력적 필터링은 사용자 사이의 유사도를 계산한 뒤 유사도를 통하여 선호도를 구한다.
본 논문은 협력적 필터링, 내용 기반 필터링, 단순 하이브리드 필터링, 강화 학습 알고리즘을 적용한 하이브리드 필터링을 비교 평가 하였다. 평균절대오차(MAE)를 사용하여 선호도 예측 정확도 실험에서 강화 학습 알고리즘을 적용한 하이브리드 추천시스템은 우수함을 나타내고 있다.
하이브리드 추천시스템은 협력적 필터링의 “cold start”, 희소성 문제를 내용 기반 필터링으로 보완하므로 더욱 효율적인 추천을 할 수 있게 되었다. 본 논문이 제안하는 방법은 하이브리드 추천 시스템으로 강화학습을 이용하여 가중치 값을 조정하여 협력적 필터링과 내용 기반 추천 엔진으로부터 추천을 통합하여 결과를 보여주었다. 본 논문은 2000개의 이미지로 테스트를 진행하였다.
그림 1과 같이 사용자는 인터페이스를 통하여 이미지를 조회하고 사용자가 선호하는 이미지를 추천받는다. 제안하는 추천 시스템은 사용자 로그를 분석하여 협력적 필터링과 내용기반 필터링을 결합하여 이미지를 추천해준다. 이미지는 이름, 장르 및 키워드 별로 데이터베이스에 저장된다.
이미지는 이름, 장르 및 키워드 별로 데이터베이스에 저장된다. 제안하는 추천시스템은 사용자의 로그를 분석하고 이미지 데이터 정보를 분석하며 강화학습 에이전트를 통하여 사용자마다 최적화된 가중치를 선택하여 결과 이미지를 추출하여 추천해준다.
제안하는 하이브리드 추천시스템은 협력적 필터링에서 나타나는 “cold start”와 희소성 문제를 해결하기 위하여 내용 기반 필터링을 융합 하였다.

대상 데이터

본 논문은 10명의 사용자로부터 2000개의 이미지 데이터를 사용하여 테스트를 진행하였다. MAE(Mean Abstract Error) 을 계산하여 각각 협력적 필터링(CF)만 적용한 추천 시스템, 내용 기반 필터링(CB)만 적용한 추천시스템 그리고 협력적 필터링과 내용기반 필터링을 단순 결합한 하이브리드 추천 시스템(Hybrid) 마지막에 강화학습을 적용하여 파라미터를 조정한 하이브리드 추천 시스템의 순서로 실험을 진행하였다.
본 논문이 제안하는 방법은 하이브리드 추천 시스템으로 강화학습을 이용하여 가중치 값을 조정하여 협력적 필터링과 내용 기반 추천 엔진으로부터 추천을 통합하여 결과를 보여주었다. 본 논문은 2000개의 이미지로 테스트를 진행하였다.
본 논문은 2000장의 풍경, 동물, 인물 등의 이미지로 테스트를 진행하였다.
본 논문은 Windows 7 기반의 Apache Tomcat 7.0 서버를 사용하였고, 데이터베이스는 MySQL5.5을 사용하였다. 통합 개발 환경은 Eclipse Indigo이며, 사용된 서버측 언어는 JSP 및 JAVA이다.

데이터처리

사용자 사이의 유사도 계산 방식은 코사인 유사도 방식을 사용하였다. 얻어낸 유사도로 선호도 예측하는 방식은 간단 하지만 성능이 좋고 가장 널리 사용되는 가중치 평균 방식을 사용하였다.

이론/모형

본 논문에서는 개개인의 특화된 맞춤형 추천 서비스의 성능을 향상하기 위하여 강화학습을 사용하였다. 시스템에서 많은 사람이 선호하는 아이템을 추천할 경우 평균적인 만족도는 높아지지만 모든 사람을 만족 시킬 수는 없기 때문에 이러한 개인별 만족도를 높이기 위해서는 사용자의 선호도에 따라 맞는 구성이 필요하기 때문이다.
하이브리드 추천 시스템이라도 사용자가 바뀔 때 마다 성능이 불안전한 경우가 발생한다. 본 논문에서는 이러한 문제를 해결하기 위하여 하이브리드 추천 시스템에 강화 학습 알고리즘을 적용한다. 제안하는 강화학습 기반의 추천 알고리즘은 사용자 마다 다른 가중치를 적용 할 수 있기 때문에 보다 정확한 추천을 해줄 수 있는 장점을 가지게 된다.
사용자 기반의 협력적 필터링은 사용자 사이의 유사도를 계산한 뒤 유사도를 통하여 선호도를 구한다. 사용자 사이의 유사도 계산 방식은 코사인 유사도 방식을 사용하였다. 얻어낸 유사도로 선호도 예측하는 방식은 간단 하지만 성능이 좋고 가장 널리 사용되는 가중치 평균 방식을 사용하였다.
에이전트가 환경과 상호작용 할 때 상태, 행동, 보상이라는 세 가지 요소들을 활용하는데 이때의 환경 모델은 Markov Decision Process(MDP)이다. MDP는 마코브 속성을 만족하며 이는 시각 t+1에서는 시각 t의 상태와 행동에 의존하는 속성을 의미한다.
추천의 성능평가방법은 MAE방법을 사용하였다. MAE방법^[8,9]은 추천 시스템에서 가장 많이 사용된 측정법이며 예측한 순위와 실제 순위의 차이를 보여준다.

후속연구

우선, 이미지 추천에만 적용하였다는 점을 들 수 있다. 일반 쇼핑몰의 상품 추천으로 다양한 적용 범위를 설정하여 본 연구 결과를 일반화 할 수 있다. 그리고 시스템을 활용화하기 위해서는 대량의 테스트 데이터를 이용하여 안정성을 확보해야 할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	추천시스템은 무엇이라 정의되어 있는가?	추천시스템은 최초에 “사람들이 추천을 제공하며 시스템이 통합하여 적당한 사람에게 보여 준다”고 정의 되어 있다.[2] 추천 시스템은 사용자에게 사용자가 선호하는 콘텐츠 또는 정보를 제공해주는 시스템으로서, 인터넷의 음악, 영화 사이트 콘텐츠 추천, 인터넷 쇼핑몰에서 상품 추천, 모바일 단말기의 고객 맞춤 서비스 추천 등에 널리 사용되고 있다.
	강화학습이란 무엇인가?	강화학습은 에이전트가 특정한 목적을 달성하기 위해 환경과 상호 작용을 통해 학습을 수행하는 학습 방법이 다. 환경에는 많은 상태들이 존재하며 이 상태에 대해 에이전트가 어떤 행동을 결정할 때 이 행동이 목적 달성을 위해 좋은지 혹은 그렇지 못한지 여부를 판단하여 보상받게 된다.
	협력적 필터링 중 사용자 기반 협력적 필터링에서 사용한 유사도계산 방식은?	사용자 기반의 협력적 필터링은 사용자 사이의 유사도를 계산한 뒤 유사도를 통하여 선호도를 구한다. 사용자 사이의 유사도계산 방식은 코사인 유사도 방식을 사용하였다. 얻어낸 유사도로 선호도 예측하는 방식은 간단 하지만 성능이 좋고 가장 널리 사용되는 가중치 평균 방식을 사용하였다.

참고문헌 (11)

Richard S. Sutton and Andrew G.Barto, "Reinforcement Learning," The MIT Press, 1998.
Paul Renick and Hal R. Varian, "Recommender System," Communications of the ACM" Vol 40, No.3, March. 1997
Kyusik Park, Jongmoo Choi, and Donghee Lee, "A Single-Scaled Hybrid Filtering Method for IPTV Program Recommendation," 2010.
Shepitsen, A., Gemmell, J., Mobasher, B. and Burke, R., "Personalized Recommendation in Social Tagging Systems Using Hierarchical Clustering," Proceedings of the 2008 ACM conference on Recommender systems, Lausanne, Switzerland, 2008, pp. 259-266.
Xia. Z, "An Agent Framework for Recommendation," Proceedings of the6th WSEAS Int. Conference on Telecommunications, Dallas, Texas, USA, March 2007, pp. 22-24.
BALABANOVIC, M, SHOHAM, Y, Fab, "Content-Based, Collaborative Recommendation," Communications of the ACM, New York, Vol. 40, No. 3, Mar. 1997, pp. 66-72.
G. Adomavicius, A. Tuzhilin, "Toward the next generation of recommender systems: a survey of the state-of-the-art and possible extensions," IEEE Transactions on Knowledge and Data Engineering 17 (6), 2005, pp. 734-749.

상세보기
K. Goldberg, T. Roeder, D. Gupta, and C. Perkins, "Eigentaste: a constant time collaborative filtering algorithm," Information Retrieval, Vol. 4, No. 2, 2001, pp. 133-151.

상세보기
J. L. Herlocker, J. A. Konstan, L. G. Terveen, and J. T. Riedl, "Evaluating collaborative filtering recommender systems," ACM Transactions on Information Systems, Vol. 22, No. 1, 2004 pp. 5-53.

상세보기
Daniel Billsus and Micheal J. Pazzani., "Learning Collaborative Information Filters," Proceedings of the Fifteenth International Conference on Machine Learning, pp. 46-54, July 1998.
Francesco Ricci and Lior Rokach and Bracha Shapira, Introduction to Recommender Systems Handbook, Springer, 2011, pp. 1-35

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증