[논문]하둡에서 개인 성향을 이용한 영화 추천시스템

김선호; 김세준; 모하영; 김채린; 박규태; 박두순

하둡에서 개인 성향을 이용한 영화 추천시스템
A Movie Recommender Systems using Personal Disposition in Hadoop 원문보기

김선호 (순천향대학교 컴퓨터소프트웨어공학과) , 김세준 (순천향대학교 컴퓨터소프트웨어공학과) , 모하영 (순천향대학교 컴퓨터소프트웨어공학과) , 김채린 (순천향대학교 컴퓨터소프트웨어공학과) , 박규태 (순천향대학교 컴퓨터소프트웨어공학과) , 박두순 (순천향대학교 컴퓨터소프트웨어공학과)

정보의 폭발적인 증가로 인해 사용자들은 오히려 원하는 정보를 빠른 시간에 얻는 것이 힘들어졌다. 따라서 이 문제를 해결하기 위한 다양한 방식의 새로운 서비스들이 제공되고 있다. 추천 시스템 중에서 영화를 추천해주는 방법에는 사용되는 알고리즘에는 협업필터링 방법이 가장 성공한 알고리즘으로 사용되고 있다. 협업 필터링 방법은 사용자가 자발적으로 입력한 선호도 평가치를 바탕으로 추천 하고자 하는 사용자와 취향이 비슷하다고 판단되는 사람들 즉, 최근접 이웃을 구하고 최근접 이웃의 선호도 평가치를 바탕으로 사용자에게 영화를 추천을 해주는 기법이다. 그러나 협업 필터링에는 몇 가지 대표적인 문제점이 있으며 희박성 및 확장성, 투명성이 있다. 본 논문에서는 영화 추천 시스템에서의 협업필터링의 희박성 문제를 보완하고자 개개인의 성향을 반영하여 효율이 좋은 추천 방법을 제안하고 하둡에서 성능평가를 하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

협업 필터링은 충분한 평가치가 존재하지 않을 때 추천의 만족도가 떨어지는 희박성 문제, 사용자가 늘어나면 늘어날수록 데이터의 연산이 기하급수적으로 늘어나는 확장성 문제 등을 가지고 있다. 희박성 문제를 보완하고자 본 논문에서는 개인의 성향을 반영하여 MovieLens 데이터를 이용, 최적의 개인화 요인을 찾고 이를 바탕으로 평가치 데이터가 충분하지 못할 경우 개인화 요인의 데이터를 이용, k-평균 군집화 방법을 이용하여 구하고 이를 바탕으로 영화를 추천하는 방식을 제안한다.

제안 방법

본 논문에서는 영화 추천 시스템에 주로 사용되는 협업 필터링의 문제점 중에서 희박성 문제를 보완 및 해결하기 위한 방법으로 개인 성향을 이용하는 방법 중 하나인 방법인 인구통계학적 데이터에서 개인 성향을 파악하고 이를 협업필터링의 최근접 이웃을 구성하는 입력 데이터로 사용한다. 일반적으로 개인 성향들은 요소가 많으면 많을 수록 개개인의 특징을 더 잘 알 수 있기에 알 수 있는 모든 개인 성향 데이터를 이용하는 것이 최적의 성능을 나타낸다고 할 수 있으나 이를 최적화 하여 최소한의 개인 성향을 이용하여 최대의 효과를 나타내는 방법을 제안하고 제안된 방법을 구현한다.
성능평가로는 하둡의 환경 설정에서 맵과 리듀스에 사용되는 cpu의 각각의 코어수를 변경 하는 것으로서 본 시스템의 최대 코어 개수인 4개를 기준으로 평가하였다. 일반적으로 맵과 리듀스에서 사용되는 코어의 개수가 많으면 많을수록 성능이 더 좋아진다고 할 수 있다.
[그림 3]을 가지고 기존의 추천[3] 결과와 비교하면 동일하게 추천된 영화가 5개로 50%의 적중률 밖에 되지 않는 것을 볼 수 있다. 어떠한 차이점이 이러한 저조한 적중 률을 가지는 두 결과를 가지고 왔는지 알아보기 위하여 k-평균 군집분석에서 입력으로 주어지는 k값을 변화시켜 보았으며 또한 임계치를 수정하여 반복적인 실험을 하였 다. 실험 중에서 적중률이 비교적 높은 4가지에 방법에 대한 결과는 [표 2]와 같다.
본 논문에서는 영화 추천 시스템에 주로 사용되는 협업 필터링의 문제점 중에서 희박성 문제를 보완 및 해결하기 위한 방법으로 개인 성향을 이용하는 방법 중 하나인 방법인 인구통계학적 데이터에서 개인 성향을 파악하고 이를 협업필터링의 최근접 이웃을 구성하는 입력 데이터로 사용한다. 일반적으로 개인 성향들은 요소가 많으면 많을 수록 개개인의 특징을 더 잘 알 수 있기에 알 수 있는 모든 개인 성향 데이터를 이용하는 것이 최적의 성능을 나타낸다고 할 수 있으나 이를 최적화 하여 최소한의 개인 성향을 이용하여 최대의 효과를 나타내는 방법을 제안하고 제안된 방법을 구현한다. 현재 빅데이터 처리에서 가장 화두로 떠오르고 있는 병렬처리 시스템인 하둡 시스템을 구축하고 적용하여 성능평가를 실시한다.
일반적으로 개인 성향들은 요소가 많으면 많을 수록 개개인의 특징을 더 잘 알 수 있기에 알 수 있는 모든 개인 성향 데이터를 이용하는 것이 최적의 성능을 나타낸다고 할 수 있으나 이를 최적화 하여 최소한의 개인 성향을 이용하여 최대의 효과를 나타내는 방법을 제안하고 제안된 방법을 구현한다. 현재 빅데이터 처리에서 가장 화두로 떠오르고 있는 병렬처리 시스템인 하둡 시스템을 구축하고 적용하여 성능평가를 실시한다.

이론/모형

하둡에서는 알고리즘이 하둡에서 처리되는 과정인 맵/리듀스 과정에 맞게 변형 되어야 하는데 데이터 마이닝에서 주로 사용하는 알고리즘 들을 맵/리듀스로 변경하여 제공하는 오픈소스인 머하웃을 이용하였다. 하둡상에서 추천된 결과와 기존 시스템에서 추천된 결과에서 초기에는 적중률이 높지 못한 문제점이 있었으나 k값을 변경하는 여러 실험을 통해 적중률을 80%까지 높일 수 있었다.

성능/효과

[표 2]의 시계방향으로 결과를 살펴보면 첫 번째 결과는 10개중 6개가 적중한 60% 적중률을 보여 주었고 두 번째 결과를 보면 10개중 8개가 적중하여 80%의 적중률을 세번째와 네 번째도 마찬가지의 8개의 적중을 보여 주었는데 결과를 보면 비교적 적중률이 높은 3가지는 임계치의 변화보다는 군집군의 개수에 따라 영향을 많이 받는 것을 알 수 있다. 따라서 하둡에서 구현한 것과 기존의 구현 결과의 차이는 임계치의 차이라고 하기 보다는 군집군의 개수 의한 차이임을 확인 할 수 있다.
[표 2]의 시계방향으로 결과를 살펴보면 첫 번째 결과는 10개중 6개가 적중한 60% 적중률을 보여 주었고 두 번째 결과를 보면 10개중 8개가 적중하여 80%의 적중률을 세번째와 네 번째도 마찬가지의 8개의 적중을 보여 주었는데 결과를 보면 비교적 적중률이 높은 3가지는 임계치의 변화보다는 군집군의 개수에 따라 영향을 많이 받는 것을 알 수 있다. 따라서 하둡에서 구현한 것과 기존의 구현 결과의 차이는 임계치의 차이라고 하기 보다는 군집군의 개수 의한 차이임을 확인 할 수 있다.
이 결과를 바탕으로 영화 추천을 통한 교류 활성화에 기여할 수 있을 것이다. 또한 성능평가로서 코어수의 변화를 통하여 자료의 특성과 양에 맞추어 코어수를 조절하는 것이 성능에 영향을 미치는 것을 확인하였다. 성능평가를 통해 일반적인 식을 구하지는 못하였는데 이는 그것은 테스트한 데이터가 하둡에 잘 맞지 않는 경우이거나 하둡에서 맵과 리듀스의 코어수가 훨씬 큰 경우에 결과가 잘 나타날 수 있다.
하둡에서는 알고리즘이 하둡에서 처리되는 과정인 맵/리듀스 과정에 맞게 변형 되어야 하는데 데이터 마이닝에서 주로 사용하는 알고리즘 들을 맵/리듀스로 변경하여 제공하는 오픈소스인 머하웃을 이용하였다. 하둡상에서 추천된 결과와 기존 시스템에서 추천된 결과에서 초기에는 적중률이 높지 못한 문제점이 있었으나 k값을 변경하는 여러 실험을 통해 적중률을 80%까지 높일 수 있었다. 이 결과를 바탕으로 영화 추천을 통한 교류 활성화에 기여할 수 있을 것이다.

후속연구

하둡상에서 추천된 결과와 기존 시스템에서 추천된 결과에서 초기에는 적중률이 높지 못한 문제점이 있었으나 k값을 변경하는 여러 실험을 통해 적중률을 80%까지 높일 수 있었다. 이 결과를 바탕으로 영화 추천을 통한 교류 활성화에 기여할 수 있을 것이다. 또한 성능평가로서 코어수의 변화를 통하여 자료의 특성과 양에 맞추어 코어수를 조절하는 것이 성능에 영향을 미치는 것을 확인하였다.
성능평가를 통해 일반적인 식을 구하지는 못하였는데 이는 그것은 테스트한 데이터가 하둡에 잘 맞지 않는 경우이거나 하둡에서 맵과 리듀스의 코어수가 훨씬 큰 경우에 결과가 잘 나타날 수 있다. 향후에는 이러한 면을 고려해서 연구가 진행되어야 할 것이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

하둡에서 개인 성향을 이용한 영화 추천시스템
A Movie Recommender Systems using Personal Disposition in Hadoop 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

하둡에서 개인 성향을 이용한 영화 추천시스템 A Movie Recommender Systems using Personal Disposition in Hadoop 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

하둡에서 개인 성향을 이용한 영화 추천시스템
A Movie Recommender Systems using Personal Disposition in Hadoop 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper