[논문]와인 후기 빅 데이터 분석과 딥러닝 기반 추천 시스템 개발

지홍근; 이태기

와인 후기 빅 데이터 분석과 딥러닝 기반 추천 시스템 개발
Recommender System Development Based on Wine Review Big Data Analysis and Deep Learning 원문보기

지홍근 (한국산업기술대학교 컴퓨터공학과) , 이태기 (한국산업기술대학교 컴퓨터공학과)

최근 사람들의 삶의 질이 향상됨에 따라 기호품인 와인의 수요가 늘어나고 있다. 그러나 와인은 생산하는데 길게는 수십 년이 걸리는 고가의 제품이므로 소비자가 와인과 잘못 구매했을 때의 기회비용이 크다. 본 논문에서는 전문 와인 테이스터 들의 후기 빅 데이터를 활용하여 딥러닝 기반 추천시스템을 개발을 다룬다. 테이스터 들의 후기 빅 데이터에 대해 Apache Pig와 자연어 처리를 통한 전 처리 과정을 수행해 리뷰 별로 특징 벡터를 구성하고, 하이퍼 매개변수 최적화와 조기 종료 기법을 사용해 데이터에 대하여 최적의 딥러닝 분류기를 구성하였다. 마지막으로, 구성된 시스템의 신뢰도를 검증하기 위해서 딥러닝의 정확도와 오차율을 확인하였고 시스템이 추천한 와인을 시각화 이미지와 비교하여 성능을 검증하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이러한 와인시장의 성장에 맞추어 처음 와인을 접하는 사람들에 대한 기업들의 마케팅은 소비자들의 각각의 취향에 맞추어 갈 필요가 있다. 본 논문에서는 와인 전문가들의 후기 빅 데이터를 분석하여 소비자들의 입맛에 적합한 와인을 추천해주는 시스템 개발을 다룬다.

가설 설정

사용자로부터 와 같은 키워드를 입력으로 받았다고 가정하고 테스트를 진행하였다.
이번에는 과 같은 키워드를 입력받았다고 가정하고 테스트를 진행하였다.

제안 방법

[6] 가중치 초기화 방법은 He 초기화 방법[7]을 사용하였고 아담(Adam)을 옵티마이저로 사용하였다.[8] 손실함수로는 교차 엔트로피 함수를 사용하였고 배치사이즈 20개로 한 세대마다 모든 훈련 데이터를 사용하여 학습하였다. 분류 문제로서 softmax 함수의 출력과 one-hot 인코딩 된 와인의 이름을 목표 값으로 설정하여 학습을 수행하였다.
각 와인마다 리뷰에 대해서 토큰화 하고 이중에서 와인의 특징을 나타내도록 명사, 형용사를 추출하였다. 자주 사용되지만 의미가 없는 단어들인 불 용어(stop word)들은 와인의 특징을 나타내는 데에는 의미가 없으므로 제외하였다.
자주 사용되지만 의미가 없는 단어들인 불 용어(stop word)들은 와인의 특징을 나타내는 데에는 의미가 없으므로 제외하였다. 맵 리듀스 기반 워드 카운트로 와인마다 단어의 빈출 비율을 측정하여 내림차순으로 정렬하였다.
본 논문에서는 전문 테이스터 들의 와인 후기 빅 데이터를 자연어 처리를 통한 전 처리를 수행한 후 최적화된 딥러닝을 활용해 사용자 후기 기반 와인 추천 시스템의 구현과 작동 예시를 다루었다.
[8] 손실함수로는 교차 엔트로피 함수를 사용하였고 배치사이즈 20개로 한 세대마다 모든 훈련 데이터를 사용하여 학습하였다. 분류 문제로서 softmax 함수의 출력과 one-hot 인코딩 된 와인의 이름을 목표 값으로 설정하여 학습을 수행하였다.
빅 데이터 처리용 언어인 Pig를 이용하여 대규모의 데이터에서 사용자가 작성한 와인 후기 description과 와인의 이름 winery을 추출하였다. 이중에서 와인 후기의 일반화 성능을 높이기 위해서 와인 당 후기가 130개 이상인 와인들만 선별하였다.
사용자로부터 <표 4>와 같은 키워드를 입력으로 받았다고 가정하고 테스트를 진행하였다. 와인 추천 확률에는 구성한 모델의 softmax 함수 출력을 사용하였다. 와인 추천 시스템에 따르면 사용자에게 추천해줄 상위 3개의 와인은 <표 5>와 같다.
텐서플로를 활용하여 사이킷런과 호환되는 딥러닝 모델을 구성하였다. elu 활성함수와 100개의 뉴런이 있는 은닉층을 5층 구성하였다.
하나의 와인 후기에 대해 리뷰에 포함된 단어들의 값만 1로 설정하여 희소행렬(sparse matrix)을 구성하여 특징 벡터를 구성하였다. 예를 들어, 특정 와인 리뷰에서 등장한 단어가 fruit, red, soft일 때, fruit이 [1, 0, 0, .
학습 중에 오차 값이 최소인 세대 k에 도달하면 n 세대만큼 더 학습을 진행해보고 새로운 최소 오차값에 도달하지 않으면 k세대의 가중치를 사용하는 방법으로 조기 종료를 수행하였다. 그리고 최적의 하이퍼 매개변수를 탐색하기 위해서 하이퍼 매개변수 최적화 방법으로 임의 탐색 방법을 사용하였다.

대상 데이터

텐서플로를 활용하여 사이킷런과 호환되는 딥러닝 모델을 구성하였다. elu 활성함수와 100개의 뉴런이 있는 은닉층을 5층 구성하였다.[6] 가중치 초기화 방법은 He 초기화 방법[7]을 사용하였고 아담(Adam)을 옵티마이저로 사용하였다.
와인 리뷰에서 등장한 단어 총 188개의 와인 특징 단어들을 선별하였다. 이렇게 선별된 단어에는 fruit, acidity, rich, tannin, fresh, structure, wood, toast, minerality, sweet 등이 있다.
이중에서 와인 후기의 일반화 성능을 높이기 위해서 와인 당 후기가 130개 이상인 와인들만 선별하였다. 이러한 와인은 모두 38개를 선별하였고 와인 후기 개수는 도합 6584개를 선별하였다. 이러한 와인에는 chateau ste.
빅 데이터 처리용 언어인 Pig를 이용하여 대규모의 데이터에서 사용자가 작성한 와인 후기 description과 와인의 이름 winery을 추출하였다. 이중에서 와인 후기의 일반화 성능을 높이기 위해서 와인 당 후기가 130개 이상인 와인들만 선별하였다. 이러한 와인은 모두 38개를 선별하였고 와인 후기 개수는 도합 6584개를 선별하였다.
캐글에서 와인 후기 데이터를 총 16757개 와인에 대해서 147963개의 후기 데이터를 수집하였다. 각 열은 country, description, designation, points, price, promince, region, taster name, title, variety, winery로 구성되어 있다.

이론/모형

elu 활성함수와 100개의 뉴런이 있는 은닉층을 5층 구성하였다.[6] 가중치 초기화 방법은 He 초기화 방법[7]을 사용하였고 아담(Adam)을 옵티마이저로 사용하였다.[8] 손실함수로는 교차 엔트로피 함수를 사용하였고 배치사이즈 20개로 한 세대마다 모든 훈련 데이터를 사용하여 학습하였다.
학습 중에 오차 값이 최소인 세대 k에 도달하면 n 세대만큼 더 학습을 진행해보고 새로운 최소 오차값에 도달하지 않으면 k세대의 가중치를 사용하는 방법으로 조기 종료를 수행하였다. 그리고 최적의 하이퍼 매개변수를 탐색하기 위해서 하이퍼 매개변수 최적화 방법으로 임의 탐색 방법을 사용하였다. 임의 탐색 방법에서 탐색할 하이퍼 매개변수는 배치 정규화와 elu, relu등의 활성함수를 포함하여 <표 2>와 같다.

성능/효과

워드 클라우드를 구성한 단어를 살펴보면, fruit, tannin, fresh, sweet 등이 등장한 것을 알 수 있다. 따라서 albert bichot와인을 적절하게 추천해 준 것을 확인 할 수 있었다.
최적의 하이퍼 매개변수로 학습을 진행하였을 때의 정확도 그래프와 오차값 그래프는 다음과 같다. 학습이 진행되고 대략 40세대 만에 최적 점에 도달한 것을 확인하였다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

와인 후기 빅 데이터 분석과 딥러닝 기반 추천 시스템 개발
Recommender System Development Based on Wine Review Big Data Analysis and Deep Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

와인 후기 빅 데이터 분석과 딥러닝 기반 추천 시스템 개발 Recommender System Development Based on Wine Review Big Data Analysis and Deep Learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

와인 후기 빅 데이터 분석과 딥러닝 기반 추천 시스템 개발
Recommender System Development Based on Wine Review Big Data Analysis and Deep Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper