[논문]옷 추천 시스템 데이터 셋 구축을 위한 텍스트 데이터 마이닝

이주상; 정선태; 차준엽

문제 정의

본 논문에서는 옷 추천 시스템을 위한 상품 및 고객정보 데이터베이스 구축을 위해 Scrapy 기반의 웹 크롤러를 통해 Amazon, Yoox, Shopbop 등의 의류 페이지에서 상품 데이터와 리뷰 데이터를 수집하였고, 자연어 처리를 통한 리뷰 분석을 통해 리뷰 작성자의 정보와 상품에 대한 선호도를 알아내어 추천 시스템에 적합한 상품, 고객 데이터셋을 구축하는 과정을 설명한다.
본 논문에서는 옷 추천 시스템을 위해 데이터를 수집하여 상품 데이터 셋을 구축하고, 텍스트 분석을 통한 고객 프로필 데이터 셋 구축 방법을 추천 시스템을 위한 기반 데이터 셋 구축 방법을 제안했다. 텍스트를 통한 나이 분석 단계에서 충분한 정확도에 도달하지 못하여 고객 데이터를 온전히 구축하지 못하였다.
또한 앞서 추천 알고리즘에 들어갈 속성으로 정의했던 나이,성별,체형등의 정보를 생각할 수 있다. 본 연구에서는 나이,성별,체형 세가지 속성들중 성별은 구매한 상품내역의 데이터에서 추출할수 있었고 체형은 고객이 직접 이미지를 업로드 하지 않으면 분석이 불가능했기에 제외하고 자연어 처리를 기반으로 리뷰 작성자의 나이를 분석하고 상품에 대한 선호도를 분석하였다. 덤 러닝 기반 자연어 처리 분석 모델을 통해 리뷰 텍스트로부터 원하는 정보를 추출하며 <그림 3> 과 같은 과정을 거친다.

제안 방법

출력되는 결과는 한가지이기 때문에 1 이 입력된다. 그리고 각각 다중 클래스 분류와 이진 분류 문제에서 주로 사용되는 Softmax 함수와 sigmoid 함수를 적용하였다. model.

대상 데이터

본 연구에서는 23485개의 의류 상품 리뷰, 평점, 카테고리, 작성자 나이 등의 정보가 있는 Women's E-Commerce review data[8]과 1,600,000개의 트위터 글과 트윗에 대한 작성자의 감정 지표가 있는 Sentiment 140 dataset with 1.6million tweets[9]를 훈련 데이터 셋으로 사용하였다.
상품, 사용자,리뷰 데이터 테이블의 관계는 사용자의 구매기록, 상품에 대한 평점이 되면서 과 같이 고객 D의 상품 1 에 대한 선호도를 예측할 때 고객들의 상품 구매내역과 평점을 기반으로 고객들간의 유사성을 계산하여 고객 D가 상품 1 에 대해 얼마 만큼의 선호도를 가질지 예측할수 있는 CF 기반 추천 알고리즘을 위한 기본 데이터 셋이 구성된다.
초기 데이터는 908014]를 기반으로 작성한 웹 크롤러를 사용하여 Amazon[5], Yoox[6], Shopbop[7] 등에서 300,000 개 가량의 상품 데이터와 리뷰 데이터를 수집하였다. 상품 데이터는 별도의 분석과정을 거치지 않으나 <표 2>와 같이 서로 다른 웹 페이지인 만큼 같은 데이터도 다르게 표기가 되었으며 일부 상품 정보업로드가 글 작성자의 주관적인 생각으로 작성되기 때문에 't shirt midi dress'와 같이 타입이 구체적으로 명시되지 않거나 같은 'blue'색상에 대해서도 'navy blue', 'cobalt blue' 등 유사 데이터도 많이 존재한다.
훈련용으로 사용한 데이터 셋을 8:2비율로 나눠 8은 훈련에 사용했으며 2 는 정확도 검증을 위한 테스트 데이터로 사용하였다. <그림 4>는 학습한 모델의 평가 결과를 나타낸다.

이론/모형

분석할 용도에 맞게 텍스트를 사전 처리하는 작업을 한다. 데이터 전처리를 위해 러닝을 위한 Python 라이브러리 Keras와 자연어처리를 돕는 여러 툴을 제공하는 NLTK 라이브러리를 사용하였다.

성능/효과

소비자들의 의류제품 구매 결정 요인에 대한 관련 연구에서는 제품의 속성이 구매 결정에 유의미한 영향을 미치며 다른 요인들은 제품의 표현적, 물리적 속성, 사진 효과, 연령 등의 순으로 영향력이 보인다고 말한다.[2] 추천 알고리즘은 특정 사용자가 특정 속성들에 대해 얼마의 평점(선호도)를 줬는지 계산하여 아직 구매하지 않은 상품을 그 사용자가 얼마나 선호할지 결정하는 것이 기본이며, 요즘은 더 나아가 상품의 특정 항목이 선호에 어떤 관계가 있는지를 알고리즘적으로 알아내는 잠재 모델 기반 추천 알고리즘이 많이 사용된다.[3] 추천 알고리즘에 적용할 것을 고려하여 추려낸 옷 추천 속성들은 <그림 1>의 표와 같다.
선호도 분석과 나이 분석의 평가 정확도는 각각 84%와 55%로 나타났다. 큰 차이의 정확도를 보인 원인은 데이터 셋의 규모 차이로 생각된다.

후속연구

텍스트를 통한 나이 분석 단계에서 충분한 정확도에 도달하지 못하여 고객 데이터를 온전히 구축하지 못하였다. 그러나 나이 분석 모델의 정확도가 적은 양의 데이터 셋으로 얻은 결과라는 점을 감안했을때, 향후 충분한 훈련 데이터 셋이 확보된다면 더 유의미한 결과를 도출해낼 수 있을 것으로 판단된다. 앞으로는 SNS에서 업로드한 이미지를 기반으로 이미지 데이터분석을 진행하여 추천 시스템을 위한 질 높은 데이터수집을 계속 할 계획이다.
여기서 충분한 데이터가 없는 스타트업 및 중소기업은 추천 시스템 구축 이전에 콜드스타트문제에 부덧치게 된다. 만약 추천 시스템을 위한 공공 데이터셋이 존재한다면 데이터가 없는 스타트업이 추천시스템 구축의 한계를 극복하는 것은 물론이며 이미 추천시스템을 적극 사용중인 기업이라도 연구개발 목적으로 사용할 수 있을 것이다.
그러나 나이 분석 모델의 정확도가 적은 양의 데이터 셋으로 얻은 결과라는 점을 감안했을때, 향후 충분한 훈련 데이터 셋이 확보된다면 더 유의미한 결과를 도출해낼 수 있을 것으로 판단된다. 앞으로는 SNS에서 업로드한 이미지를 기반으로 이미지 데이터분석을 진행하여 추천 시스템을 위한 질 높은 데이터수집을 계속 할 계획이다. 연구가 계속 성과를 보인다면 콜드스타트 문제에 직면해있는 스타트업도 활용가능한 추천시스템 공공 데이터 셋 구축이 가능해질 것이라 생각한다.
앞으로는 SNS에서 업로드한 이미지를 기반으로 이미지 데이터분석을 진행하여 추천 시스템을 위한 질 높은 데이터수집을 계속 할 계획이다. 연구가 계속 성과를 보인다면 콜드스타트 문제에 직면해있는 스타트업도 활용가능한 추천시스템 공공 데이터 셋 구축이 가능해질 것이라 생각한다.
상품 데이터는 별도의 분석과정을 거치지 않으나 <표 2>와 같이 서로 다른 웹 페이지인 만큼 같은 데이터도 다르게 표기가 되었으며 일부 상품 정보업로드가 글 작성자의 주관적인 생각으로 작성되기 때문에 't shirt midi dress'와 같이 타입이 구체적으로 명시되지 않거나 같은 'blue'색상에 대해서도 'navy blue', 'cobalt blue' 등 유사 데이터도 많이 존재한다. 향후 추천 시스템에서 쉽게 분석하고 검색이 용이하게 유사 데이터는 통합하고 구체적이지 못한 데이터는 하나의 형태로 교정하는등 정제를 거친후 데이터베이스에 저장한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

옷 추천 시스템 데이터 셋 구축을 위한 텍스트 데이터 마이닝
Text Data Mining to build a Dataset for Clothing Recommendation System 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

옷 추천 시스템 데이터 셋 구축을 위한 텍스트 데이터 마이닝 Text Data Mining to build a Dataset for Clothing Recommendation System 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

옷 추천 시스템 데이터 셋 구축을 위한 텍스트 데이터 마이닝
Text Data Mining to build a Dataset for Clothing Recommendation System 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper