선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 한편, 간접적으로 선호도를 추정하는데 활용될 수 있는 기법으로 웹 마이닝을 제안한 연구들이 몇몇 있는데 이들 연구는 카디널 척도를 이용하여 추정된 선호도를 지표화 한 이유로 추정오차의 증가문제를 해결하지 못하고 있다 [11][12]. 이에 본 연구는 위 연구들의 한계점을 개선하기 위한 방안으로 웹 마이닝에 의한 선호도 분석과 사전식 컨센서스 기법을 통해 서열척도 기반으로 선호도 크기를 표현하는 고객 프로필의 생성법을 제안하였다.
- 이에 본 연구에서는 웹 마이닝 기법을 활용하여 사용자의 선호도를 간접적으로 분석하고, 이를 사전식 컨센서스 방법을 활용하여 서열 척도 기반의 고객 프로필로 생성하는 새로운 협업 추천 방법론을 제안하고자 한다.
가설 설정
- 가령 구매한 (purchase) 상품은 장바구니에 담긴 (basket placement) 상품보다는 선호도가 높다는 가정이 그것이다. 또한 장바구니에 담긴 상품은 단순히 조회만 한 (click-through) 상품보다는 높은 선호도를 갖는다는 것으로 가정 한다. 이 조건에 따라 웹 로그 데이터 내에서 위 세 가지의 고객 행동 기록만을 추출하고 트랜잭션별로 정렬할 수 있다.
제안 방법
- 알고리즘은 비교적 간단하면서도 효과적이다. 2장에서 잠깐 언급된 바와 같이 선호도의 차이를 결정지을 수 있는 지표 (criteria)들을 활용하여 지표의 존재 여부와 등장 횟수를 비교 기준으로 상품의 그룹을 세분화해 나간다. 사전에 결정된 모든 선호도의 기준 지표들을 활용한 후에는 분류된 그룹 순서대로 내부 상품들에게 순위를 부여하는 원리이다.
- 따라서 웹 마이닝과 같은 묵시적 평가법의 사용이 불가피하다. 둘째, 예측된 선호도 정보를 표현하기 위해 기존의 방법과 달리 서열 척도를 활용하였으며 서열화 된 순위를 생성함에 있어서도 웹 환경에 보다 적합한 사전식 컨센서스 기법을 적용 하였다. 사전식 컨센서스 기법은 MCDM 분야 내에서 연구되어진 다른 컨센서스 기법들과 비교해서 구현 원리가 간단하면서도 선호도 평가 대상들 간에 동일한 순위를 최소화 한다는 장점을 가지고 있다.
- 따라서 카디널 척도를 사용하는 시스템과 함께 사전식 컨센서스 기법이 아닌 다른 방법으로 서열 척도를 생성하여 사용하는 시스템과의 성능 비교를 해 보는 것이 보다 객관적으로 제안된 방법론의 성능을 검증하는 방법일 것이다. 따라서 공통적으로 웹 마이닝을 활용한다는 전제 하에서, 카디널 척도로 선호도를 표현하는 추천 시스템 (CS-CF로 칭함)과 서열 척도를 활용하되 단순하게 카디널 척도 값의 크기에 따라 우선순위를 부여하는 방식1으로 생성된 서열 척도를 활용하는 추천 시스템 (OS-CF로 칭함)과 같은 두 개의 벤치마킹 시스템을 동시에 개발하여 본 연구에서 제안된 시스템과 비교 하였다.
- 이 중 재현율과 정확률은 추천의 개수가 증가할수록 재현율은 증가하고 정확율은 감소하는 상반된 결과를 보인다. 따라서 아래 식 (6)과 같이 두 성능 평가 지표를 동일한 가중치로 결합한 F1-metric을 사용하여 시스템간의 성능을 비교 하였다.
- 본 연구에서 제안된 협업 추천을 위한 고객 프로필 생성 방법론은 전자상거래 사이트들이 대부분 겪고 있는 상품 과부하 (product overload)의 문제를 해소하면서 고객별로 개인화 된 추천 서비스를 가능케 한다. 이전의 방법론들과 비교했을 때 본 연구에서 제안된 방법론은 다음과 같은 차별적 특징을 가지고 있다.
- 본 연구에서 제안하는 협업 추천 방법론은 웹 마이닝 단계, 컨센서스 기법을 활용한 서열 척도 기반의 고객 프로필 생성 단계, 이웃 선정 및 추천 목록의 생성 단계와 같은 연속적인 3개의 과정으로 구성되어 있다. 개별 단계들에 대한 자세한 설명은 다음 장에서부터 차례대로 제시한다.
- 이 조건에 따라 웹 로그 데이터 내에서 위 세 가지의 고객 행동 기록만을 추출하고 트랜잭션별로 정렬할 수 있다. 본 연구에서는 이 작업을 위해 Lee 외 [4]의 연구에서 고객 행동 패턴의 추출을 위해 제안 되었던 매트릭스를 약간 수정하여 활용하였다. [4]의 연구에서는 모바일 환경의 특성을 반영하기 위해 고객의 행동 패턴을 구매, 미리듣기, 클릭하기, 무시하기 등의 4가지로 분류한 반면, 본 논문에서는 전자상거래 환경을 고려하여 아래 수식 (1)과 같이 정의되는 고객 행동 집합 (customer action set, CAS), 즉 V*를 정의하여 활용 하였다.
- 앞서 전처리된 실제 웹 데이터를 이용하여 비교 대상인 세 개 시스템들의 추천 성능을 측정 하였다. 구체적인 결과는 아래 [그림 2]와 같다.
- 여기에 제시된 그래프들은 이웃 고객의 수를 변경하면서 측정한 F1-metric 값들이다. 이 중에서 먼저 카디널 척도에 대비하여 서열척도를 활용하는 것이 과연 추천 시스템의 성능 향상에 영향을 주는지를 분석하기 위해 CS-CF와 OS-CF 시스템의 F1-metric을 비교 하였다. 이는 두 시스템의 유일한 차이가 선호도 표현에 사용된 척도의 종류이기 때문이다.
- 이전의 방법론들과 비교했을 때 본 연구에서 제안된 방법론은 다음과 같은 차별적 특징을 가지고 있다. 첫째, 웹 마이닝 기법을 적용하여 웹상에서 보이는 고객의 행동 데이터로부터 간접적으로 선호도 정보를 예측한다. 전자상거래 환경은 대량의 상품과 고객이 존재하기 때문에 모든 상품에 대한 선호도를 고객들로부터 직접 획득하는 것은 현실적으로 힘들다.
- 한편, 선호도를 서열 척도 기반으로 표현하는 과정에서도 적용되는 컨센서스 기법의 특성에 따라서 추천 시스템의 성능이 영향을 받는지를 분석하기 위하여 OS-CF와 Lex-CF의 F1 metric 값도 추가적으로 비교해 보았다. 그래프의 전 영역에 걸쳐 있는 Lex-CF의 F1-metric 평균값은 약 0.
대상 데이터
- 제안된 추천 시스템의 성능을 평가하기 위해 실제 H 온라인 쇼핑몰의 웹 로그 데이터가 실험에 활용 되었다. 해당 기업의 IIS 웹 서버들 내에 30 일간 누적된 총 124개, 64,370MB 규모의 웹 로그파일을 수집하였다.
- 초기 상태의 웹 로그 파일에 대한 전처리 (data pre-processing) 과정을 통해 불필요한 정보를 제거한 결과 총 1,904개의 상품에 대해 66,329명 고객들이 관여되어 있는 2,249,540 건의 트랜잭션을 추출할 수 있었다. 학습 집합 (training set)과 검사 집합 (test set)의 구성은 다양한 사전 검증을 통해 가장 적합한 것으로 판명된 학습: 검사 = 20일:10일의 기준에 따라 데이터를 분리하고 실험에 활용 하였다.
- 제안된 추천 시스템의 성능을 평가하기 위해 실제 H 온라인 쇼핑몰의 웹 로그 데이터가 실험에 활용 되었다. 해당 기업의 IIS 웹 서버들 내에 30 일간 누적된 총 124개, 64,370MB 규모의 웹 로그파일을 수집하였다. 초기 상태의 웹 로그 파일에 대한 전처리 (data pre-processing) 과정을 통해 불필요한 정보를 제거한 결과 총 1,904개의 상품에 대해 66,329명 고객들이 관여되어 있는 2,249,540 건의 트랜잭션을 추출할 수 있었다.
성능/효과
- 7% 정도의 성능 향상이 존재 하는 것으로 나타났다. 두 시스템이 갖는 F1-metric 차이의 통계적 검증을 위해 T-test를 수행한 결과, 유의도 1% 수준 이내에서 값의 차이가 유의한 것으로 나타났다.
- 분석의 결과, 그래프의 전 영역에 걸쳐 OS-CF의 F1-metric은 0.023에서 0.026 범위의 값을 가지며 CS-CF의 0.021에서 0.025 범위의 값을 갖는 것으로 나타났다. 이웃 고객의 수에 관계없이 그래프의 전 영역에서 OS-CF의 값이 우수하며 CS-CF에 비해 전체적으로는 8.
- 실제 온라인 쇼핑몰의 웹 데이터를 이용한 실험을 통해 제안된 방법론을 적용한 추천 시스템의 우수성을 입증 하였다. 또한 전자상거래 사이트에 대해 제안된 방법론을 적용할 경우 고객과 서비스 공급자 모두에게 혜택을 제공할 수 있다.
- Eb는 사전식 컨센서스 기법을 적용함으로써 생성할 수 있다. 알고리즘은 비교적 간단하면서도 효과적이다. 2장에서 잠깐 언급된 바와 같이 선호도의 차이를 결정지을 수 있는 지표 (criteria)들을 활용하여 지표의 존재 여부와 등장 횟수를 비교 기준으로 상품의 그룹을 세분화해 나간다.
- 025의 평균값을 가진 OS-CF에 비해 약 8% 정도 높은 결과이다. 앞서의 비교에서와 동일한 T-test를 통해 두 시스템의 수치를 비교한 결과 유의도 1% 이내에서 값이 차이가 유의한 것으로 검증 되었다. 비교 대상이 된 두 시스템의 유일한 차이가 선호도 순위 생성에 활용된 컨센서스 기법이기 때문에 어떠한 컨센서스 기법을 적용하느냐에 따라서도 추천 시스템의 성능은 달라질 수 있다는 것으로 해석할 수가 있다.
- 추천 시스템의 성능을 측정하는 데에는 재현율 (recall)과 정확률 (precision), 그리고 F1-metric 이 주로 사용된다. 이 중 재현율과 정확률은 추천의 개수가 증가할수록 재현율은 증가하고 정확율은 감소하는 상반된 결과를 보인다. 따라서 아래 식 (6)과 같이 두 성능 평가 지표를 동일한 가중치로 결합한 F1-metric을 사용하여 시스템간의 성능을 비교 하였다.
- 상품과 나머지 3개 상품으로 분류가 되었으며 동일 그룹 내의 3개 상품에 대해서는 구매의 빈도에 따라 다시 세분화 과정을 거쳤다. 이 후 두 번째 지표인 장바구니 담기의 여부와 빈도를 기준으로 사전식 정렬을 수행하여 각 상품별로 차별화된 그룹 생성이 완료된 것을 볼 수 있다. 최종적으로 각 그룹 내의 상품들에 대해서 그룹의 순서별로 서열화된 순위를 부여하면 고객 A의 통합 선호도인 EA를 얻게 되는데 이는 다음의 [표 2]와 같다.
- 025 범위의 값을 갖는 것으로 나타났다. 이웃 고객의 수에 관계없이 그래프의 전 영역에서 OS-CF의 값이 우수하며 CS-CF에 비해 전체적으로는 8.7% 정도의 성능 향상이 존재 하는 것으로 나타났다. 두 시스템이 갖는 F1-metric 차이의 통계적 검증을 위해 T-test를 수행한 결과, 유의도 1% 수준 이내에서 값의 차이가 유의한 것으로 나타났다.
- 제안된 협업 추천 시스템 (이후 실험 결과의 설명을 위해 Lex-CF로 칭함)의 주요 특징은 기존의 카디널 척도 대신 서열 척도를 활용한다는 점과 서열 척도의 생성하는 과정에 사전식 컨센서스 기법을 활용했다는 점이다. 따라서 카디널 척도를 사용하는 시스템과 함께 사전식 컨센서스 기법이 아닌 다른 방법으로 서열 척도를 생성하여 사용하는 시스템과의 성능 비교를 해 보는 것이 보다 객관적으로 제안된 방법론의 성능을 검증하는 방법일 것이다.
- 해당 기업의 IIS 웹 서버들 내에 30 일간 누적된 총 124개, 64,370MB 규모의 웹 로그파일을 수집하였다. 초기 상태의 웹 로그 파일에 대한 전처리 (data pre-processing) 과정을 통해 불필요한 정보를 제거한 결과 총 1,904개의 상품에 대해 66,329명 고객들이 관여되어 있는 2,249,540 건의 트랜잭션을 추출할 수 있었다. 학습 집합 (training set)과 검사 집합 (test set)의 구성은 다양한 사전 검증을 통해 가장 적합한 것으로 판명된 학습: 검사 = 20일:10일의 기준에 따라 데이터를 분리하고 실험에 활용 하였다.
후속연구
- 제안된 협업 추천 시스템 (이후 실험 결과의 설명을 위해 Lex-CF로 칭함)의 주요 특징은 기존의 카디널 척도 대신 서열 척도를 활용한다는 점과 서열 척도의 생성하는 과정에 사전식 컨센서스 기법을 활용했다는 점이다. 따라서 카디널 척도를 사용하는 시스템과 함께 사전식 컨센서스 기법이 아닌 다른 방법으로 서열 척도를 생성하여 사용하는 시스템과의 성능 비교를 해 보는 것이 보다 객관적으로 제안된 방법론의 성능을 검증하는 방법일 것이다. 따라서 공통적으로 웹 마이닝을 활용한다는 전제 하에서, 카디널 척도로 선호도를 표현하는 추천 시스템 (CS-CF로 칭함)과 서열 척도를 활용하되 단순하게 카디널 척도 값의 크기에 따라 우선순위를 부여하는 방식1으로 생성된 서열 척도를 활용하는 추천 시스템 (OS-CF로 칭함)과 같은 두 개의 벤치마킹 시스템을 동시에 개발하여 본 연구에서 제안된 시스템과 비교 하였다.
- 이를 보완하고 연구의 결과를 보다 일반화하기 위해서는 방문 고객의 규모, 매출액, 주력 상품의 종류 등에 따라 다양한 사이트들의 데이터들을 수집하고 이를 활용한 추가적인 성능 분석이 필요하다. 이러한 한계점은 향후의 추가적 연구 과정에서 보완되어야 할 것이다.
- 하지만 실험의 결과가 단일한 특정 쇼핑몰에 한정된 고객과 상품 정보를 근거로 한다는 점에서 연구의 한계점도 존재한다. 이를 보완하고 연구의 결과를 보다 일반화하기 위해서는 방문 고객의 규모, 매출액, 주력 상품의 종류 등에 따라 다양한 사이트들의 데이터들을 수집하고 이를 활용한 추가적인 성능 분석이 필요하다. 이러한 한계점은 향후의 추가적 연구 과정에서 보완되어야 할 것이다.
- 하지만 실험의 결과가 단일한 특정 쇼핑몰에 한정된 고객과 상품 정보를 근거로 한다는 점에서 연구의 한계점도 존재한다. 이를 보완하고 연구의 결과를 보다 일반화하기 위해서는 방문 고객의 규모, 매출액, 주력 상품의 종류 등에 따라 다양한 사이트들의 데이터들을 수집하고 이를 활용한 추가적인 성능 분석이 필요하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.