선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 따라서 기존의 MCMC 결측치 대체 기법을 그대로 사용하게 되면 모형의 예측력이 크게 떨어질 뿐만 아니라 학습 시간도 매우 많이 소요된다. 따라서 본 논문에서는 이러한 문제점을 해결하기 위하여 MCMC 대체 기법에 사전 확률 분포 선택 단계를 새롭게 추가하여 대규모의 희소 웹 데이터의 분석을 가능케 하였다.
- 본 논문에서는 이러한 웹 로그 데이터의 희소성(sparseness)에 대한 문제 해결방안에 대하여 연구하였다. 또한 웹 사용자들을 서로 유사한 행위 패턴을 보이는 사용자들 끼리 군집화 하는 방법에 대한 연구도 동시에 수행하였다. 마코프 연쇄 몬테 칼로(markov chain monte carlo : MCMC) 방법의 베이지안 추론을 적용한 결측치 대체 기법 (missing value imputation)을 이용하여 웹 데이터의 희소성을 제거하였고 이 결과로서 얻게 된 완전한 클릭 스트림 데이터에 대한 주성분 분석을 통하여 보유 주성분에 대한 산점도를 시각적으로 관찰하여 형상 지도feature maps)의 차원을 결정한 자기 조직화 지도를 이용하였다.
- 클릭 스트림 데이터 테이블의 각 셀에 결측치가 많아 웹 로그데어터의 희소성이 발생하는 이유는 웹 사이트의 전체 페이지 중에서 각 사용자가 한 번의 접속으로 보게되는 웹 페이지의 수가 상대적으로 매우 작기 때문이다. 본 논문에서는 이러한 웹 로그 데이터의 희소성(sparseness)에 대한 문제 해결방안에 대하여 연구하였다. 또한 웹 사용자들을 서로 유사한 행위 패턴을 보이는 사용자들 끼리 군집화 하는 방법에 대한 연구도 동시에 수행하였다.
- 하지만 이러한 방법들은 차원의 축소에 의해 원래 데이터에 대한 정보의 손실이 발생하여 모형에 대한 설명력의 저하를 감수해야 한다. 본 논문에서는 차원의 축소를 하지 않고 원래 데이터의 정보를 그대로 유지하면서 결측치 대체 전략을 취하여 웹 데이터의 희소성 문제를 해결한다.
- 본 논문에서는 현재 웹 로그 데이터가 가지고 있는 가장 큰 어려움 중의 하나인 희소성 문제를 해결하기 위하여 통계 물리학에서 사용되는 MCMC 기법을 변형한 Hybrid MCMC 방법을 제안하였다. KDD Cup 데이터에 의한 실험을 통하여 기존의 웹 마이닝에서 결측치 대체 기법으로 사용되고 있는 회귀모형이나 Support Vector Machine 그리고 기존의 MCMC 방법 등과 비교한 결과 이들보다 정확한 예측력을 보이고 있음을 알 수 있었다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.