선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 기존 I-Match, Multi-level Indexing의 문제점을 해결할 수 있는 중복 데이터 검출의 최적화를 위한 N-Gram TF 기반 문서 군집화 방법에 대해서 소개한다.
- 본 논문에서는 빅데이터 현황 및 빅데이터 정제 기술의 하나로 빅데이터에 산재되어 있는 중복된 데이터를 검출할 수 있는 중복 데이터 검출(Near Duplicate Detection) 기술에 대해서 상세히 설명하고자 한다.
- 본 논문에서는 빅데이터에 대해 중복 데이터를 고속으로 검출할 수 있는 RUG 알고리즘을 제안하였으며, 기존 알고리즘 대비 획기적인 성능을 개선하는 효과를 보였다. 이는 실제 빅데이터 처리에서 적용할 수 있는 수준이라고 판단된다.
- 본 실험에서는 군집 정확도와 중복 데이터 검출 성능에 대해서 평가를 실시하였다.
- 빅데이터에서 분석 기술도 중요하지만 분석 전 데이터에 대한 정제도 매우 중요하다. 본 장에서는 빅데이터 정제 기술의 하나인 중복 데이터 검출 및 최적화 기술의 선행 연구에 대해서 알아본다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.