초록 ▼

연구의 목적 및 내용:
기존의 구글로 대표되는 키워드기반 인터넷 검색 서비스 시장은 이미 포화상태에 이르렀다. 정보 검색에 대한 사용자들의 새로운 요구가 커지면서 사용자의 검색 의도를 파악하고 그에 따른 심층적 분석을 통해 다양한 형태의 대용량 데이터로부터 사용자가 원하는 결과를 빠르게 보여주는 심층 정보 분석 및 검색의 패러다임이 필요하게 되었다. 따라서 본 연구팀은 이를 위한 다양한 접근을 시도하여 사용자의 의도를 파악하고 빅데이터를 효율적으로 처리할 수 있는 심층 정보 검색 기술을 개발하는 것을 목표로 하였다. 본연구의

연구의 목적 및 내용:
기존의 구글로 대표되는 키워드기반 인터넷 검색 서비스 시장은 이미 포화상태에 이르렀다. 정보 검색에 대한 사용자들의 새로운 요구가 커지면서 사용자의 검색 의도를 파악하고 그에 따른 심층적 분석을 통해 다양한 형태의 대용량 데이터로부터 사용자가 원하는 결과를 빠르게 보여주는 심층 정보 분석 및 검색의 패러다임이 필요하게 되었다. 따라서 본 연구팀은 이를 위한 다양한 접근을 시도하여 사용자의 의도를 파악하고 빅데이터를 효율적으로 처리할 수 있는 심층 정보 검색 기술을 개발하는 것을 목표로 하였다. 본연구의 내용은 다음과 같다. 우선 (1) 멀티미디어 데이터에 대한 분석 및 검색 기술 연구를 수행하고 (2)텍스트 마이닝을 이용해 웹상의 문서들을 분석, 추천, 검색하는 연구를 수행하였다. 또한 (3) 웹문서들을 자동으로 잘 분류할 수 있는 연구와 (4) 개인정보 유출방지를 위한 프라이버시 보호기술 연구를 수행하였다. 이러한 연구들의 (5) 빅데이터 처리를 위한 맵리듀스 프레임워크를 이용한 분산 병렬 알고리즘의 개발에 대한 연구를 수행하였고 마지막으로 (6) 모바일 환경에서의 효율적인 검색을 제공하는 기술에 대한 연구를 수행하였다.
연구결과:
(1) 멀티미디어 데이터에 대한 분석 및 검색 기술 연구에서는 스트리밍 동영상 시청 환경에서 관심이 있는 동영상과 유사한 동영상을 찾는데 특화된 알고리즘에 대한 연구를 수행하였다. 이를 통해 실시간으로 질의를 수행할 수 있을 정도로 속도향상을 이뤘고 기존 알고리즘들과 달리 자막 등의 노이즈가 있어도 유사 동영상으로 검색이 가능하도록 했다. 다음으로 (2) 컨텐츠를 추천하고 검색해주는 연구에서는 확률 모델을 통해 각각의 사용자가 관심을 가질 컨텐츠를 추천하는 알고리즘과 최근 관심을 끌고 있는 주제를 찾고 이 주제에 대한 컨텐츠 중 각 사용자에게 적합한 컨텐츠를 추천하는 알고리즘을 개발하였다. 이를 통해 사용자나 컨텐츠의 숨은 주제를 파악하여 더 정교한 추천과 검색을 지원할 수 있었다. 그리고 (3) 웹문서들의 자동 분류 연구에서는 유사한 컨텐츠들을 찾기 위한 유사도 조인 연구를 수행하였고 실제 데이터베이스 시스템에서 이런 질의의 최적 수행 방법을 찾는데 사용할 수 있는 유사도 조인 결과의 크기를 추정하는 연구를 수행하였다. 또한 서로 다른 구조를 가지는 웹문서들에서 자동적으로 템플릿을 추출하는 연구도 수행하였으며 실제 문서들을 클러스터링 할 때 수행 속도를 줄이기 위한 연구도 수행하였다. 이를 통해 검색 엔진 결과에서 관련 컨텐츠를 보여줄 때 더 정확한 결과를 빠르게 보여줄 수 있었다. 다음으로 4) 개인 정보 유출 방지를 위한 프라이버시 보호 기술 연구에서는 구조화된 데이터뿐만 아니라 비정형 데이터를 공개할 때 민감한 개인 정보가 복원되는 일을 막음으로써 개인 정보를 보호하는 데이터 익명화에 대한 연구를 수행하였다. 이를 통해 데이터 익명화 과정에서 정보 손실을 획기적으로 줄일 수 있었다. 앞의 모든 연구가 대규모의 빅데이터를 처리할 수 있도록 (5) 빅데이터 처리를 위한 맵리듀스 프레임워크를 이용한 분산 병렬 알고리즘의 개발에 대한 연구를 수행하였다. 이를 통해 사용하는 컴퓨터 수에 선형적인 속도 향상을 얻을 수 있었다. 마지막으로 (6) 모바일 환경에서의 효율적인 검색을 제공하는 기술에 대한 연구에는 모바일 기기가 통신할 때 필요한 데이터만을 통신하여 기기의 지속 시간을 늘리는 연구를 수행하였다.
연구결과의 활용계획:
앞으로의 정보검색은 다음 두 연구 분야가 중요할 것으로 예상된다. 첫째는 (1) 데이터 통합이다. 웹에 산재하고 있는 빅데이터에 각각 접근하여 검색을 수행하는 것은 쉽지 않고 각 정보들의 신뢰도 또한 완벽하지 않으므로 이를 통합하여 구축한 지식 데이터베이스에서 검색 질의를 수행해야 훨씬 만족도 높은 결과를 도출해낼 수 있다. 이 데이터 통합 연구를 추진하기 위해서는 스키마 추출 기술, 개인정보 보호기술, 유사성 조인 기술 등 본 과제를 통해 축적된 기술들이 필요하다. 다음은 (2) 크라우드 소싱이다. 크라우드소싱을 이용하면 컴퓨터가 처리하기 어려운 복잡한 문제들을 집단 지성도 함께 이용해 매우 정확하게 처리할 수 있다. 크라우드 소싱을 쓰려면 사용자의 잠재 의도를 파악하는 기술, 질문할 적합한 문제를 추천하는 기술, 데이터 마이닝 기술 등 역시 본 과제에서 개발한 기술들이 필요하다. 두 분야 모두 빅데이터처리를 통해 진행되기 때문에 본 과제에서 수행한 분산 병렬 처리 기술이 필수적이다. 따라서 추가 연구에서 앞으로의 검색 엔진 시장에 중요한 분야인 데이터 통합과 크라우드 소싱에 본 과제를 통해 축적한 기술을 활용할 계획이다.

Abstract ▼

Purpose & contents:
The market of internet keyword-based search engines such as Google has already reached saturation. As the new demands of users for information retrievals arise, the new paradigm for advanced deep information analysis and retrieval, which can identify the intentions of users an

Purpose & contents:
The market of internet keyword-based search engines such as Google has already reached saturation. As the new demands of users for information retrievals arise, the new paradigm for advanced deep information analysis and retrieval, which can identify the intentions of users and provide quickly the wanted results for the users from big data with various formats by using advanced analysis, is needed. Thus, the goal of our research was to study the advanced information retrieval technologies to identify the intentions of users and process big data efficiently. We conducted the following researches: (1) We first analyzed and developed the analysis and search technologies to deal with multimedia data and (2) next studied the analysis, recommendation and information retrieval of existing web documents by using text mining techniques. Moreover, the researches on (3) classification of web documents and (4) privacy preservation to prevent the exposure of individual sensitive data were investigated. (5) We also developed the distributed and parallel algorithms for big data processing and examined the techniques for effective information retrievals in mobile environments.
Result:
(1) For studying information retrieval techniques to deal with multimedia data, we developed the specialized algorithms to find the similar video clips from video data for a given query video clip in the environment of streaming video data. Our study allows to process the similar video retrieval queries in real time even though there exists noises such as subtitles, unlike the existing algorithms. For the study of recommendation and information retrieval of documents, (2) we developed personalized recommendation algorithms using a novel probabilistic modeling which can provide the documents that the users are very interested and the documents with hot topics respectively. By analyzing latent topic for users and contents, more precise recommendations and information retrievals could be provided. (3) To automatically classify web pages, we developed a similarity join algorithm to find similar pairs of documents quickly and proposed novel selectivity estimation techniques to estimate the sizes of join results accurately. Moreover, we developed the novel algorithms for extracting templates from a large number of web documents generated from heterogeneous templates. We proposed the efficient clustering algorithms for handling high-dimensional large data quickly. As a result, we could allow search engines to provide the related contents precisely and quickly. (4) We next developed novel privacy preserving algorithms that can prohibit the disclosure of sensitive information from structured as well as semi-structured data. By using such algorithms, the information loss resulted by anonymization can be significantly reduced. (5) We also developed distributed and parallel algorithms using MapReduce framework to allow our proposed algorithms to handle big data. We obtained linear speed ups with increasing the number of machines used. Finally, (6) to provide effective search technologies in a mobile environment, we studied how to minimize the energy consumption of mobile devices to prolong the battery life of the devices.
Expected Contribution:
For future information retrieval technologies, we expect the two following research areas to be important. The first one is data integration. Since it is difficult to query for big data distributed in different formats scattered across many different sources and quality of data is not always reliable, it is more desirable to process queries on the knowledge databases built by integrating the big data. For effective data integration, the technologies such as automatic schema extraction, privacy preservation and similarity joins, which are developed by this project, are essential. The second area is the crowdsourcing. By utilizing the crowdsourcing techniques with collective intelligence, the difficult problems to be handled by computers can be processed very effectively. To utilize crowdsourcing techniques, we need the techniques for identifying the latent topics of users, selecting of the proper questions to be asked to the users and mining big data which are developed by this project too. Moreover, distributed and parallel algorithms proposed by this project are very important in the above two areas. Therefore, in our follow-up study, we plan to apply the techniques obtained by this project to data integration and crowdsourcing areas which are important for future information retrieval technologies.