[논문]클라우드 환경에서 문서의 유형 분류를 위한 시맨틱 클러스터링 모델

김영수; 이병엽

doi:10.5392/jkca.2017.17.11.389

클라우드 환경에서 문서의 유형 분류를 위한 시맨틱 클러스터링 모델
Semantic Clustering Model for Analytical Classification of Documents in Cloud Environment 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.17 no.11, 2017년, pp.389 - 397

김영수 (배재대학교 사이버보안학과) , 이병엽 (배재대학교 사이버보안학과)

초록
AI-Helper

최근 시맨틱 웹 문서는 클라우드 기반으로 생성 및 유통되고 문서유형 분류에 따른 쉽고 신속한 정보 검색을 위해 지능형 시맨틱 에이전트를 요구하고 있다. 기존의 웹 문서의 검색은 키워드를 이용하여 해당하는 질의어가 포함된 문서 목록을 결과로 가져오며 사용자의 요구시에 내용을 제시하는 것이 일반적인 형태이다. 이는 웹 문서의 유사도와 시맨틱 관련성을 고려하지 않음으로써 사용자가 내용 검색과 분석에 많은 시간과 노력을 요구한다. 이의 해결을 위해서 빅 데이터 요소 기술인 하둡과 NoSQL을 활용하여 시맨틱 웹 문서에 포함된 키워드 빈도에 기반한 웹 문서의 유형 분류와 유사도를 제시하는 시맨틱 클러스터링 모델을 제안한다. 제안 모델은 실시간 데이터 처리가 요청되는 이종 모델을 가진 공공 데이터와 웹 데이터를 취합하여 일반 사용자가 쉽게 질의할 수 있는 대용량 지식 기반 시스템을 구축하는데 응용 모델로 활용될 수 있다.

Abstract ▼ AI-Helper

Recently semantic web document is produced and added in repository in a cloud computing environment and requires an intelligent semantic agent for analytical classification of documents and information retrieval. The traditional methods of information retrieval uses keyword for query and delivers a document list returned by the search. Users carry a heavy workload for examination of contents because a former method of the information retrieval don't provide a lot of semantic similarity information. To solve these problems, we suggest a key word frequency and concept matching based semantic clustering model using hadoop and NoSQL to improve classification accuracy of the similarity. Implementation of our suggested technique in a cloud computing environment offers the ability to classify and discover similar document with improved accuracy of the classification. This suggested model is expected to be use in the semantic web retrieval system construction that can make it more flexible in retrieving proper document.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

웹 문서에 구조적 정보로서 Table이나 DIV 태그와 같은 정보를 포함시켜서 데이터에 대한 디스플레이 구조를 정의하고 시맨틱 정보로서 article과 footer와 같은 시맨틱 태그를 포함시켜 문서의 의미적 구조를 정의함으로써 정보 검색과 지식 발견을 용이하게 한다. 본 논문에서는 문서의 구조적 정보와 시맨틱 정보를 둘 다 고려하는 유사도 척도 기반의 시맨틱 클러스터링 기법을 제안한다. 클러스터링 과정은 질의어와 웹문서의 유사도를 평가하여 웹 문서를 그룹화 하는 과정으로 검색 결과의 브라우징을 위해서 목록의 형태로 문서 그룹을 구조화한다.

제안 방법

기존의 문서 클러스터링 방법인 검색어의 차원 표현에 제한을 받는 문제점을 안고 있는 반면에 제안 모델에서 사용하는 클러스터링은 K-Means 클러스터링 알고리즘과 키워드의 출현 빈도수와 컨셉 매칭을 사용하고 웹문서를 마이닝 하고 관리하기 위하여 클라우드 기반의 NoSQL과 하둡을 사용하였다. [그림 1]과 같은 연구 모델을 사용하여 클라우드 환경에서 콘텐츠의 유형 분류를 위한 시맨틱 컴퓨팅 모델을 제안한다.
클러스터링 과정은 질의어와 웹문서의 유사도를 평가하여 웹 문서를 그룹화 하는 과정으로 검색 결과의 브라우징을 위해서 목록의 형태로 문서 그룹을 구조화한다. 기존의 문서 클러스터링 방법인 검색어의 차원 표현에 제한을 받는 문제점을 안고 있는 반면에 제안 모델에서 사용하는 클러스터링은 K-Means 클러스터링 알고리즘과 키워드의 출현 빈도수와 컨셉 매칭을 사용하고 웹문서를 마이닝 하고 관리하기 위하여 클라우드 기반의 NoSQL과 하둡을 사용하였다. [그림 1]과 같은 연구 모델을 사용하여 클라우드 환경에서 콘텐츠의 유형 분류를 위한 시맨틱 컴퓨팅 모델을 제안한다.
텍스트 마이닝 알고리즘이 X라는 문서와 Y라는 문서가 관련되고 Y라는 문서와 Z라는 문서가 관련되었다는 것을 분석해서 X라는 문서와 Z라는 문서의 관련성을 검색 결과로 제공한다면 사용자가 내용 검색과 분석에 드는 노력과 시간을 경감시킬 수 있다[20][21]. 따라서 검색 키워드의 확장을 통해 생성되어 데이터베이스에 저장된 온톨로지를 기반으로 [그림 8]과 같이 문서를 클러스터로 분류하는 컨셉 매칭을 통한 시맨틱 컴퓨팅 모델을 제안한다. 유사도를 계산하려는 두개의 문서를 스트링 배열로 분리하고 온톨로지의 컨셉 매핑을 통한 경로 정보를 식별한다.
이는 웹 문서의 유사도와 시맨틱 관련성을 고려하지 않음으로써 사용자가 내용 검색과 분석에 많은 시간과 노력을 요구한다. 따라서 검색어를 키워드로 분리하고 이들 키워드와 문서 간의 유사도를 기반으로 [그림 7]과 같이 문서를 클러스터로 소속시켜서 분류하는 문서와 검색어 기반 K-Means 클러스터링 모델을 제안한다. 검색어의 키워드 빈도수를 가중치로 사용하여 문서를 분류하는 기법으로서 주어진 키워드 집합에 따라 문서를 특정 카테고리로 분류하고 문서를 관련된 내용 별로 자동으로 구조화함으로써 사용자가 많은 양의 문서들을 좀 더 편리하게 접근할 수 있게 해준다.
따라서 검색 키워드의 확장을 통해 생성되어 데이터베이스에 저장된 온톨로지를 기반으로 [그림 8]과 같이 문서를 클러스터로 분류하는 컨셉 매칭을 통한 시맨틱 컴퓨팅 모델을 제안한다. 유사도를 계산하려는 두개의 문서를 스트링 배열로 분리하고 온톨로지의 컨셉 매핑을 통한 경로 정보를 식별한다. 식별된 경로 정보를 이용하여 두 문서 X와 Y의 유사도를 계산한다.
이는 웹 문서의 유사도와 시맨틱 관련성 고려하지 않음으로써 사용자가 내용 검색과 분석에 많은 시간과 노력을 요구한다. 이의 해결을 위해서 빅데이터 요소 기술인 하둡과 NoSQL을 활용하여 대용량 시맨틱 웹 문서에 포함된 질의어의 키워드 빈도에 기반한 웹 문서의 유형 분류와 유사도를 제시하는 시맨틱 컴퓨팅 모델을 제안하고 구현하였다. 클라우드 환경에서 문서의 유형 분류를 위한 시맨틱 클러스터링 모델로 제안한 아키텍처와 알고리즘은 블로그나 소셜 네트워크에서 웹 콘텐츠의 폭증에 따른 검색 문제를 해결하기 위한 비즈니스 모델로 응용되어 사용될 수 있고 실시간 데이터 처리가 요청되는 이종 모델을 가진 공공 데이터와 웹 데이터를 취합하여 일반 사용자가 쉽게 질의할 수 있는 대용량 지식 기반 시스템을 구축하는데 응용 모델로 활용 될 수 있다.
SaaS(Software as a Service)는 애플리케이션 그리고 사용자 인터페이스를 포함하는 서비스로 사용자가 애플리케이션을 개발해서 이용하는 형태가 아니라 클라우드 서비스 제공자가 애플리케이션을 개발하고 이를 사용할 수 있게 하는 형태의 서비스이다. 제안 모델에 적합한 클라우드 컴퓨팅 서비스는 SaaS로써 사용자와 컴퓨팅 서비스 기반 애플리케이션을 이어주는 인터페이스 역활을 한다. 온톨로지를 이용한 검색시스템은 빅데이터 플랫폼과 SaaS를 같이 사용하면 시너지 효과를 낼 수 있다.
제안 모델은 사설 클라우드 환경에서 SaaS로서 구현하고 리포지터리에는 URL, 인덱스, 타임스탬프, 콘텐츠를 저장하고 콘텐츠와 링크가 함께 연결된 구조를 갖도록 하였다.
웹 기반의 콘텐츠관리시스템은 클라우드에 콘텐츠관리 애플리케이션이 존재하고 웹브라우저를 사용하여 이를 이용하는 SaaS의 한 형태이다. 제안 모델의 응용을 위해서 [그림 2]와 같은 사설 클라우드 서버를 구축하였다. 사용자가 콘텐츠관리 애플리케이션에 접속을 요청하면 가상머신이 생성되고 그 위에서 동작하는 웹 서버의 콘텐츠 애플리케이션이 구동되어 서비스를 제공 받는 형태이다
제안 모델의 응용을 위해서 [그림 3]와 같은 시맨틱 웹문서 관리시스템을 구축하였다. 검색 콘텐츠 마커는 검색 키워드의 확장을 통해 생성되고 데이터베이스에 저장된 온톨로지와 매핑을 통하여 웹문서에 시맨틱 어노테이션을 생성한다.
키워드 빈도수와 컨셉 K-Means 클러스터링 모델은 n개의 데이터를 k개의 그룹으로 군집화 하는 모델로 데이터 간의 유사성(similarity)은 거리(Distance)를 가지고 측정하고 클러스터의 중심점과 최소의 거리를 갖는 데이터를 클러스터로 그룹화 하는 반면 키워드 빈도수를 통한 클러스터링은 K-Means 클러스터링 모델을 변형하여 키워드의 개수를 클러스터의 수로 설정하고 키워드가 포함되어 있는 문서들을 묶어서 그룹화하고 문서간의 유사성은 키워드의 빈도수를 가중치로 사용하여 계산한다. 컨셉 매칭을 통한 클러스터링은 문서의 스트링을 온톨로지의 컵셉과의 매칭을 통해서 식별된 경로 정보를 사용하여 관련성 점수를 평가하여 유사도를 계산하여 군집화를 수행한다. 문서와 검색어 기반의 클러스터링에 소요된 시간은 [그림 9]와 같고 컨셉 매칭을 통한 클러스터링에 소요된 시간은 [그림 10]과 같다.
키워드 빈도수와 컨셉 K-Means 클러스터링 모델은 n개의 데이터를 k개의 그룹으로 군집화 하는 모델로 데이터 간의 유사성(similarity)은 거리(Distance)를 가지고 측정하고 클러스터의 중심점과 최소의 거리를 갖는 데이터를 클러스터로 그룹화 하는 반면 키워드 빈도수를 통한 클러스터링은 K-Means 클러스터링 모델을 변형하여 키워드의 개수를 클러스터의 수로 설정하고 키워드가 포함되어 있는 문서들을 묶어서 그룹화하고 문서간의 유사성은 키워드의 빈도수를 가중치로 사용하여 계산한다. 컨셉 매칭을 통한 클러스터링은 문서의 스트링을 온톨로지의 컵셉과의 매칭을 통해서 식별된 경로 정보를 사용하여 관련성 점수를 평가하여 유사도를 계산하여 군집화를 수행한다.

대상 데이터

클러스터링에 걸린 시간은 Y축에 클러스터는 X축에 표시하였다. 50개의 문서가 테스트를 위해서 사용되었고 3개의 키워드가 검색어로 사용하였다.

이론/모형

전통적인 문서 클러스터링 방법에서 사용되는 벡터공간 모델은 관리 가능한 차원이 제한되는 문제점을 안고 있다. 제안 모델에서 응용되는 클러스터링 모델은 K-Means 클러스터링 알고리즘으로 [그림 6]과 같다. K-Means 클러스터링 알고리즘은 주어진 데이터를 K개의 클러스터로 묶는 알고리즘으로 클러스터 중심점과 최소의 거리를 갖는 데이터를 클러스터로 묶는 과정을 반복하여 단일 클러스터로 그룹화 되면 처리를 종료한다.

성능/효과

컨셉 매칭을 통한 클러스터링이 문서와 검색어 기반의 클러스터링보다 웹문서를 분류하는데 오랜 시간이 걸린 다는 것을 확인하였다. 이는 컨셉 매칭을 통한 클러스터링이 웹 문서를 온톨로지의 컨셉과의 매핑을 통한 경로 정보를 획득하여 두 웹 문서의 유사도를 계산하기 때문이다.

후속연구

본 연구의 한계점으로는 온톨로지를 바탕으로 검색어와 유사한 키워드를 찾고 이들 검색어와 유사 키워드가 문서에서 출현하는 빈도를 이용하여 시맨틱 클러스터링을 수행하는 모델을 제안하고 있으나 웹문서에 시맨틱 정보를 직접 입력하여 온토로지를 생성함으로써 온톨로지의 범위를 제한하고 있는 한계를 가지고 있다. 따라서 향후 웹 온톨로지를 자동으로 생성하는 시스템에 대한 연구를 지속할 예정이다.
클라우드 환경에서 문서의 유형 분류를 위한 시맨틱 클러스터링 모델로 제안한 아키텍처와 알고리즘은 블로그나 소셜 네트워크에서 웹 콘텐츠의 폭증에 따른 검색 문제를 해결하기 위한 비즈니스 모델로 응용되어 사용될 수 있고 실시간 데이터 처리가 요청되는 이종 모델을 가진 공공 데이터와 웹 데이터를 취합하여 일반 사용자가 쉽게 질의할 수 있는 대용량 지식 기반 시스템을 구축하는데 응용 모델로 활용 될 수 있다. 본 연구의 한계점으로는 온톨로지를 바탕으로 검색어와 유사한 키워드를 찾고 이들 검색어와 유사 키워드가 문서에서 출현하는 빈도를 이용하여 시맨틱 클러스터링을 수행하는 모델을 제안하고 있으나 웹문서에 시맨틱 정보를 직접 입력하여 온토로지를 생성함으로써 온톨로지의 범위를 제한하고 있는 한계를 가지고 있다. 따라서 향후 웹 온톨로지를 자동으로 생성하는 시스템에 대한 연구를 지속할 예정이다.
이의 해결을 위해서 빅데이터 요소 기술인 하둡과 NoSQL을 활용하여 대용량 시맨틱 웹 문서에 포함된 질의어의 키워드 빈도에 기반한 웹 문서의 유형 분류와 유사도를 제시하는 시맨틱 컴퓨팅 모델을 제안하고 구현하였다. 클라우드 환경에서 문서의 유형 분류를 위한 시맨틱 클러스터링 모델로 제안한 아키텍처와 알고리즘은 블로그나 소셜 네트워크에서 웹 콘텐츠의 폭증에 따른 검색 문제를 해결하기 위한 비즈니스 모델로 응용되어 사용될 수 있고 실시간 데이터 처리가 요청되는 이종 모델을 가진 공공 데이터와 웹 데이터를 취합하여 일반 사용자가 쉽게 질의할 수 있는 대용량 지식 기반 시스템을 구축하는데 응용 모델로 활용 될 수 있다. 본 연구의 한계점으로는 온톨로지를 바탕으로 검색어와 유사한 키워드를 찾고 이들 검색어와 유사 키워드가 문서에서 출현하는 빈도를 이용하여 시맨틱 클러스터링을 수행하는 모델을 제안하고 있으나 웹문서에 시맨틱 정보를 직접 입력하여 온토로지를 생성함으로써 온톨로지의 범위를 제한하고 있는 한계를 가지고 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	클라우드 컴퓨팅 서비스 3가지 형태의 특징은 무엇인가?	사용자와 개발자가 이용 가능한 클라우드 컴퓨팅 서비스는 크게 3가지 형태로 분류한다. IaaS(Infrastructure as a Service)는 사용자가 가상 머신과 같은 하드웨어 자원을 사용할 수 있도록 서비스를 제공한다. IaaS는 기존 전통적인 시스템과는 다르게 하드웨어 사이에 가상화 계층이 존재한다. 가상화 계층은 하이퍼바이저를 주요 요소기술로 가지며 다수의 가상머신이 구동될 수 있는 환경을 제공한다. PaaS(Platform as a Service)는 사용자에게 운영체제와 프레임워크와 같은 플랫폼을 사용할 수 있도록 해주는 서비스로 이를 통해서 사용자는 애플리케이션을 개발하여 서비스를 제공할 수 있는 형태이다. SaaS(Software as a Service)는 애플리케이션 그리고 사용자 인터페이스를 포함하는 서비스로 사용자가 애플리케이션을 개발해서 이용하는 형태가 아니라 클라우드 서비스 제공자가 애플리케이션을 개발하고 이를 사용할 수 있게 하는 형태의 서비스이다. 제안 모델에 적합한 클라우드 컴퓨팅 서비스는 SaaS로써 사용자와 컴퓨팅 서비스 기반 애플리케이션을 이어주는 인터페이스 역활을 한다.
	시맨틱 웹은 무엇을 제공하는가?	웹 문서 클러스터링에 대한 이전 연구들은 비구조적인 시맨틱 정보들을 고려하지 않고 있다. 시맨틱 웹은 웹문서를 쉽고 빠르게 찾고 상호작용하고 협업할 수 있는 환경을 제공한다. 웹 문서에 구조적 정보로서 Table이나 DIV 태그와 같은 정보를 포함시켜서 데이터에 대한 디스플레이 구조를 정의하고 시맨틱 정보로서 article과 footer와 같은 시맨틱 태그를 포함시켜 문서의 의미적 구조를 정의함으로써 정보 검색과 지식 발견을 용이하게 한다.
	클라우드 컴퓨팅은 어떤 기술인가?	클라우드 컴퓨팅은 비즈니스의 변화에 기민하게 대응하고 전체적인 비용을 줄여주면서 효율성을 높이기 위해서 전 세계적으로 분산되어 있는 리소스의 확장성, 신뢰성, 가용성과 같은 특징을 갖는 기술이다. 클라우드 컴퓨팅 서비스는 인터넷과 웹 기반으로 제공되는 서비스로 SaaS는 주문형 소프트웨어 배포 모델이다.

참고문헌 (21)

김영수, 문형진, 조혜선, 김병익, 이진해, 이진우, 이병엽, "계층적침해자원기반의 침해사고 구성 및 유형 분석," 한국콘텐츠학회논문지, 제16권, 제11호, pp.139-153, 2016.

원문보기 상세보기
김영수, "보안 인텔리전트 유형 분류를 위한 다중 프로파일링 앙상블 모델," 한국콘텐츠학회논문지, Vol.17, No.3, pp.231-237, 2017.

원문보기 상세보기
이태휘, 임동혁, "맵리듀스에서의 구조적 RDF 데이터 변경 탐지 기법," 정보처리학회논문지, Vol.3, No.8, pp.293-298, 2014,
심준, 이홍철, "검색 키워드 확장을 이용한 온톨로지 자동 생성 시스템 개발," 한국산학기술학회논문지, Vol.10, No.6, pp.1220-1228, 2009.

원문보기 상세보기
배우정, 이현영, 박인철, 이용석, "개념 그래프의 트리 표현," 한국정보과학회 학술발표논문집, Vol.25(1B), pp.393-395, 1998.
안윤선, 김윤희, "군집분석을 이용한 하이브리드 클라우드 컴퓨팅 환경에서의 시맨틱 클라우드 자원 추천 서비스 기법," 정보처리학회논문지, Vol.,4 No.9, pp.283-288, 2015.
P. Mell and T. Grance, "The NIST definition of cloud computing," National Institute of Standards and Tchnology, Vol.53, No.6, p.50, 2009.
C. N. Hoefer and G. Karagiannis, Taxonomy of cloud computing services. In: GLOBECOM Workshops (GC Wkshps), 2010 IEEE. pp.1345-1350, IEEE 2010.
P. Bhaskar, J. Admela, K. Dimitrios, and G. Yves, "Architectural Requirements for Cloud Computing Systems:An Enterprise Cloud Approach," J. Grid Computing, Vol.9, No.1, pp.3-26, 2011.

상세보기
Wei-Tek Tsai, Xin Sun, and Janaka Balasooriya, "Service-Oriented Cloud Computing Architecture," 2010 Seventh International Conference on Information Technology, 2010.
H. Rijgersberg, M. Wigham, and J. T. Top, "How semantics can improve engineering processes: A case of unitsof measure and quantities," Advanced Engineering Informatics, Vol.25, No.2, pp.276-287, 2011.

상세보기
P. Shvaiko and J. Euzenat, Ontology Matching: State art and Future Challenges, pp.1-15, IEEE 2013.
K. Saruladha, G. Aghila, and B. A. Sathiya, "Comparative Analysis of Ontology and Schema Matching Systems," International Journal of Computer Application, Vol.34, No.8, pp.14-21, 2011.
A. Ismail and M. Joy, Semantic searches for extracting similarities in a content management system. Proceedings the IEEE International Conference on Semantic Technology and Information Retrieval, Putrajaya, pp.113-118, June 28-29, 2011,
N. Leavitt, Will NoSQL databases live up to their promises. computer, Vol.43, pp.12-14, 2010.
R. P. Padliy, M. R. Patra, and S. C. Satapthy, RDBMS to NoSQL: Reviewing some next-generation non-relational databse's. Int J. Adv. Eng. Sci Techno1, Vol.11, pp.15-30, 2011.
David Sanchez, Montserrat Batet, David Isern, and Aida Valls, "Ontology-based semantic similarity: A new feature-based approach," Journal of Expert systems with applications, Elseveir, No.39, pp.7718-7728, 2012.
J. H. Hwang and K. H. Ryu, "A weighted common structure based clustering technique for XML documents," Elsevier Publication, 2010.
B. Drakshayani and E V Prasad, "Text Document Clustering based on Semantics," International Journal of Computer Applications, pp.0975-8887, Vol.45, No.4, May 2012.
R. Priyadarshini and Latha Tamilselvan, "Document clustering based on keyword frequency and concept matching technique in Hadoop," International Journal of Scientific & Engineering Research, Vol.5, Issue 5, May, 2014.
R. Priyadarshini, Latha Tamilselvan, "Document Based Semantic CMS in Cloud," Information Technology Journal, Vol.13, pp.217-230, February 07, 2014.

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증