[논문]빅데이터 클러스터에서의 추출된 형태소를 이용한 유사 동영상 추천 시스템 설계

이현섭; 김진덕

doi:10.6109/jkiice.2020.24.2.172

빅데이터 클러스터에서의 추출된 형태소를 이용한 유사 동영상 추천 시스템 설계
A Design of Similar Video Recommendation System using Extracted Words in Big Data Cluster 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.24 no.2, 2020년, pp.172 - 178

이현섭 (Department of application software Engineering, Dong-Eui University) , 김진덕 (Department of Computer Engineering, Dong-Eui University)

초록
AI-Helper

최근 널리 이용되고 있는 동영상 공유 서비스에서는 콘텐츠 추천 시스템이 매우 중요한 요소이다. 콘텐츠 추천을 위해서 일반적으로 사용자 선호도와 동영상(아이템) 유사도를 동시에 고려하는 협업 필터링을 사용하고 있다. 그러한 서비스는 주로 사용자의 검색 키워드와 시청시간과 같은 개인 선호도를 활용하여 사용자의 편의를 도모한다. 또한 동영상에 지정한 키워드를 중심으로 랭킹화한다. 그러나 한정된 키워드만을 이용한 동영상 유사도를 분석한다는 한계가 있다. 이런 경우 지정한 키워드가 아이템을 제대로 반영하지 못하는 경우 그 문제가 심각해진다. 이 논문에서는 교육 동영상으로부터 차별화된 의미를 갖는 모든 단어를 고려하여 유사도를 분석하며, 이런 경우 데이터와 연산의 규모가 방대하기 때문에 빅데이터 클러스터에서 처리하는 방법을 적용한다. 제안한 시스템은 빅데이터 영상 분석을 통해 동영상 공유 서비스 플랫폼의 기본 모듈로 활용될 것으로 기대한다.

Abstract ▼ AI-Helper

In order to recommend contents, the company generally uses collaborative filtering that takes into account both user preferences and video (item) similarities. Such services are primarily intended to facilitate user convenience by leveraging personal preferences such as user search keywords and viewing time. It will also be ranked around the keywords specified in the video. However, there is a limit to analyzing video similarities using limited keywords. In such cases, the problem becomes serious if the specified keyword does not properly reflect the item. In this paper, I would like to propose a system that identifies the characteristics of a video as it is by the system without human intervention, and analyzes and recommends similarities between videos. The proposed system analyzes similarities by taking into account all words (keywords) that have different meanings from training videos, and in such cases, the methods handled by big data clusters are applied because of the large scale of data and operations.

주제어

표/그림 (7)

그림 Fig. 1 A System Structure for Video Recommendation
그림 Fig. 2 Analysis process of semantic morphology(1)
그림 Fig. 3 Analysis process of semantic morphology(2)
그림 Fig. 4 Keyword frequency and ranking
그림 Fig. 5 Morphological representation by clip
그림 Fig. 6 Similarity by Clip
그림 Fig. 7 Clip Composition in a movie

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 이 논문에서는 각 클립간의 유사도 색인을 구축함으로써 사용자의 검색에 빠른 응답을 보장하고, 더 나아가 현재 시청중인 동영상과 가장 유사한 동영상을 빠르게 추천하고자 한다.
따라서 이 논문에서는 빅데이터 클러스터에서 추출된 형태소를 이용하여 동영상간의 유사도를 분석하고, 이를 기반으로 사용자에게 추천하는 시스템을 제안하고자 한다.
이 논문에서는 인간의 개입 없이 시스템에 의해 동영상의 특징을 있는 그대로 파악하고, 동영상간의 유사도를 분석하여 추천하는 시스템을 설계하고자 한다. 제안하는 시스템은 새로이 오픈하는 교육 동영상 공유 서비스 플랫폼의 각종 교육 동영상으로부터 차별화된 의미를 갖는 모든 단어인 형태소를 추출하고, 이러한 형태소를 기반으로 유사도를 분석하는 방안을 제안한다.
이 논문에서는 최근 활성화되고 있는 동영상 공유 서비스 플랫폼에서 동영상의 특성을 반영한 유사 동영상추천 시스템을 설계하였다. 특성을 반영하기 위해 음성으로부터 문장을 생성하고, 문장으로부터 추출된 형태소를 활용하였고, 대용량인 동영상을 감안하여 빅데이터 클러스터에서 처리하는 방안을 제안하였다.

제안 방법

그리고 동영상을 의미적 유사성을 가지는 작은 단위인 클립으로 나누어 유사 동영상 및 유사 클립을 추출한 뒤 그 리스트를 관리하고 사용자의 검색에 활용에 활용하는 방안을 제시하였다.
또한, 기존의 유사도 연구에서 사용되는 많은 기법으로 대용량 희소 벡터 행렬에 대한 임계치 이상의 값을 갖는 유사도 측정 방법을 제시하고 있으며, 역색인 기법을 효율적으로 적용하는 방안을 제시하고 있다.
이 논문에서 새롭게 제시하는 동영상의 클립 생성 모듈은 이미 연구되었던 형태소 분석 모듈과 빈도 측정 및 랭키화 모듈의 결과물을 활용하여 새롭게 유입되는 동영상을 여러 개의 의미 있는 부분 동영상인 클립(Clip) 들을 생성한다. 클립별로 유사도를 측정이 가능하기 때문에 사용자가 제시한 검색 키워드에 최적화된 보다 세분화된 검색을 가능하게 하고, 반드시 필요한 부분만을 검색할 수 있게 한다.
따라서 그림 5와 같은 빈도수 행렬은 0 인 경우가 대부분인 희소 행렬(Sparse Matrix)이다. 이 논문에서는 원활한 처리를 위해 fit_transform0 메서드와 toarray0메서드를 이용해 희소행렬과 2차원 행렬로 변환한다.
이 논문에서는 콘텐츠 제공자가 제작한 교육 동영상이 입력되면 형태소 분석 모듈이 동영상의 모든 음성을 문자화하여 의미 있는 단어인 형태소로 분리해 낸다.
전술한 바와 같이 클립의 수는 매우 많기 때문에 이 논문에서는 이를 효율적으로 관리하기 위해 유사도 값이 임계치 이상인 경우만 각 클립별로 유사도의 내림차순으로 리스트 형태로 관리한다.
제안하는 시스템은 새로이 오픈하는 교육 동영상 공유 서비스 플랫폼의 각종 교육 동영상으로부터 차별화된 의미를 갖는 모든 단어인 형태소를 추출하고, 이러한 형태소를 기반으로 유사도를 분석하는 방안을 제안한다.
주어진 문제의 복잡도를 줄이기 위해 추출한 형태소를 기반으로 각각의 교육 동영상을 여러 개의 부분 영상인 클립(clip)으로 분할하여 처리한다.
시스템을 설계하였다. 특성을 반영하기 위해 음성으로부터 문장을 생성하고, 문장으로부터 추출된 형태소를 활용하였고, 대용량인 동영상을 감안하여 빅데이터 클러스터에서 처리하는 방안을 제안하였다.

이론/모형

높다. 이 논문에서는 의미론적 형태소 분석 모듈[6]기초로 하며, 그림 2와 같은 과정을 거친다. 기존 시스템들도 주로 공백을 구분자로하여 형태소 분석을 하지만, 그림 3과 같이 여기에서는 형용사와의 조합 추출, 부사의 결합 방법과 한나눔을 활용하여 형태소를 분석하고 처리한다.
사용자가 입력한 키워드가 아닌 동영상의 형태소를 추출하고 빈도수를 계산함으로써 아이템이 갖고 있는 원천적인 특징을 반영한 유사도 파악이 가능하다. 특히 대용량의 동영상의 형태소를 처리하기 위해 빅데이터 처리 기술을 적극 활용하였다. 그리고 제안한 클립 생성 모듈과 클립별 유사도 측정 결과는 주어진 키워드에 최적화된 클립의 시퀀스를 자동 구성할 수 있는 중요한 데이터가 된다.

성능/효과

제안한 방법은 매우 분야가 다양하며, 항상 새로운 콘텐츠가 생성 및 유입되는 교육용 동영상 강좌의 공유 서비스 시스템에서 교육 내용의 특성을 최대한 반영하여 학습자에게 추천할 수 있는 모듈로 적극 활용 가능하다. 한편, 이 논문에서는 아이템 유사도를 근간으로 추천시스템을 구성하였기 때문에 사용자 선호도는 고려하지 않는다.

후속연구

그리고 제안한 클립 생성 모듈과 클립별 유사도 측정 결과는 주어진 키워드에 최적화된 클립의 시퀀스를 자동 구성할 수 있는 중요한 데이터가 된다. 또한 제안한 시스템은 빅데이터 영상 분석을 통해 동영상 공유서비스 플랫폼의 기본 모듈로 활용될 것으로 기대되며, 향후 다양한 동영상 유사도를 고려하는 응용에 다양하게 활용될 수 있다.
한다. 이는 공간 조인 인덱스(Spatial Join Index)를 구축하는 것처럼 유사도 색인의 양을 줄일 수 있는 방안도 연구할 필요가 있다.
향후, 유사도 측정을 로컬라이징하는 방안을 고려해야 한다. 이는 공간 조인 인덱스(Spatial Join Index)를 구축하는 것처럼 유사도 색인의 양을 줄일 수 있는 방안도 연구할 필요가 있다.

참고문헌 (16)

Hannanum, KAIST Semantic Web R.C [Internet]. Available : http://semanticweb.kaist.ac.kr/hannanum/.
Kkma, IDS(Intelligent Data Systems) [Internet]. Available : http://semanticweb.kaist.ac.kr/hannanum/.
Komoran, Shineware [Internet]. Available : http://semanticweb.kaist.ac.kr/hannanum/.
Google AutoML Vision [Internet]. Available : https://cloud.google.com/vision/?hlko#.
Google Vision API [Internet]. Available : https://cloud.google.com/vision/?hlko#.
G.J. Jeong, I.W. Cha, H.S. Jeong, H.S. Lee, and J.D. Kim, "Frequency Analysis of Keywords in the video in the Cluster Environment," The Korea Institute of Information and Communication Engineering Comprehensive Conference Proceeding Book, vol. 23, no. 2, pp. 540-541, 2019.
[SPARK] What is Apache Spark? [Internet]. Available : https://12bme.tistory.com/433.
Cosine Simularity [Internet]. Available : https://blog.naver.com/myincizor/221643594756.
J.J. Kim, "Method for Searching Patent Document by Applying Degree of Similarity and System thereof," Patent of R.O.K, 10-2007-0047544.
L.L. Zhang, and H.J. Hong, "Examining the Intellectual Structure of Reading Studies with Co-Word Analysis Based on the Importance of Journals and Sequence of Keywords," Journal of The Korean Biblia Society For Library And Information Science, vol. 25, no. 1, pp. 295-318, 2014.

원문보기 상세보기
Y.B. Kwon, S.D. Lee, H. Yang, and Y.H. Joo, "The Analysis of the Conferences for the Computer Network Using the Miner and the Cosine Similarity based upon Keywords," Journal of Korean Service Society, vol. 11, no. 1, pp. 223-238, 2012.

원문보기 상세보기
D.X. Kim, and S.W. Lee, "News Topic Extraction based on Word Similarity," Journal of KIISE, vol. 44, no. 11, pp. 1138-1148, 2017.

원문보기 상세보기
M.N. Im, and J.I. Kim, "A Space-Efficient Inverted Index Technique using Data Rearrangement for String Similarity Searches," Journal of KIISE, vol. 42, no. 10, pp. 1247-1253, 2015.

상세보기
W.S. Ha, "Collaborative Filtering using Web Documents Classification by Associative Word Frequency," Inha University Master's Thesis, 2005.
H.D. Lee, and J.B. Kim, "Issue Keyword Extraction Method Using Document Similarity Method," Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, vol. 7, no. 8, pp. 383-391, 2017.

상세보기
D.K. Lee, K.J. Oh, and H.J. Choi, "Measuring the Syntactic Similarity between Korean Sentences Using RNN," KOREA INFORMATION SCIENCE SOCIETY Comprehensive Conference Proceeding, pp. 792-794, 2016.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증