[논문]영상 스토리 분석과 시청 패턴 분석 기반의 추천 시스템 구현

이현섭; 김민영; 이지훈; 김진덕

doi:10.6109/jkiice.2020.24.12.1567

영상 스토리 분석과 시청 패턴 분석 기반의 추천 시스템 구현
Implementation of User Recommendation System based on Video Contents Story Analysis and Viewing Pattern Analysis 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.24 no.12, 2020년, pp.1567 - 1573

이현섭 (Research Institute of ICT Fusion and Convergence, Dong-Eui University) , 김민영 (Applied Software Engineering Major, Dong-Eui University) , 이지훈 (Department of software convergence, Dong-Eui University) , 김진덕 (Department of Computer Engineering, Dong-Eui University)

초록
AI-Helper

인터넷 기술의 발전으로 1인 미디어 시대로 도래했다. 한 개인이 스스로 콘텐츠를 제작하여 관련 온라인 서비스로 업로드 하고, 많은 사용자가 온라인 서비스의 콘텐츠를 인터넷을 이용할 수 있는 장치(PC, 스마트폰, 스마트TV 등)를 이용해 시청하고 있다. 현재 대부분 사용자가 기존 온라인 서비스에서 제공하는 검색기능을 통해 원하는 콘텐츠를 찾아서 시청하고 있다. 이러한 기능은 콘텐츠를 업로드 한 사용자가 입력한 정보를 바탕으로 제공된다. 이러한 제한된 단어 데이터를 바탕으로 콘텐츠를 검색해야 하는 환경에서 잘못된 정보가 있는 경우 검색 결과의 유사도 효율 저하와 잘못된 결과를 사용자에게 제시한다. 이를 해결하기 위해 본 논문에서는 온라인 서비스에서 콘텐츠 정보를 시스템이 능동적으로 영상을 분석하고, 영상이 보유한 특성을 추출해 반영하는 방법을 제시한다. 한 동영상의 음성데이터를 근거한 스토리 내용을 근거로 형태소를 추출해 빅데이터 기술로 분석하기 위한 연구 내용을 다룬다.

Abstract ▼ AI-Helper

The development of Internet technology has brought the era of one-man media. An individual produces content on user own and uploads it to related online services, and many users watch the content of online services using devices that allow them to use the Internet. Currently, most users find and watch content they want through search functions provided by existing online services. These features are provided based on information entered by the user who uploaded the content. In an environment where content needs to be retrieved based on these limited word data, user unwanted information is presented to users in the search results. To solve this problem, in this paper, the system actively analyzes the video in the online service, and presents a way to extract and reflect the characteristics held by the video. The research was conducted to extract morphemes based on the story content based on the voice data of a video and analyze them with big data technology.

주제어

표/그림 (11)

그림 Fig. 1 System Structure
그림 Fig. 2 Similarity Module process
표 Table. 1 Noun frequency extraction from 4 image data
그림 Fig. 3 Similarity between A video and other video
그림 Fig. 4 Total number of morphemes by video length
그림 Fig. 5 Image and morpheme distribution functions
표 Table. 2 Morphological frequency table
그림 Fig. 6 Correlation coefficient between new and existing users in the same cluster
표 Table. 3 Cosine similarity table
표 Table. 4 Item-to-User Rating Matrix
그림 Fig. 7 Euclidean distance calculation table

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이를 통해 영상의 내용을 분석할 수 있고 영상의 내용을 이해할 수 있다. 본 논문에서는 이와 같은 형태소를 기반으로 하여 영상을 분석하고 사용자에게 추천 영상을 제공해 준다. 그러나 실시간 동영상 플랫폼의 특성상 주기적으로 새로운 동영상이 생겨나며 영상의 수가 매우 많으므로 대량의 영상을 분석해야 하며 이는 연산 비용은 크게 증가한다.
본 시스템은 사용자가 올린 영상의 음성데이터를 바탕으로 영상분석을 하는 능동형 시스템이다. 시스템이 직접 영상이 가지고 있는 자연어를 형태소 분석기를 통해 분석한다.
클립은 사용자의 편의를 위해 제공된다. 시간이 부족하여 자신이 필요한 부분을 보고 싶은 사용자나, 짧은 영상을 통해 영상을 확인하는 것이 가능하도록 한다. 이 과정이 진행되면서 형태소 분석기를 통해 영상에서 형태소를 추출한다.
이를 방지하기 위해 본 시스템에서는 제작자의 개입을 줄이고 시스템이 능동적으로 영상을 분석하여 영상이 가지고 있는 내용이나 특성을 반영한 추천시스템을 제안한다. 영상 내의 음성데이터와 자막 정보를 바탕으로 형태소를 추출하고 이를 분석하여 영상의 내용 및 특징을 정확하게 파악한 뒤 사용자의 시청 패턴과 결합하여 추천 영상을 제공한다.

제안 방법

분석 과정을 살펴보면 아래의 그림처럼 진행된다. 먼저 영상이 가지고 있는 음성데이터, 즉 자막 파일을 활용해 분석을 진행한다. 그림2는 영상을 등록할 경우 모듈의 처리 과정을 나타낸다.
모든 영상에서 추출된 형태소 정보 즉 빅데이터를 활용하여 아이템의 특성을 반영한다. 빅데이터를 효율적으로 관리하고 분석한 정보를 통해 아이템의 특성을 좀 더 정확하게 반영한다.
영상분석과 더불어 사용자의 특성을 반영해야 더 정확한 영상을 추천 수 있다. 본 시스템은 사용자들 개개인 선호도 만족을 위해 사용자를 분류하고 각각의 특징에 알맞게 사용자와 아이템 정보를 기반으로 사용자에게 영상을 추천한다.
사용자가 입력한 나이, 성별, 관심 분야 등의 정보들을 이용하여 클러스터링을 진행한 후 결과 값인 군집번호를 데이터베이스에 저장하였다. 신규 사용자가 로그인할 경우 추천목록을 보여주기 위해서 사용자의 군집번호를 확인하고 같은 군집에 있는 기존 사용자들을 비교한다.
시스템이 직접 영상이 가지고 있는 자연어를 형태소 분석기를 통해 분석한다. 이와 동시에 분석 정보를 활용하여 영상에서 원본 영상에서 추출된 짧은 시간의 영상 클립을 생성한다.
저장하였다. 신규 사용자가 로그인할 경우 추천목록을 보여주기 위해서 사용자의 군집번호를 확인하고 같은 군집에 있는 기존 사용자들을 비교한다.
신규 사용자의 경우 사용자 기반 정보가 부족하므로 맞춤 영상을 추천하는데 어려움이 있다. 신규 사용자에게 좀 더 연관성이 높은 영상을 추천하기 위해 회원가입시 클러스터링을 통해 군집번호를 부여한다.
영상의 내용은 음성데이터로 나타낼 수 있으며 음성데이터는 자막 파일로 변환시킬 수 있다. 아이템의 특성을 반영하기 위해서 자막 파일을 시스템이 스스로 분석하여 영상의 핵심 키워드를 추출하였다.
영상 내의 음성데이터와 자막 정보를 바탕으로 형태소를 추출하고 이를 분석하여 영상의 내용 및 특징을 정확하게 파악한 뒤 사용자의 시청 패턴과 결합하여 추천 영상을 제공한다.
전체 영상에서 평점을 부여한 영상의 수가 기준치를 넘지 않는 사용자를 신규 사용자로 분류하였다. 신규 사용자의 경우 사용자 기반 정보가 부족하므로 맞춤 영상을 추천하는데 어려움이 있다.
표 3과 같이 생성된 빈도수 테이블을 활용하여 영상과 영상의 유사도를 계산한다. 문서와 문서의 유사도 계산에 많이 사용되는 코사인 유사도를 이용해 유사도를 계산하고 그 결과 값을 표 2.

대상 데이터

각 사용자에 맞춰서 영상을 추천한다. 각 사용자에게 맞춤형 영상을 추천하기 위해 RealTime Module 모듈에서 사용자 정보를 수집한다.

데이터처리

사용자 기반 평점 정보와 아이템 기반 유사 도정 보를 활용하여 사용자에게 추천한다. 기존 사용자가 로그인한 경우 추천목록을 보여주기 위해서 평점 정보 테이블을 이용해 피어슨 상관계수를 계산한다.
회원가입시 입력한 사용자 정보를 기반으로 기존 사용자 X, 로그인한 새로운 사용자를 Y로 피어슨 상관계수를 계산한다. 상관계수가 높은 사용자들을 추출한다.

성능/효과

카테고리를 통해 영상을 관리할 경우 그림5처럼 영상이 계속해서 추가되더라도 일정 구간부터 증가 폭이 줄어드는 걸 확인할 수 있다. 이를 통해서 형태소 빈도수 테이블을 좀 더 효율적으로 관리할 수 있다.

후속연구

계속해서 늘어나는 방대한 정보들 사이에서 사용자에게 필요한 정보를 제공하는 것은 현대 시대의 중요한 사항이 되었다. 본 시스템은 사용자를 세부적으로 분류하여 어떤 사용자든 상관하지 않고 각 사용자에게 맞는 알고리즘을 이용하여 영상을 추천하여 많은 이점을 얻을 수 있을 것으로 예상한다. 시스템을 통해 영상을 분석하여 형태소를 이용하는 차별성을 가지고 있으므로 다른 시스템보다 더 정확하게 영상의 특성을 반영할 수 있을 것이다.
본 시스템은 사용자를 세부적으로 분류하여 어떤 사용자든 상관하지 않고 각 사용자에게 맞는 알고리즘을 이용하여 영상을 추천하여 많은 이점을 얻을 수 있을 것으로 예상한다. 시스템을 통해 영상을 분석하여 형태소를 이용하는 차별성을 가지고 있으므로 다른 시스템보다 더 정확하게 영상의 특성을 반영할 수 있을 것이다. 이를 통해 좀 더 정확한 영상을 추천할 수 있으며 사용자 만족도를 높일 수 있을 것으로 사료 된다.
향후 연구 과제로는 본 논문에서 제안한 결과물을 활용하여 실제 상용화 시스템에 탑재할 수 있는 모듈로서의 구현을 진행하고 있다. 구현 중인 시스템은 논문에서 제안한 영상의 내용 기반 추천과 함께 영상 프레임 빅데이터를 분석한 키프레임 비교, 사용자의 패턴 분석, 사용자 정의 큐레이션 설정 시스템 등을 합쳐 사용자의 만족도 및 제공 영상의 정확도를 더욱 높일 수 있는 시스템이다.
구현 중인 시스템은 논문에서 제안한 영상의 내용 기반 추천과 함께 영상 프레임 빅데이터를 분석한 키프레임 비교, 사용자의 패턴 분석, 사용자 정의 큐레이션 설정 시스템 등을 합쳐 사용자의 만족도 및 제공 영상의 정확도를 더욱 높일 수 있는 시스템이다. 현재 ㈜산타의 교육용 영상 제공 플랫폼인 라바나에 구현 중인 복합 추천시스템을 탑재하여 실제 사용자 기반의 정확도 결과를 수집하고 기존 시스템과의 차별성을 검증할 예정이다.

참고문헌 (9)

H. G. Lee, Y. B. Yun, J. H. Yoon, and G. H. Park, "Context-based Youtube Video Recommendation System Using Video Vector," The Korean Institute of Information Scientists and Engineers, pp. 1495-1497, 2020.
J. JiaQi and Y. G. Chung, " A Recommendation Model based on Character-level Deep Convolution Neural Network," The Korea Institute of Information and Communication Engineering, vol. 23, no. 3, pp. 237-246, 2019.
S. Y. Yun and S. D. Youn, "A Study on Recommender Technique Applying User Activity and Time Information," The Korea Institute of Information and Communication Engineering, vol. 19, no. 3, pp. 543-551, 2015.

원문보기 상세보기
J. H. Lee, H. S. Lee, and J. D. Kim. "Efficient Similarity Extraction Method Between Educational Videos Using the Frequency of Shapes," Journal of the Korean Society for Information and Communication Sciences Conference, vol. 24, no. 1, pp. 9-11, 2020.
I. W. Cha, H. S. Lee, and J. D. Kim. "Keyword extraction for measuring similarity between images," Journal of the Korean Society for Information and Communication Sciences Conference, vol. 24, no. 2, pp. 152-154, 2020.
Y. S. Woo, H. S. Lee, and J. D. Kim. "Operation of big data SPARK for compare video morphemes and store frequency," Journal of the Korean Society for Information and Communication Sciences Conference, vol. 24, no. 2, pp. 158-160, 2020
Y. S. Woo, I. W. Cha, H. S. Lee, and J. D. Kim, "Morphological vector table management for similarity extraction between images," Journal of the Korean Society for Information and Communication Sciences Conference, vol. 24, no. 1, pp. 367-369, 2020
K. R. Kim, S. J. Bae, H. S. Lee, and J. D. Kim, "Similarity-based video recommendation system using user and item information," Journal of the Korean Society for Information and Communication Sciences Conference, vol. 24, no. 1, pp. 364-366, 2020.
J. H, Lee, H. S. Lee, and J. D. Kim, "A Study on the Use of Frequency of Morphology to Extract Similarities in Lecture Video," Journal of the Korean Society for Information and Communication Sciences Conference, vol. 24, no. 2, pp. 155-157, 2020.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증