[논문]딥러닝을 이용한 이미지 레이블 추출 기반 해시태그 추천 시스템 설계 및 구현

김선민; 조대수

doi:10.13067/jkiecs.2020.15.4.709

초록
AI-Helper

소셜 미디어에서 일반적으로 게시물을 올릴 때 이미지의 태그 정보를 사용하는데, 태그를 이용하여 주로 검색이 이루어지기 때문이다. 사용자는 태그를 게시물에 붙임으로써 게시물을 많은 사람들에게 노출시키길 원한다. 또한, 사용자는 게시물과 함께 태깅될 태그를 붙이는 행위를 번거롭게 여겨 태깅하지 않은 게시물도 올리게 된다. 본 논문에서는 입력 이미지와 유사한 이미지를 찾아 해당 이미지에 부착된 레이블을 추출하여 그 레이블이 태그로 존재하는 인스타그램의 게시물들을 찾아 게시물 속 존재하는 다른 태그들을 추천해주는 방법을 제안한다. 제안하는 방법에서는 CNN(Convolutional Neural Network) 딥러닝 기법의 모델을 통하여 이미지로 부터 레이블을 추출하여 추출된 레이블로 인스타그램을 크롤링하여 레이블 외의 태그를 정렬하여 추천해준다. 추천된 태그를 이용하여 이미지를 게시하기도 편해지고, 검색의 노출을 높일 수 있고, 검색오류가 적어 높은 정확도를 도출할 수 있음을 알 수 있다.

Abstract ▼ AI-Helper

In social media, when posting a post, tag information of an image is generally used because the search is mainly performed using a tag. Users want to expose the post to many people by attaching the tag to the post. Also, the user has trouble posting the tag to be tagged along with the post, and post...

In social media, when posting a post, tag information of an image is generally used because the search is mainly performed using a tag. Users want to expose the post to many people by attaching the tag to the post. Also, the user has trouble posting the tag to be tagged along with the post, and posts that have not been tagged are also posted. In this paper, we propose a method to find an image similar to the input image, extract the label attached to the image, find the posts on instagram, where the label exists as a tag, and recommend other tags in the post. In the proposed method, the label is extracted from the image through the model of the convolutional neural network (CNN) deep learning technique, and the instagram is crawled with the extracted label to sort and recommended tags other than the label. We can see that it is easy to post an image using the recommended tag, increase the exposure of the search, and derive high accuracy due to fewer search errors.

주제어

표/그림 (9)

그림 그림 1. 시스템 구성도 Fig. 1 System configuration
그림 그림 2. 시스템 흐름도 Fig. 2 System flowchart
그림 그림 3. Inception 모델 Fig. 3 Inception model
그림 그림 4. Inception 모듈을 활용한 Inception-v1의 구조 Fig. 4 Structure of inception-v1 using inceptin module
그림 그림 5. 이미지 입력 화면 Fig. 5 Image input screen
그림 그림 6. 이미지 레이블 출력 Fig. 6 Image label output
그림 그림 7. 해시태그 추천 시스템 Fig. 7 Hashtag recommendation system
표 표1. 기존 인스타그램 태그와 후보 해시태그 목록 Table 1. Original tag for experiment and list of candidate hashtags
표 표2. 기존 인스타그램 태그와 후보해시태그 목록 비교 Table 2. Compare original tag for experiment and list of candidate hashtags

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 사용자가 인스타그램에 등록할 때 효과적으로 해시태그를 입력할 수 있는 시스템을 설계하고자 한다. 본 논문에서 제안하는 시스템은 그림 1과 같이 입력된 사진에서 레이블을 추출하는 단계, 후보 해시태그 목록 추출단계, 그리고 해시 태깅 단계로 구성된다.
본 논문에서는 추출된 후보 해시태그(candidate hashtags)들을 이용하여 이미지 검색 정확도 향상을 알아본다. 본 실험에서 이미지의 검색 정확도의 향상은 추천된 태그를 게시물에 태깅 하였을 때, 기존에 태깅된 태그로 검색했을 때보다 해당 게시물이 검색이 잘되는가를 나타낸다.

제안 방법

네 번째로 카테고리 별로 추출된 상위 3개의 후보 해시태그로 인스타그램을 통해 검색해 상위 30개의 게시물을 선택하여 정확도를 검사한다. 예를 들어 푸들 카테고리일 경우 상위 3개의 후보 해시태그인 “standardpoodle”, “toypoodle”,“poodle”을 태그로 사용 하여 인스타그램에서 검색한다.
본 논문에서는 사용자가 인스타그램에 등록할 때 효과적으로 해시태그를 입력할 수 있는 시스템을 설계하고자 한다. 본 논문에서 제안하는 시스템은 그림 1과 같이 입력된 사진에서 레이블을 추출하는 단계, 후보 해시태그 목록 추출단계, 그리고 해시 태깅 단계로 구성된다.
이러한 목적으로 볼 때 본인이 게시물의 태그를 입력하는 것보다 정확도가 높고, 검색이 잘 되는 태그들을 사용하는 것이 바람직하다. 본 논문에서는 딥러닝을 활용한 이미지 분석 방법인 CNN을 활용한 Inception-v3 모델을 이용하는 레이블 추출단계와 후보 해시태그 목록 추출단계를 거쳐 후보 해시태그 목록을 추출했다. 추출된 후보 해시태그 사용하여 태깅했을 때 기존 인스타그램 사진 태그보다 정확한 태그를 붙여 검색이 잘되는 방법을 제안하고, 구현하였다.
본 논문에서는 딥러닝을 활용한 이미지 분석 방법인 CNN을 활용한 Inception-v3 모델을 이용하는 레이블 추출단계와 후보 해시태그 목록 추출단계를 거쳐 후보 해시태그 목록을 추출했다. 추출된 후보 해시태그 사용하여 태깅했을 때 기존 인스타그램 사진 태그보다 정확한 태그를 붙여 검색이 잘되는 방법을 제안하고, 구현하였다. 실험 결과 기존 인스타그램 사진에 태깅된 태그로 인스타그램에서 검색했을 때보다 약 283.
후보 해시태그 목록 추출단계(Steps to extraction the list of candidate hashtags)는 레이블 추출단계에서 추출된 레이블을 기반으로 더 많은 해시태그 후보 단어를 추출하는 단계로서, 이 논문에서는 추출된 레이블을 포함하고 있는 기존 인스타그램 게시물에서 함께 사용하고 있는 태그들을 분석함으로써 후보 해시태그 목록을 생성하고자 한다. 후보 해시태그 목록을 생성하는 과정은 다음과 같다.

대상 데이터

따라서 4개의 카테고리 별로 추출된 3개의 “실험용 기존 태그”를 이용하여 “실험용 기존 태그”별 30개의 게시물을 선택하므로 총 360개의 게시물의 정확도를 조사한다.
따라서 4개의 카테고리 별로 추출된 3개의 후보 해시태그 이용하여 후보 해시태그 별 30개의 게시물을 선택하므로 총 360개의 게시물의 정확도를 조사한다.
이때 선정한 게시물은 실험 시작 시각에 인스타그램에 접속해 카테고리 별로 얻은 랜덤한 게시물 이다. 따라서 게시물은 총 20개를 선정했다. 그리고, 선정된 게시물 각각의 사진과 태깅된 태그들을 실험에 사용하기 위해 뽑아 놓는다.
예를 들면 ‘실험용 기존 태그’ 중 푸들 카테고리의 상위 3개의 태그는 “pet”, “photography”,“goldendodle”이다. 따라서 카테고리 별로 추출된 상위 3개의 “실험용 기존 태그”로 인스타그램을 통해 검색해 상위 30개의 게시물을 선택하여 정확도를 검사한다. 그 결과 상위 30개의 게시물 중 “pet”은 6개, “phtography”은 0개, “goledndodle”은 21개로 푸들 사진이 있었다.
실험용 사진은 레이블 추출단계에 입력하여 사진의 특징을 가장 잘 설명하는 레이블(lable)을 추출한다. 해당 레이블을 바탕으로 후보 해시태그(candidate hashtags)들을 추출한다.
우선 4가지 카테고리를 선정한다. 4개의 카테고리는 푸들(poodle), 올빼미(owl), 선글라스(sunglass), 와인병(wine bottle)을 나타낸다.
첫 번째로 인스타그램에 접속해 4가지 카테고리에 해당하는 각각의 게시물을 랜덤으로 게시물 5개씩 선택했다. 선택된 게시물에 있는 태그들은 실험을 위해 표1과 같이 “실험용 기존 태그”로 뽑고, 사진들은 “실험용 사진”으로 뽑았다.

이론/모형

본 연구에서는 딥러닝 기반의 이미지 인식 방법인 CNN을 활용한 Inception-v3 모델을 이용하여 해당 이미지에 대한 레이블을 추출한다. 이미지를 올리는 게시물의 형태인 인스타그램의 게시물 중 그 레이블을 태그로 가지는 게시물을 크롤링하여 레이블과 같은 태그 외의 다른 태그 중 언급횟수가 가장 많은 태그를 추천받는다.

성능/효과

65%로 향상되었다. 따라서 약 283.8% 정확도가 증가한 결과를 통해 후보 해시태그로 인스타그램의 게시물을 검색했을 때 검색이 더 잘되는 것을 알 수 있다.
8% 정확도가 증가한 결과를 통해 후보 해시태그로 인스타그램의 게시물을 검색했을 때 검색이 더 잘되는 것을 알 수 있다. 따라서 추출된 후보 해시태그들을 게시물에 태깅한다면 보다 정확한 태깅으로 게시물이 노출의 효과가 커질 것을 알 수 있으므로 인스타그램에 효과적으로 적용할 가능성을 확인하였다.
본 논문에서는 추출된 후보 해시태그(candidate hashtags)들을 이용하여 이미지 검색 정확도 향상을 알아본다. 본 실험에서 이미지의 검색 정확도의 향상은 추천된 태그를 게시물에 태깅 하였을 때, 기존에 태깅된 태그로 검색했을 때보다 해당 게시물이 검색이 잘되는가를 나타낸다.
추출된 후보 해시태그 사용하여 태깅했을 때 기존 인스타그램 사진 태그보다 정확한 태그를 붙여 검색이 잘되는 방법을 제안하고, 구현하였다. 실험 결과 기존 인스타그램 사진에 태깅된 태그로 인스타그램에서 검색했을 때보다 약 283.8% 정확도가 증가한 결과를 통해 후보 해시태그로 인스타그램의 게시물을 검색했을 때 검색이 더 잘되는 것을 알 수 있다. 따라서 추출된 후보 해시태그들을 게시물에 태깅한다면 보다 정확한 태깅으로 게시물이 노출의 효과가 커질 것을 알 수 있으므로 인스타그램에 효과적으로 적용할 가능성을 확인하였다.
이는 기존 인스타그램 사진에 태깅된 태그로 인스타그램에서 검색했을 때는 22.9%였지만, 추천된 해시 태그 사용 시 62.65%로 향상되었다. 따라서 약 283.
추천받은 태그를 붙임으로써 이미지 전체의 특징을 고려한 내용의 태깅을 한다. 정제된 이미지가 아닌 다양한 기기에서 게시된 상당수 사용자들이 공유한 일상 사진들에 대한 CNN 기반 추천 태깅이 기존의 각 사용자가 게시물에 수동으로 태깅하는 태그들보다 정확한 태깅이 가능함을 확인하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	레이블 추출단계는 무엇인가?	레이블 추출단계(Steps to lable extraction)는 사용자가 인스타그램에 등록할 사진을 입력받아, 사진의 특징을 가장 잘 설명하는 단어(lable)을 추출하는 단계로서, 본 논문에서는 CNN을 활용한 Incetion-v3 이미지 인식 모델을 적용하여, 입력된 사진에 대한 레이블을 추출한다. 이 단계에서 추출된 레이블은 사용자가 인스타그램에 등록할 해당 사진의 태그로 사용할 수 있는 후보 해시태그가 된다.
	인스타그램에 게시물을 올릴 때 태깅을 하는 이유는 무엇인가?	인스타그램에 게시물을 올릴 때 태깅을 하는 이유는 주로 게시물을 잘 노출이 되어 특정 인기를 얻거나 광고의 효과를 내기 위함이다. 이러한 목적으로 볼 때 본인이 게시물의 태그를 입력하는 것보다 정확도가 높고, 검색이 잘 되는 태그들을 사용하는 것이 바람직하다.
	딥러닝을 이용한 개인화 맞춤 태그 시스템의 단점은?	그 중 딥러닝을 이용한 개인화 맞춤 태그 시스템은 단순 이미지만 분석하는 게 아닌 태그가 달린 유사 이미지를 수집하고 이미지와 관련 있는 태그를 사용자에게 추천해주는데 합성곱 신경망을 통해 이미지를 분석하며 유사이미지 검색 시스템을 활용하여 태그를 추출하고 최종적으로 베이시안 개인화 랭킹 시스템[6]을 이용하여 태그를 추천한다[7]. 하지만 사용자가 입력하는 이미지와 태그를 기반으로 하는 개인화 추천 시스템이기 때문에 개인 위주로 추천해주는 태그라 소셜 미디어의 태그로 많이 사용되는 태그인지 알 수 없다. 따라서 해당 시스템으로 추천받은 태그를 소셜 미디어 게시물의 태그로 사용하게 되면, 태깅된 이미지가 검색 결과로 많이 노출되지 않을 수도 있다.

참고문헌 (10)

Messo Media, "2019 Social Medea Trend," MezzoMedia Media & Market Report, 2019.
J. Schmidhuber, "Deep learning in neural networks: An overview," Neural networks, vol. 61, 2015, pp. 85-117.

상세보기
J. Kong and M. Jang, "Association Analysis of Convolution Layer, Kernel and Accuracy in CNN," J. of the Korea Institute of Electronic Communication Sciences, vol. 14, no. 6, 2019, pp. 1153-1160.
Y. Jeong and C. Mi, "Efficient iris recognition using deep-learning convolution neural network(CNN)," J. of the Korea Institute of Electronic Communication Sciences, vol. 15, no. 3, 2020, pp. 521-526.
Y. Kim, D. Kim, and S. Park, "Research on Robust Face Recognition against Lighting Variation using CNN," J. of the Korea Institute of Electronic Communication Sciences, vol. 12, no. 2, 2017, pp. 325-330.
S. Rendle, C. Freudenthaler, Z. Gantner, and L. Schmidt-Thieme, "BPR:Bayesian personalized ranking from implicit feedback," AUAI Press, 2009, pp. 452-461.
Y. An, G. Kim, and D. Lee, "Personalized tag recommendation system using deep learning," Proceedings of Korea Information Science Society, 2018, pp. 112-114.
H. Jang and S. Cho. "Automatic Tagging for Social Images using Convolution Neural Networks," Journal of Korea Institute of Information Scientists and Engineers, vol. 43, no. 1, 2016, pp. 47-53.
C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich, "Going deeper with convolutions," Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp 1-9.
C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna, "Rethinking the inception architecture for computer vision," Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp 2818-2826.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

딥러닝을 이용한 이미지 레이블 추출 기반 해시태그 추천 시스템 설계 및 구현
Design and Implementation of Hashtag Recommendation System Based on Image Label Extraction using Deep Learning 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (9)

표/그림 (9)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

참고문헌 (10)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

딥러닝을 이용한 이미지 레이블 추출 기반 해시태그 추천 시스템 설계 및 구현 Design and Implementation of Hashtag Recommendation System Based on Image Label Extraction using Deep Learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (9) 모든 표/그림 보기

표/그림 (9) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

참고문헌 (10)

이 논문을 인용한 문헌

저자의 다른 논문 :

조대수 (31)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

딥러닝을 이용한 이미지 레이블 추출 기반 해시태그 추천 시스템 설계 및 구현
Design and Implementation of Hashtag Recommendation System Based on Image Label Extraction using Deep Learning 원문보기

초록
AI-Helper

표/그림 (9)

표/그림 (9)

AI 본문요약
AI-Helper