$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

미디어 아카이브 구축을 위한 등장인물, 사물 메타데이터 생성 시스템 구현
Implementation of Character and Object Metadata Generation System for Media Archive Construction 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.24 no.6, 2019년, pp.1076 - 1084  

조성만 (서울과학기술대학교 일반대학원 미디어IT공학과) ,  이승주 (서울과학기술대학교 일반대학원 미디어IT공학과) ,  이재현 (서울과학기술대학교 일반대학원 미디어IT공학과) ,  박구만 (서울과학기술대학교 일반대학원 미디어IT공학과)

초록
AI-Helper 아이콘AI-Helper

본 논문에서는 딥러닝을 적용하여 미디어 내의 등장인물 및 사물을 인식, 메타데이터를 추출하고 이를 통해 아카이브를 구축하는 시스템을 개발하였다. 방송 분야에서 비디오, 오디오, 이미지, 텍스트 등의 멀티미디어 자료들을 디지털 컨텐츠로 전환하기 시작한지는 오래 되었지만, 아직 구축해야 할 자료들은 방대하게 남아있다. 따라서 딥러닝 기반의 메타데이터 생성 시스템을 구현하여 미디어 아카이브 구축에 소모되는 시간과 비용을 절약 할 수 있도록 하였다. 전체 시스템은 학습용 데이터 생성 모듈, 사물 인식 모듈, 등장인물 인식 모듈, API 서버의 네 가지 요소로 구성되어 있다. 미디어 내에서 등장인물 및 사물을 인식하여 메타데이터로 추출할 수 있도록 딥러닝 기술로 사물 인식 모듈, 얼굴 인식 모듈을 구현하였다. 딥러닝 신경망을 학습시키기 위한 데이터를 구축하기 용이하도록 학습용 데이터 생성 모듈을 별도로 설계하였으며 얼굴 인식, 사물 인식의 기능은 API 서버 형태로 구성하였다. 1500명의 인물, 80종의 사물 데이터를 사용하여 신경망을 학습시켰으며 등장인물 테스트 데이터에서 98%, 사물 데이터에서 42%의 정확도를 확인하였다.

Abstract AI-Helper 아이콘AI-Helper

In this paper, we introduced a system that extracts metadata by recognizing characters and objects in media using deep learning technology. In the field of broadcasting, multimedia contents such as video, audio, image, and text have been converted to digital contents for a long time, but the unconve...

주제어

표/그림 (12)

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 본 논문에서는 미디어 아카이브를 구축하기 위하여 미디어 내에서 등장인물, 사물의 메타데이터를 추출하는 시스템에 대하여 소개하였다. 전체 시스템은 API 서버 형태로 구현하여 접근성을 용이하게 하였다.
  • 이에 본 논문에서는 미디어 아카이브를 만들기 위한딥러닝 기반의 메타데이터 생성 시스템을 구현하였다. 전체 시스템은 학습용 데이터 생성 모듈, 사물 인식 모듈, 얼굴 인식 모듈, API 서버의 네 가지 요소로 구성되어 있다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
딥러닝 기반의 서비스를 위해서는 무엇이 필요한가? 최근 빅데이터와 딥러닝의 발달로 인하여 방송, 통신, 보안 등의 다양한 영역에서 딥러닝 기반의 솔루션을 구축하기 위한 다양한 연구를 진행하고 있다[1]. 딥러닝 기반의 서비스를 위해서는 빅데이터의 구축이 필요하다. 방송 분야에서도 마찬가지로 디지털 컨텐츠를 활용하여미디어 아카이브를 구성하고 이를 사용한 딥러닝 기반의 서비스를 연구하고 있다.
딥러닝 기반의 메타데이터 생성 시스템은 무엇으로 구성되어 있는가? 이에 본 논문에서는 미디어 아카이브를 만들기 위한딥러닝 기반의 메타데이터 생성 시스템을 구현하였다. 전체 시스템은 학습용 데이터 생성 모듈, 사물 인식 모듈, 얼굴 인식 모듈, API 서버의 네 가지 요소로 구성되어 있다. 얼굴 인식 모듈에서는 Facenet[3]을 사용하였고, 사물 인식 모듈에서는 SSD[4]를 사용하였다.
성능 좋은 신경망을 만들기 위해서는 무엇이 필요한가? 딥러닝 기반의 서비스를 위해서는 성능 좋은 딥러닝 신경망이 필요하다. 그리고 성능 좋은 신경망을 만들기위해서는 양질의 학습 데이터가 필요하다[3]. 양질의 학습데이터를 수집하고 가공하기 위하여 학습용 데이터 생성모듈을 별도로 구현하였으며, MTCNN[4], k-means clustering[5], SSD[6]을 활용하였다.
질의응답 정보가 도움이 되었나요?

참고문헌 (19)

  1. I.Choi, H.Song, S.Lee, J.Yoo, "Facial Expression Classification Using Deep Convolutional Neural Network", Journal of Broadcast Engineering, Vol.22, No.2, March 2017. 

  2. H.Jun, G.Hyun, K.Lim, W.Lee, H.Kim, "Big Data Preprocessing for Predicting Box Office Success", KISE Transactions on Computing Practices, Vol.20, No.12, pp.615-622, December 2014. 

  3. F Schroff, D Kalenichenko, J Philbin, "FaceNet: A Unified Embedding for Face Recognition and Clustering", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 815-823, 2015. 

  4. W.Liu, D.Anguelov, D.Erhan, C.Szegedy, S.Reed, "SSD: Single shot multibox detector", arxiv:1512.02325, 2015. 

  5. Y.Wen, K.Zhang, Z.Li, Y.Qiao, "A discriminative feature learning approach for deep face recognition", In European Conference on Computer Vision (ECCV), pages 499-515, 2016. 

  6. W.Liu, Y.Wen, Z.Yu, M.Li, B.Raj, L.Song, "SphereFace: Deep Hypersphere Embedding for Face Recognition", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017 

  7. J.Redmon and A.Farhadi, "You only look once: Unified, real-time object detection", In CVPR, 2016. 

  8. R.Girshick, J.Donahue, T.darrell, J.malik, "Rich feature hierarchies for accurate object detection and semantic segmentation", In CVPR, 2014. 

  9. Y.Kim, J.Woo, J.Lee, J.Shin, "High-quality data collection for machine learning using block chain", Journal of the Korea Institute of Information and Communication Engineering, Vol.23, No.1, pp.13-19, Jan 2019. 

  10. K.Zhang, Z.Zhang, Z.Li, Y.Qiao, "Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks", IEEE SIGANL PROCESSING LETTERS, Vol.23, No.10, October 2016 

  11. W.Kiri, C.Claire, R.Seth, S.Stefan, "Constrained K-means Clustering with Backgroud Knowledge", Proceedings of the Eighteenth International Conference on Machine Learning, pp.574-584, 2001 

  12. Szegedy C, Ioffe S, Vanhoucke V, "Alemi, A.A.: Inception-v4, inception-resnet and the impact of residual connections on learning". In: AAAI. vol. 4, pp. 12, 2017. 

  13. Chris Biemann, "Chinese Whispers - an Efficient Graph Clustering Algorithm and its Application to Natural Language Processing Problems", TextGraphs-1 Proceedings of the First Workshop on Graph Based Methods for Natural Language Processing, pp.73-80, 2006. 

  14. Tsung-Yi Lin, Michael Maire, Serge Belongie, Lubomir Bourdev, Ross Girshick, James Hays, Pietro Perona, Deva Ramanan, C. Lawrence Zitnick, Piotr Dollar, "Microsoft COCO: Common Objects in Context", arxiv : 1405.0312, 2015. 

  15. Everingham, M., Van Gool, L., Williams, C. K. I., Winn, J. and Zisserman, A., "The PASCAL Visual Object Classes (VOC) Challenge", International Journal of Computer Vision, 88(2), 303-338, 2010 

  16. C. J. C. Burges, "A tutorial on Support vector machines for pattern recognition", Data mining and knowledge discovery 2, pp. 121-167, 1998. 

  17. B. Moore, "Principal component analysis in linear systems: Controllability, observability, and model reduction", IEEE Transactions on Automatic Control, pp. 17-32, Feb 1981. 

  18. L Maaten, G Hinton, "Visualizing data using t-SNE", Journal of Machine Learning Research 9, pp. 2579-2605, Nov 2008. 

  19. Andrew G.Howard, M.Zhu, Bo Chen, D.Kalenichnko, W.Wang, T.Weyand, M.Andreetto, H.Adam, "Mobilenets: Efficient convolutional neural networks for mobile vision applications", CoRR, abs/1704.04861, 2017. 

저자의 다른 논문 :

관련 콘텐츠

이 논문과 함께 이용한 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로