[논문]랜드마크 이미지 AI 학습용 데이터 구축을 위한 메타데이터 표준 설계 방안 연구

김진묵

doi:10.4275/kslis.2020.54.2.419

랜드마크 이미지 AI 학습용 데이터 구축을 위한 메타데이터 표준 설계 방안 연구
A Study on Designing Metadata Standard for Building AI Training Dataset of Landmark Images 원문보기

한국문헌정보학회지 = Journal of the Korean Society for Library and Information Science, v.54 no.2, 2020년, pp.419 - 434

초록
AI-Helper

본 연구의 목적은 랜드마크 이미지의 AI 학습용 데이터 구축을 위한 메타데이터 표준 설계 방안을 제시하기 위함이다. 이를 위해, 이미지 검색시스템의 종류와 각각의 색인 방식에 관한 최신 기술 현황을 포괄적으로 조사하여 분석하고, AI 머신러닝을 적용한 랜드마크 인식에 필수적인 학습용 공개 데이터셋과 이미지 객체 인식에 관한 기계학습 도구를 조사하였다. 이를 통해, 랜드마크 이미지 AI 학습용 데이터에 최적화된 메타데이터 요소를 선정하고 각각의 요소에 대한 입력 데이터를 정의하였다. 결론 및 제언에서는 랜드마크 인식을 활용한 추천시스템을 포함한 응용서비스 개발 방안을 논의하였다.

Abstract ▼ AI-Helper

The purpose of the study is to design and propose metadata standard for building AI training dataset of landmark images. In order to achieve the purpose, we first examined and analyzed the state of art of the types of image retrieval systems and their indexing methods, comprehensively. We then investigated open training dataset and machine learning tools for image object recognition. Sequentially, we selected metadata elements optimized for the AI training dataset of landmark images and defined the input data for each element. We then concluded the study with implications and suggestions for the development of application services using the results of the study.

주제어

표/그림 (7)

그림 <그림 1> 내용 기반 이미지 검색 시스템: WebSeek
그림 <그림 2> 내용 기반 이미지 검색 시스템: Blobworld
그림 <그림 3> 구글 ML-Kit 랜드마크 인식
표 <표 1> 의미기반 랜드마크 이미지 검색 및 색인을 위한 DC 메타데이터 요소
표 <표 2> 랜드마크 유형 분류: 예시*
표 <표 3> 내용기반 랜드마크 이미지 검색 및 색인을 위한 이미지 특성
표 <표 4> 이용자기반 랜드마크 이미지 검색 및 색인을 위한 DC 메타데이터 요소

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 랜드마크 이미지 AI 학습용 데이터 구축의 두 가지 주요 목적 즉, 객체인식과 이미지 검색을 위한 기계학습 모델의 훈련과 평가를 위한 메타데이터 표준 설계 방안을 제시하고자 수행되었다. 이를 위해 첫째, 이미지 검색시 스템의 종류 및 각각의 색인 방식을 조사․분석 하고, 둘째, ‘Google-Landmarks Dataset’와 같은 기존의 학습용 공개 데이터셋과 객체인식을 위한 기계학습 도구 현황을 조사하였다.
그러나, 비정형 데이터인 이미지 분석을 위한 AI 학습용 데이터는 매우 부족한 것이 사실이다. 본 연구는 랜드마크 이미지의 AI 학습용 데이터 구축을 위한 메타데이터 표준의 설계 방안을 제안하기 위해 수행되었다. 우선, 선행연구 조사, 사례 조사를 포함한 연구의 이론적 배경 제시를 통해 이미지 검색시스템의 종류와 색인 방식을 분석하고 랜드마크 인식에 관한 현황 및 사례를 고찰하였다.
객체 인식 기술은 이미지 기반의 추천시스템 이외에도 스마트시티, 자율주행 등의 분야로 그 응용 영역을 확대할 수 있다. 본 연구에서는 랜드마크 이미지 AI 학습용 데이터 구축에 최적화된 메타데이터 표준을 제안하였다. 이를 활용해 AI 기반 기계학습 모델의 성능 향상 및 응용서 비스 개발에 기여할 수 있을 것으로 기대한다.
랜드마크 AI 학습용 데이터셋에 최적화된 랜드마크 유형에 관한 기존의 표준 분류는 찾기 어려운 것이 사실이다. 본 연구에서는 랜드마크 인식 기술의 응용을 위한 가장 활발한 적용 분야 중하나인 여행/관광 관련 서비스를 제공하는 트립 어드바이저의 카테고리를 재구성하여 랜드마크 유형 분류를 위한 하나의 예시로서 제안하였다. <표 2>에 제시한 대분류, 중분류, 소분류 카테고리는 분류, 랜드마크, 관광 등분야의 전문가들 간의 협업을 통한 보다 체계 적인 설계가 필요하다.

제안 방법

‘3장 연구의 틀’에서 제시한 첫 번째 연구의틀 ‘의미기반 검색 지원을 위한 메타데이터 표준 설계 방안’으로 더블린 코어(DC)를 사용할 것을 제안한다.
이를 통해, AI를 적용한 랜드마크 인식을 위한 기계학습에 필요한 메타데이터 표준의 설계 방안을 도출하고 이미지 추천시스템 등 응용서비스 개발 방안을 제시하였다. 결론 및 제언에서는 연구결과의 요약 및 활용 방안을 논의하였다.
또한, 랜드마크 이미지 기반 추천서비스 등 응용서비스 개발에 필요한 이용자기반 이미지 검색 지원을 위한 색인 방안을 추가로 제안하였다. 구체적으로, 의미기반 이미지 검색 지원을 위한 메타데이터 요소로서 DC 15개 기본 요소 중 4개, 즉 title, identifier, type, date을 제안하였고, 내용기반 이미지 검색 지원을 위해서는 color(색상)과 shape(모양)을 제시하였 다. 마지막으로, 이용자기반 이미지 검색 지원을 위해서는 DC 기본요소 중 하나인 subject와 description을 추가로 지정하였다.
내용 기반 이미지 검색과 색인을 지원하기 위하여 패턴인식 기술을 적용한 이미지 간의 유사도 측정에 주로 사용되는 두 개의 이미지 특성 즉, 색상(color)과 모양(shape)을 추출하여 색인하는 방식을 과 같이 제안한다.
이를 통해, 랜드마크 이미지의 AI 학습용 데이터에 최적화된 메타데이터 요소를 도출하고 의미기 반 이미지 검색과 내용기반 이미지 검색을 동시에 지원할 수 있는 하이브리드 색인 방식을 채택한 메타데이터 표준 설계 방안을 제시하였 다. 또한, 랜드마크 이미지 기반 추천서비스 등 응용서비스 개발에 필요한 이용자기반 이미지 검색 지원을 위한 색인 방안을 추가로 제안하였다. 구체적으로, 의미기반 이미지 검색 지원을 위한 메타데이터 요소로서 DC 15개 기본 요소 중 4개, 즉 title, identifier, type, date을 제안하였고, 내용기반 이미지 검색 지원을 위해서는 color(색상)과 shape(모양)을 제시하였 다.
구체적으로, 의미기반 이미지 검색 지원을 위한 메타데이터 요소로서 DC 15개 기본 요소 중 4개, 즉 title, identifier, type, date을 제안하였고, 내용기반 이미지 검색 지원을 위해서는 color(색상)과 shape(모양)을 제시하였 다. 마지막으로, 이용자기반 이미지 검색 지원을 위해서는 DC 기본요소 중 하나인 subject와 description을 추가로 지정하였다.
본 연구에서는 보다 정교하고 세분화된 랜드 마크 분류를 위해서 type(유형)을 필수 요소로 추가하여 지정하였다. 분석 대상 랜드마크가 어떤 유형(건축물, 조형물, 장소 등)인지 보다 세부적으로 분류하는 것이 향후 응용서비스 개발 및 활용을 위해 보다 유용하기 때문이다.
<표 1>에서 의미기반 랜드마크 이미지 검색을 위해서 title(표제), identifier(식별자), type(유형), date(날짜)를 포함한 4개의 DC 기본 요소를 제안하였다. 이용자기반 이미지 추천 시스템을 구축하기 위해서는 인식 대상 랜드마 크에 대한 상세 설명과 관련 정보를 추천하기 위한 관련 키워드를 이용한 색인이 필수적이다.
이는, 더블린 코어 홈페이지에 기술되어 있는 바와 같이, 범용 메타데이터 표준인 DC는 모든 영역에서 사용이 가능하고 어떤 유형의 자원에도 적용할 수 있으며 시스템 독립적으로 확장이 가능하기 때문이다. <표 1> 에서 제시한 바와 같이 더블린 코어 15개 기본 요소 중 4개의 요소 즉, title(표제), identifier (식별자), type(유형), date(날짜)를 의미기반 이미지 검색을 지원하기 위한 메타데이터 요소로 제안한다.
본 연구는 랜드마크 이미지의 AI 학습용 데이터 구축을 위한 메타데이터 표준의 설계 방안을 제안하기 위해 수행되었다. 우선, 선행연구 조사, 사례 조사를 포함한 연구의 이론적 배경 제시를 통해 이미지 검색시스템의 종류와 색인 방식을 분석하고 랜드마크 인식에 관한 현황 및 사례를 고찰하였다. 이를 통해, AI를 적용한 랜드마크 인식을 위한 기계학습에 필요한 메타데이터 표준의 설계 방안을 도출하고 이미지 추천시스템 등 응용서비스 개발 방안을 제시하였다.
이를 반영하여, 는 에서 필수 요소로 지정한 4개의 DC 기본요소에 더하여 2개의 기본요소 즉, subject(주제)와 description(설명) 을 추가하여 지정하였다.
이를 위해 첫째, 이미지 검색시 스템의 종류 및 각각의 색인 방식을 조사․분석 하고, 둘째, ‘Google-Landmarks Dataset’와 같은 기존의 학습용 공개 데이터셋과 객체인식을 위한 기계학습 도구 현황을 조사하였다.
이를 위해, 2장 이론적 배경에서 고찰한 이미지 검색시스템의 종류와 각각의 색인 방식에 대한 분석 결과를 아래와 같이 ‘연구의 틀’로 사용하여 메타데이터 표준 설계 방안을 도출하여 제시하였다.
우선, 선행연구 조사, 사례 조사를 포함한 연구의 이론적 배경 제시를 통해 이미지 검색시스템의 종류와 색인 방식을 분석하고 랜드마크 인식에 관한 현황 및 사례를 고찰하였다. 이를 통해, AI를 적용한 랜드마크 인식을 위한 기계학습에 필요한 메타데이터 표준의 설계 방안을 도출하고 이미지 추천시스템 등 응용서비스 개발 방안을 제시하였다. 결론 및 제언에서는 연구결과의 요약 및 활용 방안을 논의하였다.
이를 위해 첫째, 이미지 검색시 스템의 종류 및 각각의 색인 방식을 조사․분석 하고, 둘째, ‘Google-Landmarks Dataset’와 같은 기존의 학습용 공개 데이터셋과 객체인식을 위한 기계학습 도구 현황을 조사하였다. 이를 통해, 랜드마크 이미지의 AI 학습용 데이터에 최적화된 메타데이터 요소를 도출하고 의미기 반 이미지 검색과 내용기반 이미지 검색을 동시에 지원할 수 있는 하이브리드 색인 방식을 채택한 메타데이터 표준 설계 방안을 제시하였 다. 또한, 랜드마크 이미지 기반 추천서비스 등 응용서비스 개발에 필요한 이용자기반 이미지 검색 지원을 위한 색인 방안을 추가로 제안하였다.
이미지를 ‘blob’으로 분할하고 해당 ‘blob’의 색상 및 질감 정보를 함께 색인하였다.
이를 통해, 의미기반 검색과 내용기반 검색의 단점을 상호 보완하고 각각의 장점을 최대한 활용할 수 있기 때문이다. 추가적으로, 추천시스템 등 응용서비스 개발을 위하여 랜드마크 이미지의 이용자 기반 검색 및색인을 위한 더블린 코어 메타데이터 기본 요소중 두 개의 요소(subject, description)를 제안하였다.

이론/모형

4장에서는 ‘2장 이론적 배경’에서 논의한 이미지 검색시스템의 종류, 색인 방식, 랜드마크 객체인식 도구 및 기술에 관한 조사 및 분석 결과를 ‘2장 연구의 틀’을 적용하여 AI 학습용 랜 드마크 이미지 데이터 구축 목적에 부합하는 메타데이터 표준 설계 방안을 도출하여 제시하 였다. 랜드마크 AI 학습데이터 구축을 위한 이미지 색인을 위해서 의미기반 검색과 내용기반 검색을 동시에 지원하는 하이브리드(hybrid) 색인 방식을 채택하였다. 이를 통해, 의미기반 검색과 내용기반 검색의 단점을 상호 보완하고 각각의 장점을 최대한 활용할 수 있기 때문이다.

후속연구

랜드마크 이미지 AI 학습용 데이터 구축은 이 사업의 10개 지정공모 과제 중 하나로서 2020년 말 사업 마무리와 함께 국내 주요 50개 도시/지역의 랜드마크 이미지 500만장을 구축할 계획이다. 구축된 학습용 데이터는 랜드마크 이미지 검색및 객체 인식 분야의 국내 연구 및 응용 서비스 개발을 한 단계 업그레이드 시킬 수 있을 것으로 기대된다.
이용자기반의 이미지 추천시스템은 소셜 미디어 서비스, 관광 마케팅 등 응용서비스 개발을 위한 연구가 활발히 진행되고 있다. 랜드마크 이미지의 AI 학습용 데이터 구축 및 활용을 통해 이 분야 연구가 더욱 활성화 될 수 있을 것이다.
본 연구에서는 랜드마크 이미지 AI 학습용 데이터 구축에 최적화된 메타데이터 표준을 제안하였다. 이를 활용해 AI 기반 기계학습 모델의 성능 향상 및 응용서 비스 개발에 기여할 수 있을 것으로 기대한다.
<표 2>에 제시한 대분류, 중분류, 소분류 카테고리는 분류, 랜드마크, 관광 등분야의 전문가들 간의 협업을 통한 보다 체계 적인 설계가 필요하다. 지역 관광 활성화를 위한 주변 관광지, 맛집, 교통, 숙박 등 관련 정보 제공을 위해서는 관광 및 여행에 특화된 온톨리지를 개발하여 적용하는 것이 바람직할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	이미지 검색의 종류는 무엇에 따라 어떻게 구분되는가?	이미지 검색의 종류는 무엇을 색인하는지에 따라 즉, 색인의 대상에 따라 의미기반(concept/ context/semantic-based) 이미지 검색, 내용 기반(content-based) 이미지 검색, 이용자기반 (user-based) 이미지 검색(추천)시스템으로 구분할 수 있다. 최근, 인공지능을 적용한 기계학습 모델의 발전은 이미지의 내용을 구성하는 이미지 특성(색, 모양 등)을 활용한 이미지 검색분야의 괄목할 만한 발전을 이끌어 왔다.
	네이버 국어사전에선, 이미지를 무엇이라 정의하였는가?	캠브리지 사전은 이미지(image)를 “a picture in your mind or an idea of how someone or something is”라고 정의하고 있다. 이것은 “당신 마음속의 사진 또는 어떤 사람이나 사물에 대한 생각”이라고 직역할 수 있으며, 네이버 국어사전은 “어떤 사람이나 사물로부터 받는 느낌(심상, 영상, 인상)”으로 표현하고 있다. 즉, 이미지는 눈으로 보고 마음속에 그려진 사람이나 사물에 대한 인상인 것이다.
	캠브리지 사전에선, 이미지를 무엇이라 정의하였나?	캠브리지 사전은 이미지(image)를 “a picture in your mind or an idea of how someone or something is”라고 정의하고 있다. 이것은 “당신 마음속의 사진 또는 어떤 사람이나 사물에 대한 생각”이라고 직역할 수 있으며, 네이버 국어사전은 “어떤 사람이나 사물로부터 받는 느낌(심상, 영상, 인상)”으로 표현하고 있다.

참고문헌 (27)

National Library of Korea, Korean Bibliography, Dublin Core Homepage. [online] [cited 2020. 5. 10.]
권은영, 나연묵. 2004. 의미기반 이미지 검색을 위한 통합 이미지 메타데이타의 설계 및 구현. 한국정보과학회 학술발표논문집, 31(2): 145-147.
Kim, S., and Yi, K. 2004. "A study on the retrieval effectiveness based on image query types." Journal of the Korean Society for Library and Information Science, 47(3): 321-342.
Kim, J. 2018. "A study on the development of collaborative filtering systems and its application." Journal of Social Science Research, 29(2): 197-209.
Naver Korean Dictionary. [online] [cited 2020. 5. 10.]
Naver Cloud Platform Homepage. [online] [cited 2020. 5. 10.]
Mo, Y. and Lee, C. 2009. "A study on increasing the efficiency of image search using image attribute in the area of content-based image retrieval." Journal of the Korea Society for Simulation, 18(2): 39-48.
Park, Y., Song, K., Whang, J. and Chang, B. 2015. "A system for personalized tour recommendation based on ontology." Journal of the Korea Contents Association, 15(9): 1-10.
Byeon, J. et al. 2006. "The classification of cities based on urban images." Journal of Korea Planning Association, 41(3): 7-20.
Lee, Y. and Nang, J. 2018. "Building training image dataset and experiments with convolutional neural network for Seoul landmark recognition." Proceedings of Korea Information Science Society, 845-847.
Lee, H. et. al. 2019. "Fashion image searching website based on deep learning image classification." Journal of Practical Engineering Education, 11(2): 175-180.
Lim, Chae-Suk. 2016. "A study on the landmark for regional revitalization." Journal of the Korea Academica-Industrial Cooperation Society, 17(3): 560-570.
Chung, Kyung-Yong. 2008. "Pernalized item recommendation using image-based filtering." Journal of the Korea Contents Association, 8(3): 1-7.
Chung, EunKyung. 2014. "A systematic review on concept-based image retrieval research." Journal of the Korean Biblia Society for Library and Information Science, 25(4): 313-332.

원문보기 상세보기
Choi, M. 2017. "Complex color model for efficient representation of color-shape in contextbased image retrieval." Journal of Digital Convergence, 15(4): 267-273.
kakao Vision API Homepage. [online] [cited 2020. 5. 10.]
Hong, S. and Nah, Y. 2000. "A design and implementation of intelligent image retrieval system using hybrid image metadata." Journal of Korea Multimedia Society, 3(3): 209-223.
Carson, C., Thomas, M., Belongie, S., Hellerstein, J. M. and Malik, J. 1999. Blobworld: A system for region-based image indexing and retrieval. Technical Report: UCB/CSD-99-1041, University of California, Berleley, 1-12. [online] [cited 2020. 5. 10.]
Data et al. 2008. "Image retrieval: Ideas, influences, and trends of the new age." ACM Computing Surveys, 40(2): 1-60.

상세보기
Firebase homepage [online] [cited 2020. 5. 10.]
Karlsen, R., Elahi, N. and Andersen, A. 2018. Personalized recommendation of socially relevant images. Proceedings of 8th Conference on Web Intelligence, Mining and Semantics, pp.1-4. [online] [cited 2020. 5. 10.]
Kim, Jaeyoon. 2019. Regional attention based deep feature for image retrieval. Master's Theses, KAIST.
Lew, M. S. et al. 2006. "Content-based multimedia information retrieval: State of the art and challenges." ACM Transactions on Multimedia Computing, Communications, and Applications, 2(1): 1-19.

상세보기
Melo, E. V. 2018. "Improving collaborative filtering-based image recommendation through use of eye gaze tracking." Information, 9(11): 262-274.

상세보기
Noh, A., Araujo, A., Sim, J., Weyand, T. and Han, B. 2017. Large-scale image retrieval with attentive deep local features. Proceedings of the IEEE International Conference on Computer Vision, 3456-3465.
Smith, J. R. and Chang, S.-F, 1997. "Visually searching the Web for Content." IEEE Multimedia Magazine, 4(3): 12-20.

상세보기
Srivastava, G. and Srivastava, R. 2020. "Design, analysis and implementation of efficient framework for immage annotation." ACM Transactions on Multimedia Computing, Communications, and Applications, Accepted on February, 2020.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증