[논문]임베디드 시스템 환경에서의 머신러닝 기반 미술 작품 추천 서비스 구현

천미현; 이동화

doi:10.14400/jdc.2019.17.10.265

임베디드 시스템 환경에서의 머신러닝 기반 미술 작품 추천 서비스 구현
Implementation of Machine Learning-Based Art Work Recommendation Service in Embedded System Environments 원문보기

디지털융복합연구 = Journal of digital convergence, v.17 no.10, 2019년, pp.265 - 271

천미현 (대구대학교 정보통신공학과) , 이동화 (대구대학교 정보통신공학부)

초록
AI-Helper

국민 소득의 증가로 인해 문화 생활에 대한 관심이 크게 증가하면서 전국 미술관의 수도 함께 증가하고 있다. 하지만 다른 서비스에 비해 미술관 만족도는 상대적으로 낮은 편이다. 본 논문에서는 미술관 만족도를 높이기 위해 임베디드 시스템 환경에서 머신러닝에 기반한 관중들의 선호도에 관련된 정보를 제공하는 서비스를 제안한다. 제안된 알고리즘은 라즈베리 파이를 이용하여 임베디드 시스템을 구현했다. 관람자가 선호하는 작품과 유사한 작품을 찾아내기 위해 머신러닝을 이용하였고 여러 머신러닝 모델을 비교하여 임베디드 시스템에 적용 가능한 모델을 선정했다. 관람자의 취향에 맞는 정보를 활용하여 갤러리 전시 내용을 효과적으로 구성하여 전시 만족도를 높이고 이는 미술관 재 방문율을 높일 수 있을 것이다.

Abstract ▼ AI-Helper

The number of galleries across the country is increasing as interest in cultural life increases due to the increase in national income. However, museum satisfaction is relatively low compared to other services. In this paper, we propose a service that provides preference information based on machine learning in embedded system environment in order to increase museum satisfaction. The proposed algorithm implements an embedded system using Raspberry Pi. Machine learning was used to find works similar to the viewer's favorite works, and several models were compared to select models applicable to embedded systems. By using the preference information, it is possible to effectively organize the gallery exhibition contents to increase the exhibition satisfaction and the re-visit rate of the museum.

주제어

표/그림 (10)

그림 Fig. 1. Artwork Detection Algorithm
그림 Fig. 2. Rectangular Shape Detection through image Preprocessing
그림 Fig. 3. Results of Applying Warping Technique
그림 Fig. 4. Result of Acquiring Work Information Using SURF Algorithm
표 Table 1. Detection Accuracy
그림 Fig. 5. Block Diagram
그림 Fig. 6. Classification of Artworks by Trend
표 Table 2. Painter’s Style Classification Test Results
그림 Fig. 7. H/W Implementation Result
그림 Fig. 8. Art Work Recommendation Result

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

임베디드 시스템 환경에 적용하기 위해서는 가중치 크기가 작으면서 성능은 우수한 모델을 선정하여야 한다. 따라서 본 논문에서는 CNN 모델들 중 AlexNet, SqueezeNet 그리고 Tiny Darknet 등 이 세 가지 모델에 데이터를 10000번 학습 시키고 성능과 크기를 비교 했다. 테스트 결과는 Table 2와 같다.
특징점을 이용하여 객체를 검출하는 방식은 앞에서 설명한 머신러닝을 이용한 방식보다 정확도는 떨어질 수 있으나 검출 하려는 객체의 원본 이미지 하나만으로 검출 할 수 있다는 장점이 있다. 따라서 본 논문에서는 특징점을 이용하여 객체를 검출하는 방식을 이용해 관람자가 관심 있어 하는 객체를 검출하도록 했다.
본 논문에서는 미술관을 방문한 관람자가 여러 작품들을 감상할 때 선호하는 작품을 알아내고 선호하는 작품과 유사한 화풍을 가지는 다른 작가의 작품을 관람자에게 추천하는 서비스를 제안한다. 또한 본 서비스를 임베디드 시스템 환경에서 구현하기 위한 고려사항에 대해 검증해본다. 먼저 관람자가 관람중인 여러 작품들을 카메 라를 이용해 검출한다.
본 논문에서는 관람자가 관람중인 작품을 실시간으로 검출하기 위해 SIFT 알고리즘보다 처리 속도가 우수한 SURF 알고리즘을 이용하여 특징점을 검출하도록 했다.
본 논문에서는 미술관을 방문한 관람자가 여러 작품들을 감상할 때 선호하는 작품을 알아내고 선호하는 작품과 유사한 화풍을 가지는 다른 작가의 작품을 관람자에게 추천하는 서비스를 제안한다. 또한 본 서비스를 임베디드 시스템 환경에서 구현하기 위한 고려사항에 대해 검증해본다.

가설 설정

그 다음 영상 이진화를 진행한 후 모폴로지 연산을 이용해 외곽선을 검출 하도록 한다. 미술관에 전시중인 작품들은 모두 사각형 모양을 가지고 있다는 가정을 하여, 배경으로부터 사각형의 모양을 가지는 객체를 추출한다. Fig.

제안 방법

먼저 입력 받은 영상에 노이즈를 제거 하기 위해 가우시안 필터를 이용한다. 그 다음 영상 이진화를 진행한 후 모폴로지 연산을 이용해 외곽선을 검출 하도록 한다. 미술관에 전시중인 작품들은 모두 사각형 모양을 가지고 있다는 가정을 하여, 배경으로부터 사각형의 모양을 가지는 객체를 추출한다.
관람자가 선호하는 작품으로 설정된 작품은 학습된 가중치를 이용해 라즈베리 파이에서 유사한 작품을 검출한다. 그 다음 해당 결과를 무선 LAN 어댑터를 이용하여 포털 사이트 검색을 통해 관람자에게 제공할 수 있도록 했다.
작품들이 검출된 시간을 측정하여 상대적으로 관람시간이 긴 작품을 관람자가 선호하는 작품으로 판단한다. 그리고 관람자가 선호하는 작품을 머신 러닝을 이용해 유사한 화풍의 그림을 추정하고, 추정된 결과와 유사한 화풍을 가지는 화가를 알아내도록 한다. 파악된 정보는 웹 서비스 검색을 통해 해당 화가의 여러 작품 들을 최종적으로 관람자에게 제공하도록 한다.
파악된 정보는 웹 서비스 검색을 통해 해당 화가의 여러 작품 들을 최종적으로 관람자에게 제공하도록 한다. 그리고 벽면에 실제 크기로 인쇄한 미술 작품들을 부착시켜 미술관 환경과 비슷한 실험환경을 구성하여 알고리즘을 검증했다.
입력 받은 영상에 전체적인 영역에서 SURF 알고리즘을 사용하여 작품을 검출하는 것은 임베디드 시스템에 실시간으로 적용시키기 적절하지 않고 검출 정확도 또한 떨어뜨릴수 있다. 따라서 SURF 알고리즘을 적용시킬 작품 영역 만을 검출하도록 하고 그 영역 내에서 SURF 알고리즘을 적용하도록 한다. 먼저 입력 받은 영상에 노이즈를 제거 하기 위해 가우시안 필터를 이용한다.
또한 본 서비스를 임베디드 시스템 환경에서 구현하기 위한 고려사항에 대해 검증해본다. 먼저 관람자가 관람중인 여러 작품들을 카메 라를 이용해 검출한다. 작품들이 검출된 시간을 측정하여 상대적으로 관람시간이 긴 작품을 관람자가 선호하는 작품으로 판단한다.
Table 1은 각각의 알고리즘을 적용시켰을 때 작품 검출 정확도를 측정한 결과이다. 모두 흰 배경에 실제 크기로 인쇄된 작품을 부착한 후 다양한 각도에서 검출 정확도를 측정했다. 측정에 사용된 이미지는 총 50장을 사용했다.
본 논문에서 CNN 모델 중 가장 대표적인 AlexNet과 가벼운 모델로 개발된 SzueezeNet, 그리고 Tiny Darknet 등을 이용하여 데이터를 학습하고 성능과 크기를 비교해 임베디드 시스템 환경에 적용 가능한 모델을 사용하도록 했다.
시대가 빠르게 변화하고 관람자들의 성향이 다양해지면서 맞춤형 서비스 제공의 필요성이 높아지게 되었다. 본 논문에서 제안하는 서비스는 관람자의 선호도에 맞춰 관련 작품들을 추천하도록 했다. 관람자들의 작품 선호도 정보는 미술관에서 이용하여 ‘전시 내용’을 관람자들이 선호하는 내용으로 전시할 수 있을 것이고 이는 미술관 재방문율을 높이는 효과를 기대할 수 있을 것이다.
[15]는 AlexNET 아키텍처의 컨볼루션 신경망인 PigeoNET을 이용하여 작가의 작품을 학습시키고 해당 작가의 다른 작품을 검출하는 연구를 진행한 결과 70%의 정확도를 얻었다. 본 논문에서는 CNN 모델을 이용하여 현재 관람자가 관심 있어 하는 작품과 유사한 작품을 찾아내도록 했다. PigeoNET을 이용한 학습 데이터로 한 클래스 당 적어도 300장 이상을 사용했으므로 본 논문에서도 한 클래스 당 300장 이상의 작품이 포함되도록 실험을 진행했다.
그리고 리얼리즘은 실제 사진을 보는 것과 같이 사실적으로 표현한 것이 특징이다. 사조에 대한 각각의 특징을 분류 조건으로 했다. 400 장의 데이터들을 학습을 위해 사용하였으며, 원본 이미지에 무작위로 회전 변환을 적용하여 총 1200 장의 데이터를 준비하고, 이를 이용하여 학습을 진행했다.
400 장의 데이터들을 학습을 위해 사용하였으며, 원본 이미지에 무작위로 회전 변환을 적용하여 총 1200 장의 데이터를 준비하고, 이를 이용하여 학습을 진행했다. 실험에 이용된 모델들은 ImageNet 데이터에 대해 사전 학습된 가중치 값을 초기값으로 하여 학습했다.
앞에서 SURF 알고리즘을 이용하여 관람자가 관심 있어 하는 작품을 검출했고 CNN의 모델을 이용하여 데이터들을 학습했다. 학습된 가중치들 중 크기가 가장 작았던 SqueezeNet의 가중치를 라즈베리 파이 하드웨어에 적용했다.
유사한 화풍을 가지는 작품들을 분류하기 위해 그림의 사조에 따라 클래스를 분류하도록 했다. 인상주의, 추상파, 리얼리즘 등 3개의 클래스로 분류하였고, 총 450장 가량의 데이터를 인터넷 검색을 통해 수집했다.
1과 같다. 카메라로부터 입력받은 영상에서 SURF 알고리즘을 이용하여 작품을 검출하기 전 검출 정확도를 높이기 위해 영상의 전처리를 수행한다. 입력 받은 영상에 전체적인 영역에서 SURF 알고리즘을 사용하여 작품을 검출하는 것은 임베디드 시스템에 실시간으로 적용시키기 적절하지 않고 검출 정확도 또한 떨어뜨릴수 있다.
학습 모델의 분류 정확도를 평가하기 위해 학습 데이터와 테스트 데이터를 따로 분류하여 평가를 진행했다. 분류정확도의 경우 큰 차이를 보이지 않았다.
앞에서 SURF 알고리즘을 이용하여 관람자가 관심 있어 하는 작품을 검출했고 CNN의 모델을 이용하여 데이터들을 학습했다. 학습된 가중치들 중 크기가 가장 작았던 SqueezeNet의 가중치를 라즈베리 파이 하드웨어에 적용했다. 학습된 가중치에 SURF 알고리즘으로 검출된 작품을 예측하도록 한다.
학습된 가중치들 중 크기가 가장 작았던 SqueezeNet의 가중치를 라즈베리 파이 하드웨어에 적용했다. 학습된 가중치에 SURF 알고리즘으로 검출된 작품을 예측하도록 한다. 화풍의 결과로 인상주의가 나올 경우 ‘빈센트 반 고흐’, 추상화가 나올 경우 ‘파블로 피카소’ 그리고 리얼리즘이 나올 경우 ‘장프랑수아 밀레’ 등을 관람자에게 자동으로 추천하도록 했다.
화풍의 결과로 인상주의가 나올 경우 ‘빈센트 반 고흐’, 추상화가 나올 경우 ‘파블로 피카소’ 그리고 리얼리즘이 나올 경우 ‘장프랑수아 밀레’ 등을 관람자에게 자동으로 추천하도록 했다.

대상 데이터

사조에 대한 각각의 특징을 분류 조건으로 했다. 400 장의 데이터들을 학습을 위해 사용하였으며, 원본 이미지에 무작위로 회전 변환을 적용하여 총 1200 장의 데이터를 준비하고, 이를 이용하여 학습을 진행했다. 실험에 이용된 모델들은 ImageNet 데이터에 대해 사전 학습된 가중치 값을 초기값으로 하여 학습했다.
5는 카메라 모듈을 통해 입력받은 영상을 SURF 알고리즘을 이용하여 라즈베리 파이에서 작품을 검출한후 서버에서 학습된 가중치를 이용하여 유사한 작품을 검출하는 과정을 나타낸 구성도이다. CNN 모델을 사용한 실험 환경은 Ubuntu 18.04에서 진행했다. 이때 CNN 알고리 즘의 수행을 위해 오픈소스 Neural Networks Framework 로 사용되고 있는 Draknet 플랫폼을 선정했다.
본 논문에서는 CNN 모델을 이용하여 현재 관람자가 관심 있어 하는 작품과 유사한 작품을 찾아내도록 했다. PigeoNET을 이용한 학습 데이터로 한 클래스 당 적어도 300장 이상을 사용했으므로 본 논문에서도 한 클래스 당 300장 이상의 작품이 포함되도록 실험을 진행했다.
04에서 진행했다. 이때 CNN 알고리 즘의 수행을 위해 오픈소스 Neural Networks Framework 로 사용되고 있는 Draknet 플랫폼을 선정했다.
유사한 화풍을 가지는 작품들을 분류하기 위해 그림의 사조에 따라 클래스를 분류하도록 했다. 인상주의, 추상파, 리얼리즘 등 3개의 클래스로 분류하였고, 총 450장 가량의 데이터를 인터넷 검색을 통해 수집했다. 이 중 50장은 검증 데이터로 분류했다.
모두 흰 배경에 실제 크기로 인쇄된 작품을 부착한 후 다양한 각도에서 검출 정확도를 측정했다. 측정에 사용된 이미지는 총 50장을 사용했다.

이론/모형

SURF 알고리즘은 SIFT 알고리즘의 단점이었던 처리 속도 문제를 개선하여 나온 알고리즘이다. SURF 알고리 즘은 SIFT 알고리즘과 달리 계산 속도가 빠른 고속 Hessian 검출 방식을 이용하여 특징점을 찾는다. 또한각 특징점 매칭 단계에서 명암 대비가 있는 경우에만 연산을 수행하기 때문에 성능 저하가 이루어지지 않고 처리 속도가 빠르다는 장점이 있다[13].
3과 같다. 그 후 사전에 저장된 전시 이미지의 특징점 정보들과 검출된 사각형 내의 작품을 SURF 알고리즘을 이용하여 매칭 및 유사도를 파악 후 작품의 정보를 획득한다.

성능/효과

7MB로 SqueezeNet의 가중치 데이터 크기가 가장 작았다. 본 결과를 통해 SqueezeNet 모델이 임베디드 시스템 환경에 가장 적합할 것으로 예상된다.

후속연구

관람자들의 작품 선호도 정보는 미술관에서 이용하여 ‘전시 내용’을 관람자들이 선호하는 내용으로 전시할 수 있을 것이고 이는 미술관 재방문율을 높이는 효과를 기대할 수 있을 것이다. 또한 본 논문에서 제안하는 서비스를 적용하여 관람자들이 관심 있어 하는 사전 정보를 얻을 수 있을 것이고 이것은 사용자 협업 필터링에 사용될 데이터베이스로 사용할 수있을 것이다. 현재 본 논문에서 제안하는 서비스를 적용할 수 있는 미술 작품은 사각형의 모양을 가지는 작품들 만으로 제한되어 있다.
그리고 분류 레이블을 인상주의, 추상화, 리얼리즘으로 분류하여 추천 결과도 적은 편이다. 추후 연구를 통해 불특정한 모양을 가지는 작품을 검출할 수 있고 다양한 내용을 관람자에게 추천할 수 있도록 할 예정이다.
또한 본 논문에서 제안하는 서비스를 적용하여 관람자들이 관심 있어 하는 사전 정보를 얻을 수 있을 것이고 이것은 사용자 협업 필터링에 사용될 데이터베이스로 사용할 수있을 것이다. 현재 본 논문에서 제안하는 서비스를 적용할 수 있는 미술 작품은 사각형의 모양을 가지는 작품들 만으로 제한되어 있다. 그리고 분류 레이블을 인상주의, 추상화, 리얼리즘으로 분류하여 추천 결과도 적은 편이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	머신러닝을 이용하여 객체를 검출하는 방법의 단점은 무엇인가?	특정 객체를 검출하는 방식으로 가장 많이 쓰이는 방법은 머신러닝을 이용하는 방법과 특징점을 이용하여 매칭하는 방법이다[6]. 머신러닝을 이용하여 객체를 검출할 경우 특징점을 이용하여 객체를 검출하는 방법보다 정확도가 높다는 장점이 있으나 검출 하고자 하는 객체들의 데이터를 미리 학습시켜야 한다는 단점이 있다. 미술관과 같은 환경에는 전시되는 전시물이 계속해서 바뀐다는 점이 있어 머신러닝을 이용하게 되면 바뀌는 전시물에 따라 매번 학습시켜야함으로 이를 적용시키 기에는 한계가 있다.
	미술관 관람 횟수가 증가하고 있는 배경은 무엇인가?	국민 소득의 증가로 인한 생활수준의 향상이 여가 시간의 증가로 이어지면서 문화생활에 대한 관심도가 크게 증가하고 있다[1]. 이에 따라 전국 미술관 수는 2016년 219개에서 2017년에는 229개로 늘어났으며, 미술관 관람 횟수도 함께 증가하고 있다[2].
	SIFT 알고리즘이란 무엇인가?	SIFT 알고리즘은 기존의 해리스 코너 검출기의 단점인 영상의 스케일 변화에 민감한 변화를 해결하고자 나온 기법이며, 가우시안 필터링 스케일 공간에서 코너성의 차이가 극대화되는 점을 찾는 방식이다[11]. 가우시안 필터링을 사용하여 잡음에 강하고 스케일 변화에 강인하다는 특징이 있다.

참고문헌 (16)

G. S. Kim & Y. J. Ahn. (2005). Articles : The relationships of cultural tourism attraction attributes, resources interpretation and tourist satisfaction. International Journal of Tourism Management and Sciences, 19(1), 247-272.
S. J. Park, I. S. Jeon & S. L. Moon. (2018). The effect of museum docent program typology on the art appreciation. Journal of Korea Culture Industry, 18(2), 13-21. DOI : 10.35174/JKCI.2018.06.18.2.13

상세보기
Ministry of Culture, Sports and Tourism. (2016). 2016 The Survey of Cultural Enjoyment. Seoul.
G. H. Byun, H. J. Lee & S. K. Kang. (2014). Service quality recognition and satisfaction of art museum visitors: the case of Gwangju museum of art. Review of Culture & Economy, 17(2), 137-159.
Y. P. Jung & C. S. Yum. (2013). customer relationship management of the internet shopping mall using customer segmentation. Journal of Korean Institute of Information Technology, 11(12), 159-167. DOI : 10.14801/KIITR.2013.11.12.159

상세보기
S. S. Kim. (2019). A Study on Product Search Service using Feature Point Information based on Image. Journal of Convergence for Information Technology, 9(9), 20-26. DOI : 10.22156/CS4SMB.2019.9.9.020

원문보기 상세보기
D. Lowe. (2004). Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 60(2), 91-110. DOI : 10.1023/B:VISI.0000029664.99615.94

상세보기
H. Bay, A. Ess, T. Tuytelaars & L. Van Gool. (2008). Speeded up robust features (SURF). Computer Vision and Image Understanding, 110(3), 346-359. DOI : 10.1016/J.CVIU.2007.09.014

상세보기
M. Kang, W. Choo & S. Moon. (2011). Face recognition based on SURF Interest point extraction algorithm. Journal of the Institute of Electronics Engineers of Korea CI, 48(3), 46-53.
S. G. Lee, J. L. Park, Y. J. Kim & S. H. Choi. (2015). Implementation Of Object Recognition System In Real Time Using SURF and BRISK Algorithm. Information and Control Symposium. (pp. 170-171). Seoul : KIEE.
S. H. Jung. (2013). Touch Recognition based on SIFT Algorithm. Journal of the Korea Society of Computer and Information. 18(11), 69-75. DOI : 10.9708/JKSCI.2013.18.11.069

원문보기 상세보기
O. C. Kim & D. J. Kang. (2013). Speed improvement of SURF matching algorithm using reduction of searching range based on PCA. Journal of Korea Multimedia Society, 16(7), 820-828. DOI : 10.9717/KMMS.2013.16.7.820

원문보기 상세보기
J. H. Yoo & K. M. Lee. (2015). Patent Image Retrieval Using SURF Direction histograms. Journal of KIISE, 42(1), 33-43. DOI : 10.5626/JOK.2015.42.1.33

원문보기 상세보기
K. K. Kim, Y. A. Hur, G. M. Kim, W. H. Yu & H. S. Lim. (2017). Detail Focused Image Classifier Model for Traditional Images. Journal of the Korea Convergence Society, 8(12), 85-92. DOI : 10.15207/JKCS.2017.8.12.085

원문보기 상세보기
N. van Noord, E. Hendriks & E. Postma. (2015. July). Toward Discovery of the Artist's Style: Learning to recognize artists by their artworks. IEEE Signal Processing Magazine, 32, 46-54. DOI : 10.1109/MSP.2015.2406955

상세보기
F. N. landola, S. Han, M. W. Moskewicz, K. Ashraf, W. J. Dally & K. Keutzer. (2016). SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size. arXiv preprint arXiv:1602.07360.

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증