온라인 쇼핑몰에서 상품 설명 이미지 내의 키워드 인식을 위한 딥러닝 훈련 데이터 자동 생성 방안 The way to make training data for deep learning model to recognize keywords in product catalog image at E-commerce원문보기
E-commerce 환경의 발전으로 소비자들은 다양한 상품들을 한 자리에서 폭 넓게 비교할 수 있게 되었다. 하지만 온라인 쇼핑몰에 올라와있는 상당량의 주요 상품 정보들이 이미지 형태이기 때문에 컴퓨터가 인지할 수 있는 텍스트 기반 검색 시스템에 반영될 수 없다는 한계가 존재한다. 이러한 한계점은 일반적으로 기존 기계학습 기술 및 OCR(Optical Character Recognition) 기술을 활용해, 이미지 형태로 된 키워드를 인식함으로써 개선할 수 있다. 그러나 기존 OCR 기술은 이미지 안에 글자가 아닌 그림이 많고 글자 크기가 작으면 낮은 인식률을 보인다는 문제가 있다. 이에 본 연구에서는 기존 기술들의 한계점을 해결하기 위하여, 딥러닝 기반 사물인식 모형 중 하나인 SSD(Single Shot MultiBox Detector)를 개조하여 이미지 형태의 상품 카탈로그 내의 텍스트 인식모형을 설계하였다. 하지만 이를 학습시키기 위한 데이터를 구축하는 데 상당한 시간과 비용이 필요했는데, 이는 지도학습의 방법론을 따르는 SSD 모형은 훈련 데이터마다 직접 정답 라벨링을 해줘야 하기 때문이다. 본 연구는 이러한 문제점을 해결하기 위해 '훈련 데이터 자동 생성 프로그램'을 함께 개발하였다. 훈련 데이터 자동 생성 프로그램을 통해 수작업으로 데이터를 만드는 것에 비하여 시간과 비용을 대폭 절감할 수 있었으며, 생성된 훈련용 데이터를 통해 모형의 인식 성능을 높일 수 있었다. 더 나아가 실험연구를 통해 자동으로 생성된 훈련 데이터의 특징별로 인식기 모형의 성능에 얼마나 큰 영향을 끼치는지 알아보고, 성능 향상에 효과적인 데이터의 특징을 분석하였다. 본 연구를 통해서 개발된 상품 카탈로그 내 텍스트 인식모형과 훈련 데이터 자동 생성 프로그램은 온라인 쇼핑몰 판매자들의 상품 정보 등록 수고를 줄여줄 수 있으며, 구매자들의 상품 검색 시 결과의 정확성을 향상시키는 데 기여할 수 있을 것으로 기대한다.
E-commerce 환경의 발전으로 소비자들은 다양한 상품들을 한 자리에서 폭 넓게 비교할 수 있게 되었다. 하지만 온라인 쇼핑몰에 올라와있는 상당량의 주요 상품 정보들이 이미지 형태이기 때문에 컴퓨터가 인지할 수 있는 텍스트 기반 검색 시스템에 반영될 수 없다는 한계가 존재한다. 이러한 한계점은 일반적으로 기존 기계학습 기술 및 OCR(Optical Character Recognition) 기술을 활용해, 이미지 형태로 된 키워드를 인식함으로써 개선할 수 있다. 그러나 기존 OCR 기술은 이미지 안에 글자가 아닌 그림이 많고 글자 크기가 작으면 낮은 인식률을 보인다는 문제가 있다. 이에 본 연구에서는 기존 기술들의 한계점을 해결하기 위하여, 딥러닝 기반 사물인식 모형 중 하나인 SSD(Single Shot MultiBox Detector)를 개조하여 이미지 형태의 상품 카탈로그 내의 텍스트 인식모형을 설계하였다. 하지만 이를 학습시키기 위한 데이터를 구축하는 데 상당한 시간과 비용이 필요했는데, 이는 지도학습의 방법론을 따르는 SSD 모형은 훈련 데이터마다 직접 정답 라벨링을 해줘야 하기 때문이다. 본 연구는 이러한 문제점을 해결하기 위해 '훈련 데이터 자동 생성 프로그램'을 함께 개발하였다. 훈련 데이터 자동 생성 프로그램을 통해 수작업으로 데이터를 만드는 것에 비하여 시간과 비용을 대폭 절감할 수 있었으며, 생성된 훈련용 데이터를 통해 모형의 인식 성능을 높일 수 있었다. 더 나아가 실험연구를 통해 자동으로 생성된 훈련 데이터의 특징별로 인식기 모형의 성능에 얼마나 큰 영향을 끼치는지 알아보고, 성능 향상에 효과적인 데이터의 특징을 분석하였다. 본 연구를 통해서 개발된 상품 카탈로그 내 텍스트 인식모형과 훈련 데이터 자동 생성 프로그램은 온라인 쇼핑몰 판매자들의 상품 정보 등록 수고를 줄여줄 수 있으며, 구매자들의 상품 검색 시 결과의 정확성을 향상시키는 데 기여할 수 있을 것으로 기대한다.
From the 21st century, various high-quality services have come up with the growth of the internet or 'Information and Communication Technologies'. Especially, the scale of E-commerce industry in which Amazon and E-bay are standing out is exploding in a large way. As E-commerce grows, Customers could...
From the 21st century, various high-quality services have come up with the growth of the internet or 'Information and Communication Technologies'. Especially, the scale of E-commerce industry in which Amazon and E-bay are standing out is exploding in a large way. As E-commerce grows, Customers could get what they want to buy easily while comparing various products because more products have been registered at online shopping malls. However, a problem has arisen with the growth of E-commerce. As too many products have been registered, it has become difficult for customers to search what they really need in the flood of products. When customers search for desired products with a generalized keyword, too many products have come out as a result. On the contrary, few products have been searched if customers type in details of products because concrete product-attributes have been registered rarely. In this situation, recognizing texts in images automatically with a machine can be a solution. Because bulk of product details are written in catalogs as image format, most of product information are not searched with text inputs in the current text-based searching system. It means if information in images can be converted to text format, customers can search products with product-details, which make them shop more conveniently. There are various existing OCR(Optical Character Recognition) programs which can recognize texts in images. But existing OCR programs are hard to be applied to catalog because they have problems in recognizing texts in certain circumstances, like texts are not big enough or fonts are not consistent. Therefore, this research suggests the way to recognize keywords in catalog with the Deep Learning algorithm which is state of the art in image-recognition area from 2010s. Single Shot Multibox Detector(SSD), which is a credited model for object-detection performance, can be used with structures re-designed to take into account the difference of text from object. But there is an issue that SSD model needs a lot of labeled-train data to be trained, because of the characteristic of deep learning algorithms, that it should be trained by supervised-learning. To collect data, we can try labelling location and classification information to texts in catalog manually. But if data are collected manually, many problems would come up. Some keywords would be missed because human can make mistakes while labelling train data. And it becomes too time-consuming to collect train data considering the scale of data needed or costly if a lot of workers are hired to shorten the time. Furthermore, if some specific keywords are needed to be trained, searching images that have the words would be difficult, as well. To solve the data issue, this research developed a program which create train data automatically. This program can make images which have various keywords and pictures like catalog and save location-information of keywords at the same time. With this program, not only data can be collected efficiently, but also the performance of SSD model becomes better. The SSD model recorded 81.99% of recognition rate with 20,000 data created by the program. Moreover, this research had an efficiency test of SSD model according to data differences to analyze what feature of data exert influence upon the performance of recognizing texts in images. As a result, it is figured out that the number of labeled keywords, the addition of overlapped keyword label, the existence of keywords that is not labeled, the spaces among keywords and the differences of background images are related to the performance of SSD model. This test can lead performance improvement of SSD model or other text-recognizing machine based on deep learning algorithm with high-quality data. SSD model which is re-designed to recognize texts in images and the program developed for creating train data are expected to contribute to improvement of searching system in E-commerce. Supplier
From the 21st century, various high-quality services have come up with the growth of the internet or 'Information and Communication Technologies'. Especially, the scale of E-commerce industry in which Amazon and E-bay are standing out is exploding in a large way. As E-commerce grows, Customers could get what they want to buy easily while comparing various products because more products have been registered at online shopping malls. However, a problem has arisen with the growth of E-commerce. As too many products have been registered, it has become difficult for customers to search what they really need in the flood of products. When customers search for desired products with a generalized keyword, too many products have come out as a result. On the contrary, few products have been searched if customers type in details of products because concrete product-attributes have been registered rarely. In this situation, recognizing texts in images automatically with a machine can be a solution. Because bulk of product details are written in catalogs as image format, most of product information are not searched with text inputs in the current text-based searching system. It means if information in images can be converted to text format, customers can search products with product-details, which make them shop more conveniently. There are various existing OCR(Optical Character Recognition) programs which can recognize texts in images. But existing OCR programs are hard to be applied to catalog because they have problems in recognizing texts in certain circumstances, like texts are not big enough or fonts are not consistent. Therefore, this research suggests the way to recognize keywords in catalog with the Deep Learning algorithm which is state of the art in image-recognition area from 2010s. Single Shot Multibox Detector(SSD), which is a credited model for object-detection performance, can be used with structures re-designed to take into account the difference of text from object. But there is an issue that SSD model needs a lot of labeled-train data to be trained, because of the characteristic of deep learning algorithms, that it should be trained by supervised-learning. To collect data, we can try labelling location and classification information to texts in catalog manually. But if data are collected manually, many problems would come up. Some keywords would be missed because human can make mistakes while labelling train data. And it becomes too time-consuming to collect train data considering the scale of data needed or costly if a lot of workers are hired to shorten the time. Furthermore, if some specific keywords are needed to be trained, searching images that have the words would be difficult, as well. To solve the data issue, this research developed a program which create train data automatically. This program can make images which have various keywords and pictures like catalog and save location-information of keywords at the same time. With this program, not only data can be collected efficiently, but also the performance of SSD model becomes better. The SSD model recorded 81.99% of recognition rate with 20,000 data created by the program. Moreover, this research had an efficiency test of SSD model according to data differences to analyze what feature of data exert influence upon the performance of recognizing texts in images. As a result, it is figured out that the number of labeled keywords, the addition of overlapped keyword label, the existence of keywords that is not labeled, the spaces among keywords and the differences of background images are related to the performance of SSD model. This test can lead performance improvement of SSD model or other text-recognizing machine based on deep learning algorithm with high-quality data. SSD model which is re-designed to recognize texts in images and the program developed for creating train data are expected to contribute to improvement of searching system in E-commerce. Supplier
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
훈련용 데이터 자동 생성기를 개발한 결과, 원하는 특징을 가지는 데이터들을 빠른 시간 내에 원하는 양 만큼 쉽게 생산할 수 있게 되었다. 그러나 어떠한 특징의 데이터를 얼마나 생성해야 키워드 인식기 모형의 성능 향상에 도움이 되는지 명확하지 않아, 실험을 통해 이를 확인하였다.
본래 지도학습에서는 기본적으로 훈련용 데이터와 시험용 데이터가 같은 종류인 것이 일반적이나, 본 연구에서 사용되는 훈련용 데이터는 상품 카탈로그 데이터를 이용하는 것이 아니라 임의로 제작하기 때문에 어떻게 제작하는지에 따라 성능 차이가 발생할 수 있다. 그렇기에 본 실험에서는 어떻게 훈련용 데이터를 제작하면 적은 양의 데이터로도 높은 성능을 발휘할 수 있는지 여러 방법들을 비교하면서 알아보는 것을 목표로 한다.
본 연구에서는 전자상거래에서의 검색서비스 향상을 위해 상품 카탈로그 이미지 내 키워드를 인식하는 딥러닝 기반 키워드 인식기 모형을 제시했다. 그와 동시에 키워드 인식기 모형의 학습 데이터 수집 및 정답 라벨링 작업의 문제점을 해결하고자 훈련용 데이터 자동 생성기를 고안하였다. 훈련용 데이터 자동 생성기의 데이터를 학습한 키워드 인식기는 기존 OCR 프로그램보다 높은 키워드 인식 성능을 보여 상품 카탈로그 이미지 내 텍스트 인식에 본 연구의 딥러닝 기반 인식 모형이 효과적임을 보였다.
두 번째는 훈련용 데이터 자동 생성기로 어떠한 특징의 데이터를 생성해야 키워드 인식기 성능 향상에 효과적인지 알아보고자, 서로 다른 특징을 가진 데이터들로 훈련된 키워드 인식기의 성능을 비교하는 실험이다. 본래 지도학습에서는 기본적으로 훈련용 데이터와 시험용 데이터가 같은 종류인 것이 일반적이나, 본 연구에서 사용되는 훈련용 데이터는 상품 카탈로그 데이터를 이용하는 것이 아니라 임의로 제작하기 때문에 어떻게 제작하는지에 따라 성능 차이가 발생할 수 있다.
따라서 본 연구에서는 이 ‘훈련용 데이터 자동 생성 프로그램’으로 만든 데이터의 특징들이 SSD의 키워드 인식 성능에 미치는 영향을 분석하기 위한 실험을 수행하였다.
훈련용 데이터 자동 생성기의 데이터를 학습한 키워드 인식기는 기존 OCR 프로그램보다 높은 키워드 인식 성능을 보여 상품 카탈로그 이미지 내 텍스트 인식에 본 연구의 딥러닝 기반 인식 모형이 효과적임을 보였다. 또한 본 연구는 훈련용 데이터 자동 생성기가 어떠한 특징의 데이터를 생성해야 키워드 인식기의 훈련에 효과적인지를 알아보는 실험을 수행하였다. 서로 다른 특징의 데이터들을 각각 1,000개씩 생성하여 키워드 인식 모형을 훈련시켰고, 각각의 인식 성능을 측정하였다.
하지만 인공지능이 딥러닝을 필두로 이미지 인식에서 두각을 드러내기 시작하자 이미지 내의 텍스트를 인식하기 위해 딥러닝을 사용하는 연구가 많아지고 있는데, 여러 논문들에서 인공신경망을 기반으로 OCR 프로그램을 제작하였을 때 기존보다 좋은 성능을 보인다는 결과가 보이고 있다(Singh, 2013). 본 연구 역시 카탈로그 데이터들이 일반 문서와는 다르게 다양한 서체와 각종 배경 이미지들로 꾸며져 있기에 기존 OCR 기술들의 한계를 넘고자 딥러닝을 활용해 키워드 인식 모형을 만들었다.
본 연구는 3장에서 제시한 키워드 인식기 및 훈련용 데이터 자동 생성기의 효과성을 실험하기 위해, 두 번의 실험을 설계하였다. 첫 번째로는 훈련 데이터 자동 생성기로 학습된 키워드 인식기의 성능을 기존 OCR 프로그램들의 성능과 비교하는 실험이다.
따라서 본 연구에서는 이 ‘훈련용 데이터 자동 생성 프로그램’으로 만든 데이터의 특징들이 SSD의 키워드 인식 성능에 미치는 영향을 분석하기 위한 실험을 수행하였다. 본 연구는 이 실험을 통해 텍스트 인식모형에 효과적인 학습 데이터 생성 방안을 제시한다.
본 연구에서는 기존 OCR 프로그램 및 서비스의 한계로 인해 현재 이미지 인식 분야에서 좋은 성능을 보이고 있는 딥러닝 기법을 활용해 새로운 키워드 인식기 개발을 시도하였다. 새로운 검색 서비스 목표의 특성상 미리 지정된 키워드만을 인식해 텍스트로 변환하면 되는데, 이에 가장 적합한 딥러닝 모형은 이미지 내 사물 인식 모형이라 판단하였다.
본 연구에서는 이 두 종류의 시스템 중 고객들이 원하는 상품을 보다 쉽게 찾을 수 있도록 온라인 상점의 검색 시스템 부분을 개선해 보고자 한다. 그러나 고객이 입력한 키워드를 확장시키거나 유사한 의미를 찾는 것이 아니라, 검색이 되는 영역을 넓혀 보다 많은 키워드를 추출하려는 면에서 다른 기존 연구들과는 접근 방법이 다소 다르다고 볼 수 있다.
본 연구에서는 전자상거래에서의 검색서비스 향상을 위해 상품 카탈로그 이미지 내 키워드를 인식하는 딥러닝 기반 키워드 인식기 모형을 제시했다. 그와 동시에 키워드 인식기 모형의 학습 데이터 수집 및 정답 라벨링 작업의 문제점을 해결하고자 훈련용 데이터 자동 생성기를 고안하였다.
본 연구에서는 학습데이터 정답 라벨링과 데이터 수집의 어려움을 해소하기 위한 방안으로 프로그램을 통해 학습 데이터를 생성하는 방법(훈련용 데이터 자동 생성기 개발)을 고안했다. 대다수 상품 카탈로그 이미지는 컴퓨터 환경 하에서 제작되었다는 점에서 학습데이터를 컴퓨터 프로그램으로 생성하여도 실제 카탈로그 이미지 데이터와 생산과정에서 유의적인 차이가 없다.
이러한 문제를 극복하기 위해 본 연구에서는 기존의 카탈로그 이미지들이 대다수 컴퓨터 환경에서 제작되었다는 것에서 착안하여, 자동으로 훈련 데이터를 생성하는 프로그램을 개발하였다. 이 프로그램은 이미지 속에 여러 키워드와 각종 요소들을 카탈로그 이미지와 유사하게 그려냄과 동시에 키워드의 위치 정보와 텍스트 정보를 바탕으로 정답 데이터를 생성한다.
첫 번째로는 훈련 데이터 자동 생성기로 학습된 키워드 인식기의 성능을 기존 OCR 프로그램들의 성능과 비교하는 실험이다. 이를 통해 기존 OCR 프로그램들을 활용하여 상품 카탈로그 이미지들에서 키워드를 인식할 때의 한계와 함께, 본 키워드 인식기의 프로토타입이 가지는 강점에 대해 알아본다.
하지만 키워드의 크기가 작거나 키워드의 서체가 일정치 않은 경우 OCR 기술의 인식 성능이 낮아 활용에 어려움이 있다. 이에 본 연구는 최근 2010년대 들어 이미지 인식 분야에서 좋은 성능을 보이고 있는 딥러닝 기법을 사용하여 이미지 형태의 상품 상세 설명 부분(이하 카탈로그 이미지)에 있는 키워드를 인식하는 방안을 제시하도록 한다. 인식에 사용한 모형은 사물 인식부분에서 좋은 인식 성능을 보여주고 있는 Single Shot Multibox Detector(SSD)로, 이를 활용하여 다양한 특정 키워드들을 인식할 수 있도록 설계하였다(Liu et al.
본 연구는 3장에서 제시한 키워드 인식기 및 훈련용 데이터 자동 생성기의 효과성을 실험하기 위해, 두 번의 실험을 설계하였다. 첫 번째로는 훈련 데이터 자동 생성기로 학습된 키워드 인식기의 성능을 기존 OCR 프로그램들의 성능과 비교하는 실험이다. 이를 통해 기존 OCR 프로그램들을 활용하여 상품 카탈로그 이미지들에서 키워드를 인식할 때의 한계와 함께, 본 키워드 인식기의 프로토타입이 가지는 강점에 대해 알아본다.
제안 방법
1,000개의 데이터를 기준으로 각 데이터에 투입되는 정답 라벨을 증가시켰을 경우(A case), Bounding Box의 가로 세로 크기를 수정하여 같은 위치에 정답 라벨을 늘릴 경우(B case), 정답 라벨이 아닌 단어를 없앨 경우(C case), 단어 간 공백을 다르게 할 경우(D case), 배경이미지를 다르게 할 경우(E case) 성능의 차이가 존재하는지 실험했으며, 5가지 경우에 따른 성능차이를 실험하였다. 5가지 경우에 대한 상세 정보는 다음[Table 2]와 같다.
5개의 케이스를 조합한 72개의 데이터 셋을 5번 만든 뒤, 각 케이스별 성능차가 존재하는지를 실험하였다. 실험과정에서 각 데이터 셋은 훈련용 데이터 자동 생성기로 [Table 2]의 제약 조건에 맞춰 각각 1,000개씩 생성하였으며, 이 중 랜덤하게 800개는 훈련용 데이터로, 200개는 검증용 데이터로 선정하였다.
그리고 그보다 뒤에 있는 ‘Conv6_2’, ‘Conv7_2’, ‘Conv8_2’, ‘Conv9_2’ 등의 층에서는 이전 층들보다 크기가 큰 텍스트들의 특징들을 학습하도록 구성하였다.
훈련용 데이터 자동 생성기의 경우, 데이터 생성 시 무작위로 결정되는 부분의 범위를 통제하거나 생성 프로그램의 입력 값들을 바꿔 실험 조건에 맞게 데이터를 생성하도록 변경하였다. 그리고 키워드 인식기 모형에서는 기존 SSD 모형에서 추가적인 데이터 확보를 위해 사용되던 임의 밝기 조절이나 이미지 기울이기, 확대 등과 같은 데이터 확장(Data Augmentation)방법은 실험의 통제를 위해 사용하지 않았다.
먼저 주방 용품 카탈로그 이미지에서 자주 등장하는 10개의 단어를 키워드 인식기가 학습할 키워드로 선정하고, 훈련용 데이터 자동 생성기로 학습할 키워드들이 포함된 학습데이터 20,000장을 생성하였다. 다음으로 훈련할 학습데이터의 개수를 달리하며 키워드 인식기를 20번의 훈련횟수(epoch)로 학습시키고, 학습데이터 개수에 따른 키워드 인식기의 인식 성능을 평가하였다.
다만 본 실험을 진행하며 딥러닝의 특성상 파라미터가 많아 훈련 시간이 오래 걸림에도 불구하고 360개나 되는 모형들을 훈련시켜야 하는 만큼, 한 모형당 수 만 번의 훈련 차수(epoch)를 진행하기에는 여러가지 어려움이 존재하였다. 또한 본 실험은 최고의 모형을 가리는 것이 아니며, 같은 조건하에서 어떠한 조건의 데이터들이 더 좋은 성능을 발휘하는지 점검하는 것이기에 훈련 횟수를 다소 낮게 설정하기로 결정하였다. 이에 다수의 실험 결과, 본 키워드 인식기의 인식 성능은 평균적으로 20회 이내의 훈련 차수에서 거의 최고 수준에 다다른다는 것을 확인하고 이를 기준으로 훈련을 진행하였다.
, 2016). 본 연구는 기연구된 여러 가지 딥러닝 기법 기반 사물 인식 모형 중, 속도나 인식 성능 면에서 좋은 성능을 보인 SSD 모형을 기반으로 하여 키워드 인식기의 프로토타입을 개발하였다(Liu et al., 2016).
이 부분을 통해 여러 위치에 존재하는 Default Box들이 어떠한 키워드인지, 얼마나 큰 텍스트인지 등을 산출하여 이미지 상에 키워드가 있을 영역들의 후보를 구하게 된다. 본 연구에서는 50% 이상의 확률을 가지는 영역들만을 검출하도록 설정하였다. 또한 사물 대비 텍스트들의 크기가 보통 작다는 것을 고려하여 Default Box들의 크기들을 기존 연구들보다 작게 설정하였다.
검출 영역에서 나온 결과물은 보통 한 키워드 주변에 중복되어 많은 Default Box들이 나타나게 되는데, NMS 부분에서는 이 중복되어 겹치는 박스들을 확률이 가장 높은 하나의 박스로 통합해 주는 역할을 담당하고 있다. 본 연구에서는 기연구된 모형과 같이 45% 이상 겹치는 부분이 존재하면 이를 통합하도록 하였다. 마지막으로 출력 부분에서는 NMS 부분에 의해 정리된 값들을 받아, 키워드의 종류와 확률, 상대 좌표들로 구성되어 있는 결과값들을 키워드와 실제 이미지 상의 박스 좌표 값들을 산정하는 역할을 담당한다.
본 연구에서는 기존 OCR 프로그램 및 서비스의 한계로 인해 현재 이미지 인식 분야에서 좋은 성능을 보이고 있는 딥러닝 기법을 활용해 새로운 키워드 인식기 개발을 시도하였다. 새로운 검색 서비스 목표의 특성상 미리 지정된 키워드만을 인식해 텍스트로 변환하면 되는데, 이에 가장 적합한 딥러닝 모형은 이미지 내 사물 인식 모형이라 판단하였다. 사물 인식 모형은 이미지 내 사물의 특성을 학습하여 사물이 존재하는지 여부 뿐만이 아니라 어느 위치에 존재하는지도 인식이 가능하기에, 훈련 대상을 사물에서 키워드로 대체하면 충분히 한 카탈로그 이미지 안의 여러 키워드들을 동시에 인식할 수 있다고 판단하였다.
또한 본 연구는 훈련용 데이터 자동 생성기가 어떠한 특징의 데이터를 생성해야 키워드 인식기의 훈련에 효과적인지를 알아보는 실험을 수행하였다. 서로 다른 특징의 데이터들을 각각 1,000개씩 생성하여 키워드 인식 모형을 훈련시켰고, 각각의 인식 성능을 측정하였다. 이를 대응 표본 t-test를 통해 분석한 결과, 이미지 당 들어가는 정답 라벨의 수를 증가시키거나, Bounding box의 크기만을 소폭 조정하여 같은 위치에 정답 라벨의 수를 늘리는 것이 좀 더 키워드 인식기의 학습에 효과적임을 밝혔다.
본 키워드 인식기의 프로토타입에 대한 자세한 설명은 다음과 같다. 우선 입력 부분의 경우 일반적인 SSD 모형이 인식하는 사물들에 비해 본 키워드 인식기가 인지할 키워드들이 대부분 상대적으로 크기가 작다는 것을 고려하여, 상품 카탈로그 이미지를 입력할 때 500*500 픽셀로 변환한 이미지를 입력 받도록 설계하였다. 특징 추출 부분에서는 입력 받은 이미지들이 다수의 합성곱 층과 최대 풀링(Max Pooling) 층을 통과하면서 각 키워드들의 특징들을 차례대로 학습하게 구성되어 있다.
이러한 문제를 극복하기 위해 본 연구에서는 기존의 카탈로그 이미지들이 대다수 컴퓨터 환경에서 제작되었다는 것에서 착안하여, 자동으로 훈련 데이터를 생성하는 프로그램을 개발하였다. 이 프로그램은 이미지 속에 여러 키워드와 각종 요소들을 카탈로그 이미지와 유사하게 그려냄과 동시에 키워드의 위치 정보와 텍스트 정보를 바탕으로 정답 데이터를 생성한다. 이러한 ‘훈련용 데이터 자동 생성 프로그램’을 사용하면 기존에 사람이 직접 작업하던 것보다 효율적으로 대량의 훈련용 데이터를 구할 수 있다.
딥러닝의 경우 훈련시 조절할 수 있는 변수의 수가 매우 많아 모든 변수에 대하여 실험을 진행 할 수 없었다. 이에 부득이 본 실험을 위해 훈련용 데이터 자동 생성기와 키워드 인식기 모형을 다소 수정하였다. 훈련용 데이터 자동 생성기의 경우, 데이터 생성 시 무작위로 결정되는 부분의 범위를 통제하거나 생성 프로그램의 입력 값들을 바꿔 실험 조건에 맞게 데이터를 생성하도록 변경하였다.
이후 실제로 키워드 인식기 모형이 글자들의 특징을 학습하였는지 확인해보고자, 필터의 시각화를 시도하였다. 그 결과 키워드 인식기가 학습한 키워드 글자 모양들의 특징들을 발견할 수 있었다.
키워드 인식기와 기존 OCR프로그램의 성능과 비교하기 위해서 현재 출시되어 있는 OCR프로그램 중 일부를 선정하여 성능을 평가했다. 기존 OCR프로그램으로는 최근 인공지능 영역에서 우수한 성과를 보이고 있는 Google사의 무료 OCR서비스인 Google Docs의 OCR 서비스와, 세계 수준의 OCR기술을 가지고 있다고 평가받는 ABBYY사의 엔진을 사용한 ABBYY Fine Reader 14를 선정하였다(Kim, 2016).
대상 데이터
다음으로 검출 부분에서는 앞서 설명한 ‘Conv4_3’, ‘fc7’, ‘Conv6_2’, ‘Conv7_2’, ‘Conv8_2’, ‘Conv9_2’, ‘pool6’ 등 총 7개의 층에서 구한 특징 지도들의 특징들을 학습하는 합성곱 층과 미리 산정한 다수의 Default Box들의 정보들로 구성되어 있다.
키워드 인식기의 성능을 평가하기 위해 다음과 같은 훈련 및 평가 과정을 거쳤다. 먼저 주방 용품 카탈로그 이미지에서 자주 등장하는 10개의 단어를 키워드 인식기가 학습할 키워드로 선정하고, 훈련용 데이터 자동 생성기로 학습할 키워드들이 포함된 학습데이터 20,000장을 생성하였다. 다음으로 훈련할 학습데이터의 개수를 달리하며 키워드 인식기를 20번의 훈련횟수(epoch)로 학습시키고, 학습데이터 개수에 따른 키워드 인식기의 인식 성능을 평가하였다.
정밀도는 키워드 인식기가 예측한 키워드의 개수 중 정답을 맞춘 비율을 의미하고, 재현율은 전체 키워드의 개수 중 정답을 맞춘 비율을 의미한다. 성능 평가를 위한 테스트 데이터는 사람이 직접 정답 라벨링 작업을 한 500*500 픽셀 크기의 카탈로그 이미지 150장(이하 시험이미지)을 이용하였다.
5개의 케이스를 조합한 72개의 데이터 셋을 5번 만든 뒤, 각 케이스별 성능차가 존재하는지를 실험하였다. 실험과정에서 각 데이터 셋은 훈련용 데이터 자동 생성기로 [Table 2]의 제약 조건에 맞춰 각각 1,000개씩 생성하였으며, 이 중 랜덤하게 800개는 훈련용 데이터로, 200개는 검증용 데이터로 선정하였다. 테스트용 데이터로는 직접 만든 온라인 주방용품 사이트의 실제 카탈로그 이미지 150장을 선정하였다.
기존 OCR프로그램으로는 최근 인공지능 영역에서 우수한 성과를 보이고 있는 Google사의 무료 OCR서비스인 Google Docs의 OCR 서비스와, 세계 수준의 OCR기술을 가지고 있다고 평가받는 ABBYY사의 엔진을 사용한 ABBYY Fine Reader 14를 선정하였다(Kim, 2016). 테스트 데이터는 키워드 인식기의 성능을 평가할 때와 동일하게 시험이미지 150장을 이용했다. 다만 기존 OCR 프로그램들의 경우 인식 결과물에서 위치 정보를 활용할 수 없어 평가 기준은 부득이 재현율만을 사용하였고, 인식성공 기준은 목표로 하는 키워드가 추출되는 경우로 한정하였다.
실험과정에서 각 데이터 셋은 훈련용 데이터 자동 생성기로 [Table 2]의 제약 조건에 맞춰 각각 1,000개씩 생성하였으며, 이 중 랜덤하게 800개는 훈련용 데이터로, 200개는 검증용 데이터로 선정하였다. 테스트용 데이터로는 직접 만든 온라인 주방용품 사이트의 실제 카탈로그 이미지 150장을 선정하였다. 다만 본 실험을 진행하며 딥러닝의 특성상 파라미터가 많아 훈련 시간이 오래 걸림에도 불구하고 360개나 되는 모형들을 훈련시켜야 하는 만큼, 한 모형당 수 만 번의 훈련 차수(epoch)를 진행하기에는 여러가지 어려움이 존재하였다.
데이터처리
이러한 방식으로 총 360개의 데이터 셋을 훈련시킨 후 성능을 평가했으며 성능 평가의 지표는 정밀도(Precision)와 재현율(Recall)의 조화 평균인 F-Score 지표를 사용했다. 각 케이스별 F-Score를 토대로 대응표본 t-test를 하여 데이터 특성에 따른 F-Score에 유의적인 차이가 있는지 검정하였다. 표본 집단 간의 대응을 위해 데이터 생성 시 무작위로 결정되는 부분은 Python 내 random 모듈의 시드값(Seed Number)을 이용하여 통제했다.
이론/모형
이에 다수의 실험 결과, 본 키워드 인식기의 인식 성능은 평균적으로 20회 이내의 훈련 차수에서 거의 최고 수준에 다다른다는 것을 확인하고 이를 기준으로 훈련을 진행하였다. 이러한 방식으로 총 360개의 데이터 셋을 훈련시킨 후 성능을 평가했으며 성능 평가의 지표는 정밀도(Precision)와 재현율(Recall)의 조화 평균인 F-Score 지표를 사용했다. 각 케이스별 F-Score를 토대로 대응표본 t-test를 하여 데이터 특성에 따른 F-Score에 유의적인 차이가 있는지 검정하였다.
이에 본 연구는 최근 2010년대 들어 이미지 인식 분야에서 좋은 성능을 보이고 있는 딥러닝 기법을 사용하여 이미지 형태의 상품 상세 설명 부분(이하 카탈로그 이미지)에 있는 키워드를 인식하는 방안을 제시하도록 한다. 인식에 사용한 모형은 사물 인식부분에서 좋은 인식 성능을 보여주고 있는 Single Shot Multibox Detector(SSD)로, 이를 활용하여 다양한 특정 키워드들을 인식할 수 있도록 설계하였다(Liu et al., 2016). 그러나 지도 학습을 사용해야 하는 SSD 모형의 특성상, 정답이 태깅되어 있는 대량의 훈련용 데이터가 필요하다는 것이 문제가 된다.
키워드 인식기의 성능 평가 기준에는 정밀도(Precision)와 재현율(Recall)의 조화 평균인 F-Score지표를 사용하였다([Equation 1] 참조). 정밀도는 키워드 인식기가 예측한 키워드의 개수 중 정답을 맞춘 비율을 의미하고, 재현율은 전체 키워드의 개수 중 정답을 맞춘 비율을 의미한다.
성능/효과
이후 실제로 키워드 인식기 모형이 글자들의 특징을 학습하였는지 확인해보고자, 필터의 시각화를 시도하였다. 그 결과 키워드 인식기가 학습한 키워드 글자 모양들의 특징들을 발견할 수 있었다. 아래 [Figure 7]은 20,000개로 훈련시킨 키워드 인식기가 보여준 여러 특징들 중 ‘스틸’ 과 ‘우드’라는 키워드를 시각화 한 결과이다.
이를 대응 표본 t-test를 통해 분석한 결과, 이미지 당 들어가는 정답 라벨의 수를 증가시키거나, Bounding box의 크기만을 소폭 조정하여 같은 위치에 정답 라벨의 수를 늘리는 것이 좀 더 키워드 인식기의 학습에 효과적임을 밝혔다. 그리고 학습시킬 키워드뿐만 아니라 학습 대상이 되지 않는 단어를 학습데이터에 넣는 것, 단어 간 공백을 넓게 하지 않는 것, 글자 영역은 단색, 그 외 영역은 카탈로그 이미지의 배경과 동일한 배경 이미지를 쓰는 것이 키워드 인식기 모형 훈련에 더욱 효과적임을 보였다. 이러한 결과들을 통해 본 연구가 키워드 인식기를 통한 전자상거래의 검색 영역의 개선뿐만 아니라, 차후 기계를 사용한 한국어 텍스트 인식 시 필요한 데이터 확보 등에서 많은 연구자들에게 도움을 줄 수 있을 것으로 예상한다.
다음으로 기존 OCR 프로그램들의 성능 평가 결과, Google Docs의 OCR프로그램은 45.78%, ABBYY의 Fine Reader 14는 51.92%의 재현율을 보였다. 키워드 인식기와의 성능 비교를 위해 평가 기준을 재현율로 설정할 때, 키워드 인식기의 재현율은 20,000개의 데이터로 훈련시켰을 경우 73.
A Case에 대한 실험 결과는 아래 [Table 3]과 같다. 분석 결과, 단측 유의확률이 0.0000으로 유의수준 0.01에서 두 집단간 유의한 차이가 있었다. 이는 이미지 당 투입되는 정답 라벨의 수를 평균 5개에서 평균 10개로 증가시키면 인식 성능이 높아진다는 것을 의미하며, 같은 양의 데이터를 활용할 때 더 많은 키워드들의 특징을 학습했다고 볼 수 있다.
92%보다 우수한 성능을 보였다([Table 1] 참조). 이러한 성능 비교를 통해 본 연구의 키워드 인식기가 기존 OCR프로그램보다 카탈로그 이미지에서 특정 키워드 검출에서 보다 나은 성능을 보임을 확인하였다. 다만 본 실험의 경우 이미지 상의 특정한 키워드만을 찾아낸다는 문제에 한정한 경우로, 모든 글자에 대해 범용적으로 동작하는 기존 OCR 프로그램들에 대해 항상 우수한 성능을 낸다고 보기 어려운 면이 있다.
서로 다른 특징의 데이터들을 각각 1,000개씩 생성하여 키워드 인식 모형을 훈련시켰고, 각각의 인식 성능을 측정하였다. 이를 대응 표본 t-test를 통해 분석한 결과, 이미지 당 들어가는 정답 라벨의 수를 증가시키거나, Bounding box의 크기만을 소폭 조정하여 같은 위치에 정답 라벨의 수를 늘리는 것이 좀 더 키워드 인식기의 학습에 효과적임을 밝혔다. 그리고 학습시킬 키워드뿐만 아니라 학습 대상이 되지 않는 단어를 학습데이터에 넣는 것, 단어 간 공백을 넓게 하지 않는 것, 글자 영역은 단색, 그 외 영역은 카탈로그 이미지의 배경과 동일한 배경 이미지를 쓰는 것이 키워드 인식기 모형 훈련에 더욱 효과적임을 보였다.
01에서 두 집단간 유의한 차이가 있었다. 이를 통해 키워드의 위치에 Bounding Box의 크기를 수정하여 정답 라벨을 1개에서 5개로 늘리는 것이 성능 향상에 도움이 된다는 것을 확인할 수 있다. 이에 대해서는 일반적으로 크기가 작고 다양한 형태를 지니는 키워드들에 대해 다양한 정답 모양을 줌으로써, 한 가지 형태의 정답만을 줄 때 보다 여러가지 형태의 Default Box들이 키워드들의 각기 다른 특징들을 학습할 수 있게 도움을 주었다고 본다.
8199의 F-score를 기록하였다([Figure 5] 참조). 이를 통해 학습데이터가 많을수록 키워드 인식기의 성능은 향상되지만, 성능 향상 폭은 점차 작아짐을 볼 수 있었다. 20,000장의 훈련용 데이터로 훈련된 인식기의 인식 결과 예시는 아래 [Figure 6]과 같다.
또한 본 실험은 최고의 모형을 가리는 것이 아니며, 같은 조건하에서 어떠한 조건의 데이터들이 더 좋은 성능을 발휘하는지 점검하는 것이기에 훈련 횟수를 다소 낮게 설정하기로 결정하였다. 이에 다수의 실험 결과, 본 키워드 인식기의 인식 성능은 평균적으로 20회 이내의 훈련 차수에서 거의 최고 수준에 다다른다는 것을 확인하고 이를 기준으로 훈련을 진행하였다. 이러한 방식으로 총 360개의 데이터 셋을 훈련시킨 후 성능을 평가했으며 성능 평가의 지표는 정밀도(Precision)와 재현율(Recall)의 조화 평균인 F-Score 지표를 사용했다.
92%의 재현율을 보였다. 키워드 인식기와의 성능 비교를 위해 평가 기준을 재현율로 설정할 때, 키워드 인식기의 재현율은 20,000개의 데이터로 훈련시켰을 경우 73.91%로, 위치정보를 고려하여 보다 엄격한 기준임에도 불구하고 기존 OCR프로그램의 최대 재현율인 51.92%보다 우수한 성능을 보였다([Table 1] 참조). 이러한 성능 비교를 통해 본 연구의 키워드 인식기가 기존 OCR프로그램보다 카탈로그 이미지에서 특정 키워드 검출에서 보다 나은 성능을 보임을 확인하였다.
키워드 인식기의 성능 평가를 위한 실험 결과, 학습데이터의 개수가 500개, 1,000개일 때 각각 0.4310, 0.5636의 F-score, 10,000개일 때 0.7311의 F-score, 20,000개일 때 0.8199의 F-score를 기록하였다([Figure 5] 참조). 이를 통해 학습데이터가 많을수록 키워드 인식기의 성능은 향상되지만, 성능 향상 폭은 점차 작아짐을 볼 수 있었다.
훈련용 데이터 자동 생성기를 개발한 결과, 원하는 특징을 가지는 데이터들을 빠른 시간 내에 원하는 양 만큼 쉽게 생산할 수 있게 되었다. 그러나 어떠한 특징의 데이터를 얼마나 생성해야 키워드 인식기 모형의 성능 향상에 도움이 되는지 명확하지 않아, 실험을 통해 이를 확인하였다.
그와 동시에 키워드 인식기 모형의 학습 데이터 수집 및 정답 라벨링 작업의 문제점을 해결하고자 훈련용 데이터 자동 생성기를 고안하였다. 훈련용 데이터 자동 생성기의 데이터를 학습한 키워드 인식기는 기존 OCR 프로그램보다 높은 키워드 인식 성능을 보여 상품 카탈로그 이미지 내 텍스트 인식에 본 연구의 딥러닝 기반 인식 모형이 효과적임을 보였다. 또한 본 연구는 훈련용 데이터 자동 생성기가 어떠한 특징의 데이터를 생성해야 키워드 인식기의 훈련에 효과적인지를 알아보는 실험을 수행하였다.
후속연구
다만 본 실험의 경우 이미지 상의 특정한 키워드만을 찾아낸다는 문제에 한정한 경우로, 모든 글자에 대해 범용적으로 동작하는 기존 OCR 프로그램들에 대해 항상 우수한 성능을 낸다고 보기 어려운 면이 있다. 그러나 본 인식기의 성능과 비교할 기존 연구들의 부재로 부득이 본 실험과 같이 진행하였으며, 차후 본 연구를 기반으로 키워드의 수, 종류 등을 달리하여 인식 성능을 향상시키는 추가적인 연구가 필요할 것이다.
다음으로 본 연구에서는 10개라는 다소 작은 수의 키워드만을 사용하여 효과적인 학습데이터 생성방안을 제시하였기에, 키워드의 개수를 크게 증가시킬 경우 이를 설명하지 못한다는 한계를 지니고 있다. 그렇기에 후속 연구로는 키워드 수를 확장하여 키워드 인식기 및 훈련용 데이터 자동 생성기의 확장성(scalability)에 대한 검토를 진행할 예정이다. 이에 대해서는 현재 키워드 인식 모형과 훈련용 데이터 생성기를 개선한 결과, 키워드의 개수를 50개로 늘렸을 경우에도 우수한 인식 성능을 얻을 수 있음을 확인하였으며 이를 바탕으로 차후 200개 이상의 키워드에도 대응할 수 있도록 차후 연구를 계속 진행할 예정이다.
본 연구의 한계로는 딥러닝의 훈련에 영향을 끼치는 모든 변수에 대해 실험 장비 및 시간의 제약으로 실험할 수 없어, 이보다 더 좋은 결과를 보여주는 조합이 있을 가능성이 있다는 것이다. 다음으로 본 연구에서는 10개라는 다소 작은 수의 키워드만을 사용하여 효과적인 학습데이터 생성방안을 제시하였기에, 키워드의 개수를 크게 증가시킬 경우 이를 설명하지 못한다는 한계를 지니고 있다. 그렇기에 후속 연구로는 키워드 수를 확장하여 키워드 인식기 및 훈련용 데이터 자동 생성기의 확장성(scalability)에 대한 검토를 진행할 예정이다.
본 연구에서 사용된 키워드 인식기의 프로토 타입에서는 널리 알려져 있는 SSD 모형과 유사한 설정들을 활용하였으나, 특징 추출 부분의 VGG16 모형을 다른 모형으로 변경하거나 검출 부분의 Default Box 및 필터 사이즈 등을 텍스트의 특징에 맞게 세부 조절함으로써 키워드 인식 성능을 향상시킬 수 있을 것이다.
본 연구의 한계로는 딥러닝의 훈련에 영향을 끼치는 모든 변수에 대해 실험 장비 및 시간의 제약으로 실험할 수 없어, 이보다 더 좋은 결과를 보여주는 조합이 있을 가능성이 있다는 것이다. 다음으로 본 연구에서는 10개라는 다소 작은 수의 키워드만을 사용하여 효과적인 학습데이터 생성방안을 제시하였기에, 키워드의 개수를 크게 증가시킬 경우 이를 설명하지 못한다는 한계를 지니고 있다.
그리고 학습시킬 키워드뿐만 아니라 학습 대상이 되지 않는 단어를 학습데이터에 넣는 것, 단어 간 공백을 넓게 하지 않는 것, 글자 영역은 단색, 그 외 영역은 카탈로그 이미지의 배경과 동일한 배경 이미지를 쓰는 것이 키워드 인식기 모형 훈련에 더욱 효과적임을 보였다. 이러한 결과들을 통해 본 연구가 키워드 인식기를 통한 전자상거래의 검색 영역의 개선뿐만 아니라, 차후 기계를 사용한 한국어 텍스트 인식 시 필요한 데이터 확보 등에서 많은 연구자들에게 도움을 줄 수 있을 것으로 예상한다.
그렇기에 후속 연구로는 키워드 수를 확장하여 키워드 인식기 및 훈련용 데이터 자동 생성기의 확장성(scalability)에 대한 검토를 진행할 예정이다. 이에 대해서는 현재 키워드 인식 모형과 훈련용 데이터 생성기를 개선한 결과, 키워드의 개수를 50개로 늘렸을 경우에도 우수한 인식 성능을 얻을 수 있음을 확인하였으며 이를 바탕으로 차후 200개 이상의 키워드에도 대응할 수 있도록 차후 연구를 계속 진행할 예정이다.
질의응답
핵심어
질문
논문에서 추출한 답변
OCR 기술의 문제를 해결하기 위해 도입한 방식은?
그러나 기존 OCR 기술은 이미지 안에 글자가 아닌 그림이 많고 글자 크기가 작으면 낮은 인식률을 보인다는 문제가 있다. 이에 본 연구에서는 기존 기술들의 한계점을 해결하기 위하여, 딥러닝 기반 사물인식 모형 중 하나인 SSD(Single Shot MultiBox Detector)를 개조하여 이미지 형태의 상품 카탈로그 내의 텍스트 인식모형을 설계하였다. 하지만 이를 학습시키기 위한 데이터를 구축하는 데 상당한 시간과 비용이 필요했는데, 이는 지도학습의 방법론을 따르는 SSD 모형은 훈련 데이터마다 직접 정답 라벨링을 해줘야 하기 때문이다.
기존 OCR 기술의 문제는?
이러한 한계점은 일반적으로 기존 기계학습 기술 및 OCR(Optical Character Recognition) 기술을 활용해, 이미지 형태로 된 키워드를 인식함으로써 개선할 수 있다. 그러나 기존 OCR 기술은 이미지 안에 글자가 아닌 그림이 많고 글자 크기가 작으면 낮은 인식률을 보인다는 문제가 있다. 이에 본 연구에서는 기존 기술들의 한계점을 해결하기 위하여, 딥러닝 기반 사물인식 모형 중 하나인 SSD(Single Shot MultiBox Detector)를 개조하여 이미지 형태의 상품 카탈로그 내의 텍스트 인식모형을 설계하였다.
광학적 문자 인식이란 무엇인가?
광학적 문자 인식(Optical Character Recognition; 이하 OCR)은 광학 메커니즘을 통해 디지털 이미지에 있는 이미지 형태의 텍스트를 편집할 수 있는 텍스트 형태로 변환시켜주는 프로세스를 칭한다(Singh, 2013). 이러한 OCR은 1870년 C.
참고문헌 (34)
Cao, G., X. Xie, W. Yang, Q. Liao, G. Shi, and J. Wu, "Feature-Fused SSD: Fast Detection for Small Objects," arXiv preprint, (2017).
Cho, S. Y., J. E. Choi, K. H. Lee, and H. W. Kim, "An online review mining approach to a recommendation system," Information Systems Review, Vol.17, No.3(2015), 95-111.
Choi, H. Y., and Y. H. Min, "Introduction to deep learning and major issues[written in Korean]," Korea Information Processing Society Review, Vol.22, No.1(2015), 1-15.
Choi, S. I., Y. J. Hyun, and N. G. Kim, "Improving performance of recommendation systems using topic modeling," Journal of Intelligence and Information Systems, Vol.21, No.3(2015), 101-116.
Deselaers, T., T. Gass, G. Heigold, and H. Ney, "Latent log-linear models for handwritten digit classification," IEEE transactions on pattern analysis and machine intelligence, Vol.34, No.6(2012), 1105-1117.
Everingham, M., L. Van Gool, C. K. Williams, J. Winn, and A. Zisserman, "The pascal visual object classes (voc) challenge," International journal of computer vision, Vol.88, No. 2(2010), 303-338.
Eikvil, L., "Optical character recognition," Technical Report, Norwegian Computing Center, 1993.
Fu, C. Y., W. Liu, A. Ranga, A. Tyagi, and A. C. Berg, "DSSD: Deconvolutional Single Shot Detector," arXiv preprint, (2017).
Girshick, R., "Fast r-cnn," The IEEE International Conference on Computer Vision (ICCV), (2015), 1440-1448.
Girshick, R., J. Donahue, T. Darrell, and J. Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation," The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), (2014), 580-587.
Gupta, A., A. Vedaldi, and A. Zisserman, "Synthetic data for text localisation in natural images," The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), (2016), 2315-2324.
Hong, M. D., J. W. Kim, and G. S. Jo, "A wordnet-based open market category search system for efficient goods registration," Journal of the Korea society of computer and information, Vol.17, No.9(2012), 17-27.
Hwang, C. G., M. N. Yi, and G. D. Jung, "Design of merchandise retrieval system based on ontology on EC," Proceedings of the Korean Society for Internet Information, Vol.6, No.1(2005), 213-216.
Jung, K. H., H. J. Kim, and Y. H. Lee, "Character recognition in general video using deep learning[written in Korean]," Korea Information Processing Society Review, Vol.22, No.1(2015), 42-54.
Kim, H. A., Free 'ROSE document recognition', image to excel conversion function added[written in Korean], EDAYIL, 2016. Available at http://www.edaily.co.kr/news/NewsRead.edy?newsid01466166612883112(Accessed 13 July, 2017)
Kim, H. J., "Dynamic hand gesture recognition using CNN model and FMM neural networks," Journal of Intelligence and Information Systems, Vol. 16, No. 2(2010), 95-108.
Kim, J. W., H. A. Pyo, J. W. Ha, C. K. Lee, and J. H. Lee, "Deep learning algorithms and applications," Communications of the Korean Institute of Information Scientists and Engineers, Vol. 33, No. 8(2015), 25-31.
Kim, K. J., B. G. Kim, "Product recommender system for online shopping malls using data mining techniques," Journal of Intelligence and Information Systems, Vol.11, No.1(2005), 191-205.
Kim, K. S., "A hybrid collaborative filtering algorithm for personalized recommendations and its application to the internet electronic commerce," The Journal of Internet Electronic Commerce Research, Vol.8, No.4(2008), 1-20.
Krizhevsky, A., I. Sutskever, and G. E. Hinton, "Imagenet classification with deep convolution neural networks," Advances in neural information processing systems, Vol.25(2013), 1097-1105.
LeCun, Y., B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, and L. D. Jackel, "Backpropagation applied to handwritten zip code recognition," Neural computation, Vol. 1, No. 4(1989), 541-551.
Liu, W., D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Y. Fu, and A. C. Berg, "SSD: Single shot multibox detector," arXiv preprint, (2016).
Ma, J., I. H. Jeon, and Y. K. Choi, "Design of an efficient keyword-based retrieval system using concept lattice," Journal of Internet Computing and Services, Vol.16, No.3(2015), 43-57.
Minsky, M., and S. Papert, Perceptrons. M.I.T. Press, Oxford, England, 1969.
Mo, Y. I., and C. G. Lee, "A study on increasing the efficiency of image search using image attribute in the area of content-based image retrieval," Journal of the Korea society for simulation, Vol.18, No.2(2009), 39-48.
Patel, C., A. Patel, and D. Patel, "Optical character recognition by open source OCR tool tesseract: A case study," International Journal of Computer Applications, Vol.55, No.10(2012), 50-56.
Redmon, J., S. Divvala, R. Girshick, and A. Farhadi, "You only look once: Unified, real-time object detection," The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), (2016), 779-788.
Ren, S., k. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards real-time object detection with region proposal networks," Advances in neural information processing systems, (2015), 91-99.
Rosenblatt, F., "The perceptron: A probabilistic model for information storage and organization in the brain," Psychological review, Vol.65, No.6(1958), 386-408.
Singh, S., "Optical character recognition techniques: a survey," Journal of emerging Trends in Computing and information Sciences, Vol.4, No.6(2013), 545-550.
Yang, G. M., E-commerce industry to attract investment attraction 'hot'... The market gets bigger.[written in Korean], NEWSIS, 2017. Available at http://www.newsis.com/view/?idNISX20170426_0014856681 (Accessed 13 July, 2017).
Yang, J. G., S. I. Kwon, and Y. M. Yu, "A study on the current state of cross-border e-commerce and strategic activation plans for overseas direct sales," E-Trade Review, Vol.14, No.1(2016), 23-46.
Yao, C., X. Bai, and W. Liu, "A unified framework for multioriented text detection and recognition," IEEE Transactions on Image Processing, Vol.23, No.11(2014), 4737-4749.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.