전 세계적으로 온라인 상거래 시장 규모가 성장함에 따라 국제 및 국내 기업의 상표권이 침해되는 사례가 빈번하게 발생하고 있다. 다양한 연구 및 보고서에 따르면, 해외 기업 또는 개인이 국내 기업의 상표권을 침해한 사례와, 국내 기업 간 발생하는 상표권 분쟁 사례가 증가하고 있는 것으로 나타나고 있으며, 특허청의 보고서에 따르면 기업의 규모가 작을수록 상표보호를 위한 사전 예방활동을 수행하지 않는다고 응답한 비율이 높은 것으로 나타났다. 이러한 문제는 선등록 상표에 대한 사전조사 또는 자사의 상표보호를 위해 소요되는 인력과 비용이 원인인 것으로 판단된다. 한편, 국내에서 선등록상표에 대한 사전조사를 위해 상용되는 서비스를 살펴보면 상표 이미지를 활용한 검색 서비스를 제공하고 있지 않은 상황이다. 이로 인해 국내 대다수의 기업은 자사의 상표 보호 및 선등록 상표에 대한 사전조사 수행 시 방대한 양의 선등록된 상표를 수작업으로 조사해야하는 문제가 발생한다. 따라서 본 연구에서는 기업의 상표권 보호 및 선등록 상표에 대한 사전조사 수행 시 투입되는 인력 및 비용절감과, 국내외에서 발생하고 있는 상표권 침해 문제를 해결하기 위해 합성곱 신경망 기법을 활용한 지능형 유사 상표 검색 모델을 개발하고자 한다. 지적 재산권 전문가가 선정한 테스트 데이터를 활용하여 지능형 유사 상표 검색 모델의 정확도를 측정한 결과 ResNet V1 101의 성능이 가장 높게 나타났다. 해당 결과를 통해 이미지 분류 알고리즘이 단순한 사물 인식 분야뿐만 아니라 이미지 검색 분야에서도 높은 성능을 나타낸다는 것을 실증적으로 입증했으며, 본 연구는 실제 상표 이미지 데이터를 활용했다는 측면에서 실제 산업 환경에서 활용성이 높을 것으로 사료된다.
전 세계적으로 온라인 상거래 시장 규모가 성장함에 따라 국제 및 국내 기업의 상표권이 침해되는 사례가 빈번하게 발생하고 있다. 다양한 연구 및 보고서에 따르면, 해외 기업 또는 개인이 국내 기업의 상표권을 침해한 사례와, 국내 기업 간 발생하는 상표권 분쟁 사례가 증가하고 있는 것으로 나타나고 있으며, 특허청의 보고서에 따르면 기업의 규모가 작을수록 상표보호를 위한 사전 예방활동을 수행하지 않는다고 응답한 비율이 높은 것으로 나타났다. 이러한 문제는 선등록 상표에 대한 사전조사 또는 자사의 상표보호를 위해 소요되는 인력과 비용이 원인인 것으로 판단된다. 한편, 국내에서 선등록상표에 대한 사전조사를 위해 상용되는 서비스를 살펴보면 상표 이미지를 활용한 검색 서비스를 제공하고 있지 않은 상황이다. 이로 인해 국내 대다수의 기업은 자사의 상표 보호 및 선등록 상표에 대한 사전조사 수행 시 방대한 양의 선등록된 상표를 수작업으로 조사해야하는 문제가 발생한다. 따라서 본 연구에서는 기업의 상표권 보호 및 선등록 상표에 대한 사전조사 수행 시 투입되는 인력 및 비용절감과, 국내외에서 발생하고 있는 상표권 침해 문제를 해결하기 위해 합성곱 신경망 기법을 활용한 지능형 유사 상표 검색 모델을 개발하고자 한다. 지적 재산권 전문가가 선정한 테스트 데이터를 활용하여 지능형 유사 상표 검색 모델의 정확도를 측정한 결과 ResNet V1 101의 성능이 가장 높게 나타났다. 해당 결과를 통해 이미지 분류 알고리즘이 단순한 사물 인식 분야뿐만 아니라 이미지 검색 분야에서도 높은 성능을 나타낸다는 것을 실증적으로 입증했으며, 본 연구는 실제 상표 이미지 데이터를 활용했다는 측면에서 실제 산업 환경에서 활용성이 높을 것으로 사료된다.
Recently, many companies improving their management performance by building a powerful brand value which is recognized for trademark rights. However, as growing up the size of online commerce market, the infringement of trademark rights is increasing. According to various studies and reports, cases ...
Recently, many companies improving their management performance by building a powerful brand value which is recognized for trademark rights. However, as growing up the size of online commerce market, the infringement of trademark rights is increasing. According to various studies and reports, cases of foreign and domestic companies infringing on their trademark rights are increased. As the manpower and the cost required for the protection of trademark are enormous, small and medium enterprises(SMEs) could not conduct preliminary investigations to protect their trademark rights. Besides, due to the trademark image search service does not exist, many domestic companies have a problem that investigating huge amounts of trademarks manually when conducting preliminary investigations to protect their rights of trademark. Therefore, we develop an intelligent similar trademark search model to reduce the manpower and cost for preliminary investigation. To measure the performance of the model which is developed in this study, test data selected by intellectual property experts was used, and the performance of ResNet V1 101 was the highest. The significance of this study is as follows. The experimental results empirically demonstrate that the image classification algorithm shows high performance not only object recognition but also image retrieval. Since the model that developed in this study was learned through actual trademark image data, it is expected that it can be applied in the real industrial environment.
Recently, many companies improving their management performance by building a powerful brand value which is recognized for trademark rights. However, as growing up the size of online commerce market, the infringement of trademark rights is increasing. According to various studies and reports, cases of foreign and domestic companies infringing on their trademark rights are increased. As the manpower and the cost required for the protection of trademark are enormous, small and medium enterprises(SMEs) could not conduct preliminary investigations to protect their trademark rights. Besides, due to the trademark image search service does not exist, many domestic companies have a problem that investigating huge amounts of trademarks manually when conducting preliminary investigations to protect their rights of trademark. Therefore, we develop an intelligent similar trademark search model to reduce the manpower and cost for preliminary investigation. To measure the performance of the model which is developed in this study, test data selected by intellectual property experts was used, and the performance of ResNet V1 101 was the highest. The significance of this study is as follows. The experimental results empirically demonstrate that the image classification algorithm shows high performance not only object recognition but also image retrieval. Since the model that developed in this study was learned through actual trademark image data, it is expected that it can be applied in the real industrial environment.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
다양한 국내외 선행연구들을 살펴보면 합성곱 신경망 모형은 이미지 인식에 적합한 모형임을 알 수 있으며, 본 연구에서는 합성곱 신경망 모형을 활용하여 특정 상표 이미지와 유사한 이미지를 검색할 수 있는 지능형 유사상표 검색모형에 대한 연구를 수행하고자 한다.
상표 유사 판단 기준에 관한 국내외 연구를 살펴보면 객관적인 측정 방법이 아닌 법리적 해석 중심의 연구가 중점적으로 수행되었으며, 과학적인 방법을 활용하여 상표권 침해 문제를 해결하고자 수행된 연구는 전무한 것을 알 수 있다. 따라서 본 연구에서는 합성곱 신경망 모형을 활용한 지능형 유사상표 검색 모델을 개발함으로써 상표권 침해에 관한 문제를 과학적으로 해결하고자 하며, 본 연구에서 제안된 모델을 통해 상표 간 유사도를 객관적으로 제시할 수 있을 것으로 판단된다.
본 연구에서는 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)에서 우수한 성능을 나타낸 합성곱 신경망인 VGG-Net(Simonyan & Zisserman, 2014), GoogLeNet(Szegedy et al., 2015), ResNet(He et al., 2016)에 대한 모형에 대해 살펴보고자 하며, 각 모형에 대한 설명은 다음과 같다.
본 연구에서는 국내 기업이 선등록상표에 대한 사전조사 수행 시 발생하는 비용절감과 국내외에서 발생하는 상표권 침해 문제를 해결하기 위해 특정 상표 이미지와 유사한 이미지를 검색하는 지능형 유사상표 검색 모형을 제안하고자 하며, 이를 위해 다음과 같은 연구 절차를 수행한다.
본 연구에서는 지능형 유사 상표 검색 모형을 개발하기 위해 다음과 같은 단계가 수행되었다.
본 연구의 목적은 유사 상표를 정확하게 검색하는 모형을 개발하는 것이다. 따라서 실제 산업환경에서 제안 모형에 대한 활용 가능성을 확인하기 위해 <표 4>와 같은 과정이 수행된다.
본 연구의 목적은 유사 상표를 효과적으로 검색하는 모형을 개발하는 것이며, 본 연구에서 개발한 지능형 유사 상표 모형에 대한 산업환경에서의 활용 가능성을 확인하기 위해 테스트 데이터를 활용하여 모형의 정확도를 산출했다. 본 연구에서 선정된 테스트 데이터는 <그림 12>와 같다.
제안 방법
데이터 라벨링이 완료된 상표 이미지 데이터를 대상으로 과 같이 무작위로 임의의 선을 추가하여 상표 이미지를 복제하는 ‘데이터 증폭’ 과정이 수행되었다.
둘째, 데이터 라벨링 및 증폭 단계에서는 해상도가 조정된 상표 이미지 데이터에 대한 학습 및 검증을 위해 개별 상표 이미지 데이터에 대한 라벨링 작업을 수행하며, 모델 학습 시 발생하는 과적합 문제를 방지하기 위해 상표 이미지 데이터에 대한 증폭과정을 수행한다.
둘째, 본 연구에서는 GoogLeNet, ResNet, VGG-Net을 활용하여 지능형 유사 상표 검색 모형에 대한 연구가 수행되었다. 연구 결과 상표 이미지와 같이 단순한 색감과 형태를 갖는 이미지 데이터는 합성곱 신경망 계층이 깊어질수록 모형의 정확도가 낮아지는 것을 확인했으므로, 향후 연구에서는 상표 이미지와 같이 단순한 색감과 형태를 갖는 이미지 데이터에 적합한 합성곱 신경망 모형을 고안하여 해당 모형의 학습과 검증이 수행되어야 할 것으로 판단된다.
둘째, 수집된 상표 이미지 원본 데이터는 상표에 따라 여백 존재 유무와 정도가 각각 다르므로, 상표 이미지의 여백을 제거하는 ‘여백 제거’ 과정이 수행되었다.
마지막으로 본 연구에서 개발한 지능형 유사상표 검색 모형의 활용성을 평가하기 위하여 지식재산권 전문가가 선정한 테스트 데이터를 활용하여 학습이 완료된 모형의 정확도를 산출한다.
모형 학습이 완료된 후 30,000개의 검증용 데이터를 활용하여 유사도 기준 모형 정확도를 측정하였다. 해당 측정 방법은 학습 모형이 입력 데이터의 범주를 예측할 때 K% 확률 이상으로 예측한 범주 가운데 입력 데이터의 실제 범주를 예측할 확률을 의미한다.
21GB 크기의 상표 이미지 데이터가 수집되었다. 본 연구에서는 모형 학습 시 소요되는 컴퓨팅 연산량과 메모리 크기 등의 한계로 인해 키프리스 플러스 OPEN API 서비스로부터 수집된 상표 이미지 데이터 중 단순 무작위 추출 방법을 활용하여 1,000개의 상표 이미지 데이터를 추출하여 DB에 저장되었다.
기존의 데이터 증폭 방법에는 이미지의 좌우를 반전시키는 방법, 이미지의 일부만 사용하는 방법, 이미지를 회전시키는 방법 등이 있다(Bjerrum, 2017). 본 연구에서는 상표 이미지에 대한 형태를 보존함과 동시에 모형 학습 시 발생되는 과적합 문제를 방지하기 위해 상표 이미지에 임의의 선을 추가하는 데이터 증폭 방법이 활용되었다.
상표 여백 유무와 정도는 지능형 유사상표 검색모형 학습 시 방해 요소로 작용할 수 있으므로 Python3.5 라이브러리 중 하나인 ‘pillow’를 활용하여 와 같이 무작위 추출된 1,000개의 상표 이미지 데이터를 대상으로 여백을 제거하는 과정이 수행되었다.
상표 이미지 데이터 특성에 따라 합성곱 신경망의 적합성을 판단하기 위해 아래 과 같이 모든 합성곱 신경망 모형에서 정확하게 분류된 테스트 데이터와 모든 합성곱 신경망 모형에서 분류하지 못한 테스트 데이터를 분류했다.
셋째, 모형의 학습 및 검증 단계에서는 데이터 증폭 과정이 완료된 상표 이미지 데이터를 대상으로 학습 데이터와 검증 데이터가 7:3 비율로 분할되어 모형의 학습 및 검증 과정을 수행한다.
셋째, 효과적인 지능형 유사 상표 검색 모델의 학습 및 검증을 위해 ‘데이터 라벨링’, ‘데이터 증폭’ 과정이 수행되었다.
둘째, 수집된 상표 이미지 원본 데이터는 상표에 따라 여백 존재 유무와 정도가 각각 다르므로, 상표 이미지의 여백을 제거하는 ‘여백 제거’ 과정이 수행되었다. 여백이 제거된 상표 이미지는 해상도와 이미지의 가로세로 비율이 각각 다르므로 지능형 유사 상표 검색모형의 효과적인 학습을 위해 여백이 제거된 상표 이미지 데이터를 대상으로 299*299 pixel 크기의 해상도로 상표 이미지 데이터의 해상도가 조정되었다.
<그림 12>와 같이 지식재산권 전문가가 학습 데이터와 유사하다고 판단한 총 100개의 테스트 데이터를 활용하여 유사도 기준 모형 정확도가 측정됐다. 모형별 정확도 측정 결과는 <표 9>와 같으며, 모형별 산출물 예시는 <표 10>과 같다.
첫째, 데이터 정제 단계에서는 수집된 상표 이미지 데이터를 대상으로 개별 상표 이미지의 여백을 제거하며, 지능형 유사상표 검색 모델의 학습을 위해 여백이 제거된 상표 이미지 데이터를 대상으로 해상도를 조정한다.
해당 연구에서는 합성곱 신경망의 깊이가 모형 성능에 어떠한 영향을 미치는지 알아보기 위해 모든 합성곱 계층 및 통합 계층에서 다수의 3 × 3크기 필터를 활용했다.
대상 데이터
‘데이터 셋 분할’과정에서는 ‘데이터 증폭’이 완료된 상표 이미지 데이터를 대상으로 단순 무작위 추출 방법을 활용하여 총 100,000개 상표 이미지 데이터 중 70%인 70,000개 상표 이미지 데이터가 지능형 유사상표 검색모형의 학습용 데이터 셋으로 선정되었으며, 나머지 30% 상표 이미지 데이터는 모형 검증용 데이터로 선정되었다.
(2018)에서는 Chatfield et al.(2014)가 제안한 VGG-F 모형을 활용하여 상표 이미지 검색에 관한 연구를 수행했으며, 총 320개의 테스트 데이터 셋을 대상으로 실험을 수행한 결과 0.68의 mAP를 기록했다. 하지만 해당 연구에서는 이미지 검색 모형 정확도에 장애물로 작용하는 상표 이미지의 여백을 제거하는 과정이 생략되어있다는 한계점이 존재한다.
단순 무작위 추출 방법을 활용하여 데이터 증폭 과정을 거친 총 100,000개 상표 이미지 데이터 중 70%인 70,000개 상표 이미지 데이터가 지능형 유사 상표 검색모형의 학습용 데이터셋으로 설정되었으며, 나머지 30% 상표 이미지 데이터는 모형 검증용 데이터로 설정되었다. 본 연구에서는 Tensorflow API에서 제공하는 GoogLeNet, ResNet, VGG-Net의 선행 학습 모형(Pre-trained model)을 이용하여 제안 모형에 대한 학습을 수행하였다.
데이터는 키프리스 DB로부터 검색식(AN= [40?]*AD=[20170101~20171231])을 활용하여 2017년에 등록된 총 59,886건, 약 10.9MB 크기의 상표 정보 데이터가 xls 파일 형태로 수집되었으며, 수집된 상표 정보 데이터의 예시는 아래 와 같다.
본 연구의 한계점 및 향후 연구 방향은 다음과 같다. 첫째, 본 연구에서 활용된 학습 데이터는 2017년에 등록된 상표 데이터이며, 모형 학습 시 소요되는 컴퓨팅 연산과 메모리 크기 등으로 인해 단순 무작위 추출 방법을 활용하여 59,886개 상표 이미지 데이터 중 1,000개의 상표 이미지 데이터가 추출되어 지능형 유사 상표 검색모형에 대한 학습이 수행되었다. 본 연구에서 제시한 방법론을 활용하여 상표 출원 전 선등록상표에 대한 사전 조사를 수행함에 있어 투입되는 인력 및 비용 절감과 국내 기업 간 발생하는 상표권 침해 문제를 실질적으로 해결하기 위해서는 특허청에 등록된 국내 상표 이미지 데이터 전수를 대상으로 모형에 대한 학습과 검증이 수행되어야 할 것으로 사료된다.
첫째, 지능형 유사 상표 검색모형에 사용될 상표 이미지 데이터가 수집되었으며, 2017년에 등록된 총 59,886개, 약 2.21GB 크기의 상표 이미지 데이터 중 단순 무작위 추출 방법을 활용하여 1,000개의 상표 이미지 데이터가 지능형 유사 상표 검색 모델의 학습 및 검증 데이터로 선정되었다.
키프리스 플러스 OPEN API 서비스를 활용한 상표 이미지 수집 시 입력키값으로 출원번호가 활용되므로 Python3.5 라이브러리인 ‘pandas’를 활용하여 수집된 상표 정보 데이터로부터 출원번호를 추출하여 DB에 저장했으며, 입력키값으로 DB에 저장된 상표 출원번호를 호출하여 약 2.21GB 크기의 상표 이미지 데이터가 수집되었다.
이론/모형
(2015)이 개발한 합성곱 신경망 구조()이다.
모델의 학습 및 검증 단계의 첫 번째 과정에서는 모델의 학습과 검증을 위해 ‘데이터 증폭’ 과정이 수행된 상표 이미지 데이터를 대상으로 <그림 7>과 같이 학습 데이터셋과 검증 데이터셋을 각각 7:3의 비율로 분할하는 작업이 수행된다. 또한 ILVRC(ImageNet Large Scale Visual Recognition Challenge)에서 우수한 성과를 보였던 VGG-Net, GoogLeNet, ResNet이 지능형 유사 상표 검색 모델의 실험 모형으로 활용된다.
단순 무작위 추출 방법을 활용하여 데이터 증폭 과정을 거친 총 100,000개 상표 이미지 데이터 중 70%인 70,000개 상표 이미지 데이터가 지능형 유사 상표 검색모형의 학습용 데이터셋으로 설정되었으며, 나머지 30% 상표 이미지 데이터는 모형 검증용 데이터로 설정되었다. 본 연구에서는 Tensorflow API에서 제공하는 GoogLeNet, ResNet, VGG-Net의 선행 학습 모형(Pre-trained model)을 이용하여 제안 모형에 대한 학습을 수행하였다. 모형별 학습의 형평성을 위해 각각 모형의 초기 학습 비율(Initial learning rate)을 0.
(2015)이 개발한 합성곱 신경망 구조(<그림 3>)이다. 연산량 증가로 인한 처리 속도 저하 문제를 해결하기 위해 Inception module을 도입했으며, 경사 기울기 사라짐 문제를 해결하기 위해 Auxiliary classifier를 활용했다.
성능/효과
(2011)이 제작한 흉부 CT 영상 데이터인 LIDC-IDRI(Lung Image Database Consortium and Image Database Resource Initiative)를 대상으로 그들이 고안한 합성곱 신경망 모형을 활용하여 흉부 결절 여부를 판별했으며, 93.75%의 정확도로 흉부의 결절 여부를 판별했다.
를 살펴보면 ResNet V1 101이 모든 유사도 기준에서 각각 89.0%, 84.0%, 80.0%, 78.0%, 69.0%로 가장 높은 정확도를 나타냈으며, 유사도 30%를 기준으로 모형의 정확도를 측정한 경우 ResNet V1 50이 84.0%를 기록하며 ResNet V1 101과 동일하게 가장 높은 정확도를 나타냈다.
을 살펴보면 학습 데이터에는 글자가 없지만 테스트 데이터에는 글자가 있는 경우, 글자 자체가 완전히 바뀌는 경우에 합성곱 신경망 모형에서 해당 이미지 데이터를 올바르게 인식하지 못한 반면, 글자가 추가되거나 절반 정도 변경되는 경우에는 합성곱 신경망 모형에서 해당 이미지 데이터를 올바르게 인식하는 것으로 나타났다.
ResNet은 Microsoft의 북경 연구센터에서 고안된 합성곱 신경망 모형이며, 아래 그림과 같이 152개의 계층을 갖는 깊은 신경망 구조로 설계되었다. ResNet 기본 블록에서는 2개의 합성곱 연산 과정을 거친 특징 지도에 2개의 합성곱 계층을 거치지 않은 특징 지도를 결합하여 초기 계층에서 학습이 수행되지 않는 경사 기울기 사라짐 문제를 해결할 수 있었으며, ResNet 기본 블록을 반복적으로 쌓으며 신경망 구조를 설계한 결과 ILSVRC 2015에서 가장 뛰어난 정확도를 나타내어 우승을 차지했다.
셋째, 상표 이미지(It)에서 배경 이미지(IB)가 차분된 후 절대 값이 적용된 이미지(ID)가 생성된다. 넷째, ID에서 픽셀값이 0이 아닌 지역의 위치를 나타내는 경계 상자, 즉, 좌측, 상단, 우측, 하단의 좌표값을 의미하는BL,U,R,B가 생성된다. 마지막으로, 상표 이미지(It)에서 경계 상자(BL,U,R,B)를 활용하여 여백이 제거된다.
넷째, 제안 모형의 학습 및 검증 단계에서는, ‘데이터 셋 분할’, ‘모형 학습’, ‘모형 검증’ 과정이 수행되었다.
둘째, 단순히 이미지를 분류하는 이미지 인식 모형을 상표 이미지 검색모형에 적용한 결과 유사도 90%를 기준으로 모형의 정확도를 측정했을 때 ResNet V1 101의 정확도가 69.0%로 가장 높게 측정되었으며, 해당 결과를 통해 기존의 다양한 이미지 분류 모형이 사물 인식 분야뿐만 아니라 이미지 검색 분야에도 높은 성능을 나타낸다는 것을 본 연구에서 실증적으로 입증했다. 마지막으로 본 연구에서 제시한 방법론이 상용화된다면 선등록상표에 대한 사전 조사를 수행함에 있어 투입되는 인력 및 비용 절감과 상표권 침해 문제해결에 기여할 수 있을 것으로 사료된다.
따라서 지능형 유사 상표 이미지 검색모형의 효과적인 학습을 위해 여백이 제거된 상표 이미지 데이터를 대상으로 과 같이 299 × 299픽셀 크기의 해상도로 상표 이미지 데이터의 해상도가 조정되었다.
또한, 국내외 분쟁 발생 실태에 대해 조사한 결과 상표 분쟁에 대한 전담부서를 설치한 기업을 대상으로 ‘국내외에서 상표권에 대한 분쟁 경험이 있다’라고 응답한 기업의 비율이 약 63.1%, 전담부서가 미설치된 기업을 대상으로 ‘국내외에서 상표권에 대한 분쟁 경험이 없다’라고 응답한 기업의 비율이 약 78.9%로 나타났다.
마지막으로 본 연구에서 제안한 지능형 유사 상표 모형에 대한 산업환경 활용 가능성을 활용하기 위해 데이터 수집 단계에서 수집된 총 59,886건의 상표 이미지 데이터 중에서 지식재산권 전문가가 선정한 100개의 상표 이미지를 선별하여 지능형 유사 상표 모형에 대한 정확도를 산출했다. 모형의 테스트 결과 모든 유사도 기준에서 ResNet V1 101이 각각 89.
0%를 기록하며 ResNet V1 101과 동일하게 가장 높은 정확도를 나타냈다. 모형별 정확도를 살펴보면 ResNet이 가장 우수한 성능을 나타낸 것을 알 수 있으며, GoogLeNet의 정확도가 가장 낮은 것으로 나타났다.
마지막으로 본 연구에서 제안한 지능형 유사 상표 모형에 대한 산업환경 활용 가능성을 활용하기 위해 데이터 수집 단계에서 수집된 총 59,886건의 상표 이미지 데이터 중에서 지식재산권 전문가가 선정한 100개의 상표 이미지를 선별하여 지능형 유사 상표 모형에 대한 정확도를 산출했다. 모형의 테스트 결과 모든 유사도 기준에서 ResNet V1 101이 각각 89.0%, 84.0%, 80.0%, 78.0%, 69.%0의 정확도를 나타내어 가장 높은 성능을 기록했다.
윤재웅 외(2017)은 아토피피부염 병변별 중증도를 판별하기 위해 가톨릭대학교 의과대학 성모병원의 데이터베이스로부터 아토피피부염 환자의 이미지 데이터를 수집하여 이를 대상으로 다양한 합성곱 신경망 모형에 대한 학습을 수행했다. 실증 분석 결과 홍반(Erythema)의 경우 ResNet V1 101, 긁은 정도(Excoriation)의 경우 ResNet V2 50이 90% 이상의 정확도를 기록했으며, 태선화(Lichenification)의 경우 VGG-Net이 89%의 정확도를 기록했다.
‘모형 학습’ 과정에서는 학습 데이터를 활용하여 GoogLeNet, ResNet, VGG-Net 모델을 대상으로 상표 이미지에 대한 학습이 수행되었으며, 검증 데이터를 활용하여 지능형 유사 상표 검색 모델의 정확도가 산출되었다. 유사도 10%와 30%를 기준으로 모델별 검증을 수행한 결과, GoogLeNet V1이 100%의 정확도로 가장 높은 성능을 나타냈으며, 유사도 50%와 70%, 90%를 기준으로 모형의 정확도를 측정한 경우 ResNet V1 50이 각각 99.7%, 99.4%, 99.2%를 기록하며 가장 높은 성능을 나타냈다.
80%의 정확도를 나타냈다. 유사도 30%를 기준으로 모형의 정확도를 측정한 경우 GoogLeNet V1의 정확도가 100%로 나타나 가장 높은 성능을 기록했으며, ResNet V1 50과 ResNet V2 152는 각각 99.7%의 정확도를 나타냈다. 유사도 50%, 70%, 90%를 기준으로 모형의 정확도를 측정한 경우 ResNet V1 50이 각각 99.
7%의 정확도를 나타냈다. 유사도 50%, 70%, 90%를 기준으로 모형의 정확도를 측정한 경우 ResNet V1 50이 각각 99.7%, 99.4%, 99.2%를 기록하며 가장 높은 성능을 나타냈다.
산출된 모형별 정확도는 아래 <표 7>과 같으며, 모형별 산출 결과 예시는 <표 8>과 같다. <표 7>을 살펴보면 유사도 10%를 기준으로 모형의 정확도를 측정한 경우 GoogLeNet V1, V2가 100%의 정확도로 가장 높은 성능을 나타냈으며, GoogLeNet V3, ResNet V1 50, ResNet V1 152, ResNet V2 152, VGG 19가 모두 99.80%의 정확도를 나타냈다. 유사도 30%를 기준으로 모형의 정확도를 측정한 경우 GoogLeNet V1의 정확도가 100%로 나타나 가장 높은 성능을 기록했으며, ResNet V1 50과 ResNet V2 152는 각각 99.
전체 조사대상 기업 중 ‘상표 보호를 위한 사전 예방 활동을 수행하지 않는다’라고 응답한 기업의 비율이 약 65.3%로 나타났으며, 기업 규모별로 살펴보면 49명 이하의 기업이 73%, 50~299명 규모의 기업이 66.4%의 비율로 상표보호를 위한 사전 예방 활동을 수행하지 않는다고 응답했다.
후속연구
<표 11>을 살펴보면 학습 데이터에는 글자가 없지만 테스트 데이터에는 글자가 있는 경우, 글자 자체가 완전히 바뀌는 경우에 합성곱 신경망 모형에서 해당 이미지 데이터를 올바르게 인식하지 못한 반면, 글자가 추가되거나 절반 정도 변경되는 경우에는 합성곱 신경망 모형에서 해당 이미지 데이터를 올바르게 인식하는 것으로 나타났다. 따라서 향후 연구에서는 해당 문제점을 보완하기 위해 사물 인식 알고리즘을 활용하여 상표에 존재하는 표장을 효과적으로 인식하여 보다 정교한 지능형 유사 상표 검색모형을 개발하는 것이 필요할 것으로 판단된다.
마지막으로 본 연구에서 개발한 지능형 유사 상표 검색모형은 상표 내에 존재하는 글자가 완전히 바뀌거나 상표 내에 존재하지 않았던 글자가 추가되는 경우에 유사한 상표 이미지를 검색하지 못하는 한계점이 있다. 이를 보완하기 위해 향후 연구에서는 사물 인식 알고리즘을 활용하여 상표 내에 존재하는 표장을 인식하여 글자의 변경과 유무에 관계없이 유사 상표를 인식하는 모형을 개발하는 것이 필요할 것으로 판단된다.
0%로 가장 높게 측정되었으며, 해당 결과를 통해 기존의 다양한 이미지 분류 모형이 사물 인식 분야뿐만 아니라 이미지 검색 분야에도 높은 성능을 나타낸다는 것을 본 연구에서 실증적으로 입증했다. 마지막으로 본 연구에서 제시한 방법론이 상용화된다면 선등록상표에 대한 사전 조사를 수행함에 있어 투입되는 인력 및 비용 절감과 상표권 침해 문제해결에 기여할 수 있을 것으로 사료된다.
첫째, 본 연구에서 활용된 학습 데이터는 2017년에 등록된 상표 데이터이며, 모형 학습 시 소요되는 컴퓨팅 연산과 메모리 크기 등으로 인해 단순 무작위 추출 방법을 활용하여 59,886개 상표 이미지 데이터 중 1,000개의 상표 이미지 데이터가 추출되어 지능형 유사 상표 검색모형에 대한 학습이 수행되었다. 본 연구에서 제시한 방법론을 활용하여 상표 출원 전 선등록상표에 대한 사전 조사를 수행함에 있어 투입되는 인력 및 비용 절감과 국내 기업 간 발생하는 상표권 침해 문제를 실질적으로 해결하기 위해서는 특허청에 등록된 국내 상표 이미지 데이터 전수를 대상으로 모형에 대한 학습과 검증이 수행되어야 할 것으로 사료된다.
둘째, 본 연구에서는 GoogLeNet, ResNet, VGG-Net을 활용하여 지능형 유사 상표 검색 모형에 대한 연구가 수행되었다. 연구 결과 상표 이미지와 같이 단순한 색감과 형태를 갖는 이미지 데이터는 합성곱 신경망 계층이 깊어질수록 모형의 정확도가 낮아지는 것을 확인했으므로, 향후 연구에서는 상표 이미지와 같이 단순한 색감과 형태를 갖는 이미지 데이터에 적합한 합성곱 신경망 모형을 고안하여 해당 모형의 학습과 검증이 수행되어야 할 것으로 판단된다.
마지막으로 본 연구에서 개발한 지능형 유사 상표 검색모형은 상표 내에 존재하는 글자가 완전히 바뀌거나 상표 내에 존재하지 않았던 글자가 추가되는 경우에 유사한 상표 이미지를 검색하지 못하는 한계점이 있다. 이를 보완하기 위해 향후 연구에서는 사물 인식 알고리즘을 활용하여 상표 내에 존재하는 표장을 인식하여 글자의 변경과 유무에 관계없이 유사 상표를 인식하는 모형을 개발하는 것이 필요할 것으로 판단된다.
본 연구의 의의는 다음과 같다. 첫째, 본 연구에 활용된 상표 이미지 데이터는 대한민국 특허청에 등록된 데이터이며, 해당 데이터를 활용하여 모형에 대한 학습 및 검증, 테스트가 수행되었으므로 본 연구에서 개발된 지능형 유사 상표 검색모형은 실제 산업환경에서 활용성이 높을 것으로 사료된다.
질의응답
핵심어
질문
논문에서 추출한 답변
합성곱 신경망 모형(convolutional neural network)은 무엇인가?
합성곱 신경망 모형(convolutional neural network)은 이미지를 효과적으로 분류하기 위해 LeCun et al. (1989)에 의해 제안된 모형이며 사람의 시각처리 과정을 모방하여 고안되었기 때문에 이미지 특성을 추출하기에 적합한 모형으로 평가되고 있다. 합성곱 신경망의 구조는 일반적으로 아래 <그림 1>과 같이 합성곱 계층(convolutional layer), 통합 계층(pooling layer), 완전 연결 계층(fully-connected layer)으로 구성되어 있으며 각 계층에 대한 설명은 다음과 같다.
기업의 규모가 작을수록 상표보호를 위한 사전 예방활동을 수행하지 않는 이유는 무엇인가?
다양한 연구 및 보고서에 따르면, 해외 기업 또는 개인이 국내 기업의 상표권을 침해한 사례와, 국내 기업 간 발생하는 상표권 분쟁 사례가 증가하고 있는 것으로 나타나고 있으며, 특허청의 보고서에 따르면 기업의 규모가 작을수록 상표보호를 위한 사전 예방활동을 수행하지 않는다고 응답한 비율이 높은 것으로 나타났다. 이러한 문제는 선등록 상표에 대한 사전조사 또는 자사의 상표보호를 위해 소요되는 인력과 비용이 원인인 것으로 판단된다. 한편, 국내에서 선등록상표에 대한 사전조사를 위해 상용되는 서비스를 살펴보면 상표 이미지를 활용한 검색 서비스를 제공하고 있지 않은 상황이다.
지능형 유사상표 모형의 유사도 기준에서 어떤 모델이 가장 높은 성능을 나타내는가?
마지막으로 본 연구에서 제안한 지능형 유사상표 모형에 대한 산업 환경 활용 가능성을 활용하기 위해 데이터 수집 단계에서 수집된 총 59,886건의 상표 이미지 데이터 중에서 지식재산권 전문가가 선정한 100개의 상표 이미지를 선별하여 지능형 유사상표 모형에 대한 정확도를 산출했다. 모형의 테스트 결과 모든 유사도 기준에서 ResNet V1 101이 각각 89.0%, 84.0%, 80.0%, 78.0%, 69.%0의 정확도를 나타내어 가장 높은 성능을 기록했다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.