선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 딥러닝 기술을 이용하여 자동으로 상표내 객체를 인식하고 도형분류코드를 부여하는 상표 분류 자동화 방안에 대해 연구하였다. 부족한 데이터 수에 비해 많은 분류로 인해 정확도가 떨어지는 문제를 해결하기 위해 중분류를 먼저 인식하는 과정을 추가하였고 결과적으로 도형 상표 내 객체 인식률이 향상한 것을 확인할 수 있었다.
- 이미지 형식으로 출원 신청된 상표에 대하여 상표가 포함하고 있는 구성 요소를 파악하고 도형분류코드를 지정하는 작업은 현재 사람이 직접 수행하고 있다. 이에 본 논문에서는 딥러닝 기술을 이용하여 해당 작업을 자동화하는 방안을 제안한다. 객체 인식 알고리즘을 이용하여 도형 상표 내 객체 검출 작업을 수행하였으며, 이때 많은 분류 대비 적은 데이터 수에 따른 문제점을 해결하기 위해 이미지 분류 알고리즘을 중분류기로 활용하여 중분류를 먼저 예측하였다.
제안 방법
- 이미지 객체 검출 작업을 위해 이미지 내 객체의 위치와 이름을 표시해주는 레이블링 작업을 수행하였다. 03류 하위 전체 178개 세분류 중 데이터 수를 고려하여 63개의 동물을 선별하였고, 해당 분류에 대해 PASCAL VOC 형식으로 주석 파일을 생성하였다. 구축한 레이블링 데이터 수를 <표 2>에 나타내었다.
- 대표적인 딥러닝 네트워크로는 ResNet VGG16, Inception, 그리고 DenseNet 등이 존재한다. 각 네트워크는 CNN이 처음 적용된 LeNet 이후 구조를 조금씩 변경하며 성능 향상을 시도하였다. 본 논문에서는 보유 데이터를 이용한 네트워크 간 성능 비교 후 DenseNet 을 최종적으로 선택하였다.
- 이에 본 논문에서는 딥러닝 기술을 이용하여 해당 작업을 자동화하는 방안을 제안한다. 객체 인식 알고리즘을 이용하여 도형 상표 내 객체 검출 작업을 수행하였으며, 이때 많은 분류 대비 적은 데이터 수에 따른 문제점을 해결하기 위해 이미지 분류 알고리즘을 중분류기로 활용하여 중분류를 먼저 예측하였다. 모델의 학습과 테스트에는 출원 상표 중 03류(동물)에 해당하는 도형 상표를 활용하였다.
- 이처럼 신뢰도 점수의 임계치에 따라 정밀도와 재현율이 달라진다. 그렇기 때문에 정밀도와 재현율을 2차원 그래프의 각 축으로 한 정밀도-재현율 곡선에서 곡선과 재현율 축 사이의 넓이에 해당하는 AP를 이용하여 이미지 분류 모델을 평가한다. 정밀도-재현율 곡선을 # 이라 할 때, AP는 식 3과 같다[8].
- 도형 상표 내 객체 검출 정확도 향상을 위해, 객체 검출에 앞서 이미지 분류 네트워크를 이용한 중분류 구분을 먼저 수행한다. 중분류기로 사용할 네트워크 선정을 위해, 03류 데이터와 함께 확보한 전체 30개 대분류 하위 150개 중분류의 도형 상표 270,014건으로 VGG16, Inception, ResNet, 그리고 DenseNet 모델을 학습하고 검증 손실 값과 Top-1, Top-5, Top-10 정확도를 비교하였다.
- 중분류별로 도형 상표를 시스템에 입력하여 객체 예측 결과 데이터 세트를 만들었다. 만들어진 예측 결과를 비엔나 분류 기준에 따른 세분류와 매칭하고, 동일 상표에 대하여 심사관이 분류한 세분류 코드 중 일치하는 코드가 있으면 정답, 없으면 오답으로 판단하고 정답 확률을 계산하였다. (그림 4)의 그래프는 중분류별 세분류 예측 정답률을 나타낸다.
- 객체 인식 알고리즘을 이용하여 도형 상표 내 객체 검출 작업을 수행하였으며, 이때 많은 분류 대비 적은 데이터 수에 따른 문제점을 해결하기 위해 이미지 분류 알고리즘을 중분류기로 활용하여 중분류를 먼저 예측하였다. 모델의 학습과 테스트에는 출원 상표 중 03류(동물)에 해당하는 도형 상표를 활용하였다. 중분류기 유무에 따른 예측 결과를 비교하고, 심사관 분류와 예측 결과의 비교를 통해 성능 평가를 수행하였다.
- 각 네트워크는 CNN이 처음 적용된 LeNet 이후 구조를 조금씩 변경하며 성능 향상을 시도하였다. 본 논문에서는 보유 데이터를 이용한 네트워크 간 성능 비교 후 DenseNet 을 최종적으로 선택하였다. 2017년에 Gao Huang 등이 발표한 DenseNet은 각 계층 사이에 출력되는 특징 지도를 모두 연결하여 성능 개선을 시도하였다[5].
- 비슷한 성능을 보여준 DenseNet과 Inception을 이용하여 03류 데이터 144,897건을 이용하여 다시 성능 비교를 하였고，그 결과를 에 나타내었다.
- Faster R-CNN을 이용한 상표 내 객체 인식 가능성을 확인하기 위해 63개 동물에 대하여 구축한 24,972건의 학습 데이터를 중분류를 구분하지 않고 모두 학습시켰다. 이때, PASCAL VOC 2012 데이터로 선행 학습한 모델을 전이학습 하였다. 학습된 모델의 평가를 위해 동일한 상표에 대하여 객체 이름, 신뢰도 점수, 좌표로 구성된 예측 결과데이터 세트와 객체 이름과 좌표로 구성된 정답 데이터 세트를 구축하였다.
- 03류 하위 10개 중분류에 대하여 학습된 DenseNet 모델은 <표 4>에서 확인할 수 있듯이 약 82%의 확률로 입력 데이터의 중분류를 예측해낸다. 이렇게 예측된 중분류 정보를 바탕으로 해당 Faster R-CNN 모델을 통해 예측된 중분류 하위의 객체 검출 작업을 수행한다. (그림 3)에 해당 시스템의 작업 과정이 나타나 있다.
- 이미지 객체 검출 작업을 위해 이미지 내 객체의 위치와 이름을 표시해주는 레이블링 작업을 수행하였다. 03류 하위 전체 178개 세분류 중 데이터 수를 고려하여 63개의 동물을 선별하였고, 해당 분류에 대해 PASCAL VOC 형식으로 주석 파일을 생성하였다.
- 이처럼 AP가 낮은 이유는 도형 상표가 포함하고 있는 동물 형태의 다양성, 그리고 많은 분류 대비 적은 데이터 수에 따른 것으로 판단된다. 이에 적은 데이터 수를 보완하기 위 해 중분류를 먼저 구분한 뒤 해당 중분류별로 학습된 Faster R-CNN 모델을 이용하여 객체 검출을 시도한다.
- 그리고 Mask R-CNN은 학습 데이터 구축 시 이미지 내 객체의 경계를 명확하게 잘라야 하기 때문에 Faster R-CNN보다 더 많은 시간이 소요된다. 이에 최종적으로 Faster R-CNN을 이용하여 도형 상표 내 객체 검출을 수행하였다.
- 중분류가 결정된 상표에 대하여 세부 객체를 검출해내기 위해 레이블링된 데이터를 각 중분류에 속하는 객체별로 분류하고 별도로 Faster R-CNN에 0 3류 하위 10개 중분류에 대하여 총 10개의 객체 검출 모델을 생성하였다.
- 모델의 학습과 테스트에는 출원 상표 중 03류(동물)에 해당하는 도형 상표를 활용하였다. 중분류기 유무에 따른 예측 결과를 비교하고, 심사관 분류와 예측 결과의 비교를 통해 성능 평가를 수행하였다.
- 도형 상표 내 객체 검출 정확도 향상을 위해, 객체 검출에 앞서 이미지 분류 네트워크를 이용한 중분류 구분을 먼저 수행한다. 중분류기로 사용할 네트워크 선정을 위해, 03류 데이터와 함께 확보한 전체 30개 대분류 하위 150개 중분류의 도형 상표 270,014건으로 VGG16, Inception, ResNet, 그리고 DenseNet 모델을 학습하고 검증 손실 값과 Top-1, Top-5, Top-10 정확도를 비교하였다. 비교 결과를 <표 3>에 나타내었다.
- 제안하는 시스템을 이용하여 직접 출원 상표의 세분류 코드를 예측하고, 이를 심사관 분류 결과와 비교하여 성능을 평가한다. 중분류별로 도형 상표를 시스템에 입력하여 객체 예측 결과 데이터 세트를 만들었다. 만들어진 예측 결과를 비엔나 분류 기준에 따른 세분류와 매칭하고, 동일 상표에 대하여 심사관이 분류한 세분류 코드 중 일치하는 코드가 있으면 정답, 없으면 오답으로 판단하고 정답 확률을 계산하였다.
- 이때, PASCAL VOC 2012 데이터로 선행 학습한 모델을 전이학습 하였다. 학습된 모델의 평가를 위해 동일한 상표에 대하여 객체 이름, 신뢰도 점수, 좌표로 구성된 예측 결과데이터 세트와 객체 이름과 좌표로 구성된 정답 데이터 세트를 구축하였다. 예측 결과 세트와 정답 세트를 이용하여 계산한 쇼요를 (그림 2)에 나타내었다.
대상 데이터
- Faster R-CNN을 이용한 상표 내 객체 인식 가능성을 확인하기 위해 63개 동물에 대하여 구축한 24,972건의 학습 데이터를 중분류를 구분하지 않고 모두 학습시켰다. 이때, PASCAL VOC 2012 데이터로 선행 학습한 모델을 전이학습 하였다.
- 학습 및 테스트 데이터 구축을 위해 특허청에서 보유중인 국내 출원 도형 상표 중에서 비엔나분류 기준 대분류 03류에 해당하는 데이터 144,897건을 확보하였다. 03류는 동물 이미지가 포함되어있는 상표로서 총 1 2개의 하위 중분류로 이루어져 있다.
데이터처리
- 제안하는 시스템을 이용하여 직접 출원 상표의 세분류 코드를 예측하고, 이를 심사관 분류 결과와 비교하여 성능을 평가한다. 중분류별로 도형 상표를 시스템에 입력하여 객체 예측 결과 데이터 세트를 만들었다.
이론/모형
- 비슷한 성능을 보여준 DenseNet과 Inception을 이용하여 03류 데이터 144,897건을 이용하여 다시 성능 비교를 하였고，그 결과를 <표 4>에 나타내었다. 이러한 결과를 바탕으로 최종적으로 DenseNet을 중분류기로 활용하였다.
성능/효과
- (그림 4)의 그래프는 중분류별 세분류 예측 정답률을 나타낸다. 그래프를 보면 모든 모델이 6 0 %이상의 정답률을 보이고, 구축한 학습 데이터 중 하위 세 분류가 상대적으로 적었던 03-03군과 03-15군이 80% 이상의 정답률을 보여준다.
- 본 논문에서는 딥러닝 기술을 이용하여 자동으로 상표내 객체를 인식하고 도형분류코드를 부여하는 상표 분류 자동화 방안에 대해 연구하였다. 부족한 데이터 수에 비해 많은 분류로 인해 정확도가 떨어지는 문제를 해결하기 위해 중분류를 먼저 인식하는 과정을 추가하였고 결과적으로 도형 상표 내 객체 인식률이 향상한 것을 확인할 수 있었다. 학습 데이터의 부족으로 성능 평가에서 아쉬운 결과를 보였지만 이는 학습 데이터 추가 구축을 통해 해결할 수 있을 것으로 판단한다.
후속연구
- 학습 데이터의 부족으로 성능 평가에서 아쉬운 결과를 보였지만 이는 학습 데이터 추가 구축을 통해 해결할 수 있을 것으로 판단한다. 또한, 해당 시스템을 통해 도형 상표의 분류뿐만 아니라, 유사 상표 검색 시 입력된 상표 이미지에서 자동으로 객체를 인식하여 도형분류코드로 검색하는 응용도 가능하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.