선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구에서는 사람의 의사결정에 보조수단으로 활용될 수 있는 실용성 있는 분류기를 목적으로 한다. 따라서 특허문서의 각 필드를 대상으로 수행한 분류의 성능을 평가하기 위하여 다음과 같은 두 가지 정확도 척도를 사용한다.
- 본 논문은 특허문서에 대하여 효과적인 IPC 분류를 위하여 기계학습 기법 등과 같은 분류 모델에 중심을 두는 것이 아니라 특허문서의 데이터 구조 그 자체에 보다 집중하는 분류 방법을 제안하였다. 특허문서의 데이터 특징과 IPC 분류구조의 분석을 통해 IPC 서브클래스 레벨에서의 분류 수행에 있어서 의미있는 필드로 기술분야 및 배경기술 필드를 제시하였으며, 이를 확인하기 위해 특허문서의 구조적 필드가 IPC 서브클래스 레벨까지의 분류에 미치는 영향을 살펴보기 위한 특허문서의 각 필드의 조합으로 구성한 비교실험을 수행하였다.
제안 방법
- 수집된 pdf 형식의 특허문서로부터 분류에 영향력이 있는 대표적인 필드인 ‘제목’, ‘요약’, ‘청구항’, ‘배경기술’과 ‘기술분야’ 필드를 파싱한 뒤 이 중에서 ‘기술분야’ 및 ‘배경기술’ 필드가 없는 문서를 제외하여 564,793건의 특허문서 집합을 구축하였다.
- 본 논문에서 제안하는 특허문서의 IPC 서브클래스 레벨에서의 분류는 데이터수집, 전처리, 특징단어 선택, 벡터 스페이스 모델링, 분류 모델 구축, 구축된 분류기를 통한 특허문서 분류의 단계로 수행된다. 이 과정은 (그림 4)와 같다.
- 본 연구에서는 TF-ICF에 따른 특징단어들의 랭킹을 각 서브클래스별로 분석한 결과, k =100 일 때 각 서브클래스의 특징단어들이 그 서브클래스 분야를 대표하면서 다른 분야와 잘 구분되는 것으로 판단하였다. 이에 따라서 각 IPC 서브클래스 별 상위 100개의 특징단어를 뽑아 중복은 제거한 뒤 총 33,047개의 단어로 이루어진 특징단어 집합을 구축하였다. (표 2)는 특징단어 집합의 구축에 사용된 TF-ICF 가중치 상위 100개의 특징단어들 중에서 30위까지를 A01클래스에 속하는 서브클래스에 대하여 내림차순으로 정리한 것이다.
- 그리고 본 연구에서는 a = 1인 Laplace smoothing을 사용하였으며 상위 5개까지의 분류 c를 제시하도록 하고 있다.
- 이 장에서는 본 논문에서 제안한 ‘기술분야’와 ‘배경기술’ 필드를 중심으로 한 특허문서의 IPC 분류 성능을 평가하고 기존 연구에서 주로 사용해온 제목, 요약, 청구항 필드를 대상으로 한 IPC 분류 성능을 비교하여 그 결과에 대하여 분석하고 고찰한다.
- 또한 위의 Multinomial Naive Bayes 분류 모델 구축 및 분류 단계에서는 10-fold cross validation 방법으로 전체특허문서집합을 Training set과 Test set을 구분한 뒤 Training set를 사용하여 분류기 모델을 구축하고, Test set에 대하여 IPC 서브클래스 레벨에서의 다중 레이블 분류를 수행한다.
- ‘기술분야’와 ‘배경기술’ 필드가 분류성능에 미치는 영향을 살펴보기 위하여, 기존의 연구에서 주로 사용해온 제목, 요약, 청구항 필드를 가지고 다음과 같은 비교실험을 구성하였다.
- 그리고 (5) 제목과 요약, (6) 제목, 요약, 청구항 필드를 함께 사용한 경우와 이들 (5), (6)에 대하여 ‘기술분야’와 ‘배경기술’ 필드를 추가하여 (7) 제목, 요약, 기술분야 및 배경기술 필드를 함께 사용한 경우, (8) 제목, 요약, 청구항, 기술분야 및 배경기술의 필드를 모두 사용한 경우로 나누어 IPC 분류를 수행하였다.
- ‘기술분야’와 ‘배경기술’ 필드가 분류성능에 미치는 영향을 살펴보기 위하여, 기존의 연구에서 주로 사용해온 제목, 요약, 청구항 필드를 가지고 다음과 같은 비교실험을 구성하였다. 특허문서의 (1) 제목, (2) 요약, (3) 청구항, (4) 기술분야 및 배경기술 필드만 사용한 경우에 대하여 각각 IPC 분류 성능을 비교하였다. 그리고 (5) 제목과 요약, (6) 제목, 요약, 청구항 필드를 함께 사용한 경우와 이들 (5), (6)에 대하여 ‘기술분야’와 ‘배경기술’ 필드를 추가하여 (7) 제목, 요약, 기술분야 및 배경기술 필드를 함께 사용한 경우, (8) 제목, 요약, 청구항, 기술분야 및 배경기술의 필드를 모두 사용한 경우로 나누어 IPC 분류를 수행하였다.
- 분류 실험은 Intel Xeon 8 core cpu, 128GB RAM, 64bit Linux OS상에서 수행되었으며, Multinomial Naive Bayes 분류기는 scikit-learn라이브러리를 이용하여 Python 환경에서 구현하였다.
- 이와 같은 8가지의 서로 다른 필드로 구성된 특허문서 집합에 대하여 IPC 분류를 수행하였다. 그 결과 (7) 제목, 요약, 기술분야 및 배경기술 필드를 사용한 경우 564,793개의 테스트 문서 중에서 492,513개의 문서에 대하여 분류성공을 보이며 87.
- 그리고 특허 ‘동식물의 동식물성 기름을 이용한 침출수 처리장치 및 처리방법 (1020150122814)'은 7개의 IPC 서브클래스를 갖고 있으며 각각 C02F(물, 폐수, 하수 또는 오니(슬러지)의 처리), A47J(주방 장비, 커피 분쇄기, 향신료 분쇄기, 음료를 만드는 장치), A61L(재료 또는 물건을 살균하기 위한 방법 또는 장치 일반; 공기의 소독, 살균 또는 탈취), B01D(분리), B04B(원심분리기), B09B(고체 폐기물의 처리), F26B(고체원료 또는 고형물에서 액체를 제거하는 것에 의한 건조)와 같다. 이 문서의 경우, (7)제목, 요약, 기술분야 및 배경기술의 경우 5개의 IPC 서브클래스를 바르게 예측하였으며 (2)요약, (3)청구항, (4)기술분야 및 배경기술, (5)제목과 요약, (6)제목, 요약, 청구항, (8)제목, 요약, 청구항, 기술분야 및 배경기술의 경우 4개, 그리고 (1)제목의 경우 3개를 바르게 예측하였다.
- 본 논문은 특허문서에 대하여 효과적인 IPC 분류를 위하여 기계학습 기법 등과 같은 분류 모델에 중심을 두는 것이 아니라 특허문서의 데이터 구조 그 자체에 보다 집중하는 분류 방법을 제안하였다. 특허문서의 데이터 특징과 IPC 분류구조의 분석을 통해 IPC 서브클래스 레벨에서의 분류 수행에 있어서 의미있는 필드로 기술분야 및 배경기술 필드를 제시하였으며, 이를 확인하기 위해 특허문서의 구조적 필드가 IPC 서브클래스 레벨까지의 분류에 미치는 영향을 살펴보기 위한 특허문서의 각 필드의 조합으로 구성한 비교실험을 수행하였다. 그 결과 제목, 요약, 기술분야 및 배경기술 필드의 사용이 가장 높은 분류 정확도를 보였으며, 기술분야 및 배경기술 필드를 사용한 경우가 다른 필드의 사용에 비해 높은 분류 정확도를 보임으로써 기술분야 및 배경기술 필드가 IPC 분류에 있어서 중요한 역할을 하고 있음을 확인하였다.
- 그 결과 제목, 요약, 기술분야 및 배경기술 필드의 사용이 가장 높은 분류 정확도를 보였으며, 기술분야 및 배경기술 필드를 사용한 경우가 다른 필드의 사용에 비해 높은 분류 정확도를 보임으로써 기술분야 및 배경기술 필드가 IPC 분류에 있어서 중요한 역할을 하고 있음을 확인하였다. 또한 특허문서의 청구항 필드는 IPC 서브클래스 레벨까지의 분류에서 정확도를 떨어뜨리는 결과를 가져오는 사실도 확인하였다. 그리고 630개의 IPC 서브클래스 레벨에서의 다중 레이블 분류를 통하여 특허문서 분류의 현장으로의 적용 가능성을 확인하였다.
대상 데이터
- 이와 같은 필드의 순서는 국가별로 차이가 있다. 본 논문에서는 특허문서에서 도면 필드와 같은 이미지는 제외하고 특서문서의 텍스트만을 사용하고 있다.
- 본 연구에서 사용한 stopwordlist는 지적재산권용어사전, 특허·실용신안 심사기준 그리고 특허용어사전으로부터 추출한 색인어를 기반으로 구축하였으며, 1860개의 stopword로 이루어져있다.
- Kipris plus는 특허청이 개방중인 모든 특허정보를 실시간으로 활용할 수 있는 Bulk Data, Open API 방식의 서비스를 제공하고 있다. 이를 통해 2011년 1월 1일부터 2015년 12월 31일까지 국내에 등록된 특허 전문 566,747건을 수집하였다. 수집된 pdf 형식의 특허문서로부터 분류에 영향력이 있는 대표적인 필드인 ‘제목’, ‘요약’, ‘청구항’, ‘배경기술’과 ‘기술분야’ 필드를 파싱한 뒤 이 중에서 ‘기술분야’ 및 ‘배경기술’ 필드가 없는 문서를 제외하여 564,793건의 특허문서 집합을 구축하였다.
- 그 다음으로 특징 선택 과정에서는 본 연구의 목표 클래스인 630개의 IPC 서브클래스에 대하여 보다 판별력있는 feature를 선별한다. 이 과정에서 TF-ICF [7]를 사용한다.
이론/모형
- 그리고 4장에서는 ‘배경기술’ 및 ‘기술분야’ 필드를 이용한 IPC 자동 분류 실험과 결과에 대해 기술한다. 이때 분류 모델은 가장 대표적인 머신러닝 기법인 나이브 베이즈 모델을 사용한다. 마지막으로 5장에서 결론과 향후 연구에 대하여 논의한다.
- 특허문서의 분류를 위한 첫 번째 단계인 특허문서 수집과정에서는 분류에 필요한 데이터를 충분히 수집하기 위하여 Kipris plus[11]에서 제공하는 Open API를 사용한다. Kipris plus는 특허청이 개방중인 모든 특허정보를 실시간으로 활용할 수 있는 Bulk Data, Open API 방식의 서비스를 제공하고 있다.
- 예를 들어 특허 ‘식품 저장상태 감지용 센서에 무선으로 에너지를 공급하는 냉장고 (1020070015499)’는 제목만 으로부터 알 수 있듯이 F25D (냉장고; 냉각실; 아이스박스; 다른 서브클래스에 속하지 않는 냉각 또는 동결장치)와 A23B (식육, 어류, 난류, 과일, 채소, 식용종자의 보존; 과일 또는 야채의 화학적 숙성; 보존, 숙성 또는 통조림 제품)의 IPC를 가지며, 특허 ‘멀티미디어 전송 시스템에서 미디어 전송 패킷 전송 방법 및 장치 (10201300433855)’는 H04N (화상통신)과 H04L (디지털 정보의 전송)의 IPC를 가진다. 이와 같이 다중 레이블을 가질 수 있는 특허문서들을 분류하기위하여 본 연구에서는 텍스트 분류에서 사용되는 가장 대표적인 기계학습 모델 중 하나인 Multinomial Naive Bayes 모델[13]을 사용하고 있다.
성능/효과
- 따라서 특허문서의 주제분야를 정확하게 정의하기 시작하는 IPC 서브클래스 레벨까지의 분류에서 ‘기술분야’, ‘배경기술’의 필드는 분류성능 향상에 중요한 역할을 할 것으로 사료된다.
- 셋째, 특허문서는 일반적으로 그 특허문서에 해당하는 하나 이상의 IPC 분류가 동시에 할당되는 것이 특징이다. 이것은 기계학습이나 통계학 분야에서 분류 문제를 크게 이진 분류 (binary classification), 다중 클래스 분류(multi-class classification), 다중 레이블 분류 (multi-label classification)로 구분할 때, 다중 레이블 분류에 해당한다.
- 따라서 본 논문에서는 특허 문서의 데이터 특성에 기반을 두고 있는 사람에 의한 특허분류 과정을 충분히 고찰하여 실질적으로 활용 가능한 실용적인 IPC 자동분류를 목표로1) 특허 문서의 각 필드 특성을 IPC 분류의 각 레벨에 따라 구별해서 활용한 기계학습 모델 구축으로 사람 손에 의한 분류과정의 대체 가능성 확인, 2) 특허 문서 분류를 현실적으로 활용 가능한 수준에서의 구축 가능성을 확인하기 위한 IPC 서브클래스 레벨에서의 기계학습 모델 구축, 3) 특허 문서 분류의 사람 개입을 최소화하기 위한 전략에서 다중 레이블 분류 가능한 특허문서분류 모델 구축 등, 이 3가지 항목을 해결하기 위한 방법을 제안하고 약 50만 건의 특허 문서 데이터에 대해서 그 성능을 확인한다.
- 이들은 IPC 클래스와 서브클래스 레벨에서 특허문서 분류를 수행하였으며 특허문서에서 제목, 요약, 청구항, 그리고 처음 300개의 단어를 대상으로 IPC 자동분류를 진행하고 있다. 이들의 연구에 따르면 처음 300개의 단어의 사용이 특허문서의 다른 부분에 비해 가장 좋은 분류 결과를 나타냈으며, IPC 서브클래스 레벨에서 Top-prediction, Three-guesses, All-category의 세 가지 정확도 측정기준으로 분류성능을 평가했을 때, Top-prediction과 All-category 평가에서 SVM이 41%, 48%의 정확도로 가장 좋은 성능을 보이고, Three-guesses 평가에는 KNN이 62%로 가장 좋은 분류 결과를 보였다. 여기서 사용된 처음 300개 단어는 제목, 발명자, 특허권자, 요약, 명세서에서 추출한 처음 300단어로 구성되고 있다.
- Larkey[5]의 연구에서는 US 특허를 대상으로 USPC 분류기준으로 특허문서의 분류를 수행하였다. 분류모델은 KNN을 사용하였으며, 제목, 요약, background, summary의처음 20줄과 청구항 모두를 사용하여 분류 시에 성능이 가장 좋음을 보였다. 이들은 USPC의 395번 클래스의 2.
- Fall의 세 가지 평가 기준에 따라 36~56%의 분류 결과를 보였다. 또한 C.J. Fall의 결과에 비해 클래스 레벨에서 약 6~10% 향상된 결과를 얻었으며 서브클래스 레벨에서 약 12~14% 향상된 결과를 보였다. Y.
- 이와 같이 TF-ICF 가중치 값에 따라서 각 IPC 서브클래스 별 상위 k개의 특징단어를 선택하여 특징단어 집합을 구축한다. 본 연구에서는 TF-ICF에 따른 특징단어들의 랭킹을 각 서브클래스별로 분석한 결과, k =100 일 때 각 서브클래스의 특징단어들이 그 서브클래스 분야를 대표하면서 다른 분야와 잘 구분되는 것으로 판단하였다. 이에 따라서 각 IPC 서브클래스 별 상위 100개의 특징단어를 뽑아 중복은 제거한 뒤 총 33,047개의 단어로 이루어진 특징단어 집합을 구축하였다.
- (표 2)는 특징단어 집합의 구축에 사용된 TF-ICF 가중치 상위 100개의 특징단어들 중에서 30위까지를 A01클래스에 속하는 서브클래스에 대하여 내림차순으로 정리한 것이다. (표2)의 A01B 열의 단어들은 써레, 트랙터, 작업기, 로터베이터와 같은 농기구들이 주를 이루고, A01C 열은 종자, 파종, 모종, 비료 등과 같이 파종과 관계된 단어들이, 그리고 A01P 열은 방제, 제초제, 살충제, 농약 등과 같이 농약과 관계된 단어들이 주를 이루는 것을 볼 수 있다. 이 단어들을 (표 3)의 IPC 분류 정의와 비교해 보면 TF-ICF 가중치 방법으로 선별한 특징단어들이 각각의 IPC 서브클래스를 잘 대표하고 있음을 볼 수 있다.
- 이와 같은 8가지의 서로 다른 필드로 구성된 특허문서 집합에 대하여 IPC 분류를 수행하였다. 그 결과 (7) 제목, 요약, 기술분야 및 배경기술 필드를 사용한 경우 564,793개의 테스트 문서 중에서 492,513개의 문서에 대하여 분류성공을 보이며 87.20%의 정확도로 가장 높았으며, (4) 기술분야 및 배경기술이 86.60%, (8) 제목, 요약, 청구항, 기술분야 및 배경기술의 필드를 모두 사용한 경우가 85.67%로 나타났다.
- 반면에 (3) 청구항 필드만 사용한 경우 76.66%의 정확도를 보이며 분류성능이 가장 낮았으며 (2) 요약 필드만 사용한 경우가 77.57%, (1) 제목 필드만 사용한 경우가 78.24%의 정확도를 보였다.
- 또한 분류 성공 기준을 분류기가 문서의 실제 IPC 분류를 모두 제시한 경우로 한정하여 정확도를 측정하였을 경우에도 (7) 제목, 요약, 기술분야, 배경기술 필드를 사용한 경우가 70%로 가장 높은 정확도를 보이며, 기술분야 및 배경기술이 포함된 (4) 기술분야 및 배경기술과 (8) 제목, 요약, 청구항, 기술분야 및 배경기술의 경우가 각각 69%, 68.31%로 그 뒤를 이었다.
- 배터리), B32B(적층체, 즉 평평하거나 평평하지 않은 형상의 층으로 조립된 제품), C08J(마무리; 일반적 혼합 방법; 서브클래스 C08B, C08C, C08F, C08G 또는 C08H에 포함 되지 않는 후 처리), C08K(무기 또는 비고 분자 유기 물질의 배합 성분으로서의 사용), C08L(고분자화합물의 조성물)의 5개의 IPC 서브클래스를 가지는 문서이다. 이 문서의 (4)기술분야 및 배경기술, (7)제목, 요약, 기술분야 및 배경기술의 필드를 사용하여 분류하였을 때, 5개의 IPC 를 모두 잘 예측하였으며 (2)요약, (5)제목과 요약, (8)제목, 요약, 청구항, 기술분야 및 배경기술의 경우는 C08K를 제외한 4개, 그리고 (1)제목, (3)청구항,(6)제목, 요약, 청구항의 필드는 C08K, C08L을 제외한 3개의 IPC 서브클래스를 바르게 예측하였다.
- 이상의 결과를 종합하면 IPC 서브클래스 레벨까지의 분류에서는 기술분야 및 배경기술 필드가 분류 정확도에 중요한 역할을 하고 있음을 알 수 있다. 그러나 특허문서분류에 청구항 필드를 사용하는 것은 정확도를 떨어뜨리는 경향을 보이고 있으며, 나아가 청구항 필드의 문서당 평균 길이가 요약 필드에 비해 약 4배, 기술분야 및 배경기술 필드의 전체 길이의 약 2배 긴 점을 고려했을 때, 분류과정의 처리시간 측면에서도 비효율적인 것으로 보여진다.
- 이상의 결과를 종합하면 IPC 서브클래스 레벨까지의 분류에서는 기술분야 및 배경기술 필드가 분류 정확도에 중요한 역할을 하고 있음을 알 수 있다. 그러나 특허문서분류에 청구항 필드를 사용하는 것은 정확도를 떨어뜨리는 경향을 보이고 있으며, 나아가 청구항 필드의 문서당 평균 길이가 요약 필드에 비해 약 4배, 기술분야 및 배경기술 필드의 전체 길이의 약 2배 긴 점을 고려했을 때, 분류과정의 처리시간 측면에서도 비효율적인 것으로 보여진다. 하지만 청구항을 독립청구항과 종속청구항으로 세분하여 독립청구항만을 고려하면 다른 결과가 도출될 수 있다는 의견도 있어, 이런 내용을 포함하여 향후 연구를 진행하는 것은 의미가 있다고 사료된다.
- 특허문서의 데이터 특징과 IPC 분류구조의 분석을 통해 IPC 서브클래스 레벨에서의 분류 수행에 있어서 의미있는 필드로 기술분야 및 배경기술 필드를 제시하였으며, 이를 확인하기 위해 특허문서의 구조적 필드가 IPC 서브클래스 레벨까지의 분류에 미치는 영향을 살펴보기 위한 특허문서의 각 필드의 조합으로 구성한 비교실험을 수행하였다. 그 결과 제목, 요약, 기술분야 및 배경기술 필드의 사용이 가장 높은 분류 정확도를 보였으며, 기술분야 및 배경기술 필드를 사용한 경우가 다른 필드의 사용에 비해 높은 분류 정확도를 보임으로써 기술분야 및 배경기술 필드가 IPC 분류에 있어서 중요한 역할을 하고 있음을 확인하였다. 또한 특허문서의 청구항 필드는 IPC 서브클래스 레벨까지의 분류에서 정확도를 떨어뜨리는 결과를 가져오는 사실도 확인하였다.
- 또한 특허문서의 청구항 필드는 IPC 서브클래스 레벨까지의 분류에서 정확도를 떨어뜨리는 결과를 가져오는 사실도 확인하였다. 그리고 630개의 IPC 서브클래스 레벨에서의 다중 레이블 분류를 통하여 특허문서 분류의 현장으로의 적용 가능성을 확인하였다.
후속연구
- 그러나 특허문서분류에 청구항 필드를 사용하는 것은 정확도를 떨어뜨리는 경향을 보이고 있으며, 나아가 청구항 필드의 문서당 평균 길이가 요약 필드에 비해 약 4배, 기술분야 및 배경기술 필드의 전체 길이의 약 2배 긴 점을 고려했을 때, 분류과정의 처리시간 측면에서도 비효율적인 것으로 보여진다. 하지만 청구항을 독립청구항과 종속청구항으로 세분하여 독립청구항만을 고려하면 다른 결과가 도출될 수 있다는 의견도 있어, 이런 내용을 포함하여 향후 연구를 진행하는 것은 의미가 있다고 사료된다.
- 향후 연구로는 사람에 의한 특허문서의 분류과정에서 제목, 요약, 배경기술 및 기술분야 등의 포괄적인 내용을 활용하여 IPC분류의 상위 레벨의 분류를 확인하고, 청구항 등을 기반으로 최종적인 IPC분류를 결정하고 있는 점을 고려해서, IPC 분류구조의 최하위 레벨인 서브그룹 까지의 실용적인 IPC 다중 레이블 분류를 목표로 특허문서의 각 필드의 특성을 고려하여 IPC분류 과정의 각 단계별로 특허문서의 필드를 선택적으로 선정하여 활용하는 계층적인 기계학습 모델 기반의 연구가 수행될 필요가 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.