[논문]딥러닝 기반 특허의 종속 청구항 인식 개선

박주연; 신예지; 김민수; 김동호; 김지희

문제 정의

따라서 본 연구는 2003 년 이후의 태그 청구범위가 구분된 5 만여개의 데이터를 통해 2003 년 이전 특허 데이터의 청구항 인용 관계를 명확하게 하는 것을 목표로 한다. 특허의 청구항의 상하 포함 관계 파악은 총 2 단계로 이루어지며, 약 8 : 1 의 종속항과 독립항 간의 학습데이터의 양과 질의 균형을 향상시키기 위해 최근 텍스트 분석 분야에 획기적 성능 개선을 이끈 BERT(Bidirectional Encoder Representations From Transformers)[1] 모델을 사용하고, 특허 분류 데이터를 이용하여 파인 튜닝 한다.
이 논문에서는 특허의 청구항을 분석하여 인용 문구와 인용하는 항의 번호로 이루어진 인용 패턴을 이용하여 BERT 학습 모델에 적용시킨 후, 이 학습 모델을 이용하여 간단하게 청구항의 인용 관계를 파악하여 특허 청구항의 내용을 보다 정확하게 파악하는 데 도움이 되고자 한다.
특허를 분석하는 다양한 연구들이 진행되고 있는 가운데, 이 연구에서는 특허의 청구항들을 분석하여 독립항과 종속항을 구분하고자 한다.

제안 방법

이미 학습된 BERT 모델의 파인 튜닝을 이용하여 특허의 분류를 진행하는 연구도 있다.[2] 이 연구에서는 특허의 다른 부분이 아닌 청구항 만을 분석하여 특허의 분류를 진행한다. 같은 BERT 모델의 파인 튜닝을 이용하여 청구항을 분석하지만 최종 분류하는 결과물이 특허 전체의 분류라는 점에서 차이가 있다.
각 종속항과 독립항을 구분하기 위해서 딥러닝 모델을 활용하고자 하였으며 우선 CNN 모델을 활용하였다. 각 청구항의 네번째 이상의 어절을 더미 데이터로 보고 잘라내어 종속 여부를 라벨링 한 뒤 Lookup 테이블 (벡터화 된 입력 데이터)을 구축해 전처리과정을 마쳤다. 하지만 CNN 모델의 트레이닝 결과는 예상보다 낮은 70% 수준으로 나타났으며, 이에 대한 원인으로서 문장 구조 기반의 알고리즘과 데이터의 편향성(true: 90%, false: 10%)을 지목하였다.
앞서 만들어진 전처리 데이터를 사전 학습 된 BERT 모델에 적용하여 retraining 과정을 거쳐 종속항과 독립항을 구분하는 모델을 만들어내었다. 해당 모델의 테스트 과정을 위해 약 23,000 여개의 테스트 데이터 셋을 준비하였고 앞선 전처리 과정을 거친 후에 evaluate 하였다.
이와 같은 [claim + 숫자] 특징을 활용하여 (그림 3)과 같이 청구항 분류의 전반적인 프로세스를 구축하였다.
첫번째 문제점인 문장 구조기반의 알고리즘을 개선하기 위해 CNN 모델에서 문맥이해 기반의 알고리즘인 NLP 기반 딥러닝 모델로 변경하였다. 또한 데이터 편향성을 개선하기 위하여 사전 학습된 모델을 튜닝하는 파인 튜닝 방식을 활용하였다.
딥 러닝 을 활용한 특허를 분류하는 연구[4]에서는 특허 문서의 IPC(International Patent Classification) 와 IPC sub 분류를 진행한다. 특허 문서 분석을 위해 특징 벡터들을 추출한 후, 인코더 층과 네트워크 층을 활용하여 특징 학습을 진행한 후에 Softmax 회귀를 통해 분류를 하게 된다. 이 연구에서는 특허 문서 분석에 쓰이는 Softmax 회귀 이외에도 특허 문서의 특징을 찾는 학습 과정이 필요하게 되므로 특허 문서 분석 이전의 전처리 과정이 복잡하게 된다.
항의 인용 관계 정보를 나타낼 수 있는 태그는, 항의 정보를 가지고 있는 [CLAIM ORDER]와 인용 관계를 제시하는 [claim-ref]태그로, 이 인용 태그들을 중심으로 분석하였다.

대상 데이터

BERT 모델을 튜닝하기 위해선 해당 모델이 이해할 수 있는 형태로 데이터를 전처리 하는 과정이 필요하다. 우선 모델 학습을 위해 활용될 학습 데이터 셋(약 100,000 여개)을 .tsv 형태의 확장자로 준비하였다.
앞서 만들어진 전처리 데이터를 사전 학습 된 BERT 모델에 적용하여 retraining 과정을 거쳐 종속항과 독립항을 구분하는 모델을 만들어내었다. 해당 모델의 테스트 과정을 위해 약 23,000 여개의 테스트 데이터 셋을 준비하였고 앞선 전처리 과정을 거친 후에 evaluate 하였다.

이론/모형

각 종속항과 독립항을 구분하기 위해서 딥러닝 모델을 활용하고자 하였으며 우선 CNN 모델을 활용하였다. 각 청구항의 네번째 이상의 어절을 더미 데이터로 보고 잘라내어 종속 여부를 라벨링 한 뒤 Lookup 테이블 (벡터화 된 입력 데이터)을 구축해 전처리과정을 마쳤다.
첫번째 문제점인 문장 구조기반의 알고리즘을 개선하기 위해 CNN 모델에서 문맥이해 기반의 알고리즘인 NLP 기반 딥러닝 모델로 변경하였다. 또한 데이터 편향성을 개선하기 위하여 사전 학습된 모델을 튜닝하는 파인 튜닝 방식을 활용하였다. 이때 활용한 모델은 BERT 모델이며 BERT 는 구글이 공개한 사전 훈련된 자연어 처리의 딥러닝 모델이며 일부 성능 평가에서 인간보다 높은 정확도를 보인다.
따라서 본 연구는 2003 년 이후의 태그 청구범위가 구분된 5 만여개의 데이터를 통해 2003 년 이전 특허 데이터의 청구항 인용 관계를 명확하게 하는 것을 목표로 한다. 특허의 청구항의 상하 포함 관계 파악은 총 2 단계로 이루어지며, 약 8 : 1 의 종속항과 독립항 간의 학습데이터의 양과 질의 균형을 향상시키기 위해 최근 텍스트 분석 분야에 획기적 성능 개선을 이끈 BERT(Bidirectional Encoder Representations From Transformers)[1] 모델을 사용하고, 특허 분류 데이터를 이용하여 파인 튜닝 한다. 문맥의 구조 뿐만 아니라 문맥의 이해를 포함시킨 BERT 모델을 통해 청구항의 종속 관계를 명확하게 구분하고, 데이터 불균형 문제도 완화시킨다.

성능/효과

<표 2> 분류 결과에서는 총 19242 개의 종속항 중 실제로 종속으로 구분한 개수는 19240 개, loss 는 2 개가 나왔다, 또한, 총 4351개, loss 는 0 개가 나왔다. 결론적으로 0.07%의 낮은 손실률(Evaluate loss)로 테스트 데이터가 올바르게 분류되었다는 것을 알 수 있다.
인용 태그와 인용 태그의 앞, 뒤 문장들을 (그림 2)와 같이 파싱 하였다. 데이터를 분석한 결과, 각 data 종속항 중 인용 태그이지만 [claim + 숫자] 문구가 없는 경우는 총 1,618,116 개의 데이터 중 7696 개로 약 0.005%에 불과하였다. 따라서, 독립항과 종속항만 잘 구분해낸다면, 산술적으로 99.
005%에 불과하였다. 따라서, 독립항과 종속항만 잘 구분해낸다면, 산술적으로 99.5% 이상의 확률로 정확한 인용 태그 지침 가능할 것이라고 예상하였다.
<표 1> 높은 매튜 상관계수(MCC) 값으로 테스트 데이터가 분류되었다. <표 2> 분류 결과에서는 총 19242 개의 종속항 중 실제로 종속으로 구분한 개수는 19240 개, loss 는 2 개가 나왔다, 또한, 총 4351개, loss 는 0 개가 나왔다. 결론적으로 0.
마지막으로 인용하는 항의 번호와 인용 문구로 이루어진 인용 패턴을 이용하여 종속항의 인용 항의 번호를 찾는다. 이 방법을 2003 년 이후의 xml 형식의 미국 특허 데이터에 사용한 결과, 정확도 99% 의 성능을 확보하였다
특허의 청구항들을 독립항과 종속항으로 구분하고, 종속항의 경우 인용하고 있는 항을 찾는 BERT 학습 모델의 정확도가 99% 이상으로 높게 나왔다. 특허의 종속항들이 대부분 인용 문구와 인용하는 항의 번호 형식으로 인용 패턴이 정형화되어 있기 때문에 단순한 BERT 학습 모델으 통해서도 높은 정확도를 얻을 수 있었다.
각 청구항의 네번째 이상의 어절을 더미 데이터로 보고 잘라내어 종속 여부를 라벨링 한 뒤 Lookup 테이블 (벡터화 된 입력 데이터)을 구축해 전처리과정을 마쳤다. 하지만 CNN 모델의 트레이닝 결과는 예상보다 낮은 70% 수준으로 나타났으며, 이에 대한 원인으로서 문장 구조 기반의 알고리즘과 데이터의 편향성(true: 90%, false: 10%)을 지목하였다.

후속연구

g: 1,2,3 or 1-3)인 예외적인 경우가 존재하는데, 지금의 BERT 학습 모델로는 이런 예외 케이스들을 정확하게 찾을 수 없다. 따라서 정형화되어 있지 않은 소수의 예외 케이스들을 처리할 수 있도록 하기 위해 단순한 패턴을 통해 인용 항을 찾는 것이 아니라 문맥의 이해를 포함한 자연어 처리를 활용한 청구항 인용 방식을 학습하여, 이를 찾아낸다면 하나 이상의 청구항들을 모두 찾아낼 수 있게 되어 더 높은 정확도를 얻을 수 있을 것이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

딥러닝 기반 특허의 종속 청구항 인식 개선
Improving Recognition of Patent's Claims with Deep Neural Networks 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

딥러닝 기반 특허의 종속 청구항 인식 개선 Improving Recognition of Patent's Claims with Deep Neural Networks 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

딥러닝 기반 특허의 종속 청구항 인식 개선
Improving Recognition of Patent's Claims with Deep Neural Networks 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper