선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 통계적 전문용어 추출기법에서는 전문용어의 대부분을 차지하는 명사구만을 전문용어 후보로 추출한 후, 다양한 통계적 기법을 이용하여 비교적 높은 정확률을 가지는 전문용어 추출 결과를 제시하였다. 본 논문에서는 기존의 통계 적 전문용어 추출 기법의 한계를 극복하기 위한 새로운 통계적 전문용어 추출기법을 제안한다..
- 본 논문에서는 이러한 문제점들을 해결하기 위하여 기계학습 방법을 이용한 전문용어 자동 추출기법을 제안한다, 첫째, 다 중단어 전문용어 뿐만 아니라 한 단어로 구성된 전문용어를 추출 대상으로 한다. 둘째, 기존의 전문 용어를 포함하는 전문 분야 사전을 이용하여 문서에서 나타나는 전문용어를 파악한다.
- 본 논문에서는 전문용어후보의 분류기법을 이용한 전문용어추 출기법을 제안하였다. 본 논문에서는 전문용어추출에서 통계적 필터링 문제를 전문용어후보에 대한 분류문제로 변환하여 전문 용어를 추출하였다.
제안 방법
- 각 특성 자질 유무에 따른 비교 실험의 평가를 위하여 정확률, 재현율, F-값을 사용한다. 기존연구와의 비교 실험에서는 제안하는 전문용어 추출 기법과 [1, 2, 4]의기법 과의 비교평가를 수행한다. 제안하는 기법과의 비교를 위하여, 본 논문에서는 제안하는 전문용어추출 결과를 전문용어 후보가 전문 용어로 분류될 확률값 또는 유사도 등으로 순위화하여 비교 평가하였으며, 정보검색 분야에서 사용하는 11포인트 평균 정 확률(llpt-avg)로 평가하였다.
- 셋 째, 전문분야 문서에 나타나는 전문용어 및 일반용어의 특성을 파악하고, 학습을 통하여 전문용어를 추출한다. 넷째, 전문용어의 특성은 여러가지 특성 자질으로 표현되며, 이를 효과적으로 통합할 수 있는 기계학습기법을 이용하여 전문용어를 추출한다.
- 본 논문에서는 이러한 문제점들을 해결하기 위하여 기계학습 방법을 이용한 전문용어 자동 추출기법을 제안한다, 첫째, 다 중단어 전문용어 뿐만 아니라 한 단어로 구성된 전문용어를 추출 대상으로 한다. 둘째, 기존의 전문 용어를 포함하는 전문 분야 사전을 이용하여 문서에서 나타나는 전문용어를 파악한다. 셋 째, 전문분야 문서에 나타나는 전문용어 및 일반용어의 특성을 파악하고, 학습을 통하여 전문용어를 추출한다.
- 최대엔트로피모델은 주어진 특성 자질함수와 학습 데이터를 이용하여 우도(likelihood)를 최대화하는 확률분포를 도출한다. 본 논문에서는 2.3.1절에 기술된 특성 자질을 이용하여 특성자질함수를 구성하고 이를 이용하여 학습과 분류를 수행한다. 예를 들어, 어휘/구문적 특성자질 함수 중 주어 신 전문용어후보 匕의 중심어가 ge 服인지를 나타내는 특성자질 함수 (心 e) 는 식(3)과 같이 표현된다.
- 본 논문에서는 이러한 세 가지 특성 자질을 이용하여 분류 패턴 을 학습하여 전문용어 후보를 분류한다.
- 본 논문에서는 전문용어후보의 분류기법을 이용한 전문용어추 출기법을 제안하였다. 본 논문에서는 전문용어추출에서 통계적 필터링 문제를 전문용어후보에 대한 분류문제로 변환하여 전문 용어를 추출하였다. 본 논문의 기법은 전문분야 사전과 일반분 야사전의 표제어를 씨앗치식으로 사용하여 문서에서 나타나는 전문용어와 일반용어의 패턴을 학습하였다.
- g, "shed receptor binds interleukin-2", “tumour suppressor gene affects E2F-mediated regulation''). 본 논문에서는 전문용어후보와 주어 및 목적 어 관계를 가지는 동사를 구문적 특성자질 로 정의하고 이를 이용하여 전문용어후보를 표현한다.
- 전문용어의 많은 부분은 명사 구 형태로 나타나며, 이러한 특성으로 인하여 기존의 많은 연구에서는 전분 분야문서에서 나타나는 명사구를 전문용어후보로 추출하였다. 본 논문에서도 전문 용어 후보를 명사구로 한정하고 전문용어후보를 추출한다. 본 논문에서 추출한 명사구의 형태는 다음과 같은 정규표현으로 표현된다.
- 본 논문에서는 전문용어추출에서 통계적 필터링 문제를 전문용어후보에 대한 분류문제로 변환하여 전문 용어를 추출하였다. 본 논문의 기법은 전문분야 사전과 일반분 야사전의 표제어를 씨앗치식으로 사용하여 문서에서 나타나는 전문용어와 일반용어의 패턴을 학습하였다. 패턴의 학습을 위하여 본 논문에서는 형태적 특성자질, 어휘/구문적 특성자질, 전문용어적 특성자질을 정의하였으며, 이를 통하여 분류기에서 사용되는 파라메터를 학습하였다.
- 전문용어 후보에 대한 분류를 위해서는 분류 패턴이 필요하다. 분류 패턴은 전문용어와 일반용어의 차이를 표현해주기 위한 특성자질의 집합으로 표현되며, 본 논문에서는 형태적 특성 자질, 어휘/구문적 특성자질, 사전적 특성자질을 사용하였다.
- 둘째, 기존의 전문 용어를 포함하는 전문 분야 사전을 이용하여 문서에서 나타나는 전문용어를 파악한다. 셋 째, 전문분야 문서에 나타나는 전문용어 및 일반용어의 특성을 파악하고, 학습을 통하여 전문용어를 추출한다. 넷째, 전문용어의 특성은 여러가지 특성 자질으로 표현되며, 이를 효과적으로 통합할 수 있는 기계학습기법을 이용하여 전문용어를 추출한다.
- 실험은 각 특성 자질 유무에 따른 비교 실험과 기존연구와의 비교 실험을 수행하였다. 각 특성 자질 유무에 따른 비교 실험의 평가를 위하여 정확률, 재현율, F-값을 사용한다.
- 이들 연구를 통계적 전문용어 추츨기법이라고 한다. 통계적 전문용어 추출기법에서는 전문용어의 대부분을 차지하는 명사구만을 전문용어 후보로 추출한 후, 다양한 통계적 기법을 이용하여 비교적 높은 정확률을 가지는 전문용어 추출 결과를 제시하였다. 본 논문에서는 기존의 통계 적 전문용어 추출 기법의 한계를 극복하기 위한 새로운 통계적 전문용어 추출기법을 제안한다.
- 본 논문의 기법은 전문분야 사전과 일반분 야사전의 표제어를 씨앗치식으로 사용하여 문서에서 나타나는 전문용어와 일반용어의 패턴을 학습하였다. 패턴의 학습을 위하여 본 논문에서는 형태적 특성자질, 어휘/구문적 특성자질, 전문용어적 특성자질을 정의하였으며, 이를 통하여 분류기에서 사용되는 파라메터를 학습하였다. 본 논문의 기법은 단일언어 전문용어 및 다중언어 전문용어를 파악할 수 있는 알고리즘으 로 86%의 정확률과 90%의 재현율을 나타내었다.
대상 데이터
- 본 논문에서는 영어의 의학 분야 전문 용어를 추출하기 위하여 670개 생물의학 분야 영어논문 초록을 포함하는 GENIA2.이 코퍼스[9]를 사용하였다. 사전적 특성 자질과 전문용어후보의 초기 분류를 위한 지식으로 의학 분야 전문용어 사전 UMLS Specialist lexicon[\0] 와 Brill 태게 11]의 명사사전을 사용하였다,
- 따라서 같은 접사 및 어근을 가진 전문용어후보는 유사한 개념을 표현한다. 본 논문에서는 이러한 그리스/라틴어 원 정보와 접사 및 어근 정보를 이용하였다.
데이터처리
- 기존연구와의 비교 실험에서는 제안하는 전문용어 추출 기법과 [1, 2, 4]의기법 과의 비교평가를 수행한다. 제안하는 기법과의 비교를 위하여, 본 논문에서는 제안하는 전문용어추출 결과를 전문용어 후보가 전문 용어로 분류될 확률값 또는 유사도 등으로 순위화하여 비교 평가하였으며, 정보검색 분야에서 사용하는 11포인트 평균 정 확률(llpt-avg)로 평가하였다.
이론/모형
- 실험은 각 특성 자질 유무에 따른 비교 실험과 기존연구와의 비교 실험을 수행하였다. 각 특성 자질 유무에 따른 비교 실험의 평가를 위하여 정확률, 재현율, F-값을 사용한다. 기존연구와의 비교 실험에서는 제안하는 전문용어 추출 기법과 [1, 2, 4]의기법 과의 비교평가를 수행한다.
- 이로 인해 전문 분야마다 또는 전문 분야 문서마다 전문 용어가 나타나는 양상에 대한 학습이 없이 일반적인 통계적 특성을 이용하기 때문에 전문용어를 추출하는데 한계가 있다. 넷째, 기존 연구들에서는 새로운 특성을 나타내는 점수함수를 추가하기 위해선형결합 (linear interpolation)을 이용하였다. 하지만 선형 결합은 각 점수함수를 나타내 눈 특성 간의 의존성을 고려하 는데 한계가 있으며, 선형 결합되는 각 점수함수에 대한 최적의 가중치를 파악하기도 어렵다.
- 예를 들어, 어휘/구문적 특성자질 함수 중 주어 신 전문용어후보 匕의 중심어가 ge 服인지를 나타내는 특성자질 함수 (心 e) 는 식(3)과 같이 표현된다. 본 논문에서는 자질들에 대한 가중치를 계산하기 위하여 Maximum entropy modeling to이kit [8]을 이용하였다,
- 학습 과정은 더 이상 새로운 분류 패턴이 나타나지 않을 때까 지 반복한다. 본 논문에서는 특성자질로 형태적 특성 자질, 어휘/구문적 특성 자질, 사전적 특성자질을 이용하며, 최대엔 트로피 모델 (Maximum entropy model)-s 이용하여 학습을 수행한다.
- 이 코퍼스[9]를 사용하였다. 사전적 특성 자질과 전문용어후보의 초기 분류를 위한 지식으로 의학 분야 전문용어 사전 UMLS Specialist lexicon[\0] 와 Brill 태게 11]의 명사사전을 사용하였다,
성능/효과
- llpt-쇼vg이 100%에 가까울수록 전문 용어를 효과적으로 추출한다고 판단할 수 있다. 기존 연구의 llpt-avge 73%~77%를 나타내며, 본 논문의 기법은 92%를 나타낸다. 이를 통해 본 논문의 기법은 기존 연구보다 16~21%의 성능 향상을 나타냄을 알 수 있다.
- 본 논문의 기법은 단일언어 전문용어 및 다중언어 전문용어를 파악할 수 있는 알고리즘으 로 86%의 정확률과 90%의 재현율을 나타내었다. 또한 기존연 구보다 최고 21%의 성능향상을 나타내었다.
- 패턴의 학습을 위하여 본 논문에서는 형태적 특성자질, 어휘/구문적 특성자질, 전문용어적 특성자질을 정의하였으며, 이를 통하여 분류기에서 사용되는 파라메터를 학습하였다. 본 논문의 기법은 단일언어 전문용어 및 다중언어 전문용어를 파악할 수 있는 알고리즘으 로 86%의 정확률과 90%의 재현율을 나타내었다. 또한 기존연 구보다 최고 21%의 성능향상을 나타내었다.
- 둘째, 대부분의 기존 연구 들은 해당분야에 이미 존재하는 전문용어 정보를 사용하지 않고 전문용어를 추출한다’ 새로운 전문용어는 기존의 전문용어 를 기반으로 생성되는 경우가 많기 때문에 기존의 전문용어외 정보는 전문용어 추출에 매우 중요하다. 셋째, 기존의 연구들은 일반적인 전문용어의 특성에 기반한 점수함수로 전문용어를 추출한다. 이로 인해 전문 분야마다 또는 전문 분야 문서마다 전문 용어가 나타나는 양상에 대한 학습이 없이 일반적인 통계적 특성을 이용하기 때문에 전문용어를 추출하는데 한계가 있다.
- 실험은 각 특성 자질을 단독으로 사용한 경우, 두 개의 특성 자질을 조합하여 사용한 경우, 세 개의 특성자 질을 모두 사용한 경우 의 결과를 나타낸다. 실험 결과에서 각 특성 자질만을 이용한 결과는 87.45%로 DF가 가장 높은 성능올 나타내었으며, 79.75%로 OF가 가장 낮은 성능을 나타내었다. 따라서 전문용어후보의 분류에서 DF가 가장 효과적인 특성자질 임을 알 수 있다.
- 기존 연구의 llpt-avge 73%~77%를 나타내며, 본 논문의 기법은 92%를 나타낸다. 이를 통해 본 논문의 기법은 기존 연구보다 16~21%의 성능 향상을 나타냄을 알 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.