초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

전문용어란 전문분야의 개념이 언어적으로 표현된 형태이다. 전문분야마다 분야 특성 적인 개념이 사용되므로, 전문용어는 전문분야를 특성화하는 단위로 사용된다. 따라서 전문분야문서에 대한 자연언어처리에서 전문용어를 효과적으로 처리하는 것은 매우 중요하다. 전문용어 추출은 분야 특성적인 전문용어를 해당 분야 문서에서 파악하는 작업을 말한다. 본 논문에서는 기계학습방법을 이용한 전문용어 자동 추출 기법을 제안한다. 본 논문의 기법은 전문분야 사전과 전문분야 문서를 이용하여 문서에서 나타나는 전문용어의 특성을 파악하고 이를 이용하여 전문용어를 추출한다. 본 논문의 기법은 70,000단어 수준의 영어 의학분야 300개 문서에 대하여 약 77%의 정확률로 전문용어를 추출하였다.

전문용어란 전문분야의 개념이 언어적으로 표현된 형태이다. 전문분야마다 분야 특성 적인 개념이 사용되므로, 전문용어는 전문분야를 특성화하는 단위로 사용된다. 따라서 전문분야문서에 대한 자연언어처리에서 전문용어를 효과적으로 처리하는 것은 매우 중요하다. 전문용어 추출은 분야 특성적인 전문용어를 해당 분야 문서에서 파악하는 작업을 말한다. 본 논문에서는 기계학습방법을 이용한 전문용어 자동 추출 기법을 제안한다. 본 논문의 기법은 전문분야 사전과 전문분야 문서를 이용하여 문서에서 나타나는 전문용어의 특성을 파악하고 이를 이용하여 전문용어를 추출한다. 본 논문의 기법은 70,000단어 수준의 영어 의학분야 300개 문서에 대하여 약 77%의 정확률로 전문용어를 추출하였다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 본 논문의 기법은 학습을 통하여 사전에 등재되어 있지 않는 전문용어를 정확히 찾아내는 것을 목표로 한다. 따라서 학습 과정에서 청 확률의 감소를 최소화하면서 커버율을 높이는데 목적이 있다. 실험 결과는 15.
• 본 논문에서는 EM 알고리즘을 이용한 전문용어추출기법을 제안하였다. 본 논문에서는 전문용어추출에서 통계적 필터링 문제를 전문용어 후보에 대한 분류 문제로 변환하여 전문용어를 추출하였다.
• 본 논문에서는 이러한 문제점들을 해결하기 위하여 기계학 습방법을 이용한 전문용어 자동 추출 기법을 제안한다. 본 논문의 기법은 두 단어 이상의 전문용어뿐만 아니라 한 단어로 구성된 전문용어를 추출 대상으로 한다.
• 또한, 전문 분야 사전과 전문 분야 문서를 이용 하역 문서에서 나타나는 전문용어의 특성을 파악하고, 학습을 통하여 전문용어를 추출한다. 본 논문에서는 해당 분야의 전문용어가 같은 분야의 문서에서 비슷한 문맥을 가지고 나타난다는 사실에 기반하여 대상 함수를 설계하여 전문용어를 추출한다. 예를 들어, 의학 분야 문서에서 전문용어 는 다음과 같은 패턴을 가지고 나타난다.
• 이는 사전만으로 파악할 수 있는 전문용어와 비전문용어가 한정되어 있음을 나타낸다. 본 논문의 기법은 학습을 통하여 사전에 등재되어 있지 않는 전문용어를 정확히 찾아내는 것을 목표로 한다. 따라서 학습 과정에서 청 확률의 감소를 최소화하면서 커버율을 높이는데 목적이 있다.

가설 설정

• 본 논문에서는 11- 포인트 평균 정확률을 구하기 위하여, 전문용어 후보 9, 600여 개 중 전문용어로 판별되는 6, 930개의 후보를 모두 추출하였을 때 재현율이 100%라고 가정한다. 그리고 재현율이 0% 지점에서 100%의 정확률을 가진다고 가정한다[9]. 이를 기준으로 재현율 0%시00% 지점을 찾아 해당 지점에서의 정확률을 계산한다.
• 이는 상위에 적합한 용어가 많이 존재할수록 높은 11-포인트 평균 정확률을 얻을 수 있음을 의미한다. 본 논문에서는 11- 포인트 평균 정확률을 구하기 위하여, 전문용어 후보 9, 600여 개 중 전문용어로 판별되는 6, 930개의 후보를 모두 추출하였을 때 재현율이 100%라고 가정한다. 그리고 재현율이 0% 지점에서 100%의 정확률을 가진다고 가정한다[9].

제안 방법

• 표 2눈 기존의 기법과 본 논문의 기법을 비교 평가한 실험 결 과이다. 각 시스템의 전체적인 성 등을 비교. 평가하기 위하여 정보검색 분야에서 사용되는 H 포인트 평균 정확률로 평가하였다.
• 본 논문의 기법은 두 단어 이상의 전문용어뿐만 아니라 한 단어로 구성된 전문용어를 추출 대상으로 한다. 또한, 전문 분야 사전과 전문 분야 문서를 이용 하역 문서에서 나타나는 전문용어의 특성을 파악하고, 학습을 통하여 전문용어를 추출한다. 본 논문에서는 해당 분야의 전문용어가 같은 분야의 문서에서 비슷한 문맥을 가지고 나타난다는 사실에 기반하여 대상 함수를 설계하여 전문용어를 추출한다.
• k\cj) 의 학습을 의미한다. 본 논문에서는 EM알고리즘을 이용하여 PI訪니为와 Pf寧를 학습하여 전문용어후보를 분류한다
• 이 예제어j서, af聞ct, 의 주어와 목적어는 전문용])이며, Wfect, 를 술어로서 공유한다. 본 논문에서는 이러한 패턴올 문맥 패턴이 라고 정의하고, 이를 이용하여 전문용어를 추출한다.
• 본 논문에서는 EM 알고리즘을 이용한 전문용어추출기법을 제안하였다. 본 논문에서는 전문용어추출에서 통계적 필터링 문제를 전문용어 후보에 대한 분류 문제로 변환하여 전문용어를 추출하였다. 본 논문의 기법은 전문 분야 사전과 일반분야 사전의 표 제어를 씨앗 정보로 사용하여 전문용어추출을 위한 파라메터를 학습하였다.
• 본 논문에서는 통계적 필터링 과정을 전문용어 후보의 분류문제 로 변환하여 해결한다. 즉, 주어진 전문용어 후보 £에 대하여 전문용어 후보의 부류 q로 분류하는 문제로 변환할 수 있다.
• 본 논문의 기법은 언어적 필터링 과정을 포함하는 전처리 단계와 통계적 필터링 과정을 포함하는 학습 단계로 구성된다. 전처리 단계에서는 문서에 대한 구문분석을 수행하고 구문분석 결과에서 명사구를 전문용어 후보로 인식한다.
• 본 논문에서는 전문용어추출에서 통계적 필터링 문제를 전문용어 후보에 대한 분류 문제로 변환하여 전문용어를 추출하였다. 본 논문의 기법은 전문 분야 사전과 일반분야 사전의 표 제어를 씨앗 정보로 사용하여 전문용어추출을 위한 파라메터를 학습하였다. 실험 결과 본 논문의 기법은 약 77%의 정확률로 전 문용 어를 추출하였으며, 기존의 연구보다 우수한 성능을 나타냄을 알 수 있었다
• 전문분야 코퍼스에서 전문용어 사전에 등재된 용어가 출현할 경우, 전문용어로 판단하고 일반분야 사 전에 등재된 용어가 출현할 경우 비전문용어로 판별한다. 사전에 의해 판별된 전문용어와 비전문용어 정보를 씨앗 정보로 분 류대상함수의 초기 파라메터를 학습한다. 씨앗정보는 전문분야 코퍼스 상에 나타나는 모든 전문용어와 비전문용어를 고려한 것이 아닌 사전에 등재된 용어만을 관찰 대상으로 했기 때문에 불완전한 관찰 데이터라고 할 수 있다.
• 실험은 EM 알고리즘을 이용한 학습 단계별 평가를 위한 실험과 기존연구와의 비교 실험을 수행하였다. 학습 단계별 평가에서는 학습을 수행하면서 전문용어 분류의 성능 평가를 위하여 식 (15) 의 정확률, 커버율, F1 값을 사용한다[9].
• 기존 연구에서의 통계적 필터링은 전문용어 후보 에 대한 순위화 작업으로 정의된다. 전문용어의 일반적인 특성을 점수함수로 모델링하고, 점수함수로 전문용어 후보들에 점수를 부여하였다. 기존의 연구들은 전문용어 후보의 빈도수, 전문 용어 후보 간의 내포 관계, 전문용어 후보의 문맥 정보 등을 이용하여 점수함수를 모델링 하였다.
• 기존 연구의 전문용어추출 결과가 전문용어 후보에 대한 용어 부류를 할당한 것이 아니라 점수함수에 의해 순위화된 전문용어 후보를 나타내므로 직접적인 비교가 어렵다. 제안하는 기법과의 비교를 위하여, 본 논문에서는 제안하는 전문용어추출 결과를 전문용어 후보가 전문 용어로 분류될 확률값으로 순위화하여 평가한다. 기존방법과의 성능을 비교하기 위하여 정보검색 분야에서 사용되는 11-포인트 평균 정확률 (11-point average preceision)을 사용하였다[9].
• 하지만 기존의 방법들은 크게 네 가지 한계점을 가진다. 첫째, 기존의 방법은 두 단어 이상으로 구성된 전문용어만을 추출 대상으로 한다. 대부분의 전문용어가 이러한 형태로 나타나 지만, 하나의 단어로 구성된 전문용어도 많다.
• 以膻”니卬와 pM)를 효과적으로 학습하기 위해서는 대량의 정 답이 표지된 학습데이터가 필요하다. 하지만 전문용어추출을 위한 정답이 표지된 학습데이터가 부족하기 때문에, 본 논문에서는 정답이 표지되지 않은 전문분야 코퍼스와 사전만을 이용하여 학습을 수행한다. 전문분야 코퍼스에서 전문용어 사전에 등재된 용어가 출현할 경우, 전문용어로 판단하고 일반분야 사 전에 등재된 용어가 출현할 경우 비전문용어로 판별한다.
• 학습 단계 에서는 전처리 단계에서 추출된 전문용어 후보와 전문용어 후보 의 구문 관계를 기반으로 전문용어추출을 위한 파라메터를 학습한다. 학습된 파라메터를 이용하여 전문용어를 추출한다. 그림 1은 시스템의 전체구조를 나타낸다.

대상 데이터

• 실험에 사용한 문서는 생물 의학 분야 영어 논문 초록을 포함하는 MEDLINE을 사용하였다. MEDLINEe 4, 600개의 생물의학분 야 논문지의 논문초록으로 구성되어 있다. 본 논문에서는 이들 중 분자 생물학 분야로 실험의 범위를 한정하여 3, 000문장 70, 000단어 수준의 300개 문서를 대상으로 실험을 수행하였다.
• MEDLINEe 4, 600개의 생물의학분 야 논문지의 논문초록으로 구성되어 있다. 본 논문에서는 이들 중 분자 생물학 분야로 실험의 범위를 한정하여 3, 000문장 70, 000단어 수준의 300개 문서를 대상으로 실험을 수행하였다. 전문용어 사전은 의학 분야 전문 용어사전 PMLS Specialist lexicon, 을 사용하였으며, 일반분야 사전으로는 Brill 태거의 명 사사 전을 사용하였다.
• 본 논문에서는 이러한 문제점들을 해결하기 위하여 기계학 습방법을 이용한 전문용어 자동 추출 기법을 제안한다. 본 논문의 기법은 두 단어 이상의 전문용어뿐만 아니라 한 단어로 구성된 전문용어를 추출 대상으로 한다. 또한, 전문 분야 사전과 전문 분야 문서를 이용 하역 문서에서 나타나는 전문용어의 특성을 파악하고, 학습을 통하여 전문용어를 추출한다.
• 실험에 사용한 문서는 생물 의학 분야 영어 논문 초록을 포함하는 MEDLINE을 사용하였다. MEDLINEe 4, 600개의 생물의학분 야 논문지의 논문초록으로 구성되어 있다.

데이터처리

• 제안하는 기법과의 비교를 위하여, 본 논문에서는 제안하는 전문용어추출 결과를 전문용어 후보가 전문 용어로 분류될 확률값으로 순위화하여 평가한다. 기존방법과의 성능을 비교하기 위하여 정보검색 분야에서 사용되는 11-포인트 평균 정확률 (11-point average preceision)을 사용하였다[9]. 11.
• 각 시스템의 전체적인 성 등을 비교. 평가하기 위하여 정보검색 분야에서 사용되는 H 포인트 평균 정확률로 평가하였다. 표 2에서 이상적인 시스템은 100%의 11포인트 평균 정확률을 나타냄을 알 수 있다.

이론/모형

• 본 논문에서는 이들 중 분자 생물학 분야로 실험의 범위를 한정하여 3, 000문장 70, 000단어 수준의 300개 문서를 대상으로 실험을 수행하였다. 전문용어 사전은 의학 분야 전문 용어사전 PMLS Specialist lexicon, 을 사용하였으며, 일반분야 사전으로는 Brill 태거의 명 사사 전을 사용하였다.
• 씨앗정보는 전문분야 코퍼스 상에 나타나는 모든 전문용어와 비전문용어를 고려한 것이 아닌 사전에 등재된 용어만을 관찰 대상으로 했기 때문에 불완전한 관찰 데이터라고 할 수 있다. 학습은 불완전한 관찰 데이터로부터 최우도추정값을 찾는 효과적인 알고리즘인 EM알 고리즘에 의해 수행된다. EM알고리즘을 이용한 파라메터 학습 [5, 6, 기은 다음과 같이 표현된다.

성능/효과

• 기존방법과의 성능을 비교하기 위하여 정보검색 분야에서 사용되는 11-포인트 평균 정확률 (11-point average preceision)을 사용하였다[9]. 11.포 인트 평균 정확률은 재현율이 0%, 10%, 20%, 30%, …, 90%, 100% 지점일 때의 정확률을 계산한 뒤, 11개 지점의 정확률을 합하고 이를 평균하여 나타내어진다. 따라서, 각 재현율의 지점에서 높은 정확률을 보일 경우 11-포인트 평균 청 확률이 높게 나타난다.
• 하지만 기계가독형 언어자원을 구축하기 위한 도구들의 점진적인 개발은 전문용어추출 분야에 전문 분야 사전이 점차적으로 사용하는 계기를 마련하였다. 넷째, 기존의 연구들은 일반적인 전문용어의 특성에 기반한 점수함수로 전문용어를 추출한다. 따라서 분야에 특성적인 전문용어의 정보를 효과적으로 파악하는데 그 한계가 있다.
• 표 2에서 이상적인 시스템은 100%의 11포인트 평균 정확률을 나타냄을 알 수 있다. 따라서 11포인트 평균 정확 뮬이 100%에 가까울수록 전문용어를 효과적으로 추출함을 알 수 있다. 본 논문의 기법은 Justeson 등[2]의 기법보다 14.
• 포 인트 평균 정확률은 재현율이 0%, 10%, 20%, 30%, …, 90%, 100% 지점일 때의 정확률을 계산한 뒤, 11개 지점의 정확률을 합하고 이를 평균하여 나타내어진다. 따라서, 각 재현율의 지점에서 높은 정확률을 보일 경우 11-포인트 평균 청 확률이 높게 나타난다. 이는 상위에 적합한 용어가 많이 존재할수록 높은 11-포인트 평균 정확률을 얻을 수 있음을 의미한다.
• 5%의 정 확뷸 감소로 76%의 커버율을 높여 본 논문의 기법이 효과적으로 전문용어를 추출함을 알 수 있다. 본 논문의 기법은 9, 600개의 전문용어 후보를 추출하였으며, 이 중 약 77%의 전문용어 후보 에 대한 용어 부류를 올바르게 할당함을 알 수 있다.
• 따라서 11포인트 평균 정확 뮬이 100%에 가까울수록 전문용어를 효과적으로 추출함을 알 수 있다. 본 논문의 기법은 Justeson 등[2]의 기법보다 14.84%의 성능향상을 보이며, Frantzi 등[3]의 기법보다 6.75%의 성능향상을 나타낸다.
• 본 논문의 기법은 전문 분야 사전과 일반분야 사전의 표 제어를 씨앗 정보로 사용하여 전문용어추출을 위한 파라메터를 학습하였다. 실험 결과 본 논문의 기법은 약 77%의 정확률로 전 문용 어를 추출하였으며, 기존의 연구보다 우수한 성능을 나타냄을 알 수 있었다
• 따라서 학습 과정에서 청 확률의 감소를 최소화하면서 커버율을 높이는데 목적이 있다. 실험 결과는 15.5%의 정 확뷸 감소로 76%의 커버율을 높여 본 논문의 기법이 효과적으로 전문용어를 추출함을 알 수 있다. 본 논문의 기법은 9, 600개의 전문용어 후보를 추출하였으며, 이 중 약 77%의 전문용어 후보 에 대한 용어 부류를 올바르게 할당함을 알 수 있다.

후속연구

• 예를 들어, 'scavenger5, hanductioife 일반분야에서 각각, 청소도구, , , 변환, 이라는 의미를 가지지만, 의학 분야에서는 각각, 헤모글로빈, , , 형질도입, 이라는 의미를 가지는 전문용어이다. 향후 이들 오류에 대한 보완이 필요할 것으로 생각된다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기