초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Park과 Zhang은 최대 엔트로피 모델(maximum entropy model)을 실제 자연언어 처리에 적용함에 있어서 나타날 수 있는 여러가지 문제를 해결하기 위한 최대 엔트로피 모델(maximum entropy boosting model)을 제시하여 문서 단위화(text chunking)에 성공적으로 적용하였다. 최대 엔트로피 부스팅 모델은 쉬운 모델링과 높은 성능을 보이는 장점을 가지고 있다. 본 논문에서는 최대 엔트로피 부스팅 모델을 영어 전치사 접속 모호성 해소에 적용한다. Wall Street Journal 말뭉치에 대한 실험 결과, 아주 작은 노력을 들였음에도 84.3%의 성능을 보여 지금까지 알려진 최고의 성능과 비슷한 결과를 보였다.

Park과 Zhang은 최대 엔트로피 모델(maximum entropy model)을 실제 자연언어 처리에 적용함에 있어서 나타날 수 있는 여러가지 문제를 해결하기 위한 최대 엔트로피 모델(maximum entropy boosting model)을 제시하여 문서 단위화(text chunking)에 성공적으로 적용하였다. 최대 엔트로피 부스팅 모델은 쉬운 모델링과 높은 성능을 보이는 장점을 가지고 있다. 본 논문에서는 최대 엔트로피 부스팅 모델을 영어 전치사 접속 모호성 해소에 적용한다. Wall Street Journal 말뭉치에 대한 실험 결과, 아주 작은 노력을 들였음에도 84.3%의 성능을 보여 지금까지 알려진 최고의 성능과 비슷한 결과를 보였다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 여기서, V 는 중심동사, 小은 V 의 목적어 인 중심명사", 는 전치人}, 〃2는 전치사구의 중심명사이다. 즉, 이 문제의 목적은 부사적 접속(VP 접속)인지 형용 사적접속(NP 접속)안지를 결정하는 것이다. 예를 들어, 첫번째 문장에 해당하는 异플은 (bought, shirt, with, pockets)가 되고, 두 번째 문장에 해당하는 튜플은 (washed, shirt, w泌, soap)가 된다.

제안 방법

• 본 논문에서는 최대 엔트로피 부스팅 모델올 전치사 접속 모호성 해소 문제에 적용하였다. Wan Street Joum시 말뭉치에 대한 실험 결과, 이 모델은 84.
• 최대 엔트로피 부스팅 모델의 성능을 알아보기 위해 우리는 다음과 같은 네 종류의 알고리즘과 비교하였다: (1) baseline, (ii) 결정 트리, (ⅲ) 최대 엔트로피 모델, (ⅳ) back-off 모델. Bazine 모델은 다음과 같이 정의된다.

대상 데이터

• 사용하였다. 이 데이터는 Penn Treebank Wall Street Journal 의 구문태그 부착 말뭉치에서 추출된 것으 로, 20801 개의 학습 예제와 3097 개의 테스트 예제로 이루어져 있다. 각 예제는 4-tuple 과 목적 클래스로 이루어져 있다.
• 즉, μ, 小, 円阻" 로 이루어져 있으며, * 는 2 혹은 ¥ 이다. 이 집합에는 4039 개의 예제로 이루어진 독립적인 개발 집합(development set)이 있기 때문에, 우리는 이를 능동 학습 시의 검증 집합으로 사용하였다.

이론/모형

• 그리고, 이 모델에서는 자질의 기대값을 계산할 때의 복잡도 문제를 해결하기 위해서, 능동 학습(active learning)올 기법을 사용한다. 능동 학습에서는 필요한 학습 데이터의 크기를 줄이기 위해, 전체 학습 데이터를 다 사용하기 보다는 정보량이 많은 예제를 먼저 학습한다.
• 능동 학습에서는 필요한 학습 데이터의 크기를 줄이기 위해, 전체 학습 데이터를 다 사용하기 보다는 정보량이 많은 예제를 먼저 학습한다. 그림 1은 능동 학습 과정을 보여준다 마지막으로, 이 모델은 자연언어 자체에 내재하는 학습 데이터의 불균형 분포 문제를 해결하기 위하여 최대 엔트로피 모델 위에 AdaBoost[2]를 적용한다. 학습 데이터의 불균형은 대부분의 기계학습 알고리즘의 재현도를 낮춤으로써 성능을 떨어뜨리는 원인이 된다[3].
• 매우 효율적임을 보였다. 이 모델에서는 간단한 일차자질로부터 복잡하고 적합한 자질을 자동으로 구성하기 위해서 결정 트리(decision tree)를 사용하였다. 학습된 결정트리는 쉽게 if-then 규칙의 집합으로 쉽게 변경할 수 있기 때문에 , 자질은 결정 트리를 if-then 규칙으로 변환함으로써 .

성능/효과

• 해소 문제에 적용하였다. Wan Street Joum시 말뭉치에 대한 실험 결과, 이 모델은 84.3%의 정확도을 보여, 지금까지 알려진 가장 좋은 알고리즘의 정확도와 거의 차이가 없는 성능을 보였다. 하지만, 이 모델을 구성하기 위한 사전 지식이 거의 들지 않았고, 최대 엔트로피 부스팅 모델의 과도한 계산량도 능동 학습 올 통해 해소되었다.
• 3%로 지금까지 알려진 최고의 성능인 back-off 모델 [기과 거의 비슷하며, 일반 최대 엔트로피 모델이나 결정 트리보다 훨씬 좋은 성능을 보였다. 심지어, 부스팅을 하지 않았을 때에도 이 두 학습 알고리즘보다 좋은 성능인 81.8%의 성능올 보였다.
• 표 1은 각 분류기의 정확도를 보인다. 최대 엔트로피 부스팅 모델은 84.3%로 지금까지 알려진 최고의 성능인 back-off 모델 [기과 거의 비슷하며, 일반 최대 엔트로피 모델이나 결정 트리보다 훨씬 좋은 성능을 보였다. 심지어, 부스팅을 하지 않았을 때에도 이 두 학습 알고리즘보다 좋은 성능인 81.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기