선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 더욱이 후보 어절을 확장함으로써 사전의 메모리가 커지는 문제점이 발생하였다. 따라서 본 연구는 (r) 자료 부족 문제와 («-) 메모리 크기 문제를 동시에 해결할 수 있는 형태소 unigram과 형태소 범주 패턴에 기반을 둔 띄어쓰기 기법을 제시한다.
- 왜냐하면, 어절 띄어쓰기는 어절의 경계를 인식하는 것이지 음절의 경계를 인식하는 것이 아니기 때문이다. 따라서 본 연구의 선행 연구에서는 n-gram의 차수를 늘이지 않고 어절 경계를 인식함으로써 어절 띄어쓰기를 인식론적 관점에서 해결하기 위하여 노력하였다.
- 범주별 결합 가중치를 반영하기 위하여 형태소 출현확률에 범주별 결합 가증치를 숭수로 두었으며, 이에 관하여는 다음 절에서 논하도록 하겠다. 그림 1은 위 식 (12)와 (13)을 사용한 범주패턴 기반 띄어쓰기 모델의 처리 과정을 도식화한 것이다.
- 기반으로 계산할 수 있다. 본 논문에서는 이를 위하여 어절을 구성하는 범주 패틴 내에 각 형태소 가속한 범주의 기여도를 기여 가중치로 두고 학습을 이용하여 이 가중치를 얻어낸다.
- 본 연구에서는 형태소 unigram을 이용한 범주 패턴 기반 한국어 자동 띄어쓰기 모델을 제안하였다. 이를 위하여。) 실제 관측된 어절의 출현 확률과 (Q 형태소와 범주 패턴을 이용하여 추정한 후보 어절의 출현 확률을 간의 차이를 최소화 하는 방향으로 범주 패턴 내 범주가중치를 학습하여 적용하였다.
- 한국어의 이와 같은 특성을 고려하여 정확한 띄어쓰기를 자동으로 제시함으로써 한국어 문장을 문법적으로 정확한 어절의 나열로 만들기 위하여, 본 연구의 선행연구에서는 어절 unigram 기반의 통계적인 띄어쓰기 모델을 제안하였다. 이 연구에서는 통계적 어절 uni~ gram 기반 접근 방식에서 발견되는 자료부족 문제를 해결하기 위해 통계적 기법인 음절 bigram에 기반하여 어절의 경계에 대한 정보를 보완하고 규칙/지식에 기반하여 후보 어절 제시하는 혼합모델을 제안하였지만, 여전히 데이타 부족문제를 모두 해결할 수는 없었다[6].
가설 설정
- . 어절 내에 단일 형태소 범주를 가진 패턴 N, ADVt BN, MDQ, MD, PN, HI 은 곧 어절이다. 따라서 이 패턴들은 따로 학습할 필요가 없으므로, 형태소 범주의 결합 가중치를 고려하지 않는다.
- . 종성에 비、, 从, 初, 리、이 있는 음절은 단어 경계가 되는 공백과 같이 나타날 수 없다.
- . 초성에 己을 포함하는 음절은 외래어를 제외하고는 단어 경계의 왼쪽에 나타날 수 없다.
- . 한글의 어순은 자유롭지만, 국부적인 통사 제약은 존재한다. 즉, 특정 어미, 의존명사, 보조 동사 등은 통사 제약 아래 고정적 음절 패턴을 보인다,
- 음절은 bigram 사용에 그리 큰 어려움이 없었지만, 형태소는 그 종류가 어절에 비해서는 적지만, 음절에 비해서는 엄청난 양이므로 형태소 uni- gram이상은 적용하기 힘들다. 따라서, 본 논문은 형태소가 각각 독립적으로 출현한다는 가정 하에 형태소 unigram을 사용한다.
- 어절 unigram 모델에서는 문장 내에 각 어절들의 출현이 서로 독립 사건이라고 가정한다. 교착어적인 특성상 한국어는 어절의 배열이 자유롭지만, 문장 구성상 국부적인 통사 제약이 존재하기 때문에 특정 부분에서 고정 음절 패턴을 발견할 수 있다(2.
- 한 어절은 하나 혹은 여러 개의 형태소로 구성되며, 형태소의 구성은 특별한 범주 패턴을 이루고 있다. 정의 2를 기반으로 본 연구에서는 단일 형태소가 한 어절이 구성하는 경우는 제외하고 2개 이상의 형태소가 한 어절을 구성할 때 어절과 형태소의 관계를 다음과 같이 가정하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.