선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 띄어쓰기가 전혀 되어 있지 않은 문장을 입력받아 자동으로 띄어쓰기를 해주는 시스템을 제안한다. 본 논문에서 제안하는 시스템은 띄어쓰기가 되어 있는 말뭉치를 대상으로 CRF(Conditional Random Fields)에 기반한 학습을 하는데, CRF는 입력 데이터 열에 대하여 레이블을 부착하는 문제에 있어서 HMM(Hidden Markov Model)이나 MEMM(Maximum Entropy Markov Model)에 비하여 우수한 성능을 보이는 것으로 보고된 바 있다[10, 11].
- 한국어 자동 띄어쓰기 문제는 주어진 문장의 각 음절에 대하여 띄어쓰기를 할것인가 말 것인가를 나타내는 레이블을 부착하는 일종의 레이블링 문제로 볼 수 있다. 본 논문에서는 레이블링 문제 해결에 띄어난 성능을 보이는 것으로 알려진 CRF를 이용하여 한국어 자동 띄어쓰기를 시도해 보았다. 띄어쓰기가 되어 있는 원시 말뭉치로부터 약 112만 음절 규모의 학습용 데이터를 만들어 학습을 하였다.
- 위에서 살펴 본 바와 같이 한국어 자동 띄어쓰기는 일종의 레이블링 문제로 볼 수 있으므로, 본 논문에서는 레이블링 문제 해결에 탁월한 성능을 발휘하는 것으로 보고된 CRF를 한국어 자동 띄어쓰기에 적용해 보고자 한다. HMM은 입력 데이터 열과 레이블 열 사이의 결합 확률을 이용하는 생성 모델로, 상호 작용하는 자질들을 표현하거나 멀리 떨어진 입력 데이터 열 사이의 의존 관계를 표현하기 어렵다는 단점이 있다[11, 12, 13].
가설 설정
- 다음과 같이 띄어쓰기가 전혀 되어 있지 않은 개의 연속된 한국어 음절 열이 주어졌다고 하자. 이 음절 열이 몇 개의 어절로 분리되어야 하는가에 대해서는 알지 못하는 것으로 가정한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.