최근 자연어 처리는 대규모의 학습 말뭉치와 대용량 모델을 기반으로 하는 다양한 연구들이 제안되고 있다. 자연어 처리 모델의 일반화 성능을 향상하기 위해서 대용량의 학습 말뭉치가 필요하기 때문에 학습 말뭉치 및 데이터에 대한 필요성과 수요가 날로 증가하고 있다. 하지만 학습 말뭉치의 규모와 더불어 잘못된 라벨링이나 오탈자처럼 데이터의 질 또한 학습 모델에 주요한 영향을 끼칠 수 있다는 연구들이 발표되면서 학습 데이터의 질에 대한 연구의 필요성이 요구되고 있다. 본 논문에서는 Multi-Pass 기반의 한국어 철자 오류 탐지 및 교정 방법을 제안하고 다양한 교정 방법들을 복합적으로 사용한 모델의 성능을 비교 및 분석하였다. 제안하는 탐지 및 교정 방법은 기존의 교정 방법들과 달리 입력 문장에서 철자 오류를 우선으로 탐지하고 탐지된 철자 오류에 대해 음절, 어절, 문맥 수준의 철자 교정 방법을 적용한다. 철자 오류 탐지에는 한국어 ...
최근 자연어 처리는 대규모의 학습 말뭉치와 대용량 모델을 기반으로 하는 다양한 연구들이 제안되고 있다. 자연어 처리 모델의 일반화 성능을 향상하기 위해서 대용량의 학습 말뭉치가 필요하기 때문에 학습 말뭉치 및 데이터에 대한 필요성과 수요가 날로 증가하고 있다. 하지만 학습 말뭉치의 규모와 더불어 잘못된 라벨링이나 오탈자처럼 데이터의 질 또한 학습 모델에 주요한 영향을 끼칠 수 있다는 연구들이 발표되면서 학습 데이터의 질에 대한 연구의 필요성이 요구되고 있다. 본 논문에서는 Multi-Pass 기반의 한국어 철자 오류 탐지 및 교정 방법을 제안하고 다양한 교정 방법들을 복합적으로 사용한 모델의 성능을 비교 및 분석하였다. 제안하는 탐지 및 교정 방법은 기존의 교정 방법들과 달리 입력 문장에서 철자 오류를 우선으로 탐지하고 탐지된 철자 오류에 대해 음절, 어절, 문맥 수준의 철자 교정 방법을 적용한다. 철자 오류 탐지에는 한국어 인코딩을 이용한 방법과 저빈도 음절 탐지 방법을 활용하였다. 음절, 어절, 문맥 수준의 철자 교정을 위해 각각 Trigram 언어 모델, Word2Vec, Copy Mechanism을 적용한 트랜스포머를 사용하였으며 각 수준의 모델들 조합을 통해 복합 교정 모델로 철자 교정을 수행하였다. 학습이나 검증에 사용되는 공개된 한국어 철자 교정 말뭉치가 없기 때문에 단일 및 복합 교정 모델의 성능을 평가하기 위해 KCC150에서 철자 오류가 의심되는 1,000개의 문장을 추출하여 학습 말뭉치를 구축하고 학습 및 검증에 사용하였다. 또한 단일 및 복합 교정 모델들의 성능을 비교 및 분석하기 위하여 혼동 행렬을 사용하였으며 정밀도, 재현율 , F1 점수를 이용해 성능을 측정하였다. 단일 및 복합 교정 모델의 비교 및 분석 결과, 교정 모델을 복합적으로 사용하는 경우 모델들 간의 간섭이 생길 수 있음을 확인하였으며 문맥 수준의 교정 모델이 전반적으로 철자 오류 교정 모델의 성능 향상에 도움을 줄 수 있음을 확인하였다.
최근 자연어 처리는 대규모의 학습 말뭉치와 대용량 모델을 기반으로 하는 다양한 연구들이 제안되고 있다. 자연어 처리 모델의 일반화 성능을 향상하기 위해서 대용량의 학습 말뭉치가 필요하기 때문에 학습 말뭉치 및 데이터에 대한 필요성과 수요가 날로 증가하고 있다. 하지만 학습 말뭉치의 규모와 더불어 잘못된 라벨링이나 오탈자처럼 데이터의 질 또한 학습 모델에 주요한 영향을 끼칠 수 있다는 연구들이 발표되면서 학습 데이터의 질에 대한 연구의 필요성이 요구되고 있다. 본 논문에서는 Multi-Pass 기반의 한국어 철자 오류 탐지 및 교정 방법을 제안하고 다양한 교정 방법들을 복합적으로 사용한 모델의 성능을 비교 및 분석하였다. 제안하는 탐지 및 교정 방법은 기존의 교정 방법들과 달리 입력 문장에서 철자 오류를 우선으로 탐지하고 탐지된 철자 오류에 대해 음절, 어절, 문맥 수준의 철자 교정 방법을 적용한다. 철자 오류 탐지에는 한국어 인코딩을 이용한 방법과 저빈도 음절 탐지 방법을 활용하였다. 음절, 어절, 문맥 수준의 철자 교정을 위해 각각 Trigram 언어 모델, Word2Vec, Copy Mechanism을 적용한 트랜스포머를 사용하였으며 각 수준의 모델들 조합을 통해 복합 교정 모델로 철자 교정을 수행하였다. 학습이나 검증에 사용되는 공개된 한국어 철자 교정 말뭉치가 없기 때문에 단일 및 복합 교정 모델의 성능을 평가하기 위해 KCC150에서 철자 오류가 의심되는 1,000개의 문장을 추출하여 학습 말뭉치를 구축하고 학습 및 검증에 사용하였다. 또한 단일 및 복합 교정 모델들의 성능을 비교 및 분석하기 위하여 혼동 행렬을 사용하였으며 정밀도, 재현율 , F1 점수를 이용해 성능을 측정하였다. 단일 및 복합 교정 모델의 비교 및 분석 결과, 교정 모델을 복합적으로 사용하는 경우 모델들 간의 간섭이 생길 수 있음을 확인하였으며 문맥 수준의 교정 모델이 전반적으로 철자 오류 교정 모델의 성능 향상에 도움을 줄 수 있음을 확인하였다.
Recently, various studies have been proposed for natural language processing based on large scale learning corpus and large capacity models. The need and demand for learning corpus and data are increasing day by day because a large amount of learning corpus is required to improve the generalization ...
Recently, various studies have been proposed for natural language processing based on large scale learning corpus and large capacity models. The need and demand for learning corpus and data are increasing day by day because a large amount of learning corpus is required to improve the generalization performance of natural language processing models. However, as studies have published that the quality of data, such as mislabeling or typos, can significantly impact the learning model and the size of the learning corpus, the need for research on the quality of learning data is required. In this paper, we proposed a multi-pass based Korean spelling error detection and correction method, and the performance of a model using various correction methods was compared. Unlike conventional typo error correction methods, the proposed method detects spelling errors in input sentences and corrections spelling errors applied syllable, phrase, and context-level. The Korean encoding method and a statistically based low-frequency syllable method were used for spelling error detection. In addition, the Trigram language model, Word2Vec, and Transformer with Copy Mechanism were used for spelling correction at the syllable, word, and context levels, respectively, and spelling correction was performed as a composite correction model through a combination of models at each level. In order to evaluate the performance of single and complex models due to the absence of an open Korean spelling correction corpus used for learning or verifying, we extracted 1,000 sentences suspected of spelling errors in the KCC150 corpus and used them for learning and verifying. In addition, a confusion matrix was used to compare the performance of single and complex calibration models, and performance was measured using precision, recall, and F1 score. The comparison of single and complex models confirmed that combining models could cause interference between models. However, the context-level model could help improve the overall performance of spelling error correction models.
Recently, various studies have been proposed for natural language processing based on large scale learning corpus and large capacity models. The need and demand for learning corpus and data are increasing day by day because a large amount of learning corpus is required to improve the generalization performance of natural language processing models. However, as studies have published that the quality of data, such as mislabeling or typos, can significantly impact the learning model and the size of the learning corpus, the need for research on the quality of learning data is required. In this paper, we proposed a multi-pass based Korean spelling error detection and correction method, and the performance of a model using various correction methods was compared. Unlike conventional typo error correction methods, the proposed method detects spelling errors in input sentences and corrections spelling errors applied syllable, phrase, and context-level. The Korean encoding method and a statistically based low-frequency syllable method were used for spelling error detection. In addition, the Trigram language model, Word2Vec, and Transformer with Copy Mechanism were used for spelling correction at the syllable, word, and context levels, respectively, and spelling correction was performed as a composite correction model through a combination of models at each level. In order to evaluate the performance of single and complex models due to the absence of an open Korean spelling correction corpus used for learning or verifying, we extracted 1,000 sentences suspected of spelling errors in the KCC150 corpus and used them for learning and verifying. In addition, a confusion matrix was used to compare the performance of single and complex calibration models, and performance was measured using precision, recall, and F1 score. The comparison of single and complex models confirmed that combining models could cause interference between models. However, the context-level model could help improve the overall performance of spelling error correction models.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.